2016年3月 – 端くれプログラマの備忘録

参考サイト

Linuxコマンド集 – 【 split 】ファイルを分割する：ITpro
http://itpro.nikkeibp.co.jp/article/COLUMN/20060227/230888/

[C#] コンソールでキー入力を待つ

2016年3月30日2016年4月6日 @84kure

コンソールアプリで処理経過などをコンソール画面に表示していたりして、処理が終わってもコンソールを自動で閉じて欲しくない場合がある。そういう時は、処理終了時にキー入力待ちにすればいい。簡単なことだけど覚え書き。

Console.ReadKey();

1	Console.ReadKey();

参考サイト

[C#] コンソールをキー入力で一時停止 | Remember The Time
http://www.remember-the-time.xyz/2012/06/c.html

[OpenCV] 顔検出サンプル (C#版)

2016年3月29日2016年3月22日 @84kure

C++のサンプルをOpenCVSharp3を使ってC#に書き直してみた。

using System;
using System.Collections.Generic;
using System.Linq;
using System.Text;
using System.Threading.Tasks;
using OpenCvSharp;

namespace OpenCVFaceCSharp
{
    class Program
    {
        static Mat detectFaceInImage(Mat image, string cascade_file)
        {
            CascadeClassifier cascade = new CascadeClassifier();
            cascade.Load(cascade_file);
            Rect[] faces = cascade.DetectMultiScale(image, 1.1, 3, 0, new Size(20, 20));

            for (int i = 0; i < faces.Length; i++)
            {
                Cv2.Rectangle(
                    image,
                    new Point(faces[i].X, faces[i].Y),
                    new Point(faces[i].X + faces[i].Width, faces[i].Y + faces[i].Height),
                    new Scalar(0, 200, 0), 3, LineTypes.AntiAlias);
            }
            return image;
        }

        static void Main(string[] args)
        {
            Mat image = Cv2.ImRead("lena.png");
            string filename = "C:\\OpenCV\\sources\\data\\haarcascades\\haarcascade_frontalface_default.xml";
            Mat detectFaceImage = detectFaceInImage(image, filename);
            Cv2.ImShow("detect face", detectFaceImage);
            Cv2.WaitKey(0);
        }
    }
}

using System;

using System.Collections.Generic;

using System.Linq;

using System.Text;

using System.Threading.Tasks;

using OpenCvSharp;

namespace OpenCVFaceCSharp

{

class Program

{

static Mat detectFaceInImage(Mat image, string cascade_file)

{

CascadeClassifier cascade = new CascadeClassifier();

cascade.Load(cascade_file);

Rect[] faces = cascade.DetectMultiScale(image, 1.1, 3, 0, new Size(20, 20));

for (int i = 0; i < faces.Length; i++)

{

Cv2.Rectangle(

image,

new Point(faces[i].X, faces[i].Y),

new Point(faces[i].X + faces[i].Width, faces[i].Y + faces[i].Height),

new Scalar(0, 200, 0), 3, LineTypes.AntiAlias);

}

return image;

}

static void Main(string[] args)

{

Mat image = Cv2.ImRead("lena.png");

string filename = "C:\\OpenCV\\sources\\data\\haarcascades\\haarcascade_frontalface_default.xml";

Mat detectFaceImage = detectFaceInImage(image, filename);

Cv2.ImShow("detect face", detectFaceImage);

Cv2.WaitKey(0);

}

[OpenCV] OpenCvSharp3を使う

2016年3月28日2016年3月22日 @84kure

環境はVisual Studio 2015 Community。

1. C#のConsole Applicationを作成

2. Manager NuGet Packages…

3. nuget.orgを”opencvsharp3″で検索

4. OpenCvSharp3-AnyCPUをインストール

5. サンプルコード

using System;
using System.Collections.Generic;
using System.Linq;
using System.Text;
using System.Threading.Tasks;
using OpenCvSharp;

namespace OpenCVTestCSharp
{
    class Program
    {
        static void Main(string[] args)
        {
            Mat src = new Mat("lenna.png", ImreadModes.GrayScale);   // OpenCvSharp 3.x
            //Mat src = new Mat("lenna.png", LoadMode.GrayScale); // OpenCvSharp 2.4.x
            Mat dst = new Mat();

            Cv2.Canny(src, dst, 50, 200);
            using (new Window("src image", src))
            using (new Window("dst image", dst))
            {
                Cv2.WaitKey();
            }
        }
    }
}

using System;

using System.Collections.Generic;

using System.Linq;

using System.Text;

using System.Threading.Tasks;

using OpenCvSharp;

namespace OpenCVTestCSharp

{

class Program

{

static void Main(string[] args)

{

Mat src = new Mat("lenna.png", ImreadModes.GrayScale); // OpenCvSharp 3.x

//Mat src = new Mat("lenna.png", LoadMode.GrayScale); // OpenCvSharp 2.4.x

Mat dst = new Mat();

Cv2.Canny(src, dst, 50, 200);

using (new Window("src image", src))

using (new Window("dst image", dst))

{

Cv2.WaitKey();

}

6. ビルドして実行

参考サイト

GitHub – shimat/opencvsharp: .NET Framework wrapper for OpenCV
https://github.com/shimat/opencvsharp

OpenCvSharp Namespace
http://shimat.github.io/opencvsharp/html/1bb515b3-6278-49e4-9a33-1054bd279323.htm

schima.hatenablog.com (作者サイト)
http://schima.hatenablog.com/

[OpenCV] OpenCVのC#ラッパー

2016年3月27日2016年3月22日 @84kure

C#でコードを書きたいので、OpenCVのラッパーを探してみた。

NuGet Gallery | OpenCV.NET 3.3.0
https://www.nuget.org/packages/OpenCV.Net/

最終更新から1年以上経過している (2015/2/26)
ダウンロード数がそれほど多くない (のべ 10,230)
OpenCV 2.4.10

NuGet Gallery | OpenCvSharp2 2.4.10.20160316
https://www.nuget.org/packages/OpenCvSharp-AnyCPU/

更新頻度高い (2015年は6回アップデート)
ダウンロード数は多い (のべ　29,638)
OpenCV 3.1対応

OpenCV 3対応の後者がよさげ。試してみよう。

[Elasticsearch] KibanaでApacheアクセスログを可視化する

2016年3月26日2016年3月21日 @84kure

前のエントリでLogstashを使ってApacheアクセスログをElasticsearchに読み込んだ。次はKibanaをインストールして可視化したい。

Kibanaのインストール

$ wget https://download.elastic.co/kibana/kibana/kibana-4.4.2-linux-x64.tar.gz
$ tar zxvf kibana-4.4.2-linux-x64.tar.gz
$ cd kibana-4.4.2-linux-x64
$ vi config/kibana.yml
elasticsearch.url: "http://localhost:9200"

$ wget https://download.elastic.co/kibana/kibana/kibana-4.4.2-linux-x64.tar.gz

$ tar zxvf kibana-4.4.2-linux-x64.tar.gz

$ cd kibana-4.4.2-linux-x64

$ vi config/kibana.yml

elasticsearch.url: "http://localhost:9200"

Kibanaの実行

とりあえず動作確認のためにコマンド叩いて実行。

$ ./bin/kibana
  log   [17:06:02.432] [info][status][plugin:kibana] Status changed from uninitialized to green - Ready
  log   [17:06:02.482] [info][status][plugin:elasticsearch] Status changed from uninitialized to yellow - Waiting for Elasticsearch
  log   [17:06:02.496] [info][status][plugin:kbn_vislib_vis_types] Status changed from uninitialized to green - Ready
  log   [17:06:02.499] [info][status][plugin:markdown_vis] Status changed from uninitialized to green - Ready
  log   [17:06:02.503] [info][status][plugin:metric_vis] Status changed from uninitialized to green - Ready
  log   [17:06:02.506] [info][status][plugin:spyModes] Status changed from uninitialized to green - Ready
  log   [17:06:02.509] [info][status][plugin:statusPage] Status changed from uninitialized to green - Ready
  log   [17:06:02.513] [info][status][plugin:table_vis] Status changed from uninitialized to green - Ready
  log   [17:06:02.576] [info][listening] Server running at http://0.0.0.0:5601
  log   [17:06:07.880] [info][status][plugin:elasticsearch] Status changed from yellow to yellow - No existing Kibana index found
  log   [17:06:14.649] [info][status][plugin:elasticsearch] Status changed from yellow to green - Kibana index ready

$ ./bin/kibana

log [17:06:02.432] [info][status][plugin:kibana] Status changed from uninitialized to green - Ready

log [17:06:02.482] [info][status][plugin:elasticsearch] Status changed from uninitialized to yellow - Waiting for Elasticsearch

log [17:06:02.496] [info][status][plugin:kbn_vislib_vis_types] Status changed from uninitialized to green - Ready

log [17:06:02.499] [info][status][plugin:markdown_vis] Status changed from uninitialized to green - Ready

log [17:06:02.503] [info][status][plugin:metric_vis] Status changed from uninitialized to green - Ready

log [17:06:02.506] [info][status][plugin:spyModes] Status changed from uninitialized to green - Ready

log [17:06:02.509] [info][status][plugin:statusPage] Status changed from uninitialized to green - Ready

log [17:06:02.513] [info][status][plugin:table_vis] Status changed from uninitialized to green - Ready

log [17:06:02.576] [info][listening] Server running at http://0.0.0.0:5601

log [17:06:07.880] [info][status][plugin:elasticsearch] Status changed from yellow to yellow - No existing Kibana index found

log [17:06:14.649] [info][status][plugin:elasticsearch] Status changed from yellow to green - Kibana index ready

ブラウザからアクセス

http://192.168.33.10:5601/

参考サイト

Getting Kibana Up and Running
https://www.elastic.co/guide/en/kibana/4.1/setup.html

Kibana User Guide [4.1]
https://www.elastic.co/guide/en/kibana/4.1/index.html

NginxのアクセスログをKibanaで可視化 – Carpe Diem
http://christina04.hatenablog.com/entry/2016/01/13/194304

[Elasticsearch] LogstashでApacheアクセスログをバッチで読み込む

2016年3月25日2016年3月21日 @84kure

Logstashはログ管理ツール。以下の機能を備えており、プラグイン形式で機能を拡張できるのが特徴。

input ログを記録するイベントを監視する
filter イベントに対しフィルタ処理を行う
codec inputから受け取ったイベントを指定した形式に整形する
output ログの出力を行う

Logstashのインストール

$ sudo rpm --import https://packages.elastic.co/GPG-KEY-elasticsearch
$ sudo vi /etc/yum.repos.d/logstash.repo
[logstash-2.2]
name=Logstash repository for 2.2.x packages
baseurl=http://packages.elastic.co/logstash/2.2/centos
gpgcheck=1
gpgkey=http://packages.elastic.co/GPG-KEY-elasticsearch
enabled=1
$ sudo yum install logstash

$ sudo rpm --import https://packages.elastic.co/GPG-KEY-elasticsearch

$ sudo vi /etc/yum.repos.d/logstash.repo

[logstash-2.2]

name=Logstash repository for 2.2.x packages

baseurl=http://packages.elastic.co/logstash/2.2/centos

gpgcheck=1

gpgkey=http://packages.elastic.co/GPG-KEY-elasticsearch

enabled=1

$ sudo yum install logstash

Logstashのテスト

$ /opt/logstash/bin/logstash --version
logstash 2.2.2
$ /opt/logstash/bin/logstash -e 'input { stdin { } } output { stdout {} }'
Settings: Default pipeline workers: 2
Logstash startup completed
hello world
2016-03-21T15:38:56.933Z localhost.localdomain hello world
CTRL-D
Logstash shutdown completed

$ /opt/logstash/bin/logstash --version

logstash 2.2.2

$ /opt/logstash/bin/logstash -e 'input { stdin { } } output { stdout {} }'

Settings: Default pipeline workers: 2

Logstash startup completed

hello world

2016-03-21T15:38:56.933Z localhost.localdomain hello world

CTRL-D

Logstash shutdown completed

アクセスログの読み込みテスト

$ vi apache-import.conf
input {
  stdin { }
}

filter {
  grok {
  match => { "message" => "%{COMBINEDAPACHELOG}" }
  }
  date {
  match => [ "timestamp" , "dd/MMM/yyyy:HH:mm:ss Z" ]
  locale => "en"
  }
  mutate {
  replace => { "type" => "apache_access" }
  }
}

output {
  stdout { codec => rubydebug }
}
$ /opt/logstash/bin/logstash -f apache-import.conf < logs/test_log
Settings: Default pipeline workers: 2
Logstash startup completed
{
  "message" => "157.55.39.187 - - [20/Mar/2016:03:27:52 -0700] \"GET /blog/2014/08/07/ HTTP/1.1\" 200 57529 \"-\" \"Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)\"",
  "@version" => "1",
  "@timestamp" => "2016-03-20T10:27:52.000Z",
  "host" => "localhost.localdomain",
  "clientip" => "157.55.39.187",
  "ident" => "-",
  "auth" => "-",
  "timestamp" => "20/Mar/2016:03:27:52 -0700",
  "verb" => "GET",
  "request" => "/blog/2014/08/07/",
  "httpversion" => "1.1",
  "response" => "200",
  "bytes" => "57529",
  "referrer" => "\"-\"",
  "agent" => "\"Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)\"",
  "type" => "apache_access"
}
Logstash shutdown completed

$ vi apache-import.conf

input {

stdin { }

}

filter {

grok {

match => { "message" => "%{COMBINEDAPACHELOG}" }

}

date {

match => [ "timestamp" , "dd/MMM/yyyy:HH:mm:ss Z" ]

locale => "en"

}

mutate {

replace => { "type" => "apache_access" }

}

output {

stdout { codec => rubydebug }

}

$ /opt/logstash/bin/logstash -f apache-import.conf < logs/test_log

Settings: Default pipeline workers: 2

Logstash startup completed

{

"message" => "157.55.39.187 - - [20/Mar/2016:03:27:52 -0700] \"GET /blog/2014/08/07/ HTTP/1.1\" 200 57529 \"-\" \"Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)\"",

"@version" => "1",

"@timestamp" => "2016-03-20T10:27:52.000Z",

"host" => "localhost.localdomain",

"clientip" => "157.55.39.187",

"ident" => "-",

"auth" => "-",

"timestamp" => "20/Mar/2016:03:27:52 -0700",

"verb" => "GET",

"request" => "/blog/2014/08/07/",

"httpversion" => "1.1",

"response" => "200",

"bytes" => "57529",

"referrer" => "\"-\"",

"agent" => "\"Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)\"",

"type" => "apache_access"

}

Logstash shutdown completed

Elasticsearchとの接続

$ vi apache-import.conf
input {
  stdin { }
}

filter {
  grok {
  match => { "message" => "%{COMBINEDAPACHELOG}" }
  }
  date {
  match => [ "timestamp" , "dd/MMM/yyyy:HH:mm:ss Z" ]
  locale => "en"
  }
  mutate {
  replace => { "type" => "apache_access" }
  }
}

output {
  # stdout { codec => rubydebug }
  elasticsearch { hosts => '127.0.0.1:9200' }
}

$ /opt/logstash/bin/logstash -f apache-import.conf --configtest
Configuration OK
$ /opt/logstash/bin/logstash -f apache-import.conf < logs/test_log
Settings: Default pipeline workers: 2
Logstash startup completed
Logstash shutdown completed

$ /opt/logstash/bin/logstash -f apache-import.conf < logs/access_log
$ /opt/logstash/bin/logstash -f apache-import.conf < logs/access_log-20160320

$ vi apache-import.conf

input {

stdin { }

}

filter {

grok {

match => { "message" => "%{COMBINEDAPACHELOG}" }

}

date {

match => [ "timestamp" , "dd/MMM/yyyy:HH:mm:ss Z" ]

locale => "en"

}

mutate {

replace => { "type" => "apache_access" }

}

output {

# stdout { codec => rubydebug }

elasticsearch { hosts => '127.0.0.1:9200' }

}

$ /opt/logstash/bin/logstash -f apache-import.conf --configtest

Configuration OK

$ /opt/logstash/bin/logstash -f apache-import.conf < logs/test_log

Settings: Default pipeline workers: 2

Logstash startup completed

Logstash shutdown completed

$ /opt/logstash/bin/logstash -f apache-import.conf < logs/access_log

$ /opt/logstash/bin/logstash -f apache-import.conf < logs/access_log-20160320

参考サイト

15分で作る、Logstash＋Elasticsearchによるログ収集・解析環境 – さくらのナレッジ
http://knowledge.sakura.ad.jp/tech/2736/

Package Repositories
https://www.elastic.co/guide/en/logstash/current/package-repositories.html#_yum

Stashing Your First Event: Basic Logstash Example
https://www.elastic.co/guide/en/logstash/current/first-event.html

Reference [2.2]
https://www.elastic.co/guide/en/logstash/current/index.html

[ホスティング] ログローテートの設定

2016年3月24日2016年3月21日 @84kure

ログファイル更新のタイミング

# rotate log files weekly
weekly

1 2	# rotate log files weekly weekly

何世代のログを残すか

# keep 4 weeks worth of backlogs
rotate 4

1 2	# keep 4 weeks worth of backlogs rotate 4

ログファイルに日付を付加するか

# use date as a suffix of the rotated file
dateext

1 2	# use date as a suffix of the rotated file dateext

圧縮するか (gzip)

# uncomment this if you want your log files compressed
#compress

1 2	# uncomment this if you want your log files compressed #compress

ファイルごと(httpdやsyslogなど)の個別設定の所在

# RPM packages drop log rotation information into this directory
include /etc/logrotate.d

1 2	# RPM packages drop log rotation information into this directory include /etc/logrotate.d

logrotate自体はデーモンでなくcronで実行されるので、設定変更後のデーモンの再起動などは不要。

参考サイト

＠IT：syslogの保存期間を変更するには
http://www.atmarkit.co.jp/flinux/rensai/linuxtips/409cngsyslogtime.html

スタティックなサイトにフィードバックフォームを設置したいようなとき、自力で作るよりオンラインフォームのサービスを使ったほうが得策だろうと思う機会が少なくない。フレームワークベースのWebアプリなサイトだったら、フォームの制御やバリデーション、メール通知などのインフラが予めあるから、フォームの１つぐらい作るのは容易いけど、スタティックなサイトだとフォーム１つ設置するだけでインフラが肥大化する。あるものは使おう。

というわけで、使えそうなサービスをググってみたので覚え書きリンク。