端くれプログラマの備忘録 – ページ 51 – 最近はウェブ系アプリ中心、あとWindowsアプリちょっと

[Laravel] FULLTEXTインデックスを使った全文検索

2016年4月14日2016年5月3日 @84kure

LaravelでFULLTEXTインデックスを使った検索を行うためのメモ。ざっくり。

マイグレーション

テーブルに検索対象ワードを格納するフィールド(keywords)を定義して、FULLTEXTインデックスを振る。

class CreateArticlesTable extends Migration
{
    public function up()
    {
        Schema::create('articles', function (Blueprint $table) {
            $table->increments('id');
            ....
            $table->string('keywords');　//検索対象ワードを格納するフィールド
            $table->timestamp('published_at');
        }
        DB::statement('ALTER TABLE articles ADD FULLTEXT(`keywords`)'); //FULLTEXTインデックスを振る
    }
    ....
}

class CreateArticlesTable extends Migration

{

public function up()

{

Schema::create('articles', function (Blueprint $table) {

$table->increments('id');

....

$table->string('keywords');　//検索対象ワードを格納するフィールド

$table->timestamp('published_at');

}

DB::statement('ALTER TABLE articles ADD FULLTEXT(`keywords`)'); //FULLTEXTインデックスを振る

}

....

}

検索対象ワードのセット

記事登録時にタイトルや本文をNgram/形態素解析するなどして、keywordsフィールドに検索対象となるワードを格納する。何をセットするかで検索の精度が変わってくるだろうから工夫する。

全文検索

whereRawで全文検索のためのクエリーを記述する。

$keywords = 'mysql mariadb database sql';
$articles = Article::whereRaw("match(`keywords`) against (? with query expansion)", [$keywords])
    ->latest('published_at')
    ->published()
    ->take(10)
    ->get();

$keywords = 'mysql mariadb database sql';

$articles = Article::whereRaw("match(`keywords`) against (? with query expansion)", [$keywords])

->latest('published_at')

->published()

->take(10)

->get();

参考サイト

FULLTEXT Indexes at migrations
https://laracasts.com/discuss/channels/general-discussion/fulltext-indexes-at-migrations

How to do a full text search in laravel 5
https://laracasts.com/discuss/channels/laravel/how-to-do-a-full-text-search-in-laravel-5?page=1

[MySQL] 全文検索するための基礎知識 (FULLTEXTインデックスの使い方)

2016年4月13日2016年5月3日 @84kure

ネットで検索したらいろんな記事がヒットしたけど、以下の記事は執筆日が割と最近で、かつ、僕のような初心者にも解りやすく書かれていたので覚え書きリンク。

MySQLで全文検索をするために必要なこと – 小さな星がほらひとつ
http://quotto.hatenablog.com/entry/2016/03/21/221821

[MySQL] MariaDBを5から10にアップデートする

2016年4月12日2016年5月3日 @84kure

FULLTEXTを使いたいけど、MariaDB 5だとMyISAMでしか使えない。MySQLならInnoDBで使えるので、MariaDBからMySQLに乗り換えるしかないか。と思っていたら、MariaDB 10.0.5からはInnoDBでもFULLTEXTが使えるようになっていた。

Fulltext Index Overview – MariaDB Knowledge Base
https://mariadb.com/kb/en/mariadb/fulltext-index-overview/

この恩恵に預かるべく、ステージング環境のMariaDB 5.5.44を最新の10.1にアップデートする。

手順

環境はCentOS 7、インストールにはyumを使う。

yum による MariaDB のインストール – MariaDB Knowledge Base
https://mariadb.com/kb/ja/yum/

このページの手順にほぼ従って作業する。

1. オンラインのrepository generatorを使ってMariaDB.repoエントリを作成する。

MariaDB – Setting up MariaDB Repositories – MariaDB
https://downloads.mariadb.org/mariadb/repositories/#mirror=jmu

1. Choose a Distro
- CentOS
2. Choose a Release
- CentOS 7 (64-bit)
3. Choose a Version
- 10.1

1. Choose a Distro

- CentOS

2. Choose a Release

- CentOS 7 (64-bit)

3. Choose a Version

- 10.1

2. /etc/yum.repos.d/ にファイルを作成して貼り付ける。

$ sudo vi /etc/yum.repos.d/MariaDB.repo
# MariaDB 10.1 CentOS repository list - created 2016-04-28 05:48 UTC
# http://mariadb.org/mariadb/repositories/
[mariadb]
name = MariaDB
baseurl = http://yum.mariadb.org/10.1/centos7-amd64
gpgkey=https://yum.mariadb.org/RPM-GPG-KEY-MariaDB
gpgcheck=1

$ sudo vi /etc/yum.repos.d/MariaDB.repo

# MariaDB 10.1 CentOS repository list - created 2016-04-28 05:48 UTC

# http://mariadb.org/mariadb/repositories/

[mariadb]

name = MariaDB

baseurl = http://yum.mariadb.org/10.1/centos7-amd64

gpgkey=https://yum.mariadb.org/RPM-GPG-KEY-MariaDB

gpgcheck=1

3. MariaDBサーバーとクライアントをアップデートする。

$ sudo yum update MariaDB-server MariaDB-client
.....
Installed:
MariaDB-client.x86_64 0:10.1.13-1.el7.centos MariaDB-server.x86_64 0:10.1.13-1.el7.centos
MariaDB-shared.x86_64 0:10.1.13-1.el7.centos

Dependency Installed:
MariaDB-common.x86_64 0:10.1.13-1.el7.centos boost-program-options.x86_64 0:1.53.0-25.el7
galera.x86_64 0:25.3.15-1.rhel7.el7.centos jemalloc.x86_64 0:3.6.0-1.el7
lsof.x86_64 0:4.87-4.el7

Replaced:
mariadb.x86_64 1:5.5.44-2.el7.centos mariadb-libs.x86_64 1:5.5.44-2.el7.centos
mariadb-server.x86_64 1:5.5.44-2.el7.centos

Complete!

$ sudo yum update MariaDB-server MariaDB-client

.....

Installed:

MariaDB-client.x86_64 0:10.1.13-1.el7.centos MariaDB-server.x86_64 0:10.1.13-1.el7.centos

MariaDB-shared.x86_64 0:10.1.13-1.el7.centos

Dependency Installed:

MariaDB-common.x86_64 0:10.1.13-1.el7.centos boost-program-options.x86_64 0:1.53.0-25.el7

galera.x86_64 0:25.3.15-1.rhel7.el7.centos jemalloc.x86_64 0:3.6.0-1.el7

lsof.x86_64 0:4.87-4.el7

Replaced:

mariadb.x86_64 1:5.5.44-2.el7.centos mariadb-libs.x86_64 1:5.5.44-2.el7.centos

mariadb-server.x86_64 1:5.5.44-2.el7.centos

Complete!

確認。

$ rpm -qa | grep Maria
MariaDB-client-10.1.13-1.el7.centos.x86_64
MariaDB-server-10.1.13-1.el7.centos.x86_64
MariaDB-shared-10.1.13-1.el7.centos.x86_64
MariaDB-common-10.1.13-1.el7.centos.x86_64

$ rpm -qa | grep Maria

MariaDB-client-10.1.13-1.el7.centos.x86_64

MariaDB-server-10.1.13-1.el7.centos.x86_64

MariaDB-shared-10.1.13-1.el7.centos.x86_64

MariaDB-common-10.1.13-1.el7.centos.x86_64

4. 再起動

$ sudo systemctl restart mariadb.service

1	$ sudo systemctl restart mariadb.service

参考サイト

MariaDB5からMariaDB10にアップデート | ネットワークエンジニアの居酒屋
https://www.superweibu.com/archives/5092.html

[Laravel] クライアントのIPアドレスを取得する

2016年4月11日2016年4月25日 @84kure

クライアントのIPアドレスを取得するにはどうするか。

$_SERVERに直アクセスするのも手だけど、Laravel内でスマートなやり方はないものかなーと、調べてみたらRequestクラスにメソッドが用意されていたので覚え書き。

Request::ip()

1	Request::ip()

参考サイト

php – How to get Client Ip Address in Laravel 5.1? – Stack Overflow
http://stackoverflow.com/questions/33268683/how-to-get-client-ip-address-in-laravel-5-1

[Webサイト運営] サーバーが重いときにすること

2016年4月10日2016年4月25日 @84kure

そうなったときに備えて覚え書き。

参考サイト

開発者の為のサーバ監視（初心者向け） – Qiita

http://qiita.com/Liberty/items/4a2396e29cd22b1c1512

アプリエンジニア向け：「サーバがなんか重い」時にすること – Qiita

http://qiita.com/yuku_t/items/2f5341e4aa635800a0a1

単独のサーバーの「負荷」の正体を突き止める – tetsuyai’s blog

http://tetsuyai.hatenablog.com/entry/20120105/1325750731

[MySQL] 壊れたテーブルを修復する

2016年4月9日2016年4月25日 @84kure

前のエントリで書いた通り、突然サーバーが高負荷になって何も受け付けなくなったので、仕方なくシャットダウン。再起動後にログを見回ったら、MySQL (実体はMariaDB) のログにエラーが記録されていた。やばい予感。

mysqld_safe Number of processes running now: 0
mysqld_safe mysqld restarted
mysqld_safe Starting mysqld daemon with databases from /var/lib/mysql
[Note] /usr/libexec/mysqld (mysqld 5.5.44-MariaDB) starting as process 1532 ...
InnoDB: The InnoDB memory heap is disabled
InnoDB: Mutexes and rw_locks use GCC atomic builtins
InnoDB: Compressed tables use zlib 1.2.7
InnoDB: Using Linux native AIO
InnoDB: Initializing buffer pool, size = 128.0M
InnoDB: Completed initialization of buffer pool
InnoDB: highest supported file format is Barracuda.
InnoDB: The log sequence number in ibdata files does not match
InnoDB: the log sequence number in the ib_logfiles!
InnoDB: Database was not shut down normally!
InnoDB: Starting crash recovery.
InnoDB: Reading tablespace information from the .ibd files...
InnoDB: Restoring possible half-written data pages from the doublewrite
InnoDB: buffer...
InnoDB: Waiting for the background threads to start
Percona XtraDB (http://www.percona.com) 5.5.43-MariaDB-37.2 started; log sequence number 13888240
[Note] Plugin 'FEEDBACK' is disabled.
[Note] Server socket created on IP: '0.0.0.0'.
[ERROR] mysqld: Table './mysql/user' is marked as crashed and should be repaired
[Warning] Checking table:   './mysql/user'
[ERROR] mysql.user: 1 client is using or hasn't closed the table properly
[ERROR] mysqld: Table './mysql/db' is marked as crashed and should be repaired
[Warning] Checking table:   './mysql/db'
[ERROR] mysql.db: 1 client is using or hasn't closed the table properly
[Note] Event Scheduler: Loaded 0 events
[Note] /usr/libexec/mysqld: ready for connections.
Version: '5.5.44-MariaDB'  socket: '/var/lib/mysql/mysql.sock'  port: 3306  MariaDB Server
[ERROR] mysqld: Table './db1/wp_options' is marked as crashed and should be repaired
[Warning] Checking table:   './db1/wp_options'
[ERROR] mysqld: Table './db1/wp_posts' is marked as crashed and should be repaired
[Warning] Checking table:   './db1/wp_posts'
[ERROR] mysqld: Table './db1/wp_comments' is marked as crashed and should be repaired

mysqld_safe Number of processes running now: 0

mysqld_safe mysqld restarted

mysqld_safe Starting mysqld daemon with databases from /var/lib/mysql

[Note] /usr/libexec/mysqld (mysqld 5.5.44-MariaDB) starting as process 1532 ...

InnoDB: The InnoDB memory heap is disabled

InnoDB: Mutexes and rw_locks use GCC atomic builtins

InnoDB: Compressed tables use zlib 1.2.7

InnoDB: Using Linux native AIO

InnoDB: Initializing buffer pool, size = 128.0M

InnoDB: Completed initialization of buffer pool

InnoDB: highest supported file format is Barracuda.

InnoDB: The log sequence number in ibdata files does not match

InnoDB: the log sequence number in the ib_logfiles!

InnoDB: Database was not shut down normally!

InnoDB: Starting crash recovery.

InnoDB: Reading tablespace information from the .ibd files...

InnoDB: Restoring possible half-written data pages from the doublewrite

InnoDB: buffer...

InnoDB: Waiting for the background threads to start

Percona XtraDB (http://www.percona.com) 5.5.43-MariaDB-37.2 started; log sequence number 13888240

[Note] Plugin 'FEEDBACK' is disabled.

[Note] Server socket created on IP: '0.0.0.0'.

[ERROR] mysqld: Table './mysql/user' is marked as crashed and should be repaired

[Warning] Checking table: './mysql/user'

[ERROR] mysql.user: 1 client is using or hasn't closed the table properly

[ERROR] mysqld: Table './mysql/db' is marked as crashed and should be repaired

[Warning] Checking table: './mysql/db'

[ERROR] mysql.db: 1 client is using or hasn't closed the table properly

[Note] Event Scheduler: Loaded 0 events

[Note] /usr/libexec/mysqld: ready for connections.

Version: '5.5.44-MariaDB' socket: '/var/lib/mysql/mysql.sock' port: 3306 MariaDB Server

[ERROR] mysqld: Table './db1/wp_options' is marked as crashed and should be repaired

[Warning] Checking table: './db1/wp_options'

[ERROR] mysqld: Table './db1/wp_posts' is marked as crashed and should be repaired

[Warning] Checking table: './db1/wp_posts'

[ERROR] mysqld: Table './db1/wp_comments' is marked as crashed and should be repaired

WordPressは問題なく動作しているように見えるけど、念のためリカバリしておいたほうがいいだろう。ということで、エラーチェックとリカバリ用のコマンド (SQL) を覚え書き。

check table <table_name>;
repair table <table_name>;

1 2	check table <table_name>; repair table <table_name>;

これらコマンドを実行してみたけど何も起きなかった。起動時に走ったリカバリ処理が問題を解決してくれた模様。大事にならなくて良かったねー

参考サイト

MySQL の壊れたテーブルを修復
http://macperson.net/mysql-table-repair/

[Webサイト運営] 突然サーバー負荷上昇。DDoSか?

2016年4月8日2016年4月25日 @84kure

ある晩、監視サービスからアラートメールが飛んできた。このウェブサーバーがダウンした模様。原因は読み込みタイムアウトだって。500とかじゃなくてタイムアウト？早速調べるためにssh接続を試みるもログインプロンプトさえ表示されない。やばい予感、マジで焦る。

DigitalOceanのコントロールパネルからサーバーのロード状態を見ると、CPU負荷が140%、ディスクアクセスが2MB/sを超えている。普段はCPU負荷は10%を超えることは稀で、ディスクアクセスも常時ゼロに等しい。明らかに何かが起きているな。コントロールパネルからコンソール接続を試みるも反応無し。もう打つ手無しと諦めてDropletを電源オフする。少し待って再投入したところ、元の静かな状態に戻った。

以下がロード状態のグラフ。8:00pmごろから負荷が急激に上がっている。再起動したことで元の状態に戻ったので、高負荷状態は20分以内で収まった。もし外出先とかですぐ対応できなかったらと思うと恐ろしい。

原因は何だったのだろうか。最初に疑ったのはDDoS。Apacheのログを見たんだけど、疑わしいアクセスは十数件程度しか記録されていない。それは異なるGeoロケーションからのアクセスだけどAgentはどれも同じ名前のロボット。各地のマシンを踏み台にして集中アクセスしてきたのだろうか。だとしたらログ件数が少なすぎる。こんな弱小サイトが、ウェブサーバーでログが記録できなくなるほどの集中砲火を浴びるとは考え難いよなぁ。

他の可能性としては、サーバー上で稼動するソフトの暴走とか？。でも、サーバー上のログを一通り目を通してみたけど、怪しい挙動を示すものは見つからず。もう何ヶ月も同じコンフィギュレーションで稼動させているけど、こんなことが起こったのは初めて。原因がわからないのは気持ち悪いけど、いろいろ考えて出来る限りの方策はしておかないとなーと実感した出来事だった。

[Elasticsearch] LogstashでNginxアクセスログをバッチで読み込む

2016年4月7日2016年4月9日 @84kure

今回読み込もうとするNginxのアクセスログは以下の形式。

xxx.xxx.xxx.xxx - - [24/Feb/2016:22:46:17 -0800] 
"GET /images/sample.jpg HTTP/1.1" 200 29160 "http://www.example.com/index.php"
"Mozilla/5.0 (Linux; U; Android 4.2.2; zh-CN; GT-I9205 Build/JDQ39) AppleWebKit/
534.30 (KHTML, like Gecko) Version/4.0 UCBrowser/10.9.4.728 U3/0.8.0 Mobile Safa
ri/534.30"

xxx.xxx.xxx.xxx - - [24/Feb/2016:22:46:17 -0800]

"GET /images/sample.jpg HTTP/1.1" 200 29160 "http://www.example.com/index.php"

"Mozilla/5.0 (Linux; U; Android 4.2.2; zh-CN; GT-I9205 Build/JDQ39) AppleWebKit/

534.30 (KHTML, like Gecko) Version/4.0 UCBrowser/10.9.4.728 U3/0.8.0 Mobile Safa

ri/534.30"

設定ファイル

ngnix-import.conf

input {
  stdin { }
}

filter {
  grok {
  match => [ "message" , "%{COMBINEDAPACHELOG}+%{GREEDYDATA:extra_fields}"]
  overwrite => [ "message" ]
  }

  mutate {
  convert => ["response", "integer"]
  convert => ["bytes", "integer"]
  convert => ["responsetime", "float"]
  }

  geoip {
  source => "clientip"
  target => "geoip"
  add_tag => [ "nginx-geoip" ]
  }

  date {
  match => [ "timestamp" , "dd/MMM/YYYY:HH:mm:ss Z" ]
  remove_field => [ "timestamp" ]
  }

  useragent {
  source => "agent"
  }
}

output {
  # stdout { codec => rubydebug }
  elasticsearch { hosts => '127.0.0.1:9200' }
}

input {

stdin { }

}

filter {

grok {

match => [ "message" , "%{COMBINEDAPACHELOG}+%{GREEDYDATA:extra_fields}"]

overwrite => [ "message" ]

}

mutate {

convert => ["response", "integer"]

convert => ["bytes", "integer"]

convert => ["responsetime", "float"]

}

geoip {

source => "clientip"

target => "geoip"

add_tag => [ "nginx-geoip" ]

}

date {

match => [ "timestamp" , "dd/MMM/YYYY:HH:mm:ss Z" ]

remove_field => [ "timestamp" ]

}

useragent {

source => "agent"

}

output {

# stdout { codec => rubydebug }

elasticsearch { hosts => '127.0.0.1:9200' }

}

$ /opt/logstash/bin/logstash -f nginx-import.conf --configtest
Configuration OK

1 2	$ /opt/logstash/bin/logstash -f nginx-import.conf --configtest Configuration OK

アクセスログの読み込み

$ /opt/logstash/bin/logstash -f nginx-import.conf < access.log

1	$ /opt/logstash/bin/logstash -f nginx-import.conf < access.log

実際に試してみたら、大きなアクセスログファイルではLogstashが途中終了してしまった。5万行ずつ分割したら、それぞれ最後まで正常に読み込めた。分割すればいいのならそうしようと調べず仕舞いだけど、もしかすると何か設定があるのかもしれない。

参考サイト

NGINX Log Analysis with Elasticsearch, Logstash, and Kibana
http://logz.io/blog/nginx-log-analysis/

Setting up Logstash 1.4.2 to forward Nginx logs to Elasticsearch | Bravo Kernel
http://www.bravo-kernel.com/2014/12/setting-up-logstash-1-4-2-to-forward-nginx-logs-to-elasticsearch/

[Elasticsearch] 予備知識 – shardとreplica

2016年4月6日2016年4月9日 @84kure

Headプラグインでは数字の四角が画面に表示される。それらはshardとかreplicaを示してるらしい。何だそれ？

以下、予備知識として参考サイト。

Elasticsearchのshardとreplica – なんかかきたい
http://t-cyrill.hatenablog.jp/entry/2015/02/18/190310

elasticsearch シャードとか、インデックスとか – notebook
http://swfz.hatenablog.com/entry/2015/07/22/040354

Elasticsearch システム概要 — Hello! Elasticsearch. — Medium
https://medium.com/hello-elasticsearch/elasticsearch-afd52d72711#.mnapv5rm3

[Laravel] タスクスケジューリングを使って処理を自動実行する

2016年4月5日2016年4月9日 @84kure

ざっと実装手順を覚え書き。

コマンドの実装

$ php artisan make:console DailyUpdate --command="dailyupdate"
Console command created successfully.

1 2	$ php artisan make:console DailyUpdate --command="dailyupdate" Console command created successfully.

app\Console\Commands\DailyUpdate.php

class DailyUpdate extends Command
{
    /**
     * Execute the console command.
     *
     * @return mixed
     */
    public function handle()
    {
        echo 'hello';
    }
}

class DailyUpdate extends Command

{

/**

* Execute the console command.

* @return mixed

public function handle()

{

echo 'hello';

}

app\Console\Kernel.php

class Kernel extends ConsoleKernel
{
    /**
     * The Artisan commands provided by your application.
     *
     * @var array
     */
    protected $commands = [
        // Commands\Inspire::class,
        Commands\DailyUpdate::class,
   ];
}

class Kernel extends ConsoleKernel

{

/**

* The Artisan commands provided by your application.

* @var array

protected $commands = [

// Commands\Inspire::class,

Commands\DailyUpdate::class,

];

}

テスト

$ php artisan dailyupdate
hello

1 2	$ php artisan dailyupdate hello

スケジューリング

app\Console\Kernel.php

class Kernel extends ConsoleKernel
{
    /**
     * Define the application's command schedule.
     *
     * @param  \Illuminate\Console\Scheduling\Schedule  $schedule
     * @return void
     */
    protected function schedule(Schedule $schedule)
    {
        // $schedule->command('inspire')
        //          ->hourly();
        $schedule->command('dailyupdate')->dailyAt('00:05');
    }
}

class Kernel extends ConsoleKernel

{

/**

* Define the application's command schedule.

* @param \Illuminate\Console\Scheduling\Schedule $schedule

* @return void

protected function schedule(Schedule $schedule)

{

// $schedule->command('inspire')

// ->hourly();

$schedule->command('dailyupdate')->dailyAt('00:05');

}

あとはcronを設定する。

参考サイト

Task Scheduling – Laravel – The PHP Framework For Web Artisans
https://laravel.com/docs/master/scheduling

Laravel5でバッチ開発 | プログラミングメカブログ
http://blog.mekachan.net/?p=198

laravelでバッチ作ってcronで動かしてみた – Qiita
http://qiita.com/ritukiii/items/a70d89fa988b2d9afbc4