@84kure – ページ 34 – 端くれプログラマの備忘録

[ソフト] Brackets – Adobeが出資するオープンソースのエディタ

2017年7月25日2017年7月24日 @84kure

手元のMacに入れてみた。無料のエディタを探している人は試してみたらいい。

Brackets – A modern, open source code editor that understands web design.
http://brackets.io/

Brackets was founded by Adobe as a community guided, open source project to push web development editors to the next level. Brackets is released under the MIT License.

[Mac] 余計なお世話のスマート引用を無効化する

2017年7月24日 @84kure

設定で無効化できるとは言え、デフォルトで無効にしておいて欲しいよね。

MacでEvernoteを使うときにダブルクォーテーション(“)を勝手に変換させない設定 | vdeep
http://vdeep.net/mac-evernote-double-quotation

Evernote、今度はスマート引用符でトラブル!?｜ささびず　中小企業診断士佐々木孝のビジネスサイト
http://sasakitakashi.biz/2015/01/13/smart-quotation-were-the-causes-of-the-trouble-by-evernote/

Evernote、全角マイナスへの変換を防ぐ方法｜ささびず　中小企業診断士佐々木孝のビジネスサイト
http://sasakitakashi.biz/2013/11/20/method-to-prevent-conversion-to-full-size-minus-in-evernote/

MacのEvernoteでダブルクオート(“)ががってに変換されるのを防ぐ – Qiita
http://qiita.com/katamuki/items/2f3b2130a210011845ae

[MySQL] gz圧縮されたmysqlのdumpをリストア

2017年7月23日2017年7月24日 @84kure

サーバー上の空きストレージが不足しているときに仕えるテク。

$ zcat backup.sql.gz | mysql -uroot -p dbname

1	$ zcat backup.sql.gz \| mysql -uroot -p dbname

gz圧縮されたmysqlのdumpをリストア – Qiita
http://qiita.com/tukiyo3/items/84af71c5b1951a2c18e3

[MySQL] MySQLのテーブル定義をExcelに出力する

2017年7月22日2017年7月20日 @84kure

今参加している案件はドキュメントがほとんどない。そう不満をこぼしてばかりでは先に進まないので、自力でドキュメントを作り始めよう。テーブル数が多いので、このソフト見つけたときには少し震えた。

A5:SQL Mk-2 – フリーの汎用SQL開発ツール/ER図ツール .. 松原正和
http://a5m2.mmatsubara.com/

A5:SQL Mk-2 でMySQLのテーブル定義をExcelに出力する
https://usortblog.com/a5-sql-mk-2/

[MySQL] テーブル定義だけエクスポートするには

2017年7月21日2017年7月21日 @84kure

-d オプションを指定する。

$ mysqldump -u user dbname -d test.sql

1	$ mysqldump -u user dbname -d test.sql

[Laravel] インデックスするデータを絞り込む (Laravel Scout)

2017年7月20日2017年7月20日 @84kure

デフォルトだとSearchableなModelの全カラムがインデックスされる。

インデックスしたくないカラムがある場合はSearchableのtoSearchableArray()を上書きして、リターンされる配列からそのカラムのデータを除外すれば良いらしい。

namespace App;

use Illuminate\Database\Eloquent\Model;
use Laravel\Scout\Searchable;

class Article extends Model
{
  use Searchable;

  /**
  * Get the indexable data array for the model.
  *
  * @return array
  */
  public function toSearchableArray()
  {
  $array = $this->toArray();

  // Customize array...
  unset($array['id']);
  unset($array['image1']);
  unset($array['image2']);
  unset($array['image3']);
  unset($array['published_on']);
  unset($array['created_at']);
  unset($array['updated_at']);

  return $array;
  }

  protected $fillable = ['image1', 'image2', 'image3', 'title', 'description', 'published_on'];
  protected $dates = ['published_on'];
}

namespace App;

use Illuminate\Database\Eloquent\Model;

use Laravel\Scout\Searchable;

class Article extends Model

{

use Searchable;

/**

* Get the indexable data array for the model.

* @return array

public function toSearchableArray()

{

$array = $this->toArray();

// Customize array...

unset($array['id']);

unset($array['image1']);

unset($array['image2']);

unset($array['image3']);

unset($array['published_on']);

unset($array['created_at']);

unset($array['updated_at']);

return $array;

}

protected $fillable = ['image1', 'image2', 'image3', 'title', 'description', 'published_on'];

protected $dates = ['published_on'];

}

参考サイト

Laravel Scout – Laravel – The PHP Framework For Web Artisans
https://laravel.com/docs/5.4/scout#configuration

[Laravel] ElasticSearchとLaravel Scoutで全文検索 (3) – Kuromojiセットアップ

2017年7月19日2021年9月4日 @84kure

Kuromojiは日本語の形態素解析ライブラリ。これ無しだと、日本語が分かち書きされない状態でインデックス化されてしまうので、日本語の単語で全文しようとしてもうまくヒットしないのだろうと想像する。

Kuromojiに関しては以下の説明が明るい。

Elasticsearchを日本語で使う設定のまとめ – Qiita
http://qiita.com/shin_hayata/items/41c07923dbf58f13eec4

Kuromojiのインストール

kuromoji – japanese morphological analyzer
http://www.atilika.org/

Japanese (kuromoji) Analysis Plugin | Elasticsearch Plugins and Integrations [5.5] | Elastic
https://www.elastic.co/guide/en/elasticsearch/plugins/current/analysis-kuromoji.html

ElasticSearch同梱のユーティリティを使ってインストールする。

$ cd /usr/share/elasticsearch
$ sudo bin/elasticsearch-plugin install analysis-kuromoji
$ sudo bin/elasticsearch-plugin install analysis-icu

$ cd /usr/share/elasticsearch

$ sudo bin/elasticsearch-plugin install analysis-kuromoji

$ sudo bin/elasticsearch-plugin install analysis-icu

Kuromojを設定する

公式サイトを眺めてみたんだけど、はっきりと「設定はコレ」みたいな記事がない。

以下の記事がちょっと古いんだけど設定ファイルの記述があったのでなぞってみる。

Elasticsearch に kuromoji を入れて日本語全文検索をする – Qiita
http://qiita.com/mserizawa/items/8335d39cacb87f12b678

$ vi config/elasticsearch.yml
index.analysis.analyzer.default.type: custom
index.analysis.analyzer.default.tokenizer: kuromoji_tokenizer

$ vi config/elasticsearch.yml

index.analysis.analyzer.default.type: custom

index.analysis.analyzer.default.tokenizer: kuromoji_tokenizer

設定ファイル編集してElasticSeachを再起動したらログにエラーが出た。

*************************************************************************************
Found index level settings on node level configuration.

Since elasticsearch 5.x index level settings can NOT be set on the nodes
configuration like the elasticsearch.yaml, in system properties or command line
arguments.In order to upgrade all indices the settings must be updated via the
/${index}/_settings API. Unless all settings are dynamic all indices must be closed
in order to apply the upgradeIndices created in the future should use index templates
to set default values.

Please ensure all required values are updated on all indices by executing:

curl -XPUT 'http://localhost:9200/_all/_settings?preserve_existing=true' -d '{
"index.analysis.analyzer.default.tokenizer" : "kuromoji_tokenizer",
"index.analysis.analyzer.default.type" : "custom"
}'
*************************************************************************************

*************************************************************************************

Found index level settings on node level configuration.

Since elasticsearch 5.x index level settings can NOT be set on the nodes

configuration like the elasticsearch.yaml, in system properties or command line

arguments.In order to upgrade all indices the settings must be updated via the

/${index}/_settings API. Unless all settings are dynamic all indices must be closed

in order to apply the upgradeIndices created in the future should use index templates

to set default values.

Please ensure all required values are updated on all indices by executing:

curl -XPUT 'http://localhost:9200/_all/_settings?preserve_existing=true' -d '{

"index.analysis.analyzer.default.tokenizer" : "kuromoji_tokenizer",

"index.analysis.analyzer.default.type" : "custom"

*************************************************************************************

API経由でインデックスごとに設定しろということらしい。

インデックスの変更前にはインデックスを一旦クローズする必要がある。そして設定を変更してから、インデックスを再度オープンすることで、新しい設定でインデックスが使えるようになる。これ少しハマったので以下記事を覚書リンク。

elasticsearch – error when trying to update the settings – Stack Overflow
https://stackoverflow.com/questions/19758335/error-when-trying-to-update-the-settings

$ curl -XPOST 'localhost:9200/scout/_close'
$ curl -XPUT 'http://localhost:9200/scout/_settings?preserve_existing=true' -d '{
  "index.analysis.analyzer.default.tokenizer" : "kuromoji_tokenizer",
  "index.analysis.analyzer.default.type" : "custom"
}'
$ curl -XPOST 'localhost:9200/scout/_open'

$ curl -XPOST 'localhost:9200/scout/_close'

$ curl -XPUT 'http://localhost:9200/scout/_settings?preserve_existing=true' -d '{

"index.analysis.analyzer.default.tokenizer" : "kuromoji_tokenizer",

"index.analysis.analyzer.default.type" : "custom"

$ curl -XPOST 'localhost:9200/scout/_open'

これで設定が変わったので、古い設定のまま作成されているインデックスをいったん削除する。

$ curl -X DELETE http://localhost:9200/scout

1	$ curl -X DELETE http://localhost:9200/scout

再び記事をElasticSearchに流し込む。

$ php artisan scout:import "App\Article"

1	$ php artisan scout:import "App\Article"

インデックスのサイズを比べてみる。Kuromoji追加前のインデックスは記事12件で183KB。

$ curl -X GET http://localhost:9200/_cat/indices?v
health status index uuid pri rep docs.count docs.deleted store.size pri.store.size
yellow open scout PN7wNd5iRga8pqmc9nj0VA 5 1 12 0 183kb 183kb

$ curl -X GET http://localhost:9200/_cat/indices?v

health status index uuid pri rep docs.count docs.deleted store.size pri.store.size

yellow open scout PN7wNd5iRga8pqmc9nj0VA 5 1 12 0 183kb 183kb

Kuromoji追加後のインデックスは記事12件で292.9KB。

$ curl -X GET http://localhost:9200/_cat/indices?v
health status index uuid pri rep docs.count docs.deleted store.size pri.store.size
yellow open scout PN7wNd5iRga8pqmc9nj0VA 5 1 12 0 292.9kb 292.9kb

$ curl -X GET http://localhost:9200/_cat/indices?v

health status index uuid pri rep docs.count docs.deleted store.size pri.store.size

yellow open scout PN7wNd5iRga8pqmc9nj0VA 5 1 12 0 292.9kb 292.9kb

形態素解析により日本語が分かち書きされてインデックスされた結果だろう。

日本語の単語で検索したら今度はちゃんとヒットした。良さげ。

[Laravel] ElasticSearchとLaravel Scoutで全文検索 (2) – Laravel Scoutセットアップ

2017年7月18日2021年9月4日 @84kure

ElasticSearchのセットアップができたので、ここからはLaravel側のセットアップ。

Laravel Scountの組み込み

Laravel Scout – Laravel – The PHP Framework For Web Artisans
https://laravel.com/docs/5.4/scout

Laravel Scout Elasticsearch Driver
https://github.com/ErickTamayo/laravel-scout-elastic

$ composer require laravel/scout
$ composer require tamayo/laravel-scout-elastic
$ composer require elasticsearch/elasticsearch

$ vi config/app.php
Laravel\Scout\ScoutServiceProvider::class,
ScoutEngines\Elasticsearch\ElasticsearchProvider::class,

$ php artisan vendor:publish --provider="Laravel\Scout\ScoutServiceProvider"

$ composer require laravel/scout

$ composer require tamayo/laravel-scout-elastic

$ composer require elasticsearch/elasticsearch

$ vi config/app.php

Laravel\Scout\ScoutServiceProvider::class,

ScoutEngines\Elasticsearch\ElasticsearchProvider::class,

$ php artisan vendor:publish --provider="Laravel\Scout\ScoutServiceProvider"

$ vi app/Article.php
<?php

namespace App;

use Illuminate\Database\Eloquent\Model;
use Laravel\Scout\Searchable;

class Article extends Model
{
  use Searchable;

  protected $fillable = ['title', 'description', 'tags', 'published_on'];
  protected $dates = ['published_on'];
}

$ vi app/Article.php

<?php

namespace App;

use Illuminate\Database\Eloquent\Model;

use Laravel\Scout\Searchable;

class Article extends Model

{

use Searchable;

protected $fillable = ['title', 'description', 'tags', 'published_on'];

protected $dates = ['published_on'];

}

$ vi config/scout.php
//'driver' => env('SCOUT_DRIVER', 'algolia'),
'driver' => env('SCOUT_DRIVER', 'elasticsearch'),

'elasticsearch' => [
  'index' => env('ELASTICSEARCH_INDEX', 'laravel'),
  'config' => [
    'hosts' => [
     env('ELASTICSEARCH_HOST', 'localhost'),
    ],
  ],
],

$ vi config/scout.php

//'driver' => env('SCOUT_DRIVER', 'algolia'),

'driver' => env('SCOUT_DRIVER', 'elasticsearch'),

'elasticsearch' => [

'index' => env('ELASTICSEARCH_INDEX', 'laravel'),

'config' => [

'hosts' => [

env('ELASTICSEARCH_HOST', 'localhost'),

$ vi .env
ELASTICSEARCH_INDEX=scout
ELASTICSEARCH_HOST=http://localhost:9200

$ vi .env

ELASTICSEARCH_INDEX=scout

ELASTICSEARCH_HOST=http://localhost:9200

これでセットアップは完了。

ElasticSearchへ既存データ注入

公式ドキュメントで説明されている通り、Laravel Scoutを組み込んだ状態だと、Eloquentでレコード追加/更新/削除を行うとElasticSearchも併せて更新されるようになる。しかし、ElasticSearch組み込み時点で既に存在するレコードは手動でElasticSearchに流し込まないといけない。

というわけで、既存レコードをElasticSearchに流し込む。

$ php artisan scout:import "App\Article"
Imported [App\Article] models up to ID: 12
All [App\Article] records have been imported.

$ php artisan scout:import "App\Article"

Imported [App\Article] models up to ID: 12

All [App\Article] records have been imported.

ElasticSearchのインデックスを確認。

$ curl -X GET http://localhost:9200/_cat/indices?v
health status index uuid pri rep docs.count docs.deleted store.size pri.store.size
yellow open scout PN7wNd5iRga8pqmc9nj0VA 5 1 12 0 292.9kb 292.9kb

$ curl -X GET http://localhost:9200/_cat/indices?v

health status index uuid pri rep docs.count docs.deleted store.size pri.store.size

yellow open scout PN7wNd5iRga8pqmc9nj0VA 5 1 12 0 292.9kb 292.9kb

コントローラから検索してみる

$articles = Article::search($str)->get();

1	$articles = Article::search($str)->get();

記事本文に含まれる日本語の単語を入れてみると、検索されるものあり、されないものあり。どうも挙動がおかしい。おそらく日本語の処理が上手くいっていないのだろう。

Kuromojiのセットアップへ続く。

[Laravel] ElasticSearchとLaravel Scoutで全文検索 (1) – ElasticSearchセットアップ

2017年7月17日2021年9月4日 @84kure

Laravel Scoultは、Laravelにフルテキスト検索機能を追加するパッケージ。

Laravel Scout – Laravel – The PHP Framework For Web Artisans
https://laravel.com/docs/5.4/scout

その検索エンジンにはデフォルトでAlgoliaが選ばれている。

Algolia | The Most Reliable Platform for Building Search
https://www.algolia.com/

AlgoliaはサーチAPIを提供する商用サービス。無償プランもあるけど、レコード上限は1万件、オペレーション上限は月間10万件に制限されている。自分が今やっている実験ではレコード件数がすでに6万件を超えているので無償プランは使えない。かといって、自腹で有償プランを契約できる予算は無い。

Laravel Scoutはドライバを書くことで異なる検索エンジンを接続できるようになっている。オープンソースのフルテキスト検索エンジンと言えばElasticSearch。調べてみると、Laravel ScoultのElastric Searchドライバがすでに存在した。

Laravel Scout Elasticsearch Driver
https://github.com/ErickTamayo/laravel-scout-elastic

セットアップ手順を説明している記事も見つかった。

Basic Search Functionality with ElasticSearch & Laravel Scout
https://medium.com/@samogorm/basic-search-functionality-with-elasticsearch-laravel-scout-6ac182c99cbf

この記事をなぞって、自分のLaravelプロジェクトにElasticSearch+Laravel Scoutによる全文検索機能を追加してみたい。いきなり本番サーバーに適用するのは怖いので、ローカルのHomestead(Ubuntu)で試してみる。

まずは以下の下準備を行う。

Prerequisites

Basic Knowledge of Laravel
You have Laravel 5.3 installed
The latest Java version is installed to your machine
You have installed ElasticSearch to your machine
You have ElasticSearch running a http://localhost:9200

Javaのインストール

Linuxmania:apt-getでJavaをインストールしよう (Ubuntu)
https://www.linuxmania.jp/apt-install-java.html

$ sudo apt-get update
$ sudo apt-get install default-jre
$ java -version
openjdk version "1.8.0_131"
OpenJDK Runtime Environment (build 1.8.0_131-8u131-b11-0ubuntu1.16.04.2-b11)
OpenJDK 64-Bit Server VM (build 25.131-b11, mixed mode)

$ sudo apt-get update

$ sudo apt-get install default-jre

$ java -version

openjdk version "1.8.0_131"

OpenJDK Runtime Environment (build 1.8.0_131-8u131-b11-0ubuntu1.16.04.2-b11)

OpenJDK 64-Bit Server VM (build 25.131-b11, mixed mode)

ElasticSearchのインストール

Installing Elasticsearch | Elasticsearch Reference [5.5] | Elastic
https://www.elastic.co/guide/en/elasticsearch/reference/current/install-elasticsearch.html

$ wget -qO - https://artifacts.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add -
$ sudo apt-get install apt-transport-https
$ echo "deb https://artifacts.elastic.co/packages/5.x/apt stable main" | sudo tee -a /etc/apt/sources.list.d/elastic-5.x.list
$ sudo apt-get update
$ sudo apt-get install elasticsearch

$ wget -qO - https://artifacts.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add -

$ sudo apt-get install apt-transport-https

$ echo "deb https://artifacts.elastic.co/packages/5.x/apt stable main" | sudo tee -a /etc/apt/sources.list.d/elastic-5.x.list

$ sudo apt-get update

$ sudo apt-get install elasticsearch

$ sudo /etc/init.d/elasticsearch start
[ ok ] Starting elasticsearch (via systemctl): elasticsearch.service.

1 2	$ sudo /etc/init.d/elasticsearch start [ ok ] Starting elasticsearch (via systemctl): elasticsearch.service.

$ curl http://localhost:9200
{
  "name" : "zbu9NHN",
  "cluster_name" : "elasticsearch",
  "cluster_uuid" : "VVI6hazgQB2dssfD3kQQeQ",
  "version" : {
    "number" : "5.5.0",
    "build_hash" : "260387d",
    "build_date" : "2017-06-30T23:16:05.735Z",
    "build_snapshot" : false,
    "lucene_version" : "6.6.0"
  },
  "tagline" : "You Know, for Search"
}

$ curl http://localhost:9200

{

"name" : "zbu9NHN",

"cluster_name" : "elasticsearch",

"cluster_uuid" : "VVI6hazgQB2dssfD3kQQeQ",

"version" : {

"number" : "5.5.0",

"build_hash" : "260387d",

"build_date" : "2017-06-30T23:16:05.735Z",

"build_snapshot" : false,

"lucene_version" : "6.6.0"

"tagline" : "You Know, for Search"

}

ElasticSearchが動いたので、Laravel Scoutの組み込みに続く。

[PHP] PhantomJSを使ってJavaScriptでレンダリングされるページをスクレイピングする

2017年7月16日2017年7月15日 @84kure

サーバーサイドでクローンを使っていくつかのサイトを定期的にスクレイピングしているのだけど、新たに追加するサイトがAngularJSで書かれているようで、file_get_contents関数などではHTMLを取得できないことがわかった。さてどうするか。

ヘッドレスブラウザのPhantomJSを使えば、JavaScriptでレンダリングされた結果のHTMLをサーバーサイドでも取得できそうだ。PHP PhantomJSというPHPのインタフェースも公開されているようなので、LaravelのCommandとして実装してみる。

PhantomJSのセットアップ

PhantomJS | PhantomJS
http://phantomjs.org/

Linux 64-bitをダウンロードして bin ディレクトリに格納。

$ curl -L -O https://bitbucket.org/ariya/phantomjs/downloads/phantomjs-2.1.1-linux-x86_64.tar.bz2
$ tar jxf phantomjs-2.1.1-linux-x86_64.tar.bz2
$ cp -p phantomjs-2.1.1-linux-x86_64/bin/phantomjs bin/phantomjs

$ curl -L -O https://bitbucket.org/ariya/phantomjs/downloads/phantomjs-2.1.1-linux-x86_64.tar.bz2

$ tar jxf phantomjs-2.1.1-linux-x86_64.tar.bz2

$ cp -p phantomjs-2.1.1-linux-x86_64/bin/phantomjs bin/phantomjs

動作確認

$ bin/phantomjs
phantomjs> ←プロンプトが表示されればOK

1 2	$ bin/phantomjs phantomjs> ←プロンプトが表示されればOK

PHP PhantomJS

GitHub – jonnnnyw/php-phantomjs: Execute PhantomJS commands through PHP

https://github.com/jonnnnyw/php-phantomjs

$ composer require "jonnyw/php-phantomjs:4.*"

1	$ composer require "jonnyw/php-phantomjs:4.*"

コーディング

以下のサイトのサンプルを拝借してテスト。

PHP PhantomJS を使ってPHPでヘッドレスブラウジング | QUARTETCOM TECH BLOG
http://tech.quartetcom.co.jp/2016/04/07/php-phantomjs/

use JonnyW\PhantomJs\Client;

$client = Client::getInstance();

$request = $client->getMessageFactory()->createRequest();
$response = $client->getMessageFactory()->createResponse();

$url = 'file:///path/to/hello_phantomjs.html';$request->setUrl($url);

$client->send($request, $response);
echo $response->getContent();

use JonnyW\PhantomJs\Client;

$client = Client::getInstance();

$request = $client->getMessageFactory()->createRequest();

$response = $client->getMessageFactory()->createResponse();

$url = 'file:///path/to/hello_phantomjs.html';$request->setUrl($url);

$client->send($request, $response);

echo $response->getContent();

動いた。