端くれプログラマの備忘録 – ページ 14 – 最近はウェブ系アプリ中心、あとWindowsアプリちょっと

[Unix] テキスト処理に役立つコマンド

2019年10月12日 @84kure

sed

【 sed 】コマンド（基礎編）――テキストファイルを編集する：Linux基本コマンドTips（53） – ＠IT
https://www.atmarkit.co.jp/ait/articles/1610/06/news021.html

sedでこういう時はどう書く? – Qiita
https://qiita.com/hirohiro77/items/7fe2f68781c41777e507

awk

【 awk 】コマンド（基本編）――テキストの加工とパターン処理を行う：Linux基本コマンドTips（115） – ＠IT
https://www.atmarkit.co.jp/ait/articles/1706/02/news017.html

テキストファイルの特定文字列の行から特定文字列の行までを抽出したい – Qiita
https://qiita.com/usamik26/items/9a2ca29ec30b6baf5280

tr

【 tr 】コマンド――テキストファイルの文字を置換する／削除する：Linux基本コマンドTips（52） – ＠IT
https://www.atmarkit.co.jp/ait/articles/1610/03/news017.html

linuxでファイルを複数行を一行にする方法 – Qiita
https://qiita.com/zhangxianghong/items/17cbb7ba8cd00337043a

wget

【 wget 】コマンド――URLを指定してファイルをダウンロードする：Linux基本コマンドTips（24） – ＠IT
https://www.atmarkit.co.jp/ait/articles/1606/20/news024.html

wget の出力をパイプで処理する: rootdown 情報セキュリティブログ
http://rootdown.cocolog-nifty.com/memo/2007/12/wget_6080.html

ハイフンを使った便利な標準入出力指定でのコマンドライン – Qiita
https://qiita.com/bami3/items/d67152d19aa8ac2d47de

[VirtualBox] ゲストOSのクロックを倍速にできるかも?

2019年10月5日 @84kure

前回のエントリで、アプリのテストのためにゲストOSに未来の時刻を設定する方法を記した。

テストのための別の方法として、ゲストOSのクロックを速めることができないか模索した。例えばクロックを60倍にできれば、実世界で1秒経過したらシステム上は60秒経過したことになる。その環境なら、60分毎に実行されるクローンジョブは1分毎に実行できる。本当に60分待ったり、システム時刻を手動で進めたりする必要が無い。このアイデアは、以前に携わった組み込み案件でクロックから時刻を生成する処理をいじって、経過テストの時間短縮をした経験からきている。

調べたところ、どうやらVirtualBoxでは時間経過を速めることができるらしい。今回は実際には自分で試すところまでいかなかったが、また必要になったときに役立ちそうなリンクがあったので覚書リンク。

Time Warp in VirtualBox
https://esmithy.net/2016/03/05/time-warp-in-virtualbox/

virtualbox.org • View topic – Speed up System-Clock for Realtime-Simulation
https://forums.virtualbox.org/viewtopic.php?f=1&t=28949

virtualbox.org • View topic – Hardware/system clock speed.
https://forums.virtualbox.org/viewtopic.php?f=6&t=46843

How to Speed Up VirtualBox | Chron.com
https://smallbusiness.chron.com/speed-up-virtualbox-69519.html

[Vagrant] ホストOSとの時刻同期を解除してゲストOSの時刻を変更する

2019年10月5日 @84kure

ホストOSの時刻をいじってテストしたいことがある。例えばECサイト開発で注文をいくつか作成しておいて、システム時刻を翌月1日に変更してから月末集計を実行するといった場合。だけど、VagrantのゲストOSでスーパーバイザー権限でdateコマンドを使って時刻を変更するも、瞬時に現在の時刻に戻ってしまう。調べてみると、VagrantではゲストOSとホストOSで時刻を同期する機能が動作しているらしい。

この同期機能を解除しなければテストができない。ネットを検索すると同じことを試みた事例が多く見つかるが、紹介されている手順に倣っても自分の環境ではうまくいかない(ホストOSとの時刻同期が無効にならない)。

いろんな記事を頼りに試行錯誤した結果、Windowsマシンで成功する手順を導けたので覚書き。

WindowsのCommand Promptから

> cd C:\Program Files\Oracle\VirtualBox
> VBoxManage setextradata homestead "VBoxInternal/Devices/VMMDev/0/Config/GetHostTimeDisabled" 1
> VBoxManage setextradata homestead "VBoxInternal/TM/TSCTiedToExecution" 1

> cd C:\Program Files\Oracle\VirtualBox

> VBoxManage setextradata homestead "VBoxInternal/Devices/VMMDev/0/Config/GetHostTimeDisabled" 1

> VBoxManage setextradata homestead "VBoxInternal/TM/TSCTiedToExecution" 1

Bashから

$ vagrant up
$ vagrant ssh

1 2	$ vagrant up $ vagrant ssh

$ sudo service vboxadd-service stop
$ sudo /usr/sbin/VBoxService --disable-timesync
$ sudo service vboxadd-service start

$ sudo service vboxadd-service stop

$ sudo /usr/sbin/VBoxService --disable-timesync

$ sudo service vboxadd-service start

参考サイト

VirtualBox – VirtualBoxでの設定変更によるLaravel homesteadでの時刻変更｜teratail
https://teratail.com/questions/170918

virtual machine – Is it possible to get a Virtualbox VM always start from same time, if so how? – Super User
https://superuser.com/questions/742924/is-it-possible-to-get-a-virtualbox-vm-always-start-from-same-time-if-so-how

VirtualBox のホストとゲストの時刻同期をする・しない | digitalbox
https://digitalbox.jp/virtualbox-guest-sync-time-host/

[Unix] curlでHTTPのプロトコルを指定する

2019年10月5日 @84kure

HTTPのプロトコルを指定してウェブサイトにアクセスしたければcurlが役立つ。

curl [options] URL...

1	curl [options] URL...

-0
–http1.0
HTTP 1.0でリクエストする。

–http1.1
HTTP 1.1でリクエストする。（デフォルト）

–http2
HTTP 2でリクエストする。

参考サイト

curl – さまざまな通信プロトコルでデータを転送するコマンドラインツール
http://itref.fc2web.com/unix/command/curl.html

[Unix] curlコマンドの使い方 – 端くれプログラマの備忘録
https://www.84kure.com/blog/2015/06/19/unix-curl%e3%82%b3%e3%83%9e%e3%83%b3%e3%83%89%e3%81%ae%e4%bd%bf%e3%81%84%e6%96%b9/

[Laravel] HomesteadでPHPのバージョンを変えてPhanを動かす

2019年10月5日 @84kure

PHP 7.3の環境でPhanを動くようにしたんだけど、

$ php73
$ ./vendor/bin/phan -v
Phan 2.2.3

$ php73

$ ./vendor/bin/phan -v

Phan 2.2.3

PHPのバージョンを変えたらPhanが動かなくなる。

$ php71
$ ./vendor/bin/phan -v
PHP Warning: PHP Startup: Unable to load dynamic library '/usr/lib/php/20160303/ast.so' - /usr/lib/php/20160303/ast.so: cannot open shared object file: No such file or directory in Unknown on line 0

$ php71

$ ./vendor/bin/phan -v

PHP Warning: PHP Startup: Unable to load dynamic library '/usr/lib/php/20160303/ast.so' - /usr/lib/php/20160303/ast.so: cannot open shared object file: No such file or directory in Unknown on line 0

その理由はastがPHPの特定バージョン用にインストールされているため。astをインストールし直せば解決する。

$ sudo pecl uninstall ast
$ sudo pecl install ast
$ ./vendor/bin/phan -v
Phan 2.2.3

$ sudo pecl uninstall ast

$ sudo pecl install ast

$ ./vendor/bin/phan -v

Phan 2.2.3

[Apache] mod_rewiteの書き方の例

2019年10月5日 @84kure

たまにしか書かないので、必要な時にはいつも書き方忘れてる。なので、よく使いそうな書き方を参考サイトから拾って覚書き。

# index.phpなら何もしないで完了
RewriteRule ^index\.php$ - [L]
# ファイルが存在しない
RewriteCond %{REQUEST_FILENAME} !-f
# かつ、ディレクトリが存在しない
RewriteCond %{REQUEST_FILENAME} !-d
# どんなリクエストでも/hoge/index.phpへ置換して完了
RewriteRule . /hoge/index.php [L]

# index.phpなら何もしないで完了

RewriteRule ^index\.php$ - [L]

# ファイルが存在しない

RewriteCond %{REQUEST_FILENAME} !-f

# かつ、ディレクトリが存在しない

RewriteCond %{REQUEST_FILENAME} !-d

# どんなリクエストでも/hoge/index.phpへ置換して完了

RewriteRule . /hoge/index.php [L]

# httpsじゃなくて
RewriteCond %{HTTPS} off
# foo.htmlへのアクセスならば404
RewriteRule ^foo\.html$ - [R=404,L]

# httpsじゃなくて

RewriteCond %{HTTPS} off

# foo.htmlへのアクセスならば404

RewriteRule ^foo\.html$ - [R=404,L]

# aaa/bbb/index.htmlの形式の場合
# %1=aaa
# %2=bbb
RewriteCond %{REQUEST_FILENAME} ^(.*)/(.*)/index.html$
# $1=bbb
# $2=index.html
# aaaがexならば/bbb/ex/index.htmlに置換される
RewriteRule ^/ex/(.*)/(.*)$ /$1/%1/$2

# aaa/bbb/index.htmlの形式の場合

# %1=aaa

# %2=bbb

RewriteCond %{REQUEST_FILENAME} ^(.*)/(.*)/index.html$

# $1=bbb

# $2=index.html

# aaaがexならば/bbb/ex/index.htmlに置換される

RewriteRule ^/ex/(.*)/(.*)$ /$1/%1/$2

# *.amazonaws.comからのアクセス
# [NC] 大小文字区別なし
RewriteCond %{REMOTE_HOST} "^.*\.amazonaws\.com" [NC]
# リファラが無い
RewriteCond %{HTTP_REFERER} ^$
# Accept-Languageがen-us
RewriteCond %{HTTP:Accept-Language} "^en-us" [NC]
# [F] 403(Fobidden)を返す
RewriteRule ^.*$ - [F,L]

# *.amazonaws.comからのアクセス

# [NC] 大小文字区別なし

RewriteCond %{REMOTE_HOST} "^.*\.amazonaws\.com" [NC]

# リファラが無い

RewriteCond %{HTTP_REFERER} ^$

# Accept-Languageがen-us

RewriteCond %{HTTP:Accept-Language} "^en-us" [NC]

# [F] 403(Fobidden)を返す

RewriteRule ^.*$ - [F,L]

参考サイト

[Apache] mod_rewriteの使い方・.htaccessでリダイレクトする | Ago Hack
https://agohack.com/mod_rewrite_rule_cond_base/

mod_rewriteで特定のアクセスを拒否する＋mod_rewriteの再整理 – Qiita
https://qiita.com/kite_999/items/a169484c3134b91d37e9

Apacheのmod_rewriteモジュールの使い方を徹底的に解説 | OXY NOTES
https://oxynotes.com/?p=7392

全てのWeb担に捧げるRewrite設定集 | TECHSCORE BLOG
https://www.techscore.com/blog/2014/12/16/%E5%85%A8%E3%81%A6%E3%81%AEweb%E6%8B%85%E3%81%AB%E6%8D%A7%E3%81%92%E3%82%8Bwrite%E8%A8%AD%E5%AE%9A%E9%9B%86/

Mod_Rewrite Variables Cheatsheet
https://www.askapache.com/htaccess/mod_rewrite-variables-cheatsheet/

[Laravel] Homesteadの自己証明書を信頼する

2019年10月5日 @84kure

HomesteadではSSL証明書を自由に作成することができるが、自己証明書ゆえにブラウザからERR_CERT_AUTHORITY_INVALIDの警告(というより、もはやエラーか)が発せられる。自分で作った証明書だもの信頼できるのはわかっているので、警告が出ないように開発環境をセットアップしてみる。

証明書の情報を見ると、発行元がHomestead homestead Root CAとなっている。開発環境において、これを信頼されたルート証明機関に含めてやれば良さそうだ。ネットを探したら分かりやすく手順を説明した参考サイトがあったので、その手順に倣って進める。

まずはHomestead仮想環境を立ち上げて、以下のルート証明書をホストOS(Windows)側にコピーしてくる。

/etc/nginx/ssl/ca.homestead.homestead.crt

1	/etc/nginx/ssl/ca.homestead.homestead.crt

コピーしたファイルをWindows上でダブルクリックすると証明書が開くので、[Import Certificate…]ボタンをクリックする。

すると、Certificate Import Wizardが起動されるので、[Current User]を選んで[Next]ボタンをクリックする。

[Place all certificates in the following store]を選択し、[Browse…]ボタンをクリックする。

[Select Certificate Store]ダイアログで、[Trusted Root Certification Authorities]を選択して[OK]ボタンをクリックする。

[Certificate store:]に[Trusted Root Certification Authorities]が選ばれていることを確認して[Next]ボタンをクリックする。

確認画面を確認して[Finish]ボタンをクリックする。

セキュリティ警告が表示されたら[Yes]ボタンをクリックする。

完了すると以下のメッセージボックスが表示される。完了したらHomesteadからコピーしてきた証明書ファイルは削除しておく。

参考サイト

2019版 Laravel Homestead セットアップからhttpsによるアクセス手順まで – hrendoh’s tech memo
https://blog.hrendoh.com/setup-laravel-homestead-2019/#hosts

ssl – How to get https certificate working on local Laravel Homestead site – Stack Overflow
https://stackoverflow.com/questions/48969083/how-to-get-https-certificate-working-on-local-laravel-homestead-site/49612084#49612084

[Laravel] HomesteadでMailhogを使う

2019年10月5日2019年10月5日 @84kure

Homesteadには開発者向けのメールのテストツールが含まれている。Mailhogを使うと、送信メールを簡単にキャッチして、実際にそれを受信者宛てに送信することなく内容を精査することができる。

Laravel Homestead – Laravel – The PHP Framework For Web Artisans
https://laravel.com/docs/5.8/homestead#configuring-mailhog

Mailhogを利用するには.envに以下のメール設定を記述する。

MAIL_DRIVER=smtp
MAIL_HOST=localhost
MAIL_PORT=1025
MAIL_USERNAME=null
MAIL_PASSWORD=null
MAIL_ENCRYPTION=null

MAIL_DRIVER=smtp

MAIL_HOST=localhost

MAIL_PORT=1025

MAIL_USERNAME=null

MAIL_PASSWORD=null

MAIL_ENCRYPTION=null

以下のURLにアクセスすれば、Mailhogダッシュボードで送信メールをチェックすることができる。

http://localhost:8025/

1	http://localhost:8025/

[Unix] identify – 画像ファイルの情報を表示する

2019年9月14日2019年9月14日 @84kure

identifyはImageMagicに同梱されているコマンドラインツール。画像ファイルの様々な情報を表示してくれる。

Homesteadで使いたかったのでインストール。

$ sudo apt-get -y install imagemagick
$ identify -version
Version: ImageMagick 6.9.7-4 Q16 x86_64 20170114 http://www.imagemagick.org
Copyright: © 1999-2017 ImageMagick Studio LLC
License: http://www.imagemagick.org/script/license.php
Features: Cipher DPC Modules OpenMP
Delegates (built-in): bzlib djvu fftw fontconfig freetype jbig jng jpeg lcms lqr ltdl lzma openexr pangocairo png tiff wmf x xml zlib

$ sudo apt-get -y install imagemagick

$ identify -version

Version: ImageMagick 6.9.7-4 Q16 x86_64 20170114 http://www.imagemagick.org

License: http://www.imagemagick.org/script/license.php

Features: Cipher DPC Modules OpenMP

Delegates (built-in): bzlib djvu fftw fontconfig freetype jbig jng jpeg lcms lqr ltdl lzma openexr pangocairo png tiff wmf x xml zlib

参考サイト

ImageMagick – Command-line Tools: Identify
https://imagemagick.org/script/identify.php

identifyコマンドの使い方: UNIX/Linuxの部屋
http://x68000.q-e-d.net/~68user/unix/pickup?identify

UbuntuにImageMagickをインストールする – Linuxプログラミング環境インストール物語
https://pcl.solima.net/archives/716

[C#] 有効なネットワークアダプタのMACアドレス取得

2019年9月14日 @84kure

using System;
using System.Collections.Generic;

using System.Net;
using System.Net.NetworkInformation;
using System.Net.Sockets;

List<PhysicalAddress> GetPhysicalAddresses()
{
    var macAddresses = new List<PhysicalAddress>();
    var interfaces = NetworkInterface.GetAllNetworkInterfaces();

    foreach (var adapter in interfaces)
    {
        if (adapter.OperationalStatus == OperationalStatus.Up)
        {
            //Console.WriteLine(adapter.Description);
            //Console.WriteLine(adapter.GetPhysicalAddress().ToString());

            macAddresses.Add(adapter.GetPhysicalAddress());
        }
    }
    return macAddresses;
}

using System;

using System.Collections.Generic;

using System.Net;

using System.Net.NetworkInformation;

using System.Net.Sockets;

List<PhysicalAddress> GetPhysicalAddresses()

{

var macAddresses = new List<PhysicalAddress>();

var interfaces = NetworkInterface.GetAllNetworkInterfaces();

foreach (var adapter in interfaces)

{

if (adapter.OperationalStatus == OperationalStatus.Up)

{

//Console.WriteLine(adapter.Description);

//Console.WriteLine(adapter.GetPhysicalAddress().ToString());

macAddresses.Add(adapter.GetPhysicalAddress());

}

return macAddresses;

}