端くれプログラマの備忘録 – ページ 111 – 最近はウェブ系アプリ中心、あとWindowsアプリちょっと

[PHP] お手軽にTwitter botを作る

2014年8月24日2021年9月4日 @84kure

定型文をツイートするTwitter botが必要になったので作る。以下覚え書き。

Twitter botとは

ボット（bot）とは

Twitter の機能を使って作られた、機械による自動発言システム。語源はロボットから来ている。特定の時間に自動ツイートする bot、ユーザーの bot 宛の発言にリプライする bot、特定のキーワードに反応する bot 等、様々な bot が存在する。

Twitter「ボット（bot）とは」とは？｜ツイッター用語 – ツイナビ
http://twinavi.jp/guide/section/twitter/glossary/%E3%83%9C%E3%83%83%E3%83%88%EF%BC%88bot%EF%BC%89%E3%81%A8%E3%81%AF

今回作るbotは、あらかじめ用意した文章を決まったタイミング(たとえば毎時零分)でツイートするもの。

参考サイト

Twitterは途中からアカウント認証方式がOAuthに変更されている。ネットを検索するとTwitter bot開発の記事がたくさんヒットするけど、旧認証方式を使った古い記事も多い。いくつかの記事を読んでみた結果、以下の記事が簡潔でわかりやすかったので、この記事をお手本にして作業を進める。

PHP + OAuthで Twitter botをつくってみよう – PHP入門 – Webkaru
http://webkaru.net/php/twitter-bot/

Twitterアカウントを作る

まずは当然のこととしてTwitterアカウントが必要なので普通に作る。

開発者サイトにログイン

Twitter開発者サイトに自分のTwitterアカウントでログインする。

Twitter Developers
https://dev.twitter.com/

Twitter Appの作成

以下はTwitter開発者サイトでの作業。

画面右上の自分のアイコンをクリックして[My applications]を選択する。
[Twitter Apps]ページで[Create New App]ボタンを押下する。
[Create an application]ページで[Application details]に必要事項を入力する。
[Name*] Twitter Appの名前(必須)
[Description*] Twitter Appの説明(必須)
[Website*] ウェブサイト(必須)
[Callback URL] 認証に成功した後にジャンプするURL。今回作成するBotには必要なさそうなので空白
[Developer Rules of the Road]の規則に目を通して Yes, I agree.にチェックする。
[Create your Twitter application]ボタンを押下する。

すると、以下のメッセージが表示されてアプリケーションが作成される。

Your application has been created. Please take a moment to review and adjust your application's settings.

1	Your application has been created. Please take a moment to review and adjust your application's settings.

アクセスレベルの変更

Botのアクセスレベルを設定する。デフォルトはRead onlyだけど、これはTwitterアカウントが受け取ったツイートを読み取るだけの権限のようなので、Botからツイート(書き込み)できるようにアクセスレベルを変更する必要がある。

Twitter Appの[API Keys]タブをクリック。
[Application settings]エリアの[Access level]を[Read-only]から[Read and Write]に変更する。

Twitterアカウントによっては、アカウントに電話番号が紐付けされていないと書き込み権限が付与できない場合がある。２つのアカウントで試したところ、１年近く運営しているアカウント(フォロワー数は1,000超)だとすんなり書き込み権限を付与できたけど、1週間ほど前に作成したアカウント(フォロワー数は百以下)で書き込み権限を付与しようとしたら、アカウントに電話番号を登録するように言われた。電話番号を登録した後は、問題なく書き込み権限を付与できた。

Twitter Help Center | Adding your mobile number to your account
https://support.twitter.com/articles/110250-adding-your-mobile-number-to-your-account-via-web#

アクセストークンの作成

次はアクセストークンを作成する。アクセストークンは見ず知らずのBotが成りすまして自分のアカウントにツイートするのを防ぐために必要なのだろう。ボタンを押すだけなので難しいことはない。

Your access token You haven't authorized this application for your own account yet. By creating your access token here, you will have everything you need to make API calls right away. The access token generated will be assigned your application's current permission level.

1	Your access token You haven't authorized this application for your own account yet. By creating your access token here, you will have everything you need to make API calls right away. The access token generated will be assigned your application's current permission level.

Twitter Appの[API Keys]タブをクリックする。
ページの下のほうの[Your access toke]エリアにスクロール。
[Create my access token]ボタンを押下する。

これでTwitter Appの設定は完了。画面に表示されている情報のうち、Bot運営に必要なのは以下の4項目。

API key
API secret
Access token
Access token secret

Botソフトの作成

参考サイトに紹介されていた以下のPHPコードを使うとメチャ楽だ。

abraham/twitteroauth · GitHub
The first PHP Library to support OAuth for Twitter’s REST API
https://github.com/abraham/twitteroauth

サブディレクトリtwitteroauthを作成して以下のファイルを配置しておく。

twitteroauth/OAuth.php
twitteroauth/twitteroauth.php

Botは以下のように簡単に書ける。

<?php
 
require_once('twitteroauth/twitteroauth.php');
 
$api_key = "xxxxxxxxxxxxxxxxxxxxxxxxx";
$api_secret = "xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx";
$access_token = "xxxxxxxxxx-xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx";
$access_token_secret = "xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx";
 
$message = "test message";
$connection = new TwitterOAuth($api_key, $api_secret , $access_token, $access_token_secret);
$req = $connection->OAuthRequest("https://api.twitter.com/1.1/statuses/update.json", "POST", array("status"=> $message ));
 
?>

<?php

require_once('twitteroauth/twitteroauth.php');

$api_key = "xxxxxxxxxxxxxxxxxxxxxxxxx";

$api_secret = "xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx";

$access_token = "xxxxxxxxxx-xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx";

$access_token_secret = "xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx";

$message = "test message";

$connection = new TwitterOAuth($api_key, $api_secret , $access_token, $access_token_secret);

$req = $connection->OAuthRequest("https://api.twitter.com/1.1/statuses/update.json", "POST", array("status"=> $message ));

この例では固定テキストメッセージをツイートしているが、ファイルやデータベースにあらかじめメッセージを用意しておくことで、都度ロードしてバラエティに富んだ内容をツイートすることも可能だろう。動作確認したらcronに登録して自動運転させれば完成。

さらに参考サイト

以下のサイトは説明が詳細で参考になる。

Twitterを100倍楽しむためのbot開発基礎講座：連載｜gihyo.jp … 技術評論社
http://gihyo.jp/dev/serial/01/twitterbot

PHP+OAuthでTwitter – SDN Project
http://www.sdn-project.net/labo/oauth.html

PHP+OAuthでTwitterのBotを作ってみる – SDN Project
http://www.sdn-project.net/labo/twitter_bot.html

[PHP] BitlyのWebAPIを使ってURLを短縮する

2014年8月23日2021年9月4日 @84kure

先日作成したTwitter botのツイートにサイトURLを短縮して含めたいというニーズあり。調べたところ、短縮URLを生成する機能は各社からWeb APIとして提供されている模様。参考になる記事を探したら以下が非常にわかりやすかったので、この記事に倣ってbitlyのWeb APIを使って短縮URL生成機能を実装してみる。

bit.ly API｜短縮URL｜Web関連特集｜PHP & JavaScript Room
http://phpjavascriptroom.com/?t=topic&p=bitlyapi

OAuth2認証は必要なし、API Keyによる認証でOK

bitlyのオンラインドキュメントを読むと、APIを使うにはユーザ認証が必要。認証方式はOAuth2。だけど、短縮URLの生成に限っては、OAuth2に加えてAPI Keyによるシンプルな認証も可能みたい。実装が少しでも楽になるのはうれしいので、API Keyで認証することにする。

bitly API Documentation
http://dev.bitly.com/links.html#v3_shorten

bitly API Documentation
http://dev.bitly.com/

bitlyのウェブサイトでAPI Keyを取得する

以下のページからサインアップしてAPI Keyを取得する。

Bitly. The power of the link.
https://bitly.com/a/your_api_key

サンプルコード

// サインアップしたユーザ名
$username = "xxxxxx";
// 取得したAPI Key
$api_key = "xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx";
 
// 短縮したい元URL
$target = "http://www.example.com/test123.html";
$target = urlencode($target);
 
$url = "http://api.bitly.com/v3/shorten";
$url .= "?longUrl=".$target;
$url .= "&login=".$username;
$url .= "&apiKey=".$api_key;
$url .= "&format=xml";
 
$data = file_get_contents($url);
$data = simplexml_load_string($data, 'SimpleXMLElement');
 
// 短縮されたURL
echo "shorten url = " . $data->data->url;

// サインアップしたユーザ名

$username = "xxxxxx";

// 取得したAPI Key

$api_key = "xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx";

// 短縮したい元URL

$target = "http://www.example.com/test123.html";

$target = urlencode($target);

$url = "http://api.bitly.com/v3/shorten";

$url .= "?longUrl=".$target;

$url .= "&login=".$username;

$url .= "&apiKey=".$api_key;

$url .= "&format=xml";

$data = file_get_contents($url);

$data = simplexml_load_string($data, 'SimpleXMLElement');

// 短縮されたURL

echo "shorten url = " . $data->data->url;

[PHP] 画像をダウンロードして保存する

2014年8月22日2015年8月21日 @84kure

画像をダウンロードするにはいろんな方法がありそうだけど、普通にPHPの組み込み関数で出来たので覚え書き。

$remote = "http://www.example.com/images/test.jpg";
$local = "/usr/tmp/test.jpg";
$data = file_get_contents($remote);
file_put_contents($local, $data);

$remote = "http://www.example.com/images/test.jpg";

$local = "/usr/tmp/test.jpg";

$data = file_get_contents($remote);

file_put_contents($local, $data);

PHP: file_get_contents – Manual
http://www.php.net//manual/ja/function.file-get-contents.php

タイムアウトとかリダイレクトとか細かい制御をしたければPearのHTTP_Requestでも使うかな。

HTTP_Request
http://pear.php.net/package/HTTP_Request/

[PHP] SimpleXML関数を使ってXMLデータをパースする

2014年8月21日2015年8月21日 @84kure

結果をXML形式で返すウェブサービス (Web API) を使うことがある。そこで、PHPでXMLデータをパースする方法を覚え書き。

PHP5のSimpleXMLエクステンションを使うと簡単

PHP5にはSimpleXMLと呼ばれるXML操作のための拡張モジュールが含まれている。SimpleXMLの関数を使うと、XMLを簡単にオブジェクトに変換可能。

PHP: SimpleXML – Manual
https://php.net/manual/ja/book.simplexml.php

PHP: XML 操作 – Manual
https://php.net/manual/ja/refs.xml.php

サンプルコード

$url = "http://api.example.com/?option1=param1&option2=param2";
$contents = file_get_contents($url);
$contents = mb_convert_encoding($contents, "UTF-8", "auto"); //必要なら
$data = simplexml_load_string($contents);
print_r($data);

$url = "http://api.example.com/?option1=param1&option2=param2";

$contents = file_get_contents($url);

$contents = mb_convert_encoding($contents, "UTF-8", "auto"); //必要なら

$data = simplexml_load_string($contents);

print_r($data);

XMLデータにCDATAセクションが含まれていると上のコードでは読めない。その場合、以下のように変更する。

$data = simplexml_load_string($contents, 'SimpleXMLElement', LIBXML_NOCDATA);

1	$data = simplexml_load_string($contents, 'SimpleXMLElement', LIBXML_NOCDATA);

XML用語事典 [CDATAセクション]
http://www.atmarkit.co.jp/aig/01xml/cdata.html

パースしたXML要素はオブジェクトのプロパティとして参照できる。たとえば $data->section->item という感じ。開発途中でprint_r()関数などを使ってダンプしておくとXML要素の特定は楽になる。

参考サイト

SimpleXML | PHP プログラミング解説
http://www.crystal-creation.com/web-app/tech/programming/php/xml/simple-xml.htm

PHP SimpleXMLでXMLパースをするときの注意点まとめ – ウッディーの日記
http://blog.livedoor.jp/gnoot/archives/51371942.html

[PHP] Webリクエストをハッシュを使って認証する

2014年8月20日 @84kure

Webリクエストをハッシュを使って認証する必要があったので覚え書き。条件はクライアントとサーバーの両者が共通の秘密鍵を保持していること。

例1: ユーザ名をハッシュ化してリクエストに付加する

ハッシュ関数としてsha1を使うと仮定する。ユーザ名をusername、秘密鍵をsecret_codeとすると、ハッシュは以下のように計算できる。

hash = sha1(username + secret_code)

1	hash = sha1(username + secret_code)

そうして得られたこのハッシュ値を以下のようにリクエストに付加する。

http://api.example.com/?username=&lt;username値&gt;&amp;hash=&lt;hash値&gt;

1	http://api.example.com/?username=<username値>&hash=<hash値>

リクエストを受け取ったサーバー側では、リクエスト中のusernameと独自に保持する秘密鍵からハッシュ値を計算し、リクエストに付加されているハッシュ値と一致したら認証OKとする。

例2: パラメータを組み合わせてハッシュ化してリクエストに付加する

以下のようなパラメータ付きリクエストを想定する。

http://api.example.com/?param1=&lt;param1値&gt;&amp;param2=&lt;param2値&gt;

1	http://api.example.com/?param1=<param1値>&param2=<param2値>

それぞれのパラメータはユーザ固有とし、リクエストにはユーザ名は付加しないものとする。すると、ハッシュは以下のように計算できる。

hash = sha1(param1 + param2 + secret_code)

1	hash = sha1(param1 + param2 + secret_code)

そうして得られたこのハッシュ値を以下のようにリクエストに付加する。

http://api.example.com/?param1=&lt;param1値&gt;&amp;param2=&lt;param2値&gt;&amp;hash=&lt;hash文字列&gt;

1	http://api.example.com/?param1=<param1値>&param2=<param2値>&hash=<hash文字列>

最初の例と同様に、リクエストを受け取ったサーバーは独自に保持する秘密鍵からハッシュ値を計算し、リクエストに付加されているハッシュ値と一致するかどうか確認する。

補足事項

クライアント側とサーバー側でハッシュ計算方法が共通になりさえすれば、ハッシュ計算方法はアレンジしても問題ない。上の例ではリクエストに付加する値だけをハッシュの元値として使ったけど、URLの部分文字列(たとえば “param1=<param1値>&param2=<param2値>”) をそのままハッシュの元値として使ってもかまわない。

sha1でバイナリのダイジェストを使いたい場合はbase64でエンコードしてからリクエストに追加すれば良い。

参考サイト

PHP: sha1 – Manual
http://php.net/manual/ja/function.sha1.php
sha1 — 文字列の sha1 ハッシュを計算する

PHP: base64_encode – Manual
http://php.net/manual/ja/function.base64-encode.php
base64_encode — MIME base64 方式でデータをエンコードする

[PHP] レスポンスタイムを計測する監視スクリプト

2014年8月19日2015年8月21日 @84kure

仕事先が契約しているデータセンターのウェブサーバーがもう笑うしかないぐらい不安定。僅かなアクセスしか無いにも関わらず、気が付くとサーバーは落ちてるし、502、503、504のエラーが返るのも日常茶飯事。24時間通算してどれぐらい不具合が起きているのだろうか？と気になったので監視スクリプトを作ってみた。

監視スクリプトの仕様

監視スクリプトはターゲットのサーバーとは別の安定したサーバーに置く。
監視スクリプトはPHPで書いてcronで5分ごとに実行させる。
ターゲットのサーバーから特定URLをGETするのに要した時間をログに書き出す。

ネットを調べるとpingコマンド利用のサーバー死活監視スクリプトが多数ヒットしたけど、僕が必要なのはブラウザにページが表示されるまでの体感時間なので、HTTPのGETのレスポンスタイムを計測するのが現実的かと。サーバーが完全に死んでいたらタイムアウトになるだろうし。

監視スクリプト

以下のようなスクリプトを作成した。HTTPリクエストの実行にはPEARのHTTP_Requestを利用。logsというサブディレクトリを作成しておくと、日付を名前にしたCSVファイルが自動生成されて、スクリプトが実行されるたびにログが追記される仕組み。監視するURLは複数指定可能にした。

<?php
 
error_reporting(E_ALL ^ E_NOTICE ^ E_DEPRECATED);
 
set_include_path("." . PATH_SEPARATOR . "/xxx/xxx/pear/php" . PATH_SEPARATOR . get_include_path());
 
require_once "HTTP/Request.php";
 
function logging($message)
{
    $file = dirname($_SERVER['SCRIPT_FILENAME']).'/logs/'.date('Ymd').'.csv';
 
    $fh = fopen($file, 'a');
    for ($i = 0; $i < 5; $i++) {    // retry loop
        if (flock($fh, LOCK_EX)) {
            fwrite($fh, $message);
            fflush($fh);
            flock($fh, LOCK_UN);
            break;  // success
        }
        sleep(1);   // wait
    }
    fclose($fh);
}
 
function logging_succeess($ptime, $url, $code, $header)
{
    $data = $ptime . "," . date('Y/m/d H:i:s') . "," . $code . "," . $url . "\n";
    if ($code != 200) {
        $data .= print_r($header, true) . "\n";
    }
    logging($data);
}
 
function logging_failed($ptime, $url)
{
    $data = $ptime . "," . date('Y/m/d H:i:s') . "," . "FAILED," . $url . "\n";
    logging($data);
}
 
$urls = array();
$urls[] = "http://www.site1.com/index.html";
$urls[] = "http://www.site2.com/index.php";
$urls[] = "http://www.site3.com/index.html";
$urls[] = "http://www.site4.com/index.php";
$urls[] = "http://www.site5.com/index.html";
$urls[] = "http://www.site6.com/index.php";
 
$option = array(
    "timeout" => "10",
    "allowRedirects" => true,
    "maxRedirects" => 3,
);
 
foreach ($urls as $url) {
    $http = new HTTP_Request($url, $option);
    $http->addHeader("User-Agent", "SiteMon");
    $http->addHeader("Referer", "http://www.myserver.com/");
 
    $stime = microtime(true);
    $response = $http->sendRequest();
    $etime = microtime(true);
    $ptime = $etime - $stime;
 
    if (!PEAR::isError($response)) {
        $code    = $http->getResponseCode();
        $header  = $http->getResponseHeader();
        $body    = $http->getResponseBody();
        $cookies = $http->getResponseCookies();
        logging_succeess($ptime, $url, $code, $header);
    } else {
        logging_failed($ptime, $url);
    }
}
 
?>

<?php

error_reporting(E_ALL ^ E_NOTICE ^ E_DEPRECATED);

set_include_path("." . PATH_SEPARATOR . "/xxx/xxx/pear/php" . PATH_SEPARATOR . get_include_path());

require_once "HTTP/Request.php";

function logging($message)

{

$file = dirname($_SERVER['SCRIPT_FILENAME']).'/logs/'.date('Ymd').'.csv';

$fh = fopen($file, 'a');

for ($i = 0; $i < 5; $i++) { // retry loop

if (flock($fh, LOCK_EX)) {

fwrite($fh, $message);

fflush($fh);

flock($fh, LOCK_UN);

break; // success

}

sleep(1); // wait

}

fclose($fh);

}

function logging_succeess($ptime, $url, $code, $header)

{

$data = $ptime . "," . date('Y/m/d H:i:s') . "," . $code . "," . $url . "\n";

if ($code != 200) {

$data .= print_r($header, true) . "\n";

}

logging($data);

}

function logging_failed($ptime, $url)

{

$data = $ptime . "," . date('Y/m/d H:i:s') . "," . "FAILED," . $url . "\n";

logging($data);

}

$urls = array();

$urls[] = "http://www.site1.com/index.html";

$urls[] = "http://www.site2.com/index.php";

$urls[] = "http://www.site3.com/index.html";

$urls[] = "http://www.site4.com/index.php";

$urls[] = "http://www.site5.com/index.html";

$urls[] = "http://www.site6.com/index.php";

$option = array(

"timeout" => "10",

"allowRedirects" => true,

"maxRedirects" => 3,

);

foreach ($urls as $url) {

$http = new HTTP_Request($url, $option);

$http->addHeader("User-Agent", "SiteMon");

$http->addHeader("Referer", "http://www.myserver.com/");

$stime = microtime(true);

$response = $http->sendRequest();

$etime = microtime(true);

$ptime = $etime - $stime;

if (!PEAR::isError($response)) {

$code = $http->getResponseCode();

$header = $http->getResponseHeader();

$body = $http->getResponseBody();

$cookies = $http->getResponseCookies();

logging_succeess($ptime, $url, $code, $header);

} else {

logging_failed($ptime, $url);

}

実行例

以下にログファイルの抜粋を例として示す。各行先頭から処理時間(秒)、実行日時、ステータスコード、URLの順にカンマ区切りで記録される。ステータスが200以外のときはレスポンスヘッダの配列ダンプも追記される。

0.17917799949646,2014/05/19 23:35:01,200,http://www.site1.com/index.html
0.41295695304871,2014/05/19 23:35:02,200,http://www.site2.com/index.php
0.073950052261353,2014/05/19 23:35:02,200,http://www.site3.com/index.html
15.073293924332,2014/05/19 23:35:03,408,http://www.site4.com/index.php
Array
(
 [cache-control] => no-cache
 [connection] => close
 [content-type] => text/html
)
0.0778648853302,2014/05/19 23:35:32,503,http://www.site5.com/index.html
Array
(
 [cache-control] => no-cache
 [connection] => close
 [content-type] => text/html
)
3.459300994873,2014/05/19 23:35:39,200,http://www.site6.com/index.php

0.17917799949646,2014/05/19 23:35:01,200,http://www.site1.com/index.html

0.41295695304871,2014/05/19 23:35:02,200,http://www.site2.com/index.php

0.073950052261353,2014/05/19 23:35:02,200,http://www.site3.com/index.html

15.073293924332,2014/05/19 23:35:03,408,http://www.site4.com/index.php

Array

(

[cache-control] => no-cache

[connection] => close

[content-type] => text/html

)

0.0778648853302,2014/05/19 23:35:32,503,http://www.site5.com/index.html

Array

(

[cache-control] => no-cache

[connection] => close

[content-type] => text/html

)

3.459300994873,2014/05/19 23:35:39,200,http://www.site6.com/index.php

[PHP] アクセスログを記録するクラスを書いてみた

2014年8月18日2015年8月21日 @84kure

Apacheの生ログとは別に、特定のPHPファイルのアクセスログだけを記録したいことがある。そんなことが簡単に出来るように、いろいろ使い回しが利きそうな汎用のアクセスログクラスを書いてみた。

PHPソース

<?php
 
// ログファイルを出力するサーバー上のディレクトリを指定する。
// このディレクトリに日付をファイル名とするCSVファイルが作成される。
define('LOGS_PATH', "/xxxx/xxxx/xxxx/");
 
class AccessLog {
    private $scriptName; // $_SERVER['SCRIPT_NAME']
    private $requestUri; // $_SERVER['REQUEST_URI']
    private $authUser;   // $_SERVER['PHP_AUTH_USER']
    private $referer;    // $_SERVER['HTTP_REFERER']
    private $remoteHost; // gethostbyaddr($_SERVER['REMOTE_ADDR'])
    private $userAgent;  // $_SERVER['HTTP_USER_AGENT']
 
    function __construct() {
        if (!file_exists(LOGS_PATH)) {
            mkdir(LOGS_PATH);
        }
        $file = LOGS_PATH . date('Ymd') . '.csv';
        $this->setInfo();
        $this->writeLog($file, $this->formatLog());
    }
 
    private function setInfo() {
        $this->scriptName = @$_SERVER['SCRIPT_NAME'];
        $this->requestUri = @$_SERVER['REQUEST_URI'];
        $this->authUser = @$_SERVER['PHP_AUTH_USER'];
        $this->referer = @$_SERVER['HTTP_REFERER'];
 
        $software = @$_SERVER['SERVER_SOFTWARE'];
        if (strpos($software, "nginx") === FALSE) {
            $remoteAddr = @$_SERVER['REMOTE_ADDR'];
        } else {
            $remoteAddr = @$_SERVER['HTTP_X_FORWARDED_FOR'];
        }
        if ($remoteAddr) {
            $this->remoteHost = gethostbyaddr($remoteAddr);
        } else {
            $this->remoteHost = $remoteAddr;
        }
        $this->userAgent = @$_SERVER['HTTP_USER_AGENT'];
    }
 
    private function formatLog() {
        return date('Y/m/d H:i:s') . ',"' .
               $this->scriptName . '","' .
               $this->referer . '","' .
               $this->userAgent . '","' .
               $this->remoteHost . '","' .
               $this->requestUri . '","' .
               $this->authUser . "\"\n";
    }
 
    private function writeLog($file, $log) {
        $fh = fopen($file, 'a');
        if ($fh) {
            if (flock($fh, LOCK_EX)) {
                fwrite($fh, $log);
                fflush($fh);
                flock($fh, LOCK_UN);
            }
            fclose($fh);
        }
    }
}
 
$obj = new AccessLog();
 
?>

<?php

// ログファイルを出力するサーバー上のディレクトリを指定する。

// このディレクトリに日付をファイル名とするCSVファイルが作成される。

define('LOGS_PATH', "/xxxx/xxxx/xxxx/");

class AccessLog {

private $scriptName; // $_SERVER['SCRIPT_NAME']

private $requestUri; // $_SERVER['REQUEST_URI']

private $authUser; // $_SERVER['PHP_AUTH_USER']

private $referer; // $_SERVER['HTTP_REFERER']

private $remoteHost; // gethostbyaddr($_SERVER['REMOTE_ADDR'])

private $userAgent; // $_SERVER['HTTP_USER_AGENT']

function __construct() {

if (!file_exists(LOGS_PATH)) {

mkdir(LOGS_PATH);

}

$file = LOGS_PATH . date('Ymd') . '.csv';

$this->setInfo();

$this->writeLog($file, $this->formatLog());

}

private function setInfo() {

$this->scriptName = @$_SERVER['SCRIPT_NAME'];

$this->requestUri = @$_SERVER['REQUEST_URI'];

$this->authUser = @$_SERVER['PHP_AUTH_USER'];

$this->referer = @$_SERVER['HTTP_REFERER'];

$software = @$_SERVER['SERVER_SOFTWARE'];

if (strpos($software, "nginx") === FALSE) {

$remoteAddr = @$_SERVER['REMOTE_ADDR'];

} else {

$remoteAddr = @$_SERVER['HTTP_X_FORWARDED_FOR'];

}

if ($remoteAddr) {

$this->remoteHost = gethostbyaddr($remoteAddr);

} else {

$this->remoteHost = $remoteAddr;

}

$this->userAgent = @$_SERVER['HTTP_USER_AGENT'];

}

private function formatLog() {

return date('Y/m/d H:i:s') . ',"' .

$this->scriptName . '","' .

$this->referer . '","' .

$this->userAgent . '","' .

$this->remoteHost . '","' .

$this->requestUri . '","' .

$this->authUser . "\"\n";

}

private function writeLog($file, $log) {

$fh = fopen($file, 'a');

if ($fh) {

if (flock($fh, LOCK_EX)) {

fwrite($fh, $log);

fflush($fh);

flock($fh, LOCK_UN);

}

fclose($fh);

}

$obj = new AccessLog();

使い方

アクセスログを記録したいPHPファイルの冒頭にインクルードするだけ。

<?php
require_once("AccessLog.php")
.....
?>

<?php

require_once("AccessLog.php")

.....

ログ出力例

2014/05/27 09:55:27,"/index.php","","Mozilla/5.0 (Windows NT 6.1; WOW64; rv:29.0) Gecko/20100101 Firefox/29.0","xxx.xxx.xxx.xxx","/",""
2014/05/27 09:57:41,"/products.php","http://www.example.com/","Mozilla/5.0 (Windows NT 6.1; WOW64; rv:29.0) Gecko/20100101 Firefox/29.0","xxx.xxx.xxx.xxx","/",""
2014/05/27 10:03:32,"/products/item1.php","http://www.example.com/products.php","Mozilla/5.0 (Windows NT 6.1; WOW64; rv:29.0) Gecko/20100101 Firefox/29.0","xxx.xxx.xxx.xxx","",""

2014/05/27 09:55:27,"/index.php","","Mozilla/5.0 (Windows NT 6.1; WOW64; rv:29.0) Gecko/20100101 Firefox/29.0","xxx.xxx.xxx.xxx","/",""

2014/05/27 09:57:41,"/products.php","http://www.example.com/","Mozilla/5.0 (Windows NT 6.1; WOW64; rv:29.0) Gecko/20100101 Firefox/29.0","xxx.xxx.xxx.xxx","/",""

2014/05/27 10:03:32,"/products/item1.php","http://www.example.com/products.php","Mozilla/5.0 (Windows NT 6.1; WOW64; rv:29.0) Gecko/20100101 Firefox/29.0","xxx.xxx.xxx.xxx","",""

[PHP] トラブルに強い問い合わせフォームを作る

2014年8月17日2015年8月21日 @84kure

前回のエントリで問い合わせフォームのトラブルについて書いた。トラブルフリーな問い合わせフォームは無いけれど、トラブルの影響を最小限に食い止めるための方策はいろいろある。すなわち「問い合わせをもらっていたのに知らなかった」という状況を避ける対処法。僕が気をつけているのは以下のこと。

1. mb_send_mail()の戻り値は必ずチェック

mb_send_mail()はmail()のラッパクラスで、mail()はphp.iniでパス指定されたsendmailコマンドを呼んでいる。sendmailコマンドがリクエストを正しく受け入れると正常ステータスを返すのだけど、実際にメールを送信するのはMTAの役割なので、メールが送られたかどうかをステータスから判断することはできない。だけど、少なくともリクエストは正しく受け入れられないとメールは送られないので、関数の戻り値は必ずチェックしてエラーはユーザに通知する。ユーザに「エラーで送られなかったんだ」と知らしめるために。

2. メール送り先は複数メールアドレスで、異なるドメインも含めて。

受信メールサーバーの不具合や、メール受信者のミスなどを想定し、メールの控えを複数のメールアドレスに送信しておく。全てのメールアドレスが同じドメインだとサーバー不具合で全不通になるので、異なるドメインのメールアドレスも混ぜておく。たとえばGmailとか。

3. バウンスメールを喪失しないようにenvelop senderを必ず指定。

受信メールサーバーの不具合などでメールがバウンスしてきたときに確実に通知を受け取れるように、sendmailコマンドの -f オプションを使ってenvelop senderを必ず指定する。もし指定しないのなら、どのメールアドレスがenvelop senderになるのかホスティングプロバイダのデフォルト設定を確認した上で、そのメールアドレスへの着信を常時チェックするようにする。

4. フォーム投稿をサーバー上のログファイルに記録して頻繁に目を通す。

メールは信頼できないものと割り切って、全ての投稿をサーバー上のログファイルに欠かさず記録する。たとえ不具合によりメールが一切機能しなくても、ログを見れば問い合わせがあったことと問い合わせ内容を知ることができる。ログファイルはウェブサーバーから見れないところに置くこと、破損しないように排他制御を行うこと、確実に書き込むために書き込みエラー時にはリトライを行うこと、そして必ず頻繁に管理者が目を通すこと、など基本的な点は遵守すること。僕は管理しているサイトのアクセスログを毎日朝一で閲覧するので、そのときにこのログにも必ず目を通すようにしている。

スクリプト例

<?php
// Contact form script
 
define('MAIL_TO', 'yyyy@example.com');
define('BCC', 'zzzz@example.com,abc@sample.com');
define('MAIL_SUBJ', 'Site ABC contact');
define('RETURN_PATH', 'xxxx@example.com');
define('LOG_FILE', '/xxxx/xxxx/xxxx/contact.log');
 
function sanitize($data)
{
    $charset = 'UTF-8';
    $original_charset = 'auto';
 
    foreach ($data as $key => $value) {
        // Encode the text.
        mb_internal_encoding($charset);
        $value = mb_convert_encoding($value, $charset, $original_charset);
        // Remove HTML tags.
        $value = strip_tags($value);
        // Alphanumrcic:hankaku, blank:hankaku, Katakana:zenkaku.
        $value = mb_convert_kana($value, "asK", $charset);
        // Remove the leading/tailing spaces.
        $value = trim($value);
 
        $data[$key] = $value;
    }
    return $data;
}
 
function logging($name, $email, $message, $result)
{
    $ip = @$_SERVER['REMOTE_ADDR'];
    if ($ip) {
        $remoteHost = gethostbyaddr($ip);
    } else {
        $remoteHost = $ip;
    }
 
    date_default_timezone_set("America/Los_Angeles");
 
    $data = "Date: " . date('Y/m/d H:i:s T') . "\n" .
        "Host: " . $remoteHost . "\n" .
        "Name: " . $name . "\n" .
        "Email: " . $email . "\n" .
        "Result: " . $result . "\n" .
        $message . "\n-----\n";
 
    $file = LOG_FILE;
    $fh = fopen($file, 'a');
    for ($i = 0; $i < 5; $i++) { // retry loop
        if (flock($fh, LOCK_EX)) {
            fwrite($fh, $data);
            fflush($fh);
            flock($fh, LOCK_UN);
            break; // success
        }
        sleep(1); // wait small period
    }
    fclose($fh);
    // TODO: notify if the logging failed
}
 
$thanks = false;
$errors = '';
 
$msgs = array();
$msgs['w_name'] = 'Please enter your name.';
$msgs['w_email'] = 'Please enter your email.';
$msgs['w_email2'] = 'Please enter a valid email.';
$msgs['w_message'] = 'Please enter your message';
$msgs['failed'] = 'Sending message failed.';
 
if ($_POST['submit']) {
    $_POST = sanitize($_POST);
 
    if (!isset($_POST['name']) || $_POST['name'] == '')
        $errors = $msgs['w_name'] . '<br />';
    if (!isset($_POST['email']) || $_POST['email'] == '')
        $errors = $msgs['w_email'] . '<br />';
    if (!isset($_POST['message']) || $_POST['message'] == '')
        $errors = $msg['w_message'];
 
    if ($errors == '') {
        mb_language("ja");
 
        $name = $_POST['name'];
        $email = $_POST['email'];
        $message = $_POST['message'];
 
        $to = MAIL_TO;
        $subject = MAIL_SUBJ;
        $body = $message . "\n";
 
        $subject = mb_convert_encoding($subject, "ISO-2022-JP", "AUTO");
        $subject = mb_encode_mimeheader($subject);
 
        $headers = "MIME-Version: 1.0 \n" ;
        $headers .= "From: "
            . mb_encode_mimeheader(mb_convert_encoding($name, "ISO-2022-JP", "AUTO"))
            . " <".$email."> \n";
        $headers .= "Bcc: " . BCC . "\n";
        $headers .= "Reply-To: "
            . mb_encode_mimeheader(mb_convert_encoding($name, "ISO-2022-JP", "AUTO"))
            . " <".$email."> \n";
 
        $parameters = "-f " . RETURN_PATH;
 
        if (mb_send_mail($to, $subject, $body, $headers, $parameters)) {
            $thanks = true;
        } else {
            $errors = $msgs['failed'];
        }
        logging($name, $email, $message, ($thanks ? "Success" : "Failed"));
    }
}
?>
 
<html>
<head>
<meta http-equiv="content-type" content="text/html; charset=utf-8" />
<link href="style.css" rel="stylesheet" media="all" type="text/css" />
</head>
<body>
 
<?php if ($thanks) { ?>
    <div align="center">Thank you for your message. We wll get back to you ASAP.</div>
 
<?php } else { ?>
    <!-- Validation script -->
    <script Language="JavaScript">
    <!--
    function Validation(theForm) {
        if (theForm.name.value === "") {
            alert("<?php echo $msgs['w_name']; ?>");
            theForm.name.focus();
            return false;
        }
        if (theForm.email.value === "") {
            alert("<?php echo $msgs['w_email']; ?>");
            theForm.email.focus();
            return false;
        }
        if ((theForm.email.value.indexOf('@', 0) === -1) || (theForm.email.value.length < 5)) {
            alert("<?php echo $msgs['w_name2']; ?>");
            theForm.email.focus();
            return false;
        }
        if (theForm.message.value === "") {
            alert("<?php echo $msgs['w_message']; ?>");
            theForm.message.focus();
            return false;
        }
        return true;
    }
    //-->
    </script>
 
    <div align="center">Please feel free to contact us!</div>
 
    <!-- Error Message -->
    <?php if ($errors != '') echo '<p>'.$errors.'</p>'; ?>
 
    <!--- Form --->
    <form name="form1" method="post"
        action="<?php echo htmlspecialchars($_SERVER['PHP_SELF']); ?>"
        onSubmit="return Validation(this);">
    <fieldset>
    <label>Your name:</label>
    <input type="text" name="name" size="20" value="<?php echo $_POST['name']; ?>" /><br />
    <label>E-mail address:</label>
    <input type="text" name="email" size="20" value="<?php echo $_POST['email']; ?>" /><br />
    <label>Message:</label>
    <textarea name="message" cols="25" rows="15"><?php echo $_POST['message']; ?></textarea>
    <br />
    <input name="submit" value="Send!" type="submit" />
    </fieldset>
    </form>
 
<?php } ?>
 
</body>
</html>

100

101

102

103

104

105

106

107

108

109

110

111

112

113

114

115

116

117

118

119

120

121

122

123

124

125

126

127

128

129

130

131

132

133

134

135

136

137

138

139

140

141

142

143

144

145

146

147

148

149

150

151

152

153

154

155

156

157

158

159

160

161

162

163

164

165

166

167

168

169

170

171

172

173

174

175

176

177

178

179

180

181

182

183

<?php

// Contact form script

define('MAIL_TO', 'yyyy@example.com');

define('BCC', 'zzzz@example.com,abc@sample.com');

define('MAIL_SUBJ', 'Site ABC contact');

define('RETURN_PATH', 'xxxx@example.com');

define('LOG_FILE', '/xxxx/xxxx/xxxx/contact.log');

function sanitize($data)

{

$charset = 'UTF-8';

$original_charset = 'auto';

foreach ($data as $key => $value) {

// Encode the text.

mb_internal_encoding($charset);

$value = mb_convert_encoding($value, $charset, $original_charset);

// Remove HTML tags.

$value = strip_tags($value);

// Alphanumrcic:hankaku, blank:hankaku, Katakana:zenkaku.

$value = mb_convert_kana($value, "asK", $charset);

// Remove the leading/tailing spaces.

$value = trim($value);

$data[$key] = $value;

}

return $data;

}

function logging($name, $email, $message, $result)

{

$ip = @$_SERVER['REMOTE_ADDR'];

if ($ip) {

$remoteHost = gethostbyaddr($ip);

} else {

$remoteHost = $ip;

}

date_default_timezone_set("America/Los_Angeles");

$data = "Date: " . date('Y/m/d H:i:s T') . "\n" .

"Host: " . $remoteHost . "\n" .

"Name: " . $name . "\n" .

"Email: " . $email . "\n" .

"Result: " . $result . "\n" .

$message . "\n-----\n";

$file = LOG_FILE;

$fh = fopen($file, 'a');

for ($i = 0; $i < 5; $i++) { // retry loop

if (flock($fh, LOCK_EX)) {

fwrite($fh, $data);

fflush($fh);

flock($fh, LOCK_UN);

break; // success

}

sleep(1); // wait small period

}

fclose($fh);

// TODO: notify if the logging failed

}

$thanks = false;

$errors = '';

$msgs = array();

$msgs['w_name'] = 'Please enter your name.';

$msgs['w_email'] = 'Please enter your email.';

$msgs['w_email2'] = 'Please enter a valid email.';

$msgs['w_message'] = 'Please enter your message';

$msgs['failed'] = 'Sending message failed.';

if ($_POST['submit']) {

$_POST = sanitize($_POST);

if (!isset($_POST['name']) || $_POST['name'] == '')

$errors = $msgs['w_name'] . '<br />';

if (!isset($_POST['email']) || $_POST['email'] == '')

$errors = $msgs['w_email'] . '<br />';

if (!isset($_POST['message']) || $_POST['message'] == '')

$errors = $msg['w_message'];

if ($errors == '') {

mb_language("ja");

$name = $_POST['name'];

$email = $_POST['email'];

$message = $_POST['message'];

$to = MAIL_TO;

$subject = MAIL_SUBJ;

$body = $message . "\n";

$subject = mb_convert_encoding($subject, "ISO-2022-JP", "AUTO");

$subject = mb_encode_mimeheader($subject);

$headers = "MIME-Version: 1.0 \n" ;

$headers .= "From: "

. mb_encode_mimeheader(mb_convert_encoding($name, "ISO-2022-JP", "AUTO"))

. " <".$email."> \n";

$headers .= "Bcc: " . BCC . "\n";

$headers .= "Reply-To: "

. mb_encode_mimeheader(mb_convert_encoding($name, "ISO-2022-JP", "AUTO"))

. " <".$email."> \n";

$parameters = "-f " . RETURN_PATH;

if (mb_send_mail($to, $subject, $body, $headers, $parameters)) {

$thanks = true;

} else {

$errors = $msgs['failed'];

}

logging($name, $email, $message, ($thanks ? "Success" : "Failed"));

}

<html>

<head>

</head>

<body>

<?php if ($thanks) { ?>

<div align="center">Thank you for your message. We wll get back to you ASAP.</div>

<?php } else { ?>

<!--

function Validation(theForm) {

if (theForm.name.value === "") {

alert("<?php echo $msgs['w_name']; ?>");

theForm.name.focus();

return false;

}

if (theForm.email.value === "") {

alert("<?php echo $msgs['w_email']; ?>");

theForm.email.focus();

return false;

}

if ((theForm.email.value.indexOf('@', 0) === -1) || (theForm.email.value.length < 5)) {

alert("<?php echo $msgs['w_name2']; ?>");

theForm.email.focus();

return false;

}

if (theForm.message.value === "") {

alert("<?php echo $msgs['w_message']; ?>");

theForm.message.focus();

return false;

}

return true;

}

//-->

</script>

<div align="center">Please feel free to contact us!</div>

<?php if ($errors != '') echo '<p>'.$errors.'</p>'; ?>

<form name="form1" method="post"

action="<?php echo htmlspecialchars($_SERVER['PHP_SELF']); ?>"

onSubmit="return Validation(this);">

<label>E-mail address:</label>

<label>Message:</label>

<br />

</fieldset>

</form>

<?php } ?>

</body>

</html>

[PHP] メールが拒否される原因は発信元ホスト名にあった件

2014年8月16日2015年8月21日 @84kure

開発中の会員システムにおいて、自動送信した会員向けメールが「Undeliverable」で戻ってくる問題が発覚。会員向けメール全てが戻ってくるわけではなく、特定ドメイン宛てだけが常に戻ってくる模様。試しに、同じメールアドレスへメールソフトから手動でメールを送ったら問題なく届く。サーバーの sendmail 設定の問題か？

戻ってきたエラーメールには以下の記述がある。

The mail system <***@***.***>: host ***.***[**.**.**.**] said: 550 Access denied - Invalid HELO name (See RFC2821 4.1.1.1) (in reply to MAIL FROM command)

1	The mail system <*@.>: host .[...**] said: 550 Access denied - Invalid HELO name (See RFC2821 4.1.1.1) (in reply to MAIL FROM command)

アクセス拒否の原因は「不適切なHELOネーム」。RFCによれば、HELOコマンドにはSMTPクライアントの完全修飾ドメイン名(TLDの指定を含めた完全なドメイン名)か、もしそれが利用できない場合にはIPアドレスを指定しなければならないとのこと。

RFC 2821 – I-D Tag:
http://tools.ietf.org/html/rfc2821#section-4.1.1.1

The argument field contains the fully-qualified domain name of the SMTP client if one is available. In situations in which the　SMTP client system does not have a meaningful domain name (e.g., when　its address is dynamically allocated and no reverse mapping record is　available), the client SHOULD send an address literal (see section　4.1.3), optionally followed by information that will help to identify　the client system.

参考: HELO/EHLOコマンドとその応答｜メール配信技術用語
http://www.cuenote.jp/documents/smtp/000197.html

何か追加情報が無いかと、戻ってきたメールに添付されている「Delivery report」を開くと、以下の記述あり。

Reporting-MTA: dns; www
X-Postfix-Queue-ID: **********
X-Postfix-Sender: rfc822; ***@***.***
Arrival-Date: Thu, 13 Feb 2014 12:01:02 -0800 (PST)
Final-Recipient: rfc822; ***@***.***
Action: failed
Status: 5.0.0
Remote-MTA: dns; ***.***
Diagnostic-Code: smtp; 550 Access denied - Invalid HELO name (See RFC2821 4.1.1.1)

Reporting-MTA: dns; www

X-Postfix-Queue-ID: **********

X-Postfix-Sender: rfc822; ***@***.***

Arrival-Date: Thu, 13 Feb 2014 12:01:02 -0800 (PST)

Final-Recipient: rfc822; ***@***.***

Action: failed

Status: 5.0.0

Remote-MTA: dns; ***.***

Diagnostic-Code: smtp; 550 Access denied - Invalid HELO name (See RFC2821 4.1.1.1)

すぐ目に付いたのは先頭行の www。これはローカルなサーバー名に過ぎず、完全なドメイン名とは言えない。もしかしてHELOコマンドにwwwをクライアントホスト名として指定しているの？確信は無いものの念のため管理者に問い合わせたらビンゴ。PHPのモジュールPHPMailerの設定に不備があったとのこと。困ったものだ。

[PHP] NuSOAPでWebサービスを使う

2014年8月15日2015年8月21日 @84kure

ある会員管理のウェブアプリと連携したウェブサイトを構築する必要があり、そのウェブアプリではSOAPによるWebサービスを提供している。これまでWebサービスというと実装が楽という点でJSONを使うことが多かったので、SOAP通信に関してはいまいち不慣れ。どうしたものかとウェブアプリの説明を読み進むと、NuSOAPというツールキットを使ったサンプルが掲載されていた。NuSOAPを使うことで上位の実装はかなり簡単になりそう。というわけでNuSOAPの覚え書き。

公式サイト

SourceForge.net: NuSOAP – SOAP Toolkit for PHP – Project Web Hosting – Open Source Software
http://nusoap.sourceforge.net/

チュートリアル

以下のサイトにNuSOAPを使ったわかりやすいサンプルあり。以下に簡単なサンプルのコードだけ引用しておく。後半にはWSDLを使った実践的なサンプルもあるので、実際のコーディングにはかなり参考になる。

Simple Object Access Protocol
http://www.scottnichol.com/soap/index.html

Hello World サーバー側サンプル

<?php
// Pull in the NuSOAP code
require_once('nusoap.php');
// Create the server instance
$server = new soap_server;
// Register the method to expose
$server->register('hello');
// Define the method as a PHP function
function hello($name) {
return 'Hello, ' . $name;
}
// Use the request to (try to) invoke the service
$HTTP_RAW_POST_DATA = isset($HTTP_RAW_POST_DATA) ? $HTTP_RAW_POST_DATA : '';
$server->service($HTTP_RAW_POST_DATA);
?>

<?php

// Pull in the NuSOAP code

require_once('nusoap.php');

// Create the server instance

$server = new soap_server;

// Register the method to expose

$server->register('hello');

// Define the method as a PHP function

function hello($name) {

return 'Hello, ' . $name;

}

// Use the request to (try to) invoke the service

$HTTP_RAW_POST_DATA = isset($HTTP_RAW_POST_DATA) ? $HTTP_RAW_POST_DATA : '';

$server->service($HTTP_RAW_POST_DATA);

Hello World クライアント側サンプル

<?php
// Pull in the NuSOAP code
require_once('nusoap.php');
// Create the client instance
$client = new soapclient('http://localhost/phphack/helloworld.php');
// Call the SOAP method
$result = $client-&gt;call('hello', array('name' =&gt; 'Scott'));
// Display the result
print_r($result);
?>

<?php

// Pull in the NuSOAP code

require_once('nusoap.php');

// Create the client instance

$client = new soapclient('http://localhost/phphack/helloworld.php');

// Call the SOAP method

$result = $client->call('hello', array('name' => 'Scott'));

// Display the result

print_r($result);

一般的なSOAP通信方法

NuSOAPを使わない一般的な実装は以下サイトが参考になる。

【PHP】PHPでSOAP通信を行う方法
http://estpolis.com/2011/08/834.html