「Html sql」で図書館hpにアクセスしてみよう

「htmlSQL」で
図書館HPにアクセスしてみよう

LOCAL PHP部
(株)インフィニットループ
ke-tai.org
松井　健太郎

ご注意

• タイトルからご推測いただけると思い
ますが、本発表はネタ要素が強いです

• この発表はフィクションです。実在の
事件、団体とは関係あるようで、あま
り関係ありません

• ネタにマジレスかっこ悪い!!

自己紹介

• LOCAL PHP部部長（引退間近）

• (株)インフィニットループ代表

• ソーシャルゲームとかを作ってます

• ke-tai.org管理人

今日の内容
• スクレイピングとは
• htmlSQLとは
• インストール＆セットアップ
• サンプルプログラムの解説
• スクレイピングを行う際の注意点
• 実践
• まとめ

岡崎市立中央図書館事件
• 岡崎市立中央図書館のウェブサイ
トにアクセスを繰り返して、ほか
の利用者が閲覧しにくい状態にし
たとして、偽計業務妨害で容疑者
が逮捕された。（後に不起訴）
• 1秒間に1回アクセスしたら落ち
たという図書館側のサーバのスペ
ランカーっぷりと、警察の冷酷な
対応が注目され話題に。
• いまスクレイピングがアツい!!

スクレイピングとは

• 英語で「scrape」= 削ること
scrape[ skr ip ]
III[名 V[名][形をこする，
をこするこすって（の状態にする；
［III[名]（[副]）/V[名][形]］…をこする，こすって（…の状態に）する；
付着物などを〉（…からこすり落
などを〉（から）
〈付着物などを〉（から）こすり落とす

• ウェブサイトのデータを取得し、必要
な部分だけを抽出して利用すること

• 例えば、ページ内のリンクを全て抽出
したい、ランキングサイトの上位5番目
までのデータを取得したい、など

htmlSQLとは

• PHPで作られたスクレイピング用ライブ
ラリ、Jonas John氏が開発

• HTMLの要素をSQLのように取り出すこ
とができる

• このサイトで興味を持った
ASTRODEO -真面目にエロサイトを作ってみた【プログラマ編】
http://astrodeo.com/blog/archives/257

インストール＆セットアップ

• インストールはすごく簡単

• htmlSQLの公式サイトからzipで落とす
htmlSQLの公式サイトからzipで
サイトからzip
だけ
http://www.jonasjohn.de/lab/htmlsql.
http://www.jonasjohn.de/lab/htmlsql.htm
jonasjohn.de/lab/htmlsql

• 二つのファイルをincludeすれば使える
つのファイルをincludeすれば使
ファイルすれば
snoopy.class.php
snoopy.class.php
htmlsql.class.php
htmlsql.class.php
.class.

サンプル
include_once("snoopy.class.php");
include_once("htmlsql.class.php");
$wsql = new htmlsql();

// URLに接続に
if (!$wsql->connect('url', 'http://codedump.jonasjohn.de/')) {
print 'Error while connecting: ' . $wsql->error;
exit;
}

クエリ実行
// クエリ実行
if (!$wsql->query('SELECT * FROM *')) {
print "Query error: " . $wsql->error;
exit;
}
array
0 =>
// 結果表示 array(
foreach($wsql->fetch_array() as $row) { ‘属性’ => ‘値’
var_dump($row); )
} 　・
　・
　・

使い方の解説
SELECT href,title FROM a WHERE $class == “list”

属性タグ名条件

SELECT * FROM *
てのHTMLを取得
　→　全てのを
SELECT text FROM title
タイトルタグの
　→　タイトルタグのtextを取得を
==であることに注意
SELECT href,title FROM a (イコール2つ)
てのAタグタグの
　→　全てのタグのhrefとtitleを取得
とを
SELECT * FROM meta WHERE $name == “description”
タグでのものだけを取得
　→　metaタグでname=“description”のものだけを取得
タグのものだけを
SELECT href FROM a WHERE preg_match(“/^test¥//”, $href)
タグで」から始まるものだけを取得
　→　aタグでhrefが「test/」から始まるものだけを取得
タグが
PHPタグが使える
※evalを使っているので注意

注意点(1)

• いざアクセスを開始する前の注意点
• 逮捕されたら困るよね
　　　　　　　／￣￣￣＼
　　　　　　/　＿　　　　　￣￣＼
　　　　　　ヽ |☆|　　　　　　　　　）
　　　　　　/──二二二二二二ｌ
　　　　　　ヽ二二二二二／　　　丶
　　　　　　/__　　　　　　　　　　　　　|
　　　　　　|　　　　ひ　　　　|　　　　│
　　　　　ノ　　　　　　　　　　|　　　　|
　　　　(;;;）　　　　　　　　　　|　　　　|　　　　　　　　　　　　　　　　　　　　　　(⌒）＿＿＿（⌒）
　　　　ヽ　　　　　　　　　　　|　　　　ヽ　　　　　　　　　　　　　　　　　　　　／￣　　　　　　￣＼
　　　　　＼＿＿＿＿＿ノ　　＼＿＿/　　　　　　　　　　　　　　　　　　　/　　　　　　　　　　　　ｌ
　　　　　　　　　__|　　　　　　　/　　＼　　　　　　　　　　　　　　　　　　　|　　⌒　　　　⌒　　　　|
　　　　　　　　/　ヽ＿＿＿＿/　　　／＼　　　　　　　　　　　　　　　　　│　■■■■■　　　 │
　　　　　　　／|　│__丿;;;＼_/＼＿/＼　ヽ　　　　　　　　　　　　　　　　|　　　　(⌒）　　　　　　|
　　　　　　/　　ヽ/|ヽ;;;;;;;;;ﾉ/　＼　　　丶／丶　　　　　　　　　　　　　　　|　　　___T____　　　　　　|
　　　　　　|　　　|　|　/;;;;;|/＼─　　　　　　　丶　　　　　　　　　　　　　　ヽ　　　ｌ--　ｌ　　　　　　/__
　　　　　　/　　　|　|/;;;;;;;/　　>＿＿　　/　　　|　　　　　　　　　　　　　　　＼__＿￣＿＿＿＿／;;;;;;ヽ
　　　　　　j　　|　|　|;;;;;;;/　　/|--┌│　|　　　│　　　　　　　　　　　　　　　/　ヽ;;;;;|　　　　　/⌒ｌ;;;;;;;;;|
　　　　　　|　│　|　|;;;;;/　　/│　││　|　　　│　　　　　　　　　　　　　　│　　|;;;;;Ｌ＿＿_/　　/;;;;;;;;;|
　　　　　ﾉ　　|　│　|;;/　　/　|＿__|__|　│　　　|　　　　　　　　　　　　　　/　　　|;;;;;;;;;;;;;;;;;／　　/;;;;;;;;;;;|
　　　　　|　　|　　|__|;;/　／　　　　　　　　|　　　│　　　　　　　　　　　　　|　　　|;;;;;;;;;;;;;;／　　／;;;;;;;;;;;;;|
　　　　　ﾉ　　|　　＼|／　　　　　　　　　|　　　　│　　　　　　　　　　　　/　　　/;;;;;;;;;／　　／;;;;;;;;;;;;;;;;;;|
　　　　／　　|　　　　　　　　　　　　　　／￣丶　|　　　　　　　　　　（⌒（⌒ヾヾ／　　　／;;;;;;;;;;;;;;;;;;;;;;;;;|
　　　/　　　　ヽ＿＿＿＿＿＿彡（￣￣ヽ￣|　　|　　　　　　　　　（　　(　　　|ヾ＿__／;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;|
　　／＼　　　/;;;;［＿＿］;;;;;;;;;;;彡（二二　││　/　　　　　　　　　　（＿(＿ノゞゞ|;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;|
　　ゝ＼＼／￣|　　　　　￣￣巛（＿＿__ノ＿／　　　　　　　　　　　　　　彡彡　|;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;／|
　（Ο　Ο)＼_ノ　　　　　　　　　彡彡∠彡彡彡彡彡彡彡彡彡彡彡彡彡　　　　|;;;;;;;;;;;;;;／￣￣￣　/
　　(　Ο丿　|　￣￣￣￣￣￣￣￣￣￣|　　　　　　　　　　　　　　　　　　　　　　ヽ;;;;;／　　　　　　/
　　　￣　　　|　　　　　　　　　　　　　　　│　　　　　　　　　　　　　　　　　　　　　　|　/　　　　　　/

注意点(2)

• アクセス頻度は低めにしよう
foreach ($loop => $row) {
・
・
sleep(2);
}

• 500や503エラーを見るようにしよう
if (!preg_match('/^HTTP¥/1¥.1 200 OK/', $wsql->snoopy->response_code)) {
print 'Error status code: ' . $wsql->snoopy->response_code;
exit; // 処理を中止する
処理を中止する
}

• robots関連の設定を見てみよう
meta, robots.txt
SELECT content FROM meta WHERE $name == “robots“
→　'content' => string 'INDEX,FOLLOW' (length=12)

実践(1)

• さて、いざ図書館にアクセス
• 大きな問題に気づいた
• htmlSQLはPOSTできない

検索エンジンなどを見ていて、なんとなく検索結果
はGETというイメージがあったが、実際はどれも
POSTだった

実践(2)

• んー・・・

• POSTが使えるように改造するのはそう
大変じゃないみたいだが・・・

• 正直別に図書館HPにアクセスしたいわ
けじゃないし・・・

実践(3)

• 予定を変更して

• 男の子のロマン、エロ画像収集にサンプルプ
ログラムを変更

• 「ふたば★ちゃんねる」から画像を収集する
プログラムを作成してみた

• 画像URLを抽出しリスト化するプログラムを
作る

• 画像自体のDLは、FlashGet的なツールや、
$ wget –i [リスト]で行う。

実践(4)
include_once("snoopy.class.php");
include_once("htmlsql.class.php");
$wsql = new htmlsql();

for ($p = 1; $p < 5; $p++) {
// ページに接続
ページに
if (!$wsql->connect('url', sprintf(http://jun.2chan.net/b/ . '%d.htm', $p))) {
　　　　die('Error while connecting: ' . $wsql->error);
　　　　
}

// ステータスコードをチェック
ステータスコードを
if (!preg_match('/^HTTP¥/1¥.1 200 OK/', $wsql->snoopy->response_code)) {
die('Error status code: ' . $wsql->snoopy->response_code);
}

// SQLを実行
を
if (!$wsql->query('SELECT href FROM a WHERE preg_match("/thumb(.*)¥.(jpg|gif|png)/", $text)')) {
die("Query error: " . $wsql->error);
}

// 結果を出力
結果を
foreach($wsql->fetch_array() as $row) {
(*ﾟ∀ﾟ)
if (isset($row['href'])) {
echo $row['href'] . "¥n"; すんごい楽
}
} （所要時間10分弱）
// スリープ処理
スリープ処理
sleep(2);
}

動作結果

(;´Д`)

まとめ

• 図書館にアクセスってなに？
• htmlSQLを使うと、スクレイピングをす
ごく楽に行うことができる
• POSTには対応していないので、検索結
果などから切り出すなどの処理は苦手
のようだ
• 十分なスリープをいれたり、ステータ
スコードをみるなど、相手サーバの事
を思いやる心が重要

おまけ

• どうやらhtmlSQLは、SEOに使うと便利
らしい
htmlSQLでモバイルSEOを簡単にシステムツール化して管理する | 携帯サイトをつくろう。
http://www.plusmb.jp/2009/01/30/2378.html

> さらにやってることは、スクレイピングと同じなので、
> 使い方によってはもっと色んなことができます。
> SEOで言うと結構重要なアレなんかもこれを使えば簡単にできますね。
> 具体的には書けないですが、色んな使い方を考えて使ってみて下さい。

会場の中で知っている人がいましたら、こっそり教えて
下さい

おまけ(2) スタッフ募集のお知らせ
• 株式会社インフィニットループでは、
一緒に楽しんでゲームを作ってくれる
スタッフを募集しています

• PHPプログラマ
ActionScriptプログラマ
サーバエンジニア

• 興味のある方は、直接声を掛けていた
だくか、HPからお問い合わせください

「Html sql」で図書館hpにアクセスしてみよう

More Related Content

What's hot

Similar to 「Html sql」で図書館hpにアクセスしてみよう

More from Kentaro Matsui

「Html sql」で図書館hpにアクセスしてみよう