「Html sql」で図書館hpにアクセスしてみよう

「htmlSQL」で図書館HPにアクセスしてみよう LOCAL PHP部 (株)インフィニットループ ke-tai.org 松井　健太郎

ご注意 • タイトルからご推測いただけると思いますが、本発表はネタ要素が強いです • この発表はフィクションです。実在の事件、団体とは関係あるようで、あまり関係ありません • ネタにマジレスかっこ悪い!!

自己紹介 • LOCAL PHP部部長（引退間近） • (株)インフィニットループ代表 • ソーシャルゲームとかを作ってます • ke-tai.org管理人

今日の内容 • スクレイピングとは • htmlSQLとは • インストール＆セットアップ • サンプルプログラムの解説 • スクレイピングを行う際の注意点 • 実践 • まとめ

岡崎市立中央図書館事件 • 岡崎市立中央図書館のウェブサイトにアクセスを繰り返して、ほかの利用者が閲覧しにくい状態にしたとして、偽計業務妨害で容疑者が逮捕された。（後に不起訴） • 1秒間に1回アクセスしたら落ちたという図書館側のサーバのスペランカーっぷりと、警察の冷酷な対応が注目され話題に。 • いまスクレイピングがアツい!!

スクレイピングとは • 英語で「scrape」= 削ること scrape[ skr ip ] III[名 V[名][形をこする，をこするこすって（の状態にする；［III[名]（[副]）/V[名][形]］…をこする，こすって（…の状態に）する；付着物などを〉（…からこすり落などを〉（から）〈付着物などを〉（から）こすり落とす • ウェブサイトのデータを取得し、必要な部分だけを抽出して利用すること • 例えば、ページ内のリンクを全て抽出したい、ランキングサイトの上位5番目までのデータを取得したい、など

htmlSQLとは • PHPで作られたスクレイピング用ライブラリ、Jonas John氏が開発 • HTMLの要素をSQLのように取り出すことができる • このサイトで興味を持った ASTRODEO -真面目にエロサイトを作ってみた【プログラマ編】 http://astrodeo.com/blog/archives/257

インストール＆セットアップ • インストールはすごく簡単 • htmlSQLの公式サイトからzipで落とす htmlSQLの公式サイトからzipでサイトからzip だけ http://www.jonasjohn.de/lab/htmlsql. http://www.jonasjohn.de/lab/htmlsql.htm jonasjohn.de/lab/htmlsql • 二つのファイルをincludeすれば使えるつのファイルをincludeすれば使ファイルすれば snoopy.class.php snoopy.class.php htmlsql.class.php htmlsql.class.php .class.

サンプル include_once("snoopy.class.php"); include_once("htmlsql.class.php"); $wsql = new htmlsql(); // URLに接続に if (!$wsql->connect('url', 'http://codedump.jonasjohn.de/')) { print 'Error while connecting: ' . $wsql->error; exit; } クエリ実行 // クエリ実行 if (!$wsql->query('SELECT * FROM *')) { print "Query error: " . $wsql->error; exit; } array 0 => // 結果表示 array( foreach($wsql->fetch_array() as $row) { ‘属性’ => ‘値’ var_dump($row); ) } 　・　・　・

使い方の解説 SELECT href,title FROM a WHERE $class == “list” 属性タグ名条件 SELECT * FROM * てのHTMLを取得　→　全てのを SELECT text FROM title タイトルタグの　→　タイトルタグのtextを取得を ==であることに注意 SELECT href,title FROM a (イコール2つ) てのAタグタグの　→　全てのタグのhrefとtitleを取得とを SELECT * FROM meta WHERE $name == “description” タグでのものだけを取得　→　metaタグでname=“description”のものだけを取得タグのものだけを SELECT href FROM a WHERE preg_match(“/^test¥//”, $href) タグで」から始まるものだけを取得　→　aタグでhrefが「test/」から始まるものだけを取得タグが PHPタグが使える ※evalを使っているので注意

注意点(1) • いざアクセスを開始する前の注意点 • 逮捕されたら困るよね　　　　　　　／￣￣￣＼　　　　　　/　＿　　　　　￣￣＼　　　　　　ヽ |☆|　　　　　　　　　）　　　　　　/──二二二二二二ｌ　　　　　　ヽ二二二二二／　　　丶　　　　　　/__　　　　　　　　　　　　　| 　　　　　　|　　　　ひ　　　　|　　　　│ 　　　　　ノ　　　　　　　　　　|　　　　| 　　　　(;;;）　　　　　　　　　　|　　　　|　　　　　　　　　　　　　　　　　　　　　　(⌒）＿＿＿（⌒）　　　　ヽ　　　　　　　　　　　|　　　　ヽ　　　　　　　　　　　　　　　　　　　　／￣　　　　　　￣＼　　　　　＼＿＿＿＿＿ノ　　＼＿＿/　　　　　　　　　　　　　　　　　　　/　　　　　　　　　　　　ｌ　　　　　　　　　__|　　　　　　　/　　＼　　　　　　　　　　　　　　　　　　　|　　⌒　　　　⌒　　　　| 　　　　　　　　/　ヽ＿＿＿＿/　　　／＼　　　　　　　　　　　　　　　　　│　■■■■■　　　 │ 　　　　　　　／|　│__丿;;;＼_/＼＿/＼　ヽ　　　　　　　　　　　　　　　　|　　　　(⌒）　　　　　　| 　　　　　　/　　ヽ/|ヽ;;;;;;;;;ﾉ/　＼　　　丶／丶　　　　　　　　　　　　　　　|　　　___T____　　　　　　| 　　　　　　|　　　|　|　/;;;;;|/＼─　　　　　　　丶　　　　　　　　　　　　　　ヽ　　　ｌ--　ｌ　　　　　　/__ 　　　　　　/　　　|　|/;;;;;;;/　　>＿＿　　/　　　|　　　　　　　　　　　　　　　＼__＿￣＿＿＿＿／;;;;;;ヽ　　　　　　j　　|　|　|;;;;;;;/　　/|--┌│　|　　　│　　　　　　　　　　　　　　　/　ヽ;;;;;|　　　　　/⌒ｌ;;;;;;;;;| 　　　　　　|　│　|　|;;;;;/　　/│　││　|　　　│　　　　　　　　　　　　　　│　　|;;;;;Ｌ＿＿_/　　/;;;;;;;;;| 　　　　　ﾉ　　|　│　|;;/　　/　|＿__|__|　│　　　|　　　　　　　　　　　　　　/　　　|;;;;;;;;;;;;;;;;;／　　/;;;;;;;;;;;| 　　　　　|　　|　　|__|;;/　／　　　　　　　　|　　　│　　　　　　　　　　　　　|　　　|;;;;;;;;;;;;;;／　　／;;;;;;;;;;;;;| 　　　　　ﾉ　　|　　＼|／　　　　　　　　　|　　　　│　　　　　　　　　　　　/　　　/;;;;;;;;;／　　／;;;;;;;;;;;;;;;;;;| 　　　　／　　|　　　　　　　　　　　　　　／￣丶　|　　　　　　　　　　（⌒（⌒ヾヾ／　　　／;;;;;;;;;;;;;;;;;;;;;;;;;| 　　　/　　　　ヽ＿＿＿＿＿＿彡（￣￣ヽ￣|　　|　　　　　　　　　（　　(　　　|ヾ＿__／;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;| 　　／＼　　　/;;;;［＿＿］;;;;;;;;;;;彡（二二　││　/　　　　　　　　　　（＿(＿ノゞゞ|;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;| 　　ゝ＼＼／￣|　　　　　￣￣巛（＿＿__ノ＿／　　　　　　　　　　　　　　彡彡　|;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;／| 　（Ο　Ο)＼_ノ　　　　　　　　　彡彡∠彡彡彡彡彡彡彡彡彡彡彡彡彡　　　　|;;;;;;;;;;;;;;／￣￣￣　/ 　　(　Ο丿　|　￣￣￣￣￣￣￣￣￣￣|　　　　　　　　　　　　　　　　　　　　　　ヽ;;;;;／　　　　　　/ 　　　￣　　　|　　　　　　　　　　　　　　　│　　　　　　　　　　　　　　　　　　　　　　|　/　　　　　　/

注意点(2) • アクセス頻度は低めにしよう foreach ($loop => $row) { ・・ sleep(2); } • 500や503エラーを見るようにしよう if (!preg_match('/^HTTP¥/1¥.1 200 OK/', $wsql->snoopy->response_code)) { print 'Error status code: ' . $wsql->snoopy->response_code; exit; // 処理を中止する処理を中止する } • robots関連の設定を見てみよう meta, robots.txt SELECT content FROM meta WHERE $name == “robots“ →　'content' => string 'INDEX,FOLLOW' (length=12)

実践(1) • さて、いざ図書館にアクセス • 大きな問題に気づいた • htmlSQLはPOSTできない検索エンジンなどを見ていて、なんとなく検索結果はGETというイメージがあったが、実際はどれも POSTだった

実践(2) • んー・・・ • POSTが使えるように改造するのはそう大変じゃないみたいだが・・・ • 正直別に図書館HPにアクセスしたいわけじゃないし・・・

実践(3) • 予定を変更して • 男の子のロマン、エロ画像収集にサンプルプログラムを変更 • 「ふたば★ちゃんねる」から画像を収集するプログラムを作成してみた • 画像URLを抽出しリスト化するプログラムを作る • 画像自体のDLは、FlashGet的なツールや、 $ wget –i [リスト]で行う。

実践(4) include_once("snoopy.class.php"); include_once("htmlsql.class.php"); $wsql = new htmlsql(); for ($p = 1; $p < 5; $p++) { // ページに接続ページに if (!$wsql->connect('url', sprintf(http://jun.2chan.net/b/ . '%d.htm', $p))) { 　　　　die('Error while connecting: ' . $wsql->error); 　　　　 } // ステータスコードをチェックステータスコードを if (!preg_match('/^HTTP¥/1¥.1 200 OK/', $wsql->snoopy->response_code)) { die('Error status code: ' . $wsql->snoopy->response_code); } // SQLを実行を if (!$wsql->query('SELECT href FROM a WHERE preg_match("/thumb(.*)¥.(jpg|gif|png)/", $text)')) { die("Query error: " . $wsql->error); } // 結果を出力結果を foreach($wsql->fetch_array() as $row) { (*ﾟ∀ﾟ) if (isset($row['href'])) { echo $row['href'] . "¥n"; すんごい楽 } } （所要時間10分弱） // スリープ処理スリープ処理 sleep(2); }

動作結果 (;´Д`)

まとめ • 図書館にアクセスってなに？ • htmlSQLを使うと、スクレイピングをすごく楽に行うことができる • POSTには対応していないので、検索結果などから切り出すなどの処理は苦手のようだ • 十分なスリープをいれたり、ステータスコードをみるなど、相手サーバの事を思いやる心が重要

おまけ • どうやらhtmlSQLは、SEOに使うと便利らしい htmlSQLでモバイルSEOを簡単にシステムツール化して管理する | 携帯サイトをつくろう。 http://www.plusmb.jp/2009/01/30/2378.html > さらにやってることは、スクレイピングと同じなので、 > 使い方によってはもっと色んなことができます。 > SEOで言うと結構重要なアレなんかもこれを使えば簡単にできますね。 > 具体的には書けないですが、色んな使い方を考えて使ってみて下さい。会場の中で知っている人がいましたら、こっそり教えて下さい

おまけ(2) スタッフ募集のお知らせ • 株式会社インフィニットループでは、一緒に楽しんでゲームを作ってくれるスタッフを募集しています • PHPプログラマ ActionScriptプログラマサーバエンジニア • 興味のある方は、直接声を掛けていただくか、HPからお問い合わせください

http://ke-tai.org	166
http://us-w1.rockmelt.com	5
http://twitter.com	1

「Html sql」で図書館hpにアクセスしてみよう

by Kentaro Matsui on Aug 30, 2010

Accessibility

Tags

Upload Details

Usage Rights

3 Embeds 172

Statistics

「Html sql」で図書館hpにアクセスしてみよう — Presentation Transcript