実践スクレイピング

実践スクレイピング不条理な現実との折り合いの付け方ふるかわだいすけ/mogya.com

ふるかわだいすけフリーランスWEBエンジニア http://mogya.com/ http://mogya com/ Twitter: @mogya 自己紹介

ふるかわだいすけフリーランスWEBエンジニア http://maidmail.jp/ 自己紹介

http://oasis.mogya.com/ モバイラーズオアシス

http://oasis.mogya.com/ 携帯/スマートフォン対応

実践スクレイピング今日のテーマ

はじめてのスクレイピング・Hpricot X th ・Xpath ・店名を取ってみる実践スクレイピング・1ページに全部入っている場合 id ・id=xxx方式方式・一覧ページ→詳細ページ・「次へ」対応「次へ対応現実のスクレイピングまとめ目次

photo by Big Ben(Gaijin Bikers) はじめてのスクレイピング

例えばこんなページ http://www.mcdonalds.co.jp/shop/map/map.php?strcode=01570

こうなっているところから http://www.mcdonalds.co.jp/shop/map/map.php?strcode=01570

require 'rubygems' require 'hpricot' require 'open-uri' url = 'http://www mcdonalds map php?strcode=01570' http://www.mcdonalds…map.php?strcode=01570 page = Hpricot( open(url).read );nil page sea c ( S op a e 3 ) page.search(".Shopname h3").inner_te t e text 店名を取ってみる

Hpricot • ＨＴＭＬパーサー • xpathでＨＴＭＬから切り出しができる Hpricot

page = Hpricot( open(url).read ) page.search(".Shopname h3").inner_text “body div h1” “div#Content1 “di #C t t1 h1” “.content title” .content_title (page/".content_title")[0].inner_text XPath(XML Path Language)

/html/body/table/tbody/tr[3]/td/ 勝手にtbodyとか補足する点に注意 Firebugを使うとラクチン http://www.mcdonalds.co.jp/shop/map/map.php?strcode=01570

require 'rubygems' require 'hpricot' require 'open-uri' open-uri url = 'http://www.mcdonalds・・・map.php?strcode=01570' page = Hp icot( open( l) ead ) nil Hpricot( open(url).read );nil page.search(".Shopname h3").inner_text 店名を取ってみる

page = Hpricot( open(url).read ) ↓ page = Hpricot( open(url).read );nil irbの場合

userAgent = "mogya scraper under construction. ”+ ”you can contact me at mogya+scraper@mogya.com" page = Hpricot( open(_url, "User-Agent" => userAgent ).read ) 連絡がつくようにしておく

Require “kconv” userAgent = "mogya scraper under construction. ”+ ”you can contact me at mogya+scraper@mogya.com" page = Hpricot( open(url, "User-Agent" => userAgent ).read.toutf8 ) ※読みにくいので、以降のサンプルでは省略しました文字コードの問題

• Aj でデタを動的ロド Ajaxでデータを動的ロード →スクレイピングだとデータが取れない • JSの読み出し元を見ればいいんじゃね？ •ブラウザでアクセスしてみる →403 forbidden •以降、サイトまるごと403 forbiddenになった →「本気だ！」 ※このデザインになる前の話余談：防衛反応 http://www.mcdonalds.co.jp/shop/map/map.php?strcode=01570

photo by Big Ben(Gaijin Bikers) 実践スクレイピング

http://www.burgerkingjapan.co.jp/locations/ 1ページに全部入っている場合 http://www.first-kitchen.co.jp/shop/

バーガーキング http://www.burgerkingjapan.co.jp/locations/

require 'rubygems' i ' b ' require 'hpricot' require 'open-uri' url = 'htt // l 'http://www.burgerkingjapan.co.jp/locations/' b ki j j /l ti /' page = Hpricot( open(url).read );nil page.search( li dl ).each{|part| page search(".li dl") each{|part| p part.search("dd h4 a").inner_text } バーガーキング http://www.burgerkingjapan.co.jp/locations/

id=xxxx方式 http://www.mcdonalds.co.jp/shop/map/map.php?strcode=01578

require 'rubygems' require 'hp icot' eq i e 'hpricot' require 'open-uriʻ url_template url template = 'http://www.mcdonalds ・・・ strcode=%05i' 0.upto(10000){|i| url = sprintf(url_template,i) page = Hpricot( open(url).read );nil p page search(" Shopname h3") inner text page.search(".Shopname h3").inner_text sleep 3 } id=xxxx方式 http://www.mcdonalds.co.jp/shop/map/map.php?strcode=01578

新店舗情報を見ると idのmax値がわかることが多い新店舗情報を見ると、idのmax値がわかることが多い id=xxxx方式 http://www.mcdonalds.co.jp/shop/map/map.php?strcode=01578

飛び飛びで見て最低値を推測 0.step(10000,100){|i| url = sprintf(url template i) sprintf(url_template,i) page = Hpricot( open(url).read );nil p "#{url}:"+page.search(".Shopname h3").inner_text sleep 3 } id=xxxx方式

一覧ページ→詳細ページ http://www.bagus-99.com/company/shop.html

require 'rubygems' q yg require 'hpricot' require 'open-uri' archive_url = 'http://www.bagus-99.com/netcafe/store/' archive_page = Hpricot( open(archive_url).read );nil archive_page.search("td.darker2/a").each{|url_part| url = archive_url + url_part['href'] page = Hpricot( open(url).read ) il i ( ( l) d );nil 以下略 sleep 1 } 一覧ページ→詳細ページ http://www.bagus-99.com/company/shop.html

「次へ」対応 http://www.mapion.co.jp・・・search=mapAreabtn

「次ページへ」がある時「次ページへ」がない時次ペジへ」がない時 XPATHではムリ！「次へ」対応 http://www.mapion.co.jp・・・search=mapAreabtn

def parse(url) p ( ) page = Hpricot( open(url).read ) page.search(".address").each{|part| p part.search("h2").inner_text } next_url = (page.inner_html.scan( /HREF="(.*)"><strong>次ページへ/ / "( *)" 次ジ / )[0][0]) rescue nil if (next_url) parse("http://www.mapion.co.jp"+next_url) ("htt // i j "+ t l) end end url = “http://www.mapion.co.jp/c/f?・・・admi3=13101・・・" parse(url) 「次へ」対応 http://www.mapion.co.jp・・・search=mapAreabtn

photo by Big Ben(Gaijin Bikers) 現実のスクレイピング

現実１：データ大杉 http://www.doutor.co.jp/shopsearch/index.html#

→ 47回回せばOK？現実１：データ大杉 http://www.mapion.co.jp・・・BT=all

現実１：データ大杉 http://www.mapion.co.jp・・・BT=all

URLをじーっと眺めると。１．東京都の各エリア http://www.mapion.co.jp/c/f?・・・&admi2code=13&BT=all&admi3=13101&search.x=15&search.y=8 http://www mapion co jp/c/f? &admi2code 13&BT all&admi3 13101&search x 15&search y 8 http://www.mapion.co.jp/c/f?・・・&admi2code=13&BT=all&admi3=13102&search.x=25&search.y=5 ：２．それ以外の県．れ以外県 http://www.mapion.co.jp/c/f?・・・&admi2code=40&mx=100&vp=10&BT=all http://www.mapion.co.jp/c/f?・・・&admi2code=41&mx=100&vp=10&BT=all →2パターンに分けてスクレイピングに分グ対処１：地道に対応

Flashの検索フォーム検索現実２：強敵Flash http://sp.chizumaru.com/dbh/lotteria/top.aspx?account=lotteria

現実２：強敵Flash http://sp.chizumaru.com/・・・&arg=

http://sp.chizumaru.com/dbh/lotteria/detailmap.aspx?accou nt=lotteria&accmd=0&arg=&c1=&c2=&c3=&c4=&c5=&c6= &c7 &c8 &c9 &c10 &c11 &c12 &c13 &c14 &c15 &c16 &c7=&c8=&c9=&c10=&c11=&c12=&c13=&c14=&c15=&c16 =&c17=&c18=&c19=&c20=&c21=&c22=&c23=&c24=&c25 =&c26=&c27=&c28=&c29=&c30=&mode=11&key=&pg=1& ad &b d adr=&bid=113106 3 06 6桁とかｗ現実２：強敵Flash http://sp.chizumaru.com/dbh/lotteria/detailmap.aspx・・・bid=113106

http://sp.chizumaru.com/dbh/lotteria/detailmap.aspx?accoun t=lotteria&bid=113106 現実２：強敵Flash

鉄壁！・ページリスト：取れない(Flashだから) ・一覧ページのURL：取れない (座標指定なのでパターンを読めない) ・個別ページ：id多すぎ現実２：強敵Flash

対応：偶然発見！

http://www.pronto.co.jp/solare/ 注）BGMが鳴ります現実３：強敵Flash２

数が少ないので手作業で片付けましたｗ対策３：あきらめる

余談：渡る世間に鬼はなし http://www.manboo.co.jp/

現実４：Tableレイアウト

XPATHがこんなふうになる page.search("/html/body/table/tr[3]/td/table/tr/td/table/tr/td[2]/tab le/tr[3]/td/table/tr[3]/td/table/tr/td/table/tr/td/a ) le/tr[3]/td/table/tr[3]/td/table/tr/td/table/tr/td/a”) ひどい場合、そもそもXPATHで表現できないことも対応・1カ所くらいclassがついていることもある・FireBugで何とかなる間はなんとかする・どうにもならない時は、正規表現で取得現実４：Tableレイアウト

現実５：InvalidなHTML

問題：xpathで読めなくなってしまう対策：読み込んだタイミングで直してしまう page = Hpricot( H i t( open(url).read.gsub( "</script>¥n<body>","</script>¥n“ </script>¥n<body> </script>¥n ) );nil 対策：アドホックに直す

th便利・xpath便利・スクレイピングは個別対応の嵐スクレイピングは個別対応の嵐・validなHTMLを書きましょうまとめ

おしまい

おしまいだってば！

もうないよ！

時間があまった？

じゃあしょうがない

About モバイラーズオアシスモバイラズオアシスおまけ

「情報はどこから？」情報はどこから？」よくいただく質問

こたえ

ブログ

・・・正直ムリ(＞＜)

twitter

• t itt で「電源 OR コンセント -切」をwatch twitterで「電源ンセント切を t h • ９９％はどうでもいい話だけど、高速で読み飛ばせるので対応可能 • 敵はbotと診断メーカー twitter

• t itt で「電源 OR コンセント -切」をwatch twitterで「電源ンセント切を t h • ９９％はどうでもいい話だけど、高速で読み飛ばせるので対応可能 • 効能 •電源情報収集 •宣伝 •ＳＥＯ顧客の声を聞く •顧客の声を聞く twitter

on ExpressionEngine バックエンド

管理をCMSに投げる

システム構成 • Ce tOS5 3 CentOS5.3 • Apache2.2.3 • E pressionEngine v.1.6.4 ExpressionEngine 1 6 4 • MySQL 5.0 • jQuery 1.3.2 132 • GoogleMapsAPI システム構成

システム構成 ee_Net_UserAgent_Mobile ee Net UserAgent Mobile 通常のリクエスト通常リクト Expression spot_search 結果ページの Engine リクエスト DB 検索クエリ Search.php システム構成

http://blog.mogya.com	554
http://mogya.com	259
http://webcache.googleusercontent.com	10
http://www.mogya.com	9
http://www.slideshare.net	6
http://translate.googleusercontent.com	2
http://74.125.153.132	1
http://overviewa.appspot.com	1
http://cc.bingj.com	1

実践スクレイピング

by mogya on Apr 24, 2010

Accessibility

Tags

Upload Details

Usage Rights

9 Embeds 843

Statistics

実践スクレイピング — Presentation Transcript