1. 実践スクレイピング
不条理な現実との折り合いの付け方
ふるかわだいすけ/mogya.com

2. ふるかわだいすけ
フリーランスWEBエンジニア
http://mogya.com/
http://mogya com/
Twitter: @mogya
自己紹介

3. ふるかわだいすけ
フリーランスWEBエンジニア
http://maidmail.jp/
自己紹介

4. http://oasis.mogya.com/
モバイラーズオアシス

5. http://oasis.mogya.com/
携帯/スマートフォン対応

6. 実践スクレイピング
今日のテーマ

7. はじめてのスクレイピング
・Hpricot
X th
・Xpath
・店名を取ってみる
実践スクレイピング
・1ページに全部入っている場合
id
・id=xxx方式
方式
・一覧ページ→詳細ページ
・「次へ」対応
「次へ 対応
現実のスクレイピング
まとめ
目次

8. photo by Big Ben(Gaijin Bikers)
はじめてのスクレイピング

9. 例えばこんなページ
http://www.mcdonalds.co.jp/shop/map/map.php?strcode=01570

10. こうなっているところから
http://www.mcdonalds.co.jp/shop/map/map.php?strcode=01570

11. require 'rubygems'
require 'hpricot'
require 'open-uri'
url =
'http://www mcdonalds map php?strcode=01570'
http://www.mcdonalds…map.php?strcode=01570
page = Hpricot( open(url).read );nil
page sea c ( S op a e 3 )
page.search(".Shopname h3").inner_te t
e text
店名を取ってみる

12. Hpricot
• ＨＴＭＬパーサー
• xpathでＨＴＭＬから切り出しができる
Hpricot

13. page = Hpricot( open(url).read )
page.search(".Shopname h3").inner_text
“body div h1”
“div#Content1
“di #C t t1 h1”
“.content title”
.content_title
(page/".content_title")[0].inner_text
XPath(XML Path Language)

14. /html/body/table/tbody/tr[3]/td/
勝手にtbodyとか補足する点に注意
Firebugを使うとラクチン
http://www.mcdonalds.co.jp/shop/map/map.php?strcode=01570

15. require 'rubygems'
require 'hpricot'
require 'open-uri'
open-uri
url =
'http://www.mcdonalds・・・map.php?strcode=01570'
page = Hp icot( open( l) ead ) nil
Hpricot( open(url).read );nil
page.search(".Shopname h3").inner_text
店名を取ってみる

16. page = Hpricot( open(url).read )
↓
page = Hpricot( open(url).read );nil
irbの場合

17. userAgent =
"mogya scraper under construction. ”+
”you can contact me at mogya+scraper@mogya.com"
page = Hpricot( open(_url, "User-Agent" => userAgent ).read )
連絡がつくようにしておく

18. Require “kconv”
userAgent =
"mogya scraper under construction. ”+
”you can contact me at mogya+scraper@mogya.com"
page = Hpricot( open(url, "User-Agent" => userAgent ).read.toutf8 )
※読みにくいので、以降のサンプルでは省略しました
文字コードの問題

19. • Aj でデ タを動的ロ ド
Ajaxでデータを動的ロード
→スクレイピングだとデータが取れない
• JSの読み出し元を見ればいいんじゃね？
•ブラウザでアクセスしてみる
→403 forbidden
•以降、サイトまるごと403 forbiddenになった
→「本気だ！」
※このデザインになる前の話
余談：防衛反応
http://www.mcdonalds.co.jp/shop/map/map.php?strcode=01570

20. photo by Big Ben(Gaijin Bikers)
実践スクレイピング

21. http://www.burgerkingjapan.co.jp/locations/
1ページに全部入っている場合
http://www.first-kitchen.co.jp/shop/

22. バーガーキング
http://www.burgerkingjapan.co.jp/locations/

23. require 'rubygems'
i ' b '
require 'hpricot'
require 'open-uri'
url = 'htt //
l 'http://www.burgerkingjapan.co.jp/locations/'
b ki j j /l ti /'
page = Hpricot( open(url).read );nil
page.search( li dl ).each{|part|
page search(".li dl") each{|part|
p part.search("dd h4 a").inner_text
}
バーガーキング
http://www.burgerkingjapan.co.jp/locations/

24. id=xxxx方式
http://www.mcdonalds.co.jp/shop/map/map.php?strcode=01578

25. require 'rubygems'
require 'hp icot'
eq i e 'hpricot'
require 'open-uriʻ
url_template
url template =
'http://www.mcdonalds ・・・ strcode=%05i'
0.upto(10000){|i|
url = sprintf(url_template,i)
page = Hpricot( open(url).read );nil
p page search(" Shopname h3") inner text
page.search(".Shopname h3").inner_text
sleep 3
}
id=xxxx方式
http://www.mcdonalds.co.jp/shop/map/map.php?strcode=01578

26. 新店舗情報を見ると idのmax値がわかることが多い
新店舗情報を見ると、idのmax値がわかることが多い
id=xxxx方式
http://www.mcdonalds.co.jp/shop/map/map.php?strcode=01578

27. 飛び飛びで見て最低値を推測
0.step(10000,100){|i|
url = sprintf(url template i)
sprintf(url_template,i)
page = Hpricot( open(url).read );nil
p "#{url}:"+page.search(".Shopname h3").inner_text
sleep 3
}
id=xxxx方式

28. 飛び飛びで見て最低値を推測
0.step(10000,100){|i|
url = sprintf(url template i)
sprintf(url_template,i)
page = Hpricot( open(url).read );nil
p "#{url}:"+page.search(".Shopname h3").inner_text
sleep 3
}
id=xxxx方式

29. 一覧ページ→詳細ページ
http://www.bagus-99.com/company/shop.html

30. 一覧ページ→詳細ページ
http://www.bagus-99.com/company/shop.html

31. require 'rubygems'
q yg
require 'hpricot'
require 'open-uri'
archive_url = 'http://www.bagus-99.com/netcafe/store/'
archive_page = Hpricot( open(archive_url).read );nil
archive_page.search("td.darker2/a").each{|url_part|
url = archive_url + url_part['href']
page = Hpricot( open(url).read ) il
i ( ( l) d );nil
以下略
sleep 1
}
一覧ページ→詳細ページ
http://www.bagus-99.com/company/shop.html

32. 「次へ」対応
http://www.mapion.co.jp・・・search=mapAreabtn

33. 「次ページへ」がある時
「次ページへ」がない時
次ペ ジへ」がない時
XPATHではムリ！
「次へ」対応
http://www.mapion.co.jp・・・search=mapAreabtn

34. def parse(url)
p ( )
page = Hpricot( open(url).read )
page.search(".address").each{|part|
p part.search("h2").inner_text
}
next_url =
(page.inner_html.scan(
/HREF="(.*)"><strong>次ページへ/
/ "( *)" 次 ジ /
)[0][0]) rescue nil
if (next_url)
parse("http://www.mapion.co.jp"+next_url)
("htt // i j "+ t l)
end
end
url = “http://www.mapion.co.jp/c/f?・・・admi3=13101・・・"
parse(url)
「次へ」対応
http://www.mapion.co.jp・・・search=mapAreabtn

35. photo by Big Ben(Gaijin Bikers)
現実のスクレイピング

36. 現実１：データ大杉
http://www.doutor.co.jp/shopsearch/index.html#

37. → 47回回せばOK？
現実１：データ大杉
http://www.mapion.co.jp・・・BT=all

38. 現実１：データ大杉
http://www.mapion.co.jp・・・BT=all

39. URLをじーっと眺めると。
１．東京都の各エリア
http://www.mapion.co.jp/c/f?・・・&admi2code=13&BT=all&admi3=13101&search.x=15&search.y=8
http://www mapion co jp/c/f? &admi2code 13&BT all&admi3 13101&search x 15&search y 8
http://www.mapion.co.jp/c/f?・・・&admi2code=13&BT=all&admi3=13102&search.x=25&search.y=5
：
２．それ以外の県
． れ以外 県
http://www.mapion.co.jp/c/f?・・・&admi2code=40&mx=100&vp=10&BT=all
http://www.mapion.co.jp/c/f?・・・&admi2code=41&mx=100&vp=10&BT=all
→2パターンに分けてスクレイピング
に分 グ
対処１：地道に対応

40. Flashの検索フォーム
検索
現実２：強敵Flash
http://sp.chizumaru.com/dbh/lotteria/top.aspx?account=lotteria

41. Flashの検索フォーム
検索
現実２：強敵Flash
http://sp.chizumaru.com/dbh/lotteria/top.aspx?account=lotteria

42. 現実２：強敵Flash
http://sp.chizumaru.com/・・・&arg=

43. http://sp.chizumaru.com/dbh/lotteria/detailmap.aspx?accou
nt=lotteria&accmd=0&arg=&c1=&c2=&c3=&c4=&c5=&c6=
&c7 &c8 &c9 &c10 &c11 &c12 &c13 &c14 &c15 &c16
&c7=&c8=&c9=&c10=&c11=&c12=&c13=&c14=&c15=&c16
=&c17=&c18=&c19=&c20=&c21=&c22=&c23=&c24=&c25
=&c26=&c27=&c28=&c29=&c30=&mode=11&key=&pg=1&
ad &b d
adr=&bid=113106
3 06
6桁とかｗ
現実２：強敵Flash
http://sp.chizumaru.com/dbh/lotteria/detailmap.aspx・・・bid=113106

44. http://sp.chizumaru.com/dbh/lotteria/detailmap.aspx?accoun
t=lotteria&bid=113106
現実２：強敵Flash

45. 鉄壁！
・ページリスト：取れない(Flashだから)
・一覧ページのURL：取れない
(座標指定なのでパターンを読めない)
・個別ページ：id多すぎ
現実２：強敵Flash

46. 対応：偶然発見！

47. http://www.pronto.co.jp/solare/
注）BGMが鳴ります
現実３：強敵Flash２

48. 数が少ないので手作業で片付けましたｗ
対策３：あきらめる

49. 余談：渡る世間に鬼はなし
http://www.manboo.co.jp/

50. 余談：渡る世間に鬼はなし
http://www.manboo.co.jp/

51. 現実４：Tableレイアウト

52. 現実４：Tableレイアウト

53. XPATHがこんなふうになる
page.search("/html/body/table/tr[3]/td/table/tr/td/table/tr/td[2]/tab
le/tr[3]/td/table/tr[3]/td/table/tr/td/table/tr/td/a )
le/tr[3]/td/table/tr[3]/td/table/tr/td/table/tr/td/a”)
ひどい場合、そもそもXPATHで表現できないことも
対応
・1カ所くらいclassがついていることもある
・FireBugで何とかなる間はなんとかする
・どうにもならない時は、正規表現で取得
現実４：Tableレイアウト

54. 現実５：InvalidなHTML

55. 現実５：InvalidなHTML

56. 問題：xpathで読めなくなってしまう
対策：読み込んだタイミングで直してしまう
page =
Hpricot(
H i t(
open(url).read.gsub(
"</script>¥n<body>","</script>¥n“
</script>¥n<body> </script>¥n
)
);nil
対策：アドホックに直す

57. th便利
・xpath便利
・スクレイピングは個別対応の嵐
スクレイピングは個別対応の嵐
・validなHTMLを書きましょう
まとめ

58. おしまい

59. おしまいだってば！

60. もうないよ！

61. 時間があまった？

62. じゃあしょうがない

63. About
モバイラーズオアシス
モバイラ ズオアシス
おまけ

64. 「情報はどこから？」
情報はどこから？」
よくいただく質問

65. こたえ

66. ブログ

67. ・・・正直ムリ(＞＜)

68. twitter

69. • t itt で「電源 OR コンセント -切」をwatch
twitterで「電源 ンセント 切 を t h
• ９９％はどうでもいい話だけど、
高速で読み飛ばせるので対応可能
• 敵はbotと診断メーカー
twitter

70. • t itt で「電源 OR コンセント -切」をwatch
twitterで「電源 ンセント 切 を t h
• ９９％はどうでもいい話だけど、
高速で読み飛ばせるので対応可能
• 効能
•電源情報収集
•宣伝
•ＳＥＯ
顧客の声を聞く
•顧客の声を聞く
twitter

71. on ExpressionEngine
バックエンド

72. 管理をCMSに投げる

73. システム構成
• Ce tOS5 3
CentOS5.3
• Apache2.2.3
• E pressionEngine v.1.6.4
ExpressionEngine 1 6 4
• MySQL 5.0
• jQuery 1.3.2
132
• GoogleMapsAPI
システム構成

74. システム構成
ee_Net_UserAgent_Mobile
ee Net UserAgent Mobile
通常のリクエスト
通常 リク ト
Expression spot_search
結果ページの Engine
リクエスト
DB
検索クエリ Search.php
システム構成