RubyScraping
Ruby関西
yhara(原 悠)

自己紹介
yhara (原 悠)
滋賀県在住
所属：京大マイコンクラブ
過去の発表：
Plagger meets Ruby
30分でわかるcallccの使い方
Ruby用Webスクレイピングライブラリ、Hpricot

“RubyScraping” Wiki
http://mono.kmc.gr.jp/~yhara/rubyscraping/

「スクレイピング」とは？
scrape＝引っかく、削り取る
Webページから情報を抜き出す技術
便利なライブラリ
WWW::Mechanize
Hpricot

WWW::Mechanize
Web自動巡回ライブラリ

WWW::Mechanize
Web自動巡回ライブラリ
例：自動google検索
require 'mechanize'
agent = WWW::Mechanize.new
page = agent.get(\"http://www.google.co.jp/\")
search_form = page.forms.first
search_form[\"q\"] = \"Ruby\"
search_results = search_form.submit
print search_results.body

実行結果
googleで”Ruby”を検索した結果のHTMLが
出力される

解説
手作業で検索するときの動作：
(1)トップページを開く
(2)検索用フォームを探す
(3)検索語句に ”Ruby” と入力
(4)「検索」ボタンを押す
Mechanizeならこれを「そのまま」Rubyで書ける！

解説
(1)トップページを開く→(2)検索用フォームを探す→
(3)検索語句に ”Ruby” と入力→(4)「検索」ボタンを押す
require 'mechanize'
agent = WWW::Mechanize.new
page = agent.get(“http://www.google.co.jp/”) #１
search_form = page.forms.first #２
search_form[“q”] = “Ruby“ #３
search_results = search_form.submit #４
print search_results.body

Hpricot
HTML解析ライブラリ

Hpricot
HTML解析ライブラリ
例：さっきのgoogle検索結果から、
ヒットしたページのタイトルを全て出力
require \"hpricot\"
doc = Hpricot(File.read(\"google.html\"))
(doc/\"a.l\").each do |a|
puts a[\"href\"]
puts a.inner_text
end

実行結果

解説
(doc/\"a.l\") ⇔ <a class=\"l\">…</a>
(doc/\"div#res\") ⇔ <div id=\"res\">…</div>
CSSセレクタが使える
require \"hpricot\"
doc = Hpricot(File.read(\"google.html\"))
(doc/\"a.l\").each do |a|
puts a[\"href\"] #=> URL
puts a.inner_text #=> ページタイトル
end

デモ
(時間が余れば)

Googleの広告を消す(^^;
require ’rubygems’
require ’hpricot’
require ‘kconv’
html = File.read(“google.html”) #htmlファイルを開く
doc = Hpricot(html) #Hpricotオブジェクトを作る
#テキストに”DODA”が含まれているtdタグの中身を消す
(doc/”td[text()*=DODA]”).empty
File.open(“no_ad.html”, “w”){|f| #ファイルに書き戻す
f.wirte doc.to_html
}

実行結果

その他の機能
ファイルのアップロード (Mechanize)
プロキシ使用(Mechanize)
CSSセレクタ (Hpricot)
XPath (Hpricot)
タグ構造を調べるには、Firefox+FireBugが
便利

続きはWebで！
ご清聴ありがとうございました

おまけ
cross-search.rb
> ./cross_search.rb Ruby
search_by_google: オブジェクト指向スクリプト言語 Ruby
search_by_excite: オブジェクト指向スクリプト言語 Ruby
search_by_yahoo: オブジェクト指向スクリプト言語 Ruby
search_by_msn: Rubyリファレンスマニュアル - Enumerable
なぜかMSNサーチだけリファレンスのEnumerableがトップに来る(^^;