Successfully reported this slideshow.
Nokogiri 
on 
Rails
事前準備
★注意★ 
わりとふざけた発表です
LOUPEから 
来ました
_人人人人人人人_ 
> 服装が同じ < 
‾Y^Y^Y^Y^Y^Y‾
LOUPE, Inc 
SENSEI NOTE 
~全国の先生を支える~ 
SENSEI PORTAL 
~教員向けイベントまとめ~ 
http://lo-upe.com/
北海道から 
来ました
北海道 千歳市 
(たぶんこのへん 
★
 向平 卓矢 
 Takuya Mukohira 
苫小牧高専 
情報工学科3年 
18歳のPython使い 
! 
株式会社LOUPE 
エンジニア インターン 
でRuby書いてる。 
! 
twitter.com/mktakuya 
fa...
Railsで作ったり、作っている 
もの 
SENSEI NOTE - http://senseinote.com 
SENSEI PORTAL - http://senseiportal.com 
情報処理同好会のサイト - http://t...
Nokogiri 
on 
Rails
Nokogiri 
on 
Rails
Nokogiri 
on 
Rails 
のこぎり 
おん 
れぃるず
Nokogiri 
Ruby製! 
Webスクレイピング用の 
ライブラリhttp://nokogiri.org/
on Rails Railsに載せてクローラを作ろう!
Web 
スクレイピング? 
! 
クローラ? 
フリー素材屋Hoshino - www.s-hoshino.com
Webスクレイピング 
WebサイトからHTMLやXMLなどを収集し、 
特定のデータを抽出、加工すること!
クローラ 
ウェブ上の文書や画像などを周期的に取得し、 
自動的にデータベース化するプログラム。 
Bot、スパイダーなどとも言う。 
検索エンジン や 
記事まとめサービス など
Nokogiri 
on 
Rails 
! 
で作った 
Webスクレイピング 
プログラム 
! 
を 
! 
に載せてクローラ化!
今日は主に 
Nokogiri 
の話をします
Nokogiri の話
Nokogiri 
はじめの一歩 
 require ‘open-uri’ 
 require ‘nokogiri’ 
 url = ‘http://wired.jp' 
 page = Nokogiri::HTML(open(url)) 
 ...
やってみよう 
Nokogiriで 
Webスクレイピング
Webスクレイピングしてみる 
STEP1. ページの分析 
STEP2. コンソールでやってみる 
STEP3. コードを書く
Demo
on Rails の話
on Railsの話 
1.rake タスクファイルを生成 
2.Wheneverでスケジューリング
rakeタスクファイル 
1. rails generate task crawl 
2. lib/tasks/crawl.rake の編集
Whenever 
1.gem 'whenever', :require => false 
2.wheneverize . 
3.config/schedule.rb を編集
詳しくは 
RailsでオリジナルRakeタスク作成からRSpecテスト 
まで 
- http://morizyun.github.io 
/blog/rake-task-rails-rspec-test/ 
Wheneverは導入が超簡単な...
Nokogiri 
on 
Rails
Nokogiri 
on 
Rails 
! 
で作った 
Webスクレイピング 
プログラム 
! 
を 
! 
に載せてクローラ化!
Thank You!
Nokogiri on Rails
Nokogiri on Rails
Nokogiri on Rails
Nokogiri on Rails
Nokogiri on Rails
Upcoming SlideShare
Loading in …5
×

Nokogiri on Rails

1,063 views

Published on

第1回Webアプリ開発のためのRuby on Rails勉強会( https://www.facebook.com/events/572207402889242/ )の発表資料。
Demo部分には個人情報が含まれていたため削除しました。

Published in: Technology
  • Be the first to comment

Nokogiri on Rails

  1. 1. Nokogiri on Rails
  2. 2. 事前準備
  3. 3. ★注意★ わりとふざけた発表です
  4. 4. LOUPEから 来ました
  5. 5. _人人人人人人人_ > 服装が同じ < ‾Y^Y^Y^Y^Y^Y‾
  6. 6. LOUPE, Inc SENSEI NOTE ~全国の先生を支える~ SENSEI PORTAL ~教員向けイベントまとめ~ http://lo-upe.com/
  7. 7. 北海道から 来ました
  8. 8. 北海道 千歳市 (たぶんこのへん ★
  9. 9.  向平 卓矢  Takuya Mukohira 苫小牧高専 情報工学科3年 18歳のPython使い ! 株式会社LOUPE エンジニア インターン でRuby書いてる。 ! twitter.com/mktakuya facebook.com/mktakuya github.com/mktakuya → MK って呼ばれてる。
  10. 10. Railsで作ったり、作っている もの SENSEI NOTE - http://senseinote.com SENSEI PORTAL - http://senseiportal.com 情報処理同好会のサイト - http://tnctjosho.info
  11. 11. Nokogiri on Rails
  12. 12. Nokogiri on Rails
  13. 13. Nokogiri on Rails のこぎり おん れぃるず
  14. 14. Nokogiri Ruby製! Webスクレイピング用の ライブラリhttp://nokogiri.org/
  15. 15. on Rails Railsに載せてクローラを作ろう!
  16. 16. Web スクレイピング? ! クローラ? フリー素材屋Hoshino - www.s-hoshino.com
  17. 17. Webスクレイピング WebサイトからHTMLやXMLなどを収集し、 特定のデータを抽出、加工すること!
  18. 18. クローラ ウェブ上の文書や画像などを周期的に取得し、 自動的にデータベース化するプログラム。 Bot、スパイダーなどとも言う。 検索エンジン や 記事まとめサービス など
  19. 19. Nokogiri on Rails ! で作った Webスクレイピング プログラム ! を ! に載せてクローラ化!
  20. 20. 今日は主に Nokogiri の話をします
  21. 21. Nokogiri の話
  22. 22. Nokogiri はじめの一歩  require ‘open-uri’  require ‘nokogiri’  url = ‘http://wired.jp'  page = Nokogiri::HTML(open(url))  page.title  # => "WIRED.jp"
  23. 23. やってみよう Nokogiriで Webスクレイピング
  24. 24. Webスクレイピングしてみる STEP1. ページの分析 STEP2. コンソールでやってみる STEP3. コードを書く
  25. 25. Demo
  26. 26. on Rails の話
  27. 27. on Railsの話 1.rake タスクファイルを生成 2.Wheneverでスケジューリング
  28. 28. rakeタスクファイル 1. rails generate task crawl 2. lib/tasks/crawl.rake の編集
  29. 29. Whenever 1.gem 'whenever', :require => false 2.wheneverize . 3.config/schedule.rb を編集
  30. 30. 詳しくは RailsでオリジナルRakeタスク作成からRSpecテスト まで - http://morizyun.github.io /blog/rake-task-rails-rspec-test/ Wheneverは導入が超簡単なcrontab管理ライブラリ Gemです![Rails4.1] - http://morizyun.github.io /blog/whenever-gem-rails-ruby-capistrano/
  31. 31. Nokogiri on Rails
  32. 32. Nokogiri on Rails ! で作った Webスクレイピング プログラム ! を ! に載せてクローラ化!
  33. 33. Thank You!

×