Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Nokogiri on Rails

1,151 views

Published on

第1回Webアプリ開発のためのRuby on Rails勉強会( https://www.facebook.com/events/572207402889242/ )の発表資料。
Demo部分には個人情報が含まれていたため削除しました。

Published in: Technology
  • Be the first to comment

Nokogiri on Rails

  1. 1. Nokogiri on Rails
  2. 2. 事前準備
  3. 3. ★注意★ わりとふざけた発表です
  4. 4. LOUPEから 来ました
  5. 5. _人人人人人人人_ > 服装が同じ < ‾Y^Y^Y^Y^Y^Y‾
  6. 6. LOUPE, Inc SENSEI NOTE ~全国の先生を支える~ SENSEI PORTAL ~教員向けイベントまとめ~ http://lo-upe.com/
  7. 7. 北海道から 来ました
  8. 8. 北海道 千歳市 (たぶんこのへん ★
  9. 9.  向平 卓矢  Takuya Mukohira 苫小牧高専 情報工学科3年 18歳のPython使い ! 株式会社LOUPE エンジニア インターン でRuby書いてる。 ! twitter.com/mktakuya facebook.com/mktakuya github.com/mktakuya → MK って呼ばれてる。
  10. 10. Railsで作ったり、作っている もの SENSEI NOTE - http://senseinote.com SENSEI PORTAL - http://senseiportal.com 情報処理同好会のサイト - http://tnctjosho.info
  11. 11. Nokogiri on Rails
  12. 12. Nokogiri on Rails
  13. 13. Nokogiri on Rails のこぎり おん れぃるず
  14. 14. Nokogiri Ruby製! Webスクレイピング用の ライブラリhttp://nokogiri.org/
  15. 15. on Rails Railsに載せてクローラを作ろう!
  16. 16. Web スクレイピング? ! クローラ? フリー素材屋Hoshino - www.s-hoshino.com
  17. 17. Webスクレイピング WebサイトからHTMLやXMLなどを収集し、 特定のデータを抽出、加工すること!
  18. 18. クローラ ウェブ上の文書や画像などを周期的に取得し、 自動的にデータベース化するプログラム。 Bot、スパイダーなどとも言う。 検索エンジン や 記事まとめサービス など
  19. 19. Nokogiri on Rails ! で作った Webスクレイピング プログラム ! を ! に載せてクローラ化!
  20. 20. 今日は主に Nokogiri の話をします
  21. 21. Nokogiri の話
  22. 22. Nokogiri はじめの一歩  require ‘open-uri’  require ‘nokogiri’  url = ‘http://wired.jp'  page = Nokogiri::HTML(open(url))  page.title  # => "WIRED.jp"
  23. 23. やってみよう Nokogiriで Webスクレイピング
  24. 24. Webスクレイピングしてみる STEP1. ページの分析 STEP2. コンソールでやってみる STEP3. コードを書く
  25. 25. Demo
  26. 26. on Rails の話
  27. 27. on Railsの話 1.rake タスクファイルを生成 2.Wheneverでスケジューリング
  28. 28. rakeタスクファイル 1. rails generate task crawl 2. lib/tasks/crawl.rake の編集
  29. 29. Whenever 1.gem 'whenever', :require => false 2.wheneverize . 3.config/schedule.rb を編集
  30. 30. 詳しくは RailsでオリジナルRakeタスク作成からRSpecテスト まで - http://morizyun.github.io /blog/rake-task-rails-rspec-test/ Wheneverは導入が超簡単なcrontab管理ライブラリ Gemです![Rails4.1] - http://morizyun.github.io /blog/whenever-gem-rails-ruby-capistrano/
  31. 31. Nokogiri on Rails
  32. 32. Nokogiri on Rails ! で作った Webスクレイピング プログラム ! を ! に載せてクローラ化!
  33. 33. Thank You!

×