Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

20141022 リサーチ向け・ブラウザだけでスクレイピング(浅野)

第3回東京Webスクラッパーのライトニングトークで発表した資料。
スクレイピングの実演した時のサイトとJavascriptコードは下記を参照
https://www.facebook.com/note.php?note_id=767355399997255

  • Be the first to comment

20141022 リサーチ向け・ブラウザだけでスクレイピング(浅野)

  1. 1. リサーチ向け ブラウザだけでスクレイピング 第3回Webスクレイピング勉強会@東京 2014.10.26 浅野弘輔 (あさの ひろすけ) http://twitter.com/hirosuke_asano
  2. 2. 自己紹介
  3. 3. 浅野 弘輔とは(自己紹介) •株式会社ホットリンク所属。 •ネット上のクチコミを大量に集めて分析するシステ ムの開発や、ソーシャルデータの活用の企画・研究 をしています。 http://twitter.com/hirosuke_asano http://www.hottolink.co.jp/ 趣味:イラスト描き 自作のアイコン→
  4. 4. リサーチでよくある風景
  5. 5. 「AKB総選挙ってやっているけど、 ちょっとメンバーの口コミ調べてみてくれる?」 「了解っス」
  6. 6. 「まずはメンバーのリスト作らないと・・・」
  7. 7. 「多いな・・・」 公式サイトから
  8. 8. 「せっせ、せっせ・・・」 カチ カチ コピペ
  9. 9. そんな作業を救うのが Webスクレイピング
  10. 10. そんな作業を救うのが Webスクレイピング なのだが・・・
  11. 11. 開発環境のインストールしなきゃ・・・ モジュールの依存性が・・・ サイト構造解析が・・・ 文字コードが・・・
  12. 12. 開発環境のインストールしなきゃ・・・ モジュールの依存性が・・・ サイト構造解析が・・・ 文字コードが・・・ 日常的にプログラミングしてない 人にはかなり敷居が高い・・・
  13. 13. ブラウザがあれば なんとかなる
  14. 14. 用意するもの FireQuery テキストエディタ Add-ons
  15. 15. 実演
  16. 16. 一回やればいい アドホックなリスト作成に 最適
  17. 17. その他の利点
  18. 18. Ajaxで要素が 読み込まれるページ HTMLをwgetしてテキスト解析・・・ができない
  19. 19. 認証があるページ APIでも用意されてないと自動するのが難しい
  20. 20. 実演
  21. 21. Webスクレイピングの 民主化を
  22. 22. 勉強する必要のある知識 •Javascriptの基本的なプログラミング •CSSのセレクタでのHTML要素指定 •みんな大好きjQuery
  23. 23. 勉強する必要のある知識 •Javascriptの基本的なプログラミング •CSSのセレクタでのHTML要素指定 •みんな大好きjQuery おせじにも簡単とは言えないけど、 アプリやシステム作るのに比べたら楽 「Excelでマクロ組めますよ」くらいのノリで
  24. 24. Webスクレイピングを 一番必要としている人に 届けたい
  25. 25. ありがとうございました

×