Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
Seleniumで
ニコニコ動画をスクレイピング
TeraBytes
スクレイピングの際の注意
今回行った成果は、以下のURLを理解したうえで行いました。
当成果に対して何か問題があればご連絡お願いします。
http://qiita.com/nezuq/items/c5e827e1827e7cb29011
htt...
コメントを解析したい
これ
どうやってとってくるか?
Webスクレイピングで取得
ウェブページから画像やテキストのデータを抜き取ること
スクレイピングも楽にできます
既存ライブラリ・APIの弱み
動的なウェブページに弱い
欲しいHTML 取ってくるHTML
Selenium
Seleniumって?
Webブラウザを自動操作してくれる
IDEやAPIを提供
Webアプリのテストに使われるが
こいつでWebスクレイピングします
コメント抽出
自動で動画ページへ移動
自動で動画ページへ移動
Seleniumドライバーの定義
動画ページにアクセス
ログインフォーム自動入力
コメントをデータベースに保存
コメントをMongoに保存
DOMの探索(読み込み待ち)
コメントの抽出
ある程度集まったので解析
前処理(形態素解析)
python + mecabで形態素解析
mecab-ipadic-neologdを使用
neologd適用従来のmecab
人名やサブカルの解析に強い
再生時間1:00までの解析結果
まとめ
Seleniumなら動的ページに対してもスクレイピングできる
スクレイピングの参考にしてください
ごちうさ難民は時事に強い
Upcoming SlideShare
Loading in …5
×

Seleniumで データスクレイピング

Python東海 第30回勉強会(http://connpass.com/event/31529/)の登壇時の発表資料。一部改変有り。
学生LT@名古屋(http://othlotech.connpass.com/event/31136/)の登壇時の発表資料を更新したもの。

  • Login to see the comments

  • Be the first to like this

Seleniumで データスクレイピング

  1. 1. Seleniumで ニコニコ動画をスクレイピング TeraBytes
  2. 2. スクレイピングの際の注意 今回行った成果は、以下のURLを理解したうえで行いました。 当成果に対して何か問題があればご連絡お願いします。 http://qiita.com/nezuq/items/c5e827e1827e7cb29011 http://qiita.com/nezuq/items/3cc9772118ad112c18dc https://account.nicovideo.jp/rules/account
  3. 3. コメントを解析したい これ
  4. 4. どうやってとってくるか?
  5. 5. Webスクレイピングで取得 ウェブページから画像やテキストのデータを抜き取ること
  6. 6. スクレイピングも楽にできます
  7. 7. 既存ライブラリ・APIの弱み 動的なウェブページに弱い 欲しいHTML 取ってくるHTML
  8. 8. Selenium
  9. 9. Seleniumって? Webブラウザを自動操作してくれる IDEやAPIを提供 Webアプリのテストに使われるが こいつでWebスクレイピングします
  10. 10. コメント抽出
  11. 11. 自動で動画ページへ移動
  12. 12. 自動で動画ページへ移動 Seleniumドライバーの定義 動画ページにアクセス ログインフォーム自動入力
  13. 13. コメントをデータベースに保存
  14. 14. コメントをMongoに保存 DOMの探索(読み込み待ち) コメントの抽出
  15. 15. ある程度集まったので解析
  16. 16. 前処理(形態素解析) python + mecabで形態素解析 mecab-ipadic-neologdを使用 neologd適用従来のmecab 人名やサブカルの解析に強い
  17. 17. 再生時間1:00までの解析結果
  18. 18. まとめ Seleniumなら動的ページに対してもスクレイピングできる スクレイピングの参考にしてください ごちうさ難民は時事に強い

×