Downloaded 13 times
ツイートの取得と解析の間
- 1.
- 2. 簡単に自己紹介 修士1回の大学生です． データマイニングを研究してる関係で Pythonを使ってます． プログラミング系の勉強会は初めてです！ ＠nemupm
- 3.
- 4.
- 5. Twitterとは… 140文字のコミュニケーションツール 幅広い使い方が可能 不満の捌け口 犯罪の自慢
- 6.
- 7. ユーザの関心が見れるWebサービス シロくも -興味のある単語をワードクラウドで表示
- 8. ユーザの関心が見れるWebサービス ツイートプロファイリング -興味をジャンルで分類
- 9.
- 10.
- 11. Twitter API 1.1 ツイートの取得や投稿など 基本的な情報をJSONでやり取り REST API とStreaming APIがある． OAuth認証を利用 ライブラリはTweepyなど．
- 12.
- 13. TLの取得回数制限 TLの取得回数制限が15分に180回まで 同IPによるツイート取得リクエストは 最大で200件×180回/1h ツイートの最大取得数は3200件/1アカウント - 自分のアカウントは全TL取得可能
- 14.
- 15. TLの取得回数制限 TLの取得回数制限が15分に180回まで 同IPによるツイート取得リクエストは 最大で200件×180回/1h どうにかしたい ツイートの最大取得数は3200件/1アカウント - 自分のアカウントは全TL取得可能
- 16. 200件×180回/1h は TwitterAPI 1.1の制限 APIの制限だから仕方ない… ・・・APIの制限？ じゃあAPI使わなければ？ これだ！！
- 17.
- 18.
- 19. クローリング準備 ブラウザでTLを見る＆遡る時の リクエスト・レスポンスの内容を調べる． GET 20のツイートと max_idが埋め込まれたHTML max_idを指定してGET 追加分の20のツイートが 埋め込まれたHTMLと max_idパラメータ・ ・
- 20. 実装 実装ですることは２つ リクエスト・レスポンスの処理 HTMLのパース
- 21. リクエスト・レスポンスの処理 requestsライブラリの利用 使い方が直感的！ 書くのはこれだけ！ ses = requests.session() res = ses.get(url, params, headers)
- 22. HTMLのパース HTMLParserライブラリの利用 先頭から順に読み込んでいく 開始タグ・終了タグ・中のデータを 処理するメソッドをオーバーライドしてinstance化 正直面倒くさい…
- 23. 結果 約3000件のツイートが1分で読めるように！ ※これ以上出来そうな気がしましたが sleep()で自重しています．
- 24. 結果 今までは一時間で… 200件×180回＝36000件 これからは… ５倍！ 20件×150回×60回=180000件 苦労した割にショボイ
- 25.
- 26. ツイートの解析 MeCabの利用 日本語の形態素解析に最もよく用いられるツール ツイートから名詞だけを抽出
- 27. ツイートの解析 TFIDFの利用 特徴語の抽出に最もよく用いられるアルゴリズム 特徴語のスコア： 対象ユーザがその単語をツイートした回数 TF その単語をツイートしたことがある人数の割合（レア度） DF
- 28. ツイートの解析 TFIDFの利用 特徴語の抽出に最もよく用いられるアルゴリズム 特徴語のスコア： 対象ユーザがその単語をツイートした回数 TF その単語をツイートしたことがある人数の割合（レア度） DF 珍しい単語を頻繁に使うほど 関心が強いはずだ！！
- 29. あれ？ でも各単語のレア度ってどうやって計算するの？ 既存研究者 1万人？？ 1万人の ツイートデータがあれば 計算できるよ～ by Polish Institute of International Affairs
- 30.
- 31.
- 32. 実際に適用 なら 寝 早く なかなか デモンズソウル 将棋ウォーズ そのまま 多少 少し icpc カープ 院試 そんな 棋譜 銃規制 マンu こんな ymca 研究室 デモンズ サーバ 再帰 増え 見 ウイイレ サンフレッチェ 小島 居 lda python 東海自然歩道 アカリク fifa cloud 天鳳 インテル weaver グループワーク セカイカメラ 喜連川 まあまあ。
- 33. まとめ requests便利！ -pythonのライブラリ頭良いなと思った Twitter社さん、ありがとう
- 34.
- 35. photo credit TheAggressive Black Drongo! By Vinoth Chandar 11th Grade - First Day of School By Mitchell Joyce Wretched By Piers Nye Dr. Michael Bravo, Scott Polar Research Institute, University of Cambridge By Polish Institute of International Affairs