final presentation on the Intern in PFI date : on 2010/09/30 author Kenta OONO

1. インターン最終発表 大野健太

2. 目次 自己紹介 テーマ1：twitterの引用関係の抽出 テーマ2：twitterの盛り上がり検出

3. 自己紹介 大野健太 数学専攻 修士2年 専門：微分幾何学、共形幾何学 メンター 岡野原さん、西川さん プログラミング関係 中学時代：Basic, C言語 高校時代：VHDL インターン期間：Haskellを知る

4. 勉強しました・・・

5. 目次 自己紹介 テーマ1：twitterの引用関係の抽出 テーマ2：twitterの盛り上がり検出

6. テーマ1:twitterの引用関係の抽出 背景 日本での普及 ⇔ 関連研究が少ない 自然発生的に議論が起こる 社会的な事件の反応が多く現れる これらの自動的抽出が目標

7. 引用の種類 公式RT 非公式RT(RT・・・、QT・・・、＠・・・) 暗黙の言及

8. 予備実験:特異値分解でグループ分け 実係数m×n行列AはA=UΣV*の形で書かれる。ここで、 U：m次正方直交行列 Σ：m×n行列、非負対角行列 Σの各成分を特異値という V：ｎ次正方直交行列 特異値の集合はpermutationを除いて一意 参考：Web DB Press vol.49 「パターン認識と機械学習 - ベイズ理論による統計的予測」(上下)シュプリンガージャパン

9. 予備実験:特異値分解でのグループ分け 特異値の分布(Rank1000の対角行列で近似) 特異値 特異値の順位

10. 構成図 crawling log file Query Using Message Pack RPC

11. Extractor -> logtterの受け渡し DOT言語 ・DOT言語形式 ・MessagePackRPC を用いて通信

12. 発言抽出方法 (ex.中華)

13. デモ

14. まとめ Gather+Streamerが作ったTwitterのログファイルから、グラフを抽出し、logtterに投げるプログラムを作成した。

15. 特異値分解のグループ分けへの応用 Σ=diag(s1, s2,・・・, sn) (s1≧s2≧・・・≧sn) に対し、 Σ’=diag(s1, s2,・・, sm,0,0・・) とおくと、 M’=UΣ’V* はrank mの行列の中でMとの二乗誤差が最小となる行列である

16. 目次 自己紹介 テーマ1：twitterの引用関係の抽出 テーマ2：twitterの盛り上がり検出

17. テーマ2：twitterでの盛り上がり検出 盛り上がりの例 ・2人の間の論争 ・ある事件に対して多くの人が反応 ・事件の顛末を少数の人が解説

18. 今回行った手法 (1) 盛りあがっているキーワードを見つける (2) extractorにそのキーワードを投げる (3) logtterでグラフを加工する crawling JSON files Send DOT files by Message Pack RPC

19. 盛り上がりの定量化

20. 盛り上がりの定量化 あるキーワードのある日にち(D)でのスコアを以下のように定義する キーワードを含む発言の数をカウント 同様のことを過去数日間で行い、平均を求める Dでのカウント数をC,数日の平均をAveとしたとき、スコアを(C - Ave)/Aveとする ただしAveが特定の値以下のときはスコアを0とする

21. 盛りあがりの定量化 K := {k1,k2,…,kn} :キーワードの集合 D := {…,d1,d2,d3,…} :日付の集合 T := {t1,t2,…,tm} :発言の集合 PK : T -> 2K ,PD: T -> 2D Ki := {t∈T | PK(t)∋ki} ,Dj:= {t∈T | PD(t)∋dj} T = ∪i=1,…,nKi = Цj=…,1,2,…Dj c : K × D -> N c(ki,dj):=♯{t∈T | t∈Ki∩Dj} b : K × D -> R≧0 b(ki,dj):= (c(ki,dj) - Σp=0,…,Mc(ki,dj-p)/M)/c(ki,dj) (if c(ki,dj) ≧ N) 0 (otherwise) Where N,M are some constants

22. デモ 実験データ：9月27日～29日、18:00~19:00 発言数 ：約30万件/hour キーワード 種類 ：約40万種類 出現数 ：のべ約2万/hour

23. 9月29日 「地震」が盛り上がる

24. キーワード抽出実行結果

25. 課題 評価関数の精緻化 関連研究： “Bursty and Hierarchical Structure in Streams “ [J. Kleinberg 02] 1日内での発言頻度の変化は計測不可 同じ手法が1日内でも行える可能性 遅い JSONファイルをメモリに大量に書き込む Bot対策 現状screen nameなど明示的情報のみ利用

26. 既存の手法 “Bursty and Hierarchical Structure in Streams “ [J. Kleinberg 02] 内部に段階的状態を持ち、特定の単語を出力するオートマトンとしてモデル化。ベイズ的手法で内部状態を推定する。

27. Concept (1/2) emission at rate α || 単語の放出時間間隔=t となる確率密度がe-α from [J. Kleinberg 02]

28. Concept (2/2) 単語放出待ち状態 ↓ 単語放出 ↓ 状態変化 ↓ 単語放出待ち状態 Automaton 尤度による推定 Keyword

29. ご清聴ありがとうございました2か月間ありがとうございました