1. 第６回 さくさくテキストマイニング勉強会
ツイートから
ユーザーを
クラスタリング
できる？

2. 自己紹介
早川 敦士
電気通信大学
システム工学科三年

3. ブログ
http://d.hatena.ne.jp/gepuro/
自己紹介
Twitter
@gepuro

4. 2011年度 S-PLUS学
生研究奨励賞の
(^O^)
特別賞を
頂きました！

5. ある日の事・・・・

6. 本を読んでいて、
これを
やってみたいなあ
っと感じた。

7. これ？

8. それが
ユーザーの
クラスタリング
です。

9. 既に、書き手が
分かっているものを、
注意
判別していきます。

10. フォローしている
ユーザから、
ツイートを
適当に取得

11. ゴミ取り
●@ユーザー名
●RT以降
●ハッシュタグ

12. クラスター分析で
書き手を
分けてみる。

13. 対象のデータ集合を
分割して,
クラスター分析
いくつかの集合に
分ける

14. ？
分割して、分ける？
クラス分類とは、
違うの？

15. クラスタリングとクラス分類って違うらしい
http://d.hatena.ne.jp/Kshi_Kshi/20110110/1294687656
クラスタリング：教師なし
クラス分類 ：教師あり

16. クラスタリングは、
大きく２種類
あります。

17. ●階層的クラスタリング
●非階層的クラスタリング

18. ●階層的クラスタリング
●非階層的クラスタリング

19. ユーザーのツイートを
２分割しておいて・・・

20. 文字の
バイグラムを
使って・・・

21. 文字のバイグラム
● 今日は、さくテキだ！ ２文字のセットを
作って、
今-日
その出現頻度を
●
● 日-は
利用しました。
● は- 、
● 、 -さ
● ・・・・・・・

23. library(RMeCab)
twit <- docNgram("./sep",type=0)
plot( hclust(dist(t(twit)),"ward"))

24. 書き手の判別には、
２万字以上必要と
言われているけど・・・

25. 多いのは、約３万字
少ないのは、約4500文字
だった。

26. 感じたこと
書き手によって、
文章の長さが異なる。
⇓
差が出やすい

27. 相対度数で
見てみるかな

29. library(RMeCab)
twit <- docNgram("./sep",type=0)
soutai <- t(twit) / rowSums(t(twit))
plot(hclust(dist(soutai),"ward"))

30. 一つ目が合わさる部分で
見たいけど、
高さの部分で区切るから、
クラスタリングが
希望通りにできない。

31. ●階層的クラスタリング
●非階層的クラスタリング

32. kmeans

33. 今日から使える！ みんなのクラスタリング超入門
kmeans
http://www.slideshare.net/toilet_lunch/ss-7684979
に分かりやすく書かれています。

34. 出展：今日から使える！ みんなのクラスタリング超入門

35. 階層的クラスタリングと
kmeans
同じコーパスを用いて

37. 上手くできてるかな

38. kmeans(soutai,centers=13)
answer = c()
for ( i in 1:26){
answer[i] = strsplit(names(rlt),split="_")[[i]][1]
}
ctbl <- table(answer,rlt)
ctbl

39. クラスタリングを使うと、
書き手の特徴を掴み、
それぞれを
分けることができた。

40. 参考
• Rによるテキストマイニング入門 著：石田 基広
出版社：森北出版株式会社
• RとLinuxと・・・ http://rmecab.jp/wiki/index.php?RMeCab
• 今日から使える！ みんなのクラスタリング超入門
http://www.slideshare.net/toilet_lunch/ss-7684979
•
クラスタリングとクラス分類って違うらしい
http://d.hatena.ne.jp/Kshi_Kshi/20110110/1294687656

41. ご清聴
ありがとうございました