clustering of user

第６回　さくさくテキストマイニング勉強会ツイートからユーザーをクラスタリングできる？

自己紹介早川　敦士電気通信大学システム工学科三年

ブログhttp://d.hatena.ne.jp/gepuro/ 自己紹介 Twitter @gepuro

2011年度 S-PLUS学生研究奨励賞の (^O^) 特別賞を頂きました！

ある日の事・・・・

本を読んでいて、これをやってみたいなあっと感じた。

これ？

それがユーザーのクラスタリングです。

既に、書き手が分かっているものを、注意判別していきます。

フォローしているユーザから、ツイートを適当に取得

ゴミ取り●@ユーザー名●RT以降●ハッシュタグ

クラスター分析で書き手を分けてみる。

対象のデータ集合を分割して,クラスター分析いくつかの集合に分ける

？分割して、分ける？クラス分類とは、違うの？

クラスタリングとクラス分類って違うらしいhttp://d.hatena.ne.jp/Kshi_Kshi/20110110/1294687656クラスタリング：教師なしクラス分類：教師あり

クラスタリングは、大きく２種類あります。

●階層的クラスタリング●非階層的クラスタリング

ユーザーのツイートを２分割しておいて・・・

文字のバイグラムを使って・・・

文字のバイグラム● 今日は、さくテキだ！２文字のセットを作って、今-日その出現頻度を●● 日-は利用しました。● は- 、● 、 -さ● ・・・・・・・

library(RMeCab)twit <- docNgram("./sep",type=0)plot( hclust(dist(t(twit)),"ward"))

書き手の判別には、２万字以上必要と言われているけど・・・

多いのは、約３万字少ないのは、約4500文字だった。

感じたこと書き手によって、文章の長さが異なる。 ⇓ 差が出やすい

相対度数で見てみるかな

library(RMeCab)twit <- docNgram("./sep",type=0)soutai <- t(twit) / rowSums(t(twit))plot(hclust(dist(soutai),"ward"))

一つ目が合わさる部分で見たいけど、高さの部分で区切るから、クラスタリングが希望通りにできない。

●階層的クラスタリング●非階層的クラスタリング

kmeans

今日から使える！みんなのクラスタリング超入門 kmeanshttp://www.slideshare.net/toilet_lunch/ss-7684979 に分かりやすく書かれています。

出展：今日から使える！みんなのクラスタリング超入門

階層的クラスタリングと kmeans同じコーパスを用いて

上手くできてるかな

kmeans(soutai,centers=13)answer = c()for ( i in 1:26){answer[i] = strsplit(names(rlt),split="_")[[i]][1]}ctbl <- table(answer,rlt)ctbl

クラスタリングを使うと、書き手の特徴を掴み、それぞれを分けることができた。

参考• Rによるテキストマイニング入門著：石田　基広出版社：森北出版株式会社• RとLinuxと・・・ http://rmecab.jp/wiki/index.php?RMeCab• 今日から使える！みんなのクラスタリング超入門 http://www.slideshare.net/toilet_lunch/ss-7684979• クラスタリングとクラス分類って違うらしい http://d.hatena.ne.jp/Kshi_Kshi/20110110/1294687656

ご清聴ありがとうございました

clustering of user

by gepuro on Dec 17, 2011

Accessibility

Categories

Tags

Upload Details

Usage Rights

1 Embed 205

Statistics

clustering of user — Presentation Transcript