Frequency with nltk

さくさくテキストマイニング勉強会条件付き頻度分布 with NLTK ーコーパスの比較ー早川　敦士

http://www.slideshare.net/gepuro/ に資料が公開されています。

AGENDA●自己紹介●前回の反省●ツイートの取得●ゴミ取り●条件付き頻度分布のプロット●参考資料

自己紹介早川　敦士電気通信大学電気通信学部システム工学科　三年 TwitterID: @gepuro 統計に興味津々なお年頃コンピュータサークルに所属さくさくテキストマイニング勉強会の初心者代表

自己紹介はてなダイアリーを始めました。 http://d.hatena.ne.jp/gepuro/ サークル Microcomputer Making Association http://wiki.mma.club.uec.ac.jp/http://wiki.mma.club.uec.ac.jp/hayakawa

前回の反省ツイートの取得を windows アプリケーション任せ ↓ Tweepy に挑戦グラフをプロットする時に助詞等が残ったまま ↓ 必要の無い語を削除

前回の反省前回の反省を踏まえて、 4/9 〜 4/14 の間の自分のタイムラインとパブリックなタイムラインの比較をしてみます。

前回の反省テキストマイニングの成果がでるよう意外な発見を期待して、取り組みました。

ツイートの取得パブリックなタイムラインの取得● Api.public.timeline() なるものを使って過去のパブリックタイムラインを取得しようとした。

ツイートの取得パブリックなタイムラインの取得● 出来なかった。パブリックタイムラインに対しては、過去のツイートに遡るような事が出来ない。

ツイートの取得パブリックなタイムラインの取得● 現在から未来へかけて取得する方針に変更 ↓ VPS 上で５日間取得し続けました。

ツイートの取得５日後

ツイートの取得自分のタイムラインの取得● 比較が出来ることを楽しみにしながら、自分の TL を過去に遡って取得を試みました。

ツイートの取得API 制限＼ (^o^) ／

ツイートの取得自分のタイムラインの取得● 自分のタイムラインに対しては、過去 800 件までしか取得できない。（ 4/15 現在）

ツイートの取得自分のタイムラインの取得● 涙を拭いながら、 http://dev.twitter.com/doc を見てみると、ユーザー毎のタイムラインなら、 3200 件まで取得できる。

ツイートの取得自分のタイムラインの取得● フォローしている人のタイムラインを順番に取得することに変更

ツイートの取得予定が次々と変更したものの、２種類のテキストが手に入った。

ゴミ取りパブリックなタイムラインは複数の言語を含む ↓ 日本語だけに形態素解析 ↓ 名詞だけを残す（代名詞は除く）

ゴミ取り多言語を含むテキストから日本語を抽出● １行１ツイートのテキストファイル各行に対して、文字コードを変更する（例： shift-jis) 変更できなければ、日本語以外変更できれば、日本語 or 英語

ゴミ取り多言語を含むテキストから日本語を抽出● アスキーコードに変更してみる。出来なければ、日本語

ゴミ取り多言語を含むテキストから日本語を抽出● 一部のツイートに対して、うまく作用しないものがありました。 ↓ 大体 OK

ゴミ取り　　　　　　　　　　　　／）　　　　　　　　　　　／／／）　　　　　　　　　／ ,.=ﾞ " ／　　　　　　／　　　　 i f 　 ,.r="-‐ つ＿＿＿ _ 　　こまけぇこたぁいいんだよ！！　　 / 　　　　　 / 　　　 _,.-‐~ ／⌒　　⌒＼　　　　／　　 ,i 　　　 , 二ﾆ ⊃（ ●） . 　（ ●）＼　　　 / 　　　ﾉ　　　 ilﾞフ ::::::⌒ （ __ 人 __ ）⌒ ::::: ＼　　　　　　 , ｲ｢ﾄ､　　 ,!,!| 　　　　　 |r┬-| 　　　　　 |　　　　　 / 　 i ﾄヾヽ _/ ｨ " ＼　　　 ` ー ´ 　　／

ゴミ取りテキストから名詞を取り出す● おなじみの MeCab を使いました。

条件付き頻度分布のプロットここからは、 NLTK が使える。頼むぞ！

条件付き頻度分布のプロット実行したことその１● テキストを読み込み、トークン化させる @ や RT 、 http といった必要の無いものを取り除く１文字の語を取り除く頻度の多い順にソート (vcb_tl)

条件付き頻度分布のプロットf = open(tl.txt)raw = f.read()f.close()token = re.split( , raw)ngword = [., /, @, ://, http, #, RT, _, :, (, ), -, 0, 1, 2, 3, 4, 5, 6, 7, 8, 9, ,]clean = []for w in token: if not w in ngword: clean.append(w)tl = []for w in clean: if len(w) > 3: tl.append(w)fdist = nltk.FreqDist(tl)vcb_tl = fdist.keys()

条件付き頻度分布のプロット実行したこと　その２● PlaintextCorpusReader でテキストを読み込む。 ConditionalFreqDist() で条件付き頻度分布の準備

条件付き頻度分布のプロットfrom nltk.corpus import PlaintextCorpusReadercorpus_root = .wordlists = PlaintextCorpusReader(corpus_root, .*, encoding=utf-8)corpus = [tl_for_kaiseki.txt, public_for_kaiseki.txt]cfd = nltk.ConditionalFreqDist( (target, text) for target in corpus for text in wordlists.words(target))

条件付き頻度分布のプロット実行したこと　その３● 文字コードを utf-8 へ条件付き頻度分布表の表示グラフの表示 tl_utf = [w.decode(utf-8) for w in voc_tl] cfd.tabulate(samples=tl_utf[:20]) cfd.plot(samples=tl_utf[:20])

条件付き頻度分布のプロット

条件付き頻度分布のプロットパブリックと比較して、地震というワードが多いが、大震災が少ない。 tl_for_kaiseki.txt は 88,861 outcomespublic_for_kaiseki.txt は 447,175 outcomes を考慮すれば、 TL にはかなりの頻度で大震災というワードが流れたことになる。

条件付き頻度分布のプロット「こと」、「さん」、「今日」などの一般的な言葉が含まれるので、グラフの面白さが半減してしまう。

条件付き頻度分布のプロットパブリックの上位１００語に含まれる語を取り除いてみるchange = []for w in tl_utf: if not w in public_utf[:100]: change.append(w)cfd.plot(samples=change[1:30])

条件付き頻度分布のプロット

条件付き頻度分布のプロット特徴的に感じた語知事、被災、震災、調布、必要、首相、普通

条件付き頻度分布のプロットパブリックなタイムラインと自分のタイムラインを比較すると、違いを確認する事ができた。特に、地域に関する部分で大きな違いを観測できた。

参考資料出版　 ORELLY 　入門　自然言語処理Steven Bird, Ewan Klein, Edward Loper 著萩原　正人、中山　敬広、水野　貴明　訳

バイト及びインターンシップ先を探しています。関心のある事柄テキストマイニング、データマイニング、マーケティング、自然言語処理、統計学が関わる仕事、 Python,R 言語よろしくお願いします。連絡先： hayakawa アットマーク mma.club.uec.ac. ジェイピー

おわりご清聴ありがとうございました。

http://d.hatena.ne.jp	975
http://dev.team-lab.com	386
http://webcache.googleusercontent.com	10
http://translate.googleusercontent.com	5
http://paper.li	3
url_unknown	2
http://twitter.com	1

Frequency with nltk

by gepuro on Apr 15, 2011

Accessibility

Categories

Tags

Upload Details

Usage Rights

7 Embeds 1,382

Statistics

Frequency with nltk — Presentation Transcript