社内発表用の資料

1. テキストマイニング with R
2014/12/26
株式会社クインテット 藤巻 亮介

2. さて、この作品はなんでしょう？
2

3. じゃあ、この作品は？
3

4. 最初のスライドは太宰治の”走れメロス”を、
2枚目のスライドは夏目漱石の”こころ”を
それぞれ形態素解析したものである
4

5. 形態素解析って？
5

6. 文を形態素という最小の意味（単語）に分割し、
各形態素を原型に復元し、品詞を付与する処理
6
「今日のLTはめちゃくちゃ緊張するぜ！」
↓
「今日 / の / LT / は / めちゃくちゃ / 緊張 / する / ぜ / !」
「名詞」 「助詞」「名詞」「助詞」 「名詞」 「名詞」 「動詞」 「助詞」「名詞」

7. 形態素解析はテキスト
マイニングの第一歩です！
7

8. ん、テキストマイニング？
8

9. テキストマイニングとは？
9
● 定型化されていないテキストを自然言語解析し、統
計学、機械学習を用いて有用な情報を取り出すため
の技術の総称
● ブログや掲示板など定型化されていないものを対象
とするため、分析できるデータの範囲が広い

10. プログラムで実装してみよう！
10

11. 11
でやりま
す！

12. ● 統計解析用のプログラミング言語
● オープンソース・フリーソフトウェア
● 優れたグラフィックス機能を持つので、データの視覚
化が素晴らしい！
● 様々なパッケージが公開されている！
12
とは？

13. 計算得意！
13

14. 作図も一瞬！
> plot(UKgas)
14

15. 形態素解析してみる
● 単純に形態素解析をかけただけ
なので、様々なノイズが乗って
いる状態
● 出てくる頻度(Freq)でソートした
ほうがよさそう
15

16. 形態素解析してみる
● やっぱり、文を区切る句読点と、
助詞が多い。
● けど、解析する上でそのふたつ
はいらなくない？
● とりあえず名詞だけ抽出してみ
よう
16

17. 形態素解析してみる
● 名詞だけ抜き取ると、この単語
だけで何の作品か分かる人には
分かるっぽいな！
17

18. まとめ
テキストマイニングの流れは次のようにまとめられる
1. 自然言語処理によって、テキストを解析する
2. データをクリーニングする
3. データを要約する
4. 統計的なアプローチによりデータをマイニングする
5. 結果を検証し、評価する
18

19. まとめ
テキストマイニングの流れは次のようにまとめられる
1. 自然言語処理によって、テキストを解析する
2. データをクリーニングする
3. データを要約する
4. 統計的なアプローチによりデータをマイニングする
5. 結果を検証し、評価する
19
今回はここだけRでやってみました！

20. 今後の展望
口コミ広場の投稿評価（サクラかどうか）などを自動的に
判別できるようなものに発展させられればと思っています
20

21. 21
終わり