社内勉強会で使用した資料です。

1. Python機械学習プログラミング
読み会
第8章
機械学習の適用1 - 感情分析
1
[第2版]
基盤 江口春紀

2. 目次
● IMDbの映画レビューデータセットでのテキスト処理
● BoWモデルの紹介
● さらに大規模なデータの処理：
オンラインアルゴリズムとアウトオブコア学習
● 潜在ディリクレ配分によるトピックモデルの構築
2

3. 3
IMDbの映画レビューデータセット
でのテキスト処理

4. IMDbの映画レビューデータセットでのテキスト処理
● 感情分析（Sentiment analysis）
● NLPの一分野で，文書の極性を分析する事に関連している。
よく知られているタスクは、ある物事に対して、書き手が表明した意見や
感情に基づいて文書を分類する事。
4

5. IMDbの映画レビューデータセットでのテキスト処理
● 使用するデータセット
● IMDb(Internet Movie Database)から取得した50,000件の映画レビュー
データセットで、映画の評価が星 1個から10個までの10段階で行われている。
映画レビューデータセットは、「肯定的」または「否定的」に分類されており、
6個以上の星がついているものを「肯定的」、それ以下は「否定的」であることを意味する。
5
review sentiment
0 In 1974, the teenager Martha Moxley (Maggie Gr... 1
1 OK... so... I really like Kris Kristofferson a... 0
2 ***SPOILER*** Do not read this, if you think a... 0

6. 6
BoWモデルの紹介

7. BoWモデルの紹介
● Bag-of-Words(BoW)
● テキストを数値の特徴ベクトルとして表現する
● BoWの考え方
1. 文書の集合全体から、例えば単語という一意なトークンからなる語彙を作成する。
2. 各文書で各単語の出現回数を含んだ特徴ベクトル を構築する
7

8. 単語を特徴ベクトルに変換する
● CountVectorizerクラス
● テキストデータの配列を入力として、 BoWモデルを自動的に生成する。
● 簡単な例
● The sun is shining
● The weather is sweet
● The sun is shining, the weather is sweet, and one and one is two
8
{
'the': 6, 'sun': 4, 'is': 1
'shining': 3, 'weather': 8, 'sweet': 5,
'and': 0, 'one': 2, 'two': 7
}
[[0 1 0 1 1 0 1 0 0]
[0 1 0 0 0 1 1 0 1]
[2 3 2 1 1 1 2 1 1]]

9. TF-IDFを使って単語の関連性を評価する
● TF-IDF(Term Frequency-Inverse Document Frequentry)
● 複数の文書の中で、同じ単語が頻出する場合がある。
これらの単語は大抵意味のある情報や判別情報を含んでいない。
↓
TF-IDFを使うことで頻繁に出現する単語の重みを減らすことができる。
● TF-IDFは、TF(単語の出現頻度)とIDF(逆文書頻度)の積として定義できる。
ここでtf(t,d)は、前項で説明した単語の出現頻度で、逆文書頻度は以下の式で表される。
9

10. TF-IDFを使って単語の関連性を評価する
● scikit-learnによる実装
● TfidfTransformerクラスを使用する。
CountVectorizerクラスでBoWを構築して「生の単語の出現頻度」を入力として受け取り、
それらをTF-IDFに変換する。
>>> from sklearn.feature_extraction.text import TfidfTransformer
>>> tfidf = TfidfTransformer(use_idf=True, norm='l2', smooth_idf=True)
>>> np.set_printoptions(precision=2)
>>> print(tfidf.fit_transform(count.fit_transform(docs)).toarray())
[[ 0. 0.43 0. 0.56 0.56 0. 0.43 0. 0. ]
[ 0. 0.43 0. 0. 0. 0.56 0.43 0. 0.56]
[ 0.5 0.45 0.5 0.19 0.19 0.19 0.3 0.25 0.19]]
10

11. TF-IDFを使って単語の関連性を評価する
● 実際のTfidfTransformerクラス
● 全ての文書に出現する (IDF=0)の単語を無視しないため
以下の式を使用している。
● TF-IDFを正規化して使用している。
(デフォルトはL2正則化)
● “is”のTF-IDF
11

12. TF-IDFを使って単語の関連性を評価する
● 続き
● 3つ目の文書の全ての単語に適用する。
● 最後にL2正則化を適用する。
12

13. テキストデータのクレンジング
● テキストデータのクレンジング
● BoWモデルを構築する前に不要な文字をすべて取り除く
● 例として、シャッフルした映画レビューデータセットから 1つの文書を出力する。
このテキストにはHTMLタグや、非英字文字が含まれている。
今回は簡単のため感情分析に役立つ ” :) ”のような顔文字だけを残し、
それ以外の句読点は正規表現ですべて削除する。
13
>>> df.loc[0, 'review'][-50:]
'is seven.<br /><br >Title (Brazil):Not Available'
>>> preprocessor(df.loc[0, 'review'][-50:])
'is seven title brazil not available'

14. 文書をトークン化する
● 文書のトークン化
● テキストコーパスをここの要素に分割する
● トークン化する方法の 1つとして、クレンジングした文書を
空白文字（スペース、タブ、改行、リターン、改ページ）で区切ることで、
個々の単語に分割する。
14
>>> def tokenizer(text):
... return text.split()
...
>>> tokenizer('runners like running and thus they run')
['runners', 'like', 'running', 'and', 'thus', 'they', 'run']

15. 文書をトークン化する
● ワードステミング
● 単語を原形に変換することで、関連する単語を同じ語幹にマッピングできるようにする。
● 最初のステミングアルゴリズムは Martin F. Porterによって1979年に開発された、
Porterステミングアルゴリズムである。
他にもsnowballステマーやLancasterステマーがある。
15
>>> from nltk.stem.porter import PorterStemmer
>>> porter = PorterStemmer()
>>>def tokenizer_porter(text):
... return [porter.stem(word) for word in text.split()]
...
>>> tokenizer_porter('runners like running and thus they run')
['runner', 'like', 'run', 'and', 'thu', 'they', 'run']

16. 文書をトークン化する
● ストップワードの除去
● ストップワードとは、 is、and、hasなどの、ごくありふれた単語 のこと。
これらは様々なクラスの文書の区別に有益となる情報を全く含んでいないと見なされる。
● ストップワードの除去が役立つのは、 TF-IDFではなく、生の単語の出現頻度か、
正規化された単語の出現頻度を扱っている場合である。
● 今回はNLTK(Natural Language Toolkit for Python)ライブラリで提供される 127個の
ストップワードを読み込んで除去する。
16
>>> stop = stopwords.words('english')
>>> [w for w in tokenizer_porter('a runner likes running and runs a lot')[-10:]
... if w not in stop]
['runner', 'like', 'run', 'run', 'lot']

17. 文書を分類するロジスティック回帰モデルのトレーニング
● 映画レビューの分類
● ロジスティック回帰モデルをトレーニングして、
映画レビューを肯定的なレビューと否定的なレビューに分類する。
>>> X_train = df.loc[:25000, 'review'].values
>>> y_train = df.loc[:25000, 'sentiment'].values
>>> X_test = df.loc[25000:, 'review'].values
>>> y_test = df.loc[25000:, 'sentiment'].values
17

18. 文書を分類するロジスティック回帰モデルのトレーニング
● ロジスティック回帰モデルの最適なパラメータ集合を求める
18
>>> from sklearn.pipeline import Pipeline
>>> from sklearn.linear_model import LogisticRegression
>>> from sklearn.feature_extraction.text import TfidfVectorizer
>>> from sklearn.model_selection import GridSearchCV
>>>
>>> tfidf = TfidfVectorizer(strip_accents=None, lowercase=False, preprocessor=None)
>>> param_grid = [{'vect__ngram_range': [(1, 1)], 'vect__stop_words': [stop, None],
... 'vect__tokenizer': [tokenizer, tokenizer_porter],
... 'clf__penalty': ['l1', 'l2'], 'clf__C': [1.0, 10.0, 100.0]},
... {'vect__ngram_range': [(1, 1)], 'vect__stop_words': [stop, None],
... 'vect__tokenizer': [tokenizer, tokenizer_porter],
... 'vect__use_idf':[False], 'vect__norm':[None],
... 'clf__penalty': ['l1', 'l2'], 'clf__C': [1.0, 10.0, 100.0]},
... ]
>>> lr_tfidf = Pipeline([('vect', tfidf), ('clf', LogisticRegression(random_state=0))])
>>> gs_lr_tfidf = GridSearchCV(lr_tfidf, param_grid, scoring='accuracy', cv=5, verbose=1, n_jobs=-1)
>>> gs_lr_tfidf.fit(X_train, y_train)
>>> print('Best parameter set: %s ' % gs_lr_tfidf.best_params_)
Best parameter set: {'clf__C': 10.0, 'vect__stop_words': None, 'clf__penalty': 'l2',
'vect__tokenizer': <function tokenizer at 0x7f6c704948c8>, 'vect__ngram_range': (1, 1)}
>>> print('CV Accuracy: %.3f, Test Accuracy: %.3f' % (gs_lr_tfidf.best_score_, clf.score(X_test, y_test)))
CV Accuracy: 0.892, Test Accuracy: 0.899

19. 19
オンラインアルゴリズムと
アウトオブコア学習

20. オンラインアルゴリズムとアウトオブコア学習
● アウトオブコア学習
● 大規模なデータセットの処理を可能にする。
● データセットの小さなバッチを使って 分類器を逐次的に適合 させる。
20

21. オンラインアルゴリズムとアウトオブコア学習
● アウトオブコア学習の実装
21
>>> def tokenizer(text):
... text = re.sub('<[^>]*>', '', text)
... emoticons = re.findall('(?::|;|=)(?:-)?(?:)|(|D|P)', text.lower())
... text = re.sub('[W]+', ' ', text.lower()) + ' '.join(emoticons).replace('-', '')
... tokenized = [w for w in text.split() if w not in stop]
... return tokenized
>>> def stream_docs(path):
... with open(path, 'r', encoding='utf-8') as csv:
... next(csv) # skip header
... for line in csv:
... text, label = line[:-3], int(line[-2])
... yield text, label
>>> def get_minibatch(doc_stream, size):
... docs, y = [], []
... try:
... for _ in range(size):
... text, label = next(doc_stream)
... docs.append(text)
... y.append(label)
... except StopIteration:
... return None, None
... return docs, y
クレンジング、ストップワードの除去、
単語の分割を行う
文書を1つずつ
ストリーミングで読み込む
stream_docs()から
文書ストリームを受け取り
sizeの個数の文書を返す

22. オンラインアルゴリズムとアウトオブコア学習
● アウトオブコア学習の実装
22
>>> from sklearn.feature_extraction.text import HashingVectorizer
>>> from sklearn.linear_model import SGDClassifier
>>>
>>> vect = HashingVectorizer(decode_error='ignore', n_features=2**21,
... preprocessor=None, tokenizer=tokenizer)
>>> clf = SGDClassifier(loss='log', random_state=1, max_iter=1)
>>> doc_stream = stream_docs(path='movie_data.csv')
>>> classes = np.array([0, 1])
>>> for _ in range(45):
... X_train, y_train = get_minibatch(doc_stream, size=1000)
... if not X_train:
... break
... X_train = vect.transform(X_train)
... clf.partial_fit(X_train, y_train, classes=classes)
CountVectorizerは語彙全てが読み込まれていることが要求されるため使用できない。
TfidfVectorizerもIDFを計算するにあたって、特徴ベクトル全てを読み込むため、使用できない。
そのため、ハッシュトリックを使用した、HashingVectorizerを使用する。

23. オンラインアルゴリズムとアウトオブコア学習
● アウトオブコア学習の速度と結果
● 45回のイテレーションで 1000個の文書を毎回処理していく (合計45,000個の文書)。
● 5000個のデータでモデルの性能を評価する
23
アウトオブコア学習 5分割交差検証(前節)
結果 0.878 0.899
速度 22 sec 108 min 54 sec
OS: macOS Mojave
プロセッサ: 3.1 GHz Intel Core i7
メモリ: 16 GB

24. 24
潜在ディリクレ配分による
トピックモデルの構築

25. 潜在ディリクレ配分によるトピックモデルの構築
● トピックモデル
● ラベルなしのテキスト文書にトピックを割り当てる手法。
例えばカテゴリ分けされていない新聞の記事を、スポーツ、経済、政治 ...などに分類する等。
● 潜在ディリクレ配分(Latent Dirichlet Allocation: LDA)は生成的確率モデルで、
様々な文書に出現する一連の単語を見つけ出そうとする。
(潜在ディリクレ解析(Latent Dirichlet Analysis: LDA)ではない。)
数学的には複雑で、ベイズ推定の知識も求められるため、本書では実務的な観点から
LDAを噛み砕いて説明する。
25

26. 潜在ディリクレ配分によるトピックモデルの構築
● LDA
26
{
'the': 6, 'sun': 4, 'is': 1
'shining': 3, 'weather': 8, 'sweet': 5,
'and': 0, 'one': 2, 'two': 7
}
[[0 1 0 1 1 0 1 0 0]
[0 1 0 0 0 1 1 0 1]
[2 3 2 1 1 1 2 1 1]]
BoW
LDA
文書から
トピックへの行列
単語から
トピックへの行列
[ ]
[ ]
LDAはBoWを
2つの行列に分解する

27. 潜在ディリクレ配分によるトピックモデルの構築
● LDAの特徴
● ディリクレ分布を使用する。
● トピックの数はハイパーパラメータなので、明示的に指定する必要がある。
27

28. 潜在ディリクレ配分によるトピックモデルの構築
● scikit-learnを使ったLDA
● LatentDirichletAllocationクラスを使用する。
● まずは、映画のレビューデータを 10種類のトピックに分けることを想定する。
28
>>> from sklearn.feature_extraction.text import CountVectorizer
>>> from sklearn.decomposition import LatentDirichletAllocation
>>>
>>> count = CountVectorizer(stop_words='english', max_df=.1, max_features=5000)
>>> X = count.fit_transform(df['review'].values)
>>> lda = LatentDirichletAllocation(n_components=10, random_state=123,
learning_method='batch')
>>> X_topics = lda.fit_transform(X)
>>> lda.components_.shape
(10, 5000)

29. 潜在ディリクレ配分によるトピックモデルの構築
● LDAの推定したトピック
29

30. 潜在ディリクレ配分によるトピックモデルの構築
● トピック6のホラー映画らしいレビューを実際に表示すると...
30
Horror movie #1:
Emilio Miraglio's "The Red Queen Kills Seven Times" (1972) is just about the most perfect example of a giallo that
I have ever seen, mixing all the requisite elements into one sinister stew indeed. First of all, and of paramount
importance for me, it has a complex, twisty plot that ultimately makes ...
Horror movie #2:
This film marked the end of the "serious" Universal Monsters era (Abbott and Costello meet up with the monsters
later in "Abbott and Costello Meet Frankentstein"). It was a somewhat desparate, yet fun attempt to revive the
classic monsters of the Wolf Man, Frankenstein's monster, and Dracula one "la ...
Horror movie #3:
<br /><br />Horror movie time, Japanese style. Uzumaki/Spiral was a total freakfest from start to finish. A fun
freakfest at that, but at times it was a tad too reliant on kitsch rather than the horror. The story is difficult to
summarize succinctly: a carefree, normal teenage girl starts coming fac ...

31. まとめ
● BoW(Bag-of-Words)
● 文書を特徴ベクトルとしてエンコードする。
● TF-IDF(Term Frequency-Inverse Document Frequentry)
● 単語の出現頻度を関連性で重み付けする。
● アウトオブコア学習
● 逐次的な学習によって大規模データを高速に処理する。
● LDA(Latent Dirichlet Allocation)
● 教師なしで複数の文書を様々なカテゴリに分類する。
31