Basics of Natural Language Processing

1. 機械学習勉強会(5)
自然言語処理の基礎
June 18, 2020
Tomoya Nakayama

2. 今日説明すること
• 自然言語処理の全体像
• テキストの前処理
• テキストデータの特徴量の作り方
2

3. 今日説明しないこと
• ディープラーニングによる自然言語処理
• 日本語の自然言語処理
3

4. 1. 全体の流れ
4

5. 【復習】機械学習のワークフロー
5
データ
収集
データ
分析
データ
前処理
モデル
作成
モデル
評価
組込み
監視
参考： https://docs.aws.amazon.com/ja_jp/sagemaker/latest/dg/how-it-works-mlconcepts.html
主にここで
自然言語処理独自の
手法を用いる

6. 自然言語処理における全体の流れ
テキストの前処理
• 不要な要素の
除去
• 単語分割
• 正規化
• …など
特徴量の作成
• 出現回数
• 出現頻度(TF)
• TF-IDF
• word2vec
• BERT
• …など
モデル構築
• 線形回帰
• 二値分類
• マルチクラス
分類
• …など
6

7. 【復習】データの前処理
• ダミー化（質的変数を0/1の数値に変換）
• 欠損値・外れ値の処理
• 正規化（値を0～1に変換）
• 標準化（標準正規分布に従わせる）
7

8. 【復習】二値分類
科目1 科目2 合否
64 75 ×
77 66 ○
82 55 ×
49 95 ○
58 83 ○
69 69 ?
40
50
60
70
80
90
100
40 50 60 70 80 90
8
合格と不合格の
境界線を見つける

9. 【復習】二値分類の論理
• 目的関数
• 𝑦 = 𝜎(𝑊 𝑇 𝑋 + 𝑏)
• σはシグモイド(sigmoid)関数
• 損失関数
• 交差エントロピー
• 𝐽 =
1
𝑛 𝑖=1
𝑛 (−𝑦𝑖 log 𝑦𝑖 −
0
0.5
1
-6 -4 -2 0 2 4 6
y
x
シグモイド関数
9

10. 2. テキストの前処理
10

11. 前処理の主な手法
• 不要な要素の除去
• 単語分割
• 単語の正規化
11

12. 例文
12
The ship may have sunk but the movie didn't!!! Director, James Cameron, from 'The Terminator' did
it again with this amazing picture. One of my favorite scenes is 'The Dinner table' scene, in which
Rose's family and friends meet Jack after he saves her. Rose has a look on her face that every
woman should have when you meet 'THE ONE'...I hope I have that look when I am in the room with
my future husband.<br /><br />Jack and Rose have a connection that is 'MOVIE STUFF' but it's good
movie stuff. We have the greedy mom and all her elite stuck up associates who live off of their
husbands wealth. Rose almost commits suicide but the Gilbert Grape star rescues her. I really liked
the hanging over the boat scene. It was a good risk.<br /><br />The movie is long but it's fantastic!!!
Good story, good flow, good actors!!! Go see it twice if you want, Its worth it!!!
出典：
Andrew L. Maas, Raymond E. Daly, Peter T. Pham, Dan Huang, Andrew Y. Ng, and Christopher Potts. (2011).
Learning Word Vectors for Sentiment Analysis.
The 49th Annual Meeting of the Association for Computational Linguistics (ACL 2011).

13. 不要な要素の除去
• 句読点や記号
• ストップワード（使用頻度が高すぎて特徴として不適なもの）
• 英語では冠詞 (a, the)・代名詞 (I, you, they, …)・前置詞 (in, on, of, …)など
• 文章とは関係ない情報（HTMLタグなど）
• （数字）
13

14. 単語分割
• 文章を単語で分割してリスト化
• 日本語だと形態素解析という手法を使う
（日本語のNLPは後日やりたい）
14

15. 正規化 (normalization)
• 大文字を小文字に変換
• 短縮形の展開
• didn’t -> did not
• 語幹化(stemming) …接頭辞・接尾辞を取り除く
• scenes -> scene, played -> play
• レンマ化(lemmatization) …語の原形に変換する
• sunk -> sink, knives -> knife
15

16. 3. 特徴量の作成
16

17. 特徴量作成の主な手法
• テキストのベクトル化
• bag-of-words
• TF
• IF-IDF
• 単語のベクトル化
• word2vec
• GloVe
• BERT
• テキストと単語のベクトル化
• doc2vec（今回は触れない）
17

18. 例文
1. This movie is terrible. It’s a waste of time.
2. This movie was good and made me happy. Had a very good time.
3. This movie is just boring.
1. [movie, terrible, waste, time]
2. [movie, good, made, happy, good, time]
3. [movie, boring]
18
前処理

19. 出現回数 (bag of words)
• テキストごとの各単語の出現回数をそのまま特徴量とする
19
boring good happy made movie terrible time waste
Text 1 0 0 0 0 1 1 1 1
Text 2 0 2 1 1 1 0 1 0
Text 3 1 0 0 0 1 0 0 0

20. 出現頻度(TF: Term Frequency)
• テキストごとの各単語の出現回数を全単語数で割った値を
特徴量とする
• 𝑇𝐹𝑑,𝑤 =
テキスト 𝑑における単語 𝑤の出現回数
テキスト 𝑑の全単語数
20
boring good happy made movie terrible time waste
Text 1 0.00 0.00 0.00 0.00 0.25 0.25 0.25 0.25
Text 2 0.00 0.33 0.17 0.17 0.17 0.00 0.17 0.00
Text 3 0.50 0.00 0.00 0.00 0.50 0.00 0.00 0.00

21. TF-IDF (IDF: Inverse Document Frequency)
• TFに対し、ほぼすべてのテキストに出現するような
「レア度の低い」単語の重みを下げる
• 𝐼𝐷𝐹𝑤 = log
全テキスト数
単語 𝑤が出現するテキスト数
• 𝑇𝐹𝐼𝐷𝐹𝑑,𝑤 = 𝑇𝐹𝑑,𝑤 × 𝐼𝐷𝐹𝑤
21
boring good happy made movie terrible time waste
IDF 0.48 0.48 0.48 0.48 0.00 0.48 0.30 0.48
Text 1 0.00 0.00 0.00 0.00 0.00 0.12 0.08 0.12
Text 2 0.00 0.16 0.08 0.08 0.00 0.00 0.05 0.00
Text 3 0.24 0.00 0.00 0.00 0.00 0.00 0.00 0.00

22. 単語のベクトル化
• 単語を低次元のベクトルで表現
• このベクトルを「単語埋め込み(word embedding)」とも言う
• 個人的な感覚では50～200次元くらい
• 「近い」単語はベクトルが近くなる
• 単語のベクトルを組み合わせてテキストのベクトルを作る
• 単語のベクトルの合計or平均をとる
• 単語のベクトルを連結させる（全データの長さを合わせる必要あり）
• 学習済みのベクトルが公開されていることも
22

23. word2vec
• Distributed Representation of
Words and Phrases and their
Compositionality
(Mikolov et al., 2013)
• 共起する（近くに現れる）単
語を学習させる
• ベクトルどうしの関係性もベ
クトルで表せる
• Paris – France + Japan = ?
23

24. その他の単語埋め込みモデル
• GloVe: Global Vectors for Word Representation
• Pennington et al., 2014
• BERT: Pre-training of Deep Bidirectional Transformers for Language
Understanding
• Devlin, et al. 2018
24

25. 4. ハンズオン
25

26. ハンズオン
• Google Colab版 • ハンズオンの実行にはGoogle
アカウントが必要です。
• 今回からBinder版は廃止しま
した（過去に利用者がいな
かったため）
26