Step by Stepで学ぶ自然言語処理における深層学習の勘所

Step by Stepで学ぶ自然言語処理における深層学習
の勘所

自己紹介
大串正矢
@SnowGushiGit
ポート株式会社
Web開発事業部研究チーム
Tech-Circle 運営スタッフ
機械学習／自然言語処理
インフラ自動構築／並列分散処理
Python
2

Agenda
• 機械学習
• 深層学習（ニューラルネットワーク）
• 自然言語処理における深層学習
• 勉強方法
3

機械学習とは
5
• 人がルールを教えるのではなくデータからルールを学習する方法
人ルール
データルール学習

機械学習の利点と欠点
6

機械学習の利点と欠点
7
• 利点
• 欠点
速い 24時間動作分野によっては高精度
データ依存精度が出せる分野が限られる適切なデータの準備

機械学習をどこで使うか
8

機械学習をどこで使うか
9
• 値の予測
• 分類
商品のレコメンド
購入者が好きそうな商品のスコアを計
算しレコメンド
迷惑フィルタ
無限に近いパターンから迷惑メールと
そうでないパターンを分類

機械学習の適用が難しい所
10

機械学習の適用が難しい所
11
データの用意が難しい分野
法的な問題（プライバシーなど
）
少量のデータしかない
人でも分からない問題ミスが許されない分野

機械学習の仕組み
13
特徴を抽出
・茶色、肌色
・丸みがある
・etc
学習データ

機械学習の仕組み
15
教師有り学習教師なし学習強化学習
特徴
データ
女性
特徴女性
答え
特徴女性
特徴男性
特徴
データ
特徴
特徴
特徴
特徴空間
ゴール
女性の特徴である髪が長
いかなどの特徴を軸とし
た空間で行動して女性を
探すように学習させる

どれが良いの？？？
16

どれが良いの？？？
• 結論：教師有り学習：人間と同じで良い教師がいた方が良くなります
。
• 教師なし学習
• データの分析や特徴量の選出に役に立つ
• 教師有り学習の前の準備に使用するのがベター
• 強化学習
• 特徴量空間の設定とゴールの設定が難しい
• 適用分野や適用方法を絞れば効果的
• ゲームなど明確にルールが決まった分野では強力
17

深層学習の学習方法はどれでしょう
？
18

深層学習の学習方法はどれでしょう
？
19
特徴
データ
女性
特徴女性
答え
特徴女性
特徴男性
特徴
データ
特徴
特徴
特徴
特徴空間
ゴール

深層学習の適用分野
20
特徴
データ
女性
特徴女性
答え
特徴女性
特徴男性
特徴
データ
特徴
特徴
特徴
特徴空間
全部できるよ
ゴール

深層学習が
効果を発揮している分野
21

深層学習が
効果を発揮している分野
22
• 画像認識の分野で2位以下に圧倒的な精度の差を出す
• 音声認識の分野でも従来手法を上回る精度

なぜ効果を発揮しているか
23

24
• 大量の情報から適切な情報を選択して、それを元に学習している
従来手法
人手で特徴量を抽出
・茶色、肌色
・丸みがある
・etc
従来の機械学習
深層学習
深層学習
特徴量の抽出から学習まで行う

非構造化データ
• 非構造化データとは画像、音声、動画、言語など情報の意味づけがされ
ていないデータ
画像
音声
Data Base
言語
構造化データ非構造化データ

27
• 画像、音声には大量の情報を含んだ情報源がある。
エッジ部分猫
ピクセル情報
音素単語発話
波形情報
低次高次

28
• 低次の情報から高次への情報へ変換する技術が上手く適用されている。
エッジ部分猫
ピクセル情報
音素単語発話
波形情報
低次高次
深層学習

非構造化データ
• 次ページから画像、音声で成果を出した深層学習が言語においてどのよ
うな位置づけか述べます。
画像
音声
Data Base
言語
構造化データ非構造化データ

自然言語処理の概要の説明
30

31
• 自然言語（人の話す言葉）をコンピューターで処理させるための技
術
• 主な応用：日本語入力の予測変換、機械翻訳、検索など
予測変換機械翻訳検索

32
• 自然言語処理の方向性
• 言語の構造を明らかにする
• 言語から情報を得ること
対話検索
分かち書き構文解析
S
NP
VP
NP
Neural networks
improv
e
the accuracy

自然言語処理における深層学習の位置づけ
33

34
エッジ部分猫
ピクセル情報
音素単語発話
波形情報
低次高次
単語フレーズ文表現
深層学習

35
低次高次
I show am me your you … when are
1, 0, 0, 0, 0, 0, … 0, 0I
am
Shota
0, 0, 1, 0, 0, 0, … 0, 0
0, 0, 0, 0, 0, 0, … 0, 0
数万語以上あるがほとんどが使用されない
データ

36
単語で数万以上…
表現だと
もっと多いのでは

37
深層学習により
単語の空間を
圧縮して
表現の空間を表します

38
低次高次
0.5, 0.0, 1.0, 1.0, 0.3, 0.0
I
am
Shota
深層学習により単語の空間を圧縮
深層学習
0.5, 0.0, 1.0, 1.0, 0.0, 0.0
0.5, 0.0, 1.0, 0.5, 0.3, 0.0
データ

39
圧縮された空間を
分散表現
と呼びます。

深層学習による自然言語の分散表現
40

深層学習による自然言語の分散表現
41
I :0
am:0
show:1
me:0
your:0
you:0
:
when:0
are:0
I :0
am:0
show:1
me:0
your:0
you:0
:
when:0
are:0
中間層
が分散表現

分散表現の学習方法
42

43
• CBOW
• 単語を直接予測
• 小規模なデータセットに良い
• Skip-gram
• 単語から周りの単語を予測
• 大規模なデータセットに使われる
性能が早く高速なのでSkip-Gramが人気

44
I :0
am:1
show:0
me:0
your:0
you:0
:
when:0
are:0
• CBOW
• 例文： I am Ken
I :0
am:1
show:0
me:0
your:0
you:0
:
when:0
Ken:0

45
I :0
am:1
show:0
me:0
your:0
you:0
:
when:0
Ken:0
• Skip-Gram
• 例文： I am Ken
I :1
am:0
show:0
me:0
your:0
you:0
:
when:0
Ken:1

分散表現を行うことが可能な
深層学習のモデル
46

47
• Skip-gram(先ほど説明したモデル）
• Recurrent Neural Network（実装で使用しているモデル）
• Recursive Neural Network

• Recurrent Neural Network
48
0
0
0
0
1
:
0
出
力
層
例文：Show me your hair
your
hair隠れ
層
meの時
の
隠れ層
変換行列
過去の値をコピー

49
• Skip-gram(先ほど説明したモデル）
• Recurrent Neural Network（実装で使用しているモデル）

• 合成ベクトルを単語から再帰的に予測するニューラルネットワークを構
築
50
S
Neural
単語ベクトル
networks
単語ベクトル
improve
単語ベクトル
the
単語ベクトル
accuracy
単語ベクトル
合成ベクトル
合成ベクトル合成ベクトル

デモに使用したモデル
51

52
太郎さんこんにちは
こんにちは<EOS>• Recurrent Neural Network(Seq to Seq)
• 入力側(Encoder)と出力側(Decoder)それぞれRNNを用意
• Encoderによって入力系列を中間ノードに変換しその情報をもとに
Decoderが系列を出力
Encoder Decoder

53
こんにちは<EOS>• Attention Model
• 出力ステップで、その時の隠れ層を使い入力側の
隠れ層を加重平均したベクトルを出力で使用
+Encoder
Decoder

System Architecture
55
SQLite
対話破綻
コーパス
ファインチューニ
ング用学習データ
プレトレイン WikiPediaタイ
トルデータ
学習
データ取得データ出力
チューニング
ボット応答
ユーザーアクション
Word Net
Wikipedia
Entity Vector
Word Net
Wikipedia
Entity Vector

Wikipedia Entity Vector と Word Net
を用いた話題選定
56

57
彼氏
妹
パパ

• Word Netは何？？
– 単語に概念を付与してグループ化してくれているデータセット
58
スコティッシュ
ホールド
クロネコオレンジネコ
ネコ

59
しかし概念数が多い
：
その数57,238 概念
概念数が多いと
データを用意しづらい

60
同じような概念があるはず
：
それをまとめたい

• Wikipedia Entity Vectorは何？？
– 単語、および Wikipedia で記事となっているエンティティの分
散表現ベクトル
61

62
概念にベクトルが付与できる
：
つまり計算が可能に
（注意：今回は計算量とメモリ
の関係で20万単語のみ使用）

63
Word Netと
Wikipedia Entity Vector
を組み合わせることで
概念クラスを
分散ベクトル化

• Word Net とWikipedia Entity Vectorを組み合わせ
１：Word Netの概念クラスをWikipedia Entity Vectorを用いて
サマライズ
２： Word Netの未知語をWikipedia Entity Vectorで付与
３：概念クラスの平均ベクトルをWikipedia Entity Vectorで
導出
４：概念クラスをサマライズ
５：概念クラス内の単語の頻度が1000以上だけ残す
64

1：Word Netの概念クラスをWikipedia Entity Vectorを用いて
サマライズ
65
ネコ:[0.2, 0.3, 0.4…]
犬:[0.3, 0.4, 0.5…]
Wikipedia
Entity Vector
うさぎ:[0.2, 0.5, 0.4…]
コ
サ
イ
ン
類
似
度
計
算

2: Word Netの未知語をWikipedia Entity Vectorで付与
66
クロネコ
白猫
：
三毛猫
：
ネコWikipedia Entity
Vector
コサイン類似
度
近い
未知語なら
追加

67
各概念に属する単語数が増え
ある程度まとまったが
：
まだ多い

3: 概念クラスの平均ベクトルをWikipedia Entity Vectorで導出
68
クロネコ:[0.2, 0.3, 0.4…]
白猫:[0.1, 0.3, 0.…]
：
ネコ
柴犬:[0.1, 0.3, 0.4…]
土佐犬:[0.1, 0.2, 0.…]
：
犬
平均ベクトル
平均ベクトル

4: 概念クラスをサマライズ
69
クロネコ:[0.2, 0.3, 0.4…]
白猫:[0.1, 0.3, 0.…]
：
ネコ
柴犬:[0.1, 0.3, 0.4…]
土佐犬:[0.1, 0.2, 0.…]
：
犬
平均ベクトル
平均ベクトル
コサイン類似度計算

70
各概念に属する単語数が増え
ある程度まとまったが
：
まだ多い（20000程度）

5: 概念クラス内の単語の頻度が1000以上だけ残す
71
クロネコ
白猫
：
ネコ
柴犬
土佐犬
：
犬
白鳥
アヒル
：
トリ
コアラ
コアラ

72
これで76概念まで減少
：
他は概念を与えないことに
全てのベクトル
使えばもっと良くなるはず・・

73
その服
可愛い
どこで
買ったの？
彼氏
イケメン
かっこいい
：
妹
可愛い
服
：
パパ
お金
小遣い
：
単語の平均一致
率計算

Attention Modelを用いた
言葉へのフォーカス
74

75
私と仕事の
どっちが大事？
その服
可愛い
どこで
買ったの？
パパ小遣い
頂戴
彼氏
妹
パパ

76
こんにちは<EOS>• Attention Model
+

77
• Attention Model
• 詳しくは下記のスライドで
http://www.slideshare.net/yutakikuchi927/deep-learning-nlp-attention

深層学習を実際に適用するには
78

79
）
少量の教師データしかない

80
）

• データの問題
• 法的な問題
• ・・・
• 少量の教師データしかない問題
• 既にある資源の有効活用
• Wikipedia
• WordNet
• etc
• 転移学習
• 事前に他のデータで学習したモデルの重みを使用
• バイトを雇う。外注（クラウドワークス）
• 教師データを作成してもらう。
81

82
）

• ミスが許されない分野
• 人と機械学習のハイブリッド
• 機械学習で効率化＋人で最終チェック
83
+

84
）

• 人でも分からない問題
• 哲学的なものは厳しい（人はなぜ生きるのかなど）
• フィーリングと勘でやっていて言葉にできない。（営業など）
• 難しい・・けどコミュニケーションを取れば何らかの傾向や
細分化できる部分があるはず。その部分のみ解決することは
可能
85

勉強方法
• 王道
• 時間の使い方を変える
• 付き合う人を変える
• 環境を変える
• 独学コース
• 勉強会を主催して、発表することが一番早いと思います！！
87

勉強方法
• 勉強のための教材
• Coursera
• https://www.coursera.org/learn/machine-
learning/home/info
• Stanford University CNN
• http://cs231n.stanford.edu/
88

Conclusion
• 機械学習
• 深層学習（ニューラルネットワーク）
• 自然言語処理における深層学習
• 勉強方法
• GithubにStarをくれるとやる気が加速します！！
– githubを“Chainer Slack Twitter”で検索
90

Reference
• Chainerで学習した対話用のボットをSlackで使用+Twitterから学習データを
取得してファインチューニング
– http://qiita.com/GushiSnow/items/79ca7deeb976f50126d7
• WordNet
– http://nlpwww.nict.go.jp/wn-ja/
• 日本語 Wikipedia エンティティベクトル
– http://www.cl.ecei.tohoku.ac.jp/~m-suzuki/jawiki_vector/
• PAKUTASO
– https://www.pakutaso.com/
• A Neural Attention Model for Sentence Summarization
– http://www.aclweb.org/anthology/D15-1044
• 猫の画像（10ページ）
• http://photobucket.com/images/gif%20pixel%20cat%20kitten%20b
lack%20cat%20cute
• 構文解析
• http://qiita.com/laco0416/items/b75dc8689cf4f08b21f6
92

Reference
• 分かち書き画像
• http://www.dinf.ne.jp/doc/japanese/access/daisy/seminar20090211/s
ession1_1.html
• 波形の画像（10ページ）
• http://www.maroon.dti.ne.jp/koten-kairo/works/fft/intro1.html
• Large Scale Visual Recognition Challenge 2012
• http://image-net.org/challenges/LSVRC/2012/results.html
• 音声認識技術 - 大規模テキストアーカイブ研究分野 - 京都大学
• http://www.ar.media.kyoto-u.ac.jp/lab/project/paper/KAW-
IEICEK15.pdf
• iconfinder
• https://www.iconfinder.com/search/?q=Program&price=free
• Machine learningbootstrap For Business
• http://www.slideshare.net/takahirokubo7792/machine-
learningbootstrap-for-business
• A Neural Attention Model for Sentence Summarization [Rush+2015]
(Slide Share)
– http://www.slideshare.net/yutakikuchi927/a-neural-attention-model-
for-sentence-summarization
93

Step by Stepで学ぶ自然言語処理における深層学習の勘所

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Viewers also liked

Viewers also liked (20)

Similar to Step by Stepで学ぶ自然言語処理における深層学習の勘所

Similar to Step by Stepで学ぶ自然言語処理における深層学習の勘所 (20)

More from Ogushi Masaya

More from Ogushi Masaya (7)

Step by Stepで学ぶ自然言語処理における深層学習の勘所

Editor's Notes