言語と知識の深層学習@認知科学会サマースクール

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

⾔言語と知識識の深層学習
（株）Preferred Infrastructure
海野　裕也
2015/08/31 認知科学サマースクール@箱根

⾃自⼰己紹介
海野裕也
l  -2008 東⼤大情報理理⼯工修⼠士
l  ⾃自然⾔言語処理理
l  2008-2011 ⽇日本アイ・ビー・エム（株）東京基礎研
l  テキストマイニング、⾃自然⾔言語処理理の研究開発
l  2011...

本⽇日の話の概要
l  ⾃自然⾔言語処理理における深層学習の⼿手法の概要を
お話します
l  現在、私が持っている課題感などもお話させて
いただけると幸いです
3

⾃自然⾔言語処理理とは
⾃自然⾔言語（⼈人の話す⾔言葉葉）をコンピュータで処理理させるた
めの技術
l  主な応⽤用：⽇日本語⼊入⼒力力、機械翻訳、⾃自動要約など
l  ⾔言語学、機械学習、最適化、統計などの技術と関わりが
深い
4
古⽂...

⾔言語処理理固有（？）の問題
1.  シーケンスの各要素の異異なり数は膨⼤大（単語）
2.  極めて規則的に各要素が選ばれる（⽂文法）
3.  外の情報や推論論がないと判断できないことも
（知識識・推論論）
5
記号の規則的な列列である

本⽇日の概要
⾃自然⾔言語処理理における深層学習を3つに分け
て話します
l  埋め込みベクトルの学習
l  構造の学習
l  知識識、記憶、推論論の学習
6

その前に
7

おさらい：機械学習
多くの機械学習⼿手法は、
1.  ⽬目的関数の設計
2.  勾配の計算
3.  最⼩小化のための反復復計算
からなる
そうでない機械学習もある（例例：MCMC）
8

典型的な機械学習のイメージ
l  正しければ正しいほど⼩小さくなる関数fを、デー
タから設計する（例例えば正解率率率）
l  fの任意の地点での勾配（⼩小さくなる⽅方向）を計
算する⽅方法を⽤用意する
l  更更新を繰り返すとfの極⼩小点...

機械学習の例例：分類学習の⽬目的関数
10
argminw ∑(x, y) l(x, y; w) + r(w)
l  xは⼊入⼒力力ベクトル、yは予測ラベル
l  l(x, y)は予測が正しければ⼩小さく、間違えれば⼤大
きくなる値（損失...

機械学習の例例：分類学習のアルゴリズム
l  ⽬目的関数をパラメータwで微分した値（勾配）
を計算する⽅方法を⽤用意する
l  wを勾配の⽅方向に少しだけ動かす、を繰り返す
l  実際は更更新⽅方向の取り⽅方に⼯工夫が他数ある
11
i...

応⽤用タスクでは関数の設計が焦点
l  勾配の計算と、最⼩小化の反復復計算は、ほとんど
⾃自動化できるようになった
l  重要な⼯工夫は他数あるが、今⽇日はしません（Dropout、
Batch normalization、ADAMなど）
...

お断り
l  細かい式と実装は紹介しません
l  式の意図や性質を中⼼心に解説します
l  勾配計算はライブラリに任せることが増
えています
13

埋め込みベクトルの学習

記号と意味の類似度度
l  同じ意味、似た意味、関連のある意味、など
l  記号列列が似ていても、関係が無いことが多い
15
リンゴ
リンク
アップル
⾷食べる
みかん
リンス
⻘青リンゴ

分布仮説 (Distributional Hypothesis)
l  同じ⽂文脈で出現する単語は同じ意味を持つとい
うこと
l  データから単語の意味を学習する話は、少なか
らずこの仮説が元になっている
16
The Distribut...

問題：???の単語は何でしょう？
17
[Evert10]より抜粋
ヒント：この表は各単語同士の共起頻度を表している

問題：???の単語は何でしょう？
18
[Evert10]より抜粋
ヒント2：catやpigと共起語が似ていて、knifeと似てない

正解：dog
19
[Evert10]より抜粋

word2vec [Mikolov+13]
l  各単語の「意味」を表現するベクトルを作るはなし
l  vec(Berlin) – vec(German) + vec(France) と⼀一番近い単
語を探したら、vec(Paris)だった...

Skip-gramモデル (word2vec) [Mikolov+13a]
l  周辺単語を予測するモデル
l  周辺単語から予測するモデル
（CBOW）も提案している
l  Analogical reasoningの精
度度が劇的に向上...

Skip-gramモデル[Mikolov+13a]の⽬目的関数
l  ⼊入⼒力力コーパス: w1, w2, …, wT 　（wiは単語）
22
これを最
⼤大化
vwは単語wを表現するようなベクトル（適当な
次元）で、これらを推定したい
...

出⼒力力層を⼯工夫する
l  語彙数 x 隠れ層　の⾏行行列列を毎単語ごとに更更新す
る必要がある
l  語彙数が巨⼤大すぎる（10万〜～100万）
l  更更新量量を減らす⼯工夫が欲しい
23

⼯工夫1: Hierarchical Softmax (HSM) [Morin+05]
l  単語で⽊木を作り、ルートからその単語までの各ノードの
ベクトルと内積をとり、そのシグモイドの積にする
l  計算量量が語彙数の対数時間になる
l...

⼯工夫2: Negative Sampling [Mikolov+13b]
l  ∑の中の期待値計算は、k個のサンプルを取って
近似する
l  データが少ない時は5~20個、多ければ2~5個で充分
l  P(w)として、1-gram頻度度...

Skip-gramの衝撃
l  式は異異様にシンプル
l  ある単語の出現が、周囲の単語の出現に影響を与え
ている、程度度の意味合い
l  想像以上に直感通りの実⾏行行結果
l  “1”に類似する単語は、順番に”2”, “3”, “4”...

オープンソースで公開される
l  実装はかなりギリギリまでチューニングされて
いるので、CPUでも異異様に⾼高速に動く
l  公開後、エンジニア界隈でも流流⾏行行した
27
https://code.google.com/p/word2v...

意味の「程度度」がベクトル空間中に埋め込まれる
[Kim+13]
l  “good”と”best”の真ん中に、”better”が存在
28
[Kim+13]より

⾔言語間の翻訳辞書ができる [Mikolov+13c]
l  単⾔言語のコーパスで作られた表現ベクトルは似ている
l  少ない対訳辞書で作った、表現ベクトル空間の線形変換
を作る
29
英語
スペイン語
[Mikolov+13c]よ...

複数の意味を持たせて、⽂文脈に応じて選択
[Neelakantan+14]
30
文脈を認識
一番類似した意味を選択
Skip-gramと同じ
[Neelakantan+14]より

⽂文書のベクトル表現（Paragraph vector） [Le+14]
l  周囲の単語に加えて、⽂文書固有のベクトル
（Paragraph vector）も単語の予測に使う
l  このベクトルで⽂文書分類すると性能が向上する
31
C...

埋め込みベクトルの学習
l  単語の意味に相当するベクトルを学習する
l  周囲の単語を予測するモデル
l  不不思議な性質が次々に明らかになる
l  意味の⾜足し算や、⾔言語をまたいだ類似性など
l  関連する研究が次々に⾏行行われ...

構造の学習

⾃自然⾔言語処理理の2⼤大構造
l  系列列構造
l  そもそも⽂文が⽂文字列列なので、系列列を使うのは⾃自然
l  cf. N-gram, HMM, linear-chain CRF…
l  ⽊木構造
l  伝統的に⾃自然⾔言語処理...

Recurrent Neural Network (RNN)
l  系列列に対するネットワーク
l  隠れ層をコピーして、次の⼊入
⼒力力に使うところがポイント
l  必ずしも予測は必要ない
35
⽂文字、単語
時刻 t-‐‑‒1 ...

つなげて書くと・・・
36
⽂文字1
時刻 0 の隠れ層
隠れ層
時刻1の
予測
⽂文字2
時刻2の
予測
⽂文字3
時刻3の
予測

フィードフォワードニューラルネットとの関係
l  横⽅方向に並べて書くことが多い
37
ここだけみると、⽂文
⻑⾧長と同じ⻑⾧長さのニュー
ラルネットワーク
yt = f(ht)
ht+1 = g(xt, ht)

x1 x2 x3 x4...

補⾜足：Skip-gramとRNNの違い
l  Skip-gramでは、各単語は独⽴立立に、周囲の単語
から予想していた
l  RNNでは隠れ状態の遷移が次の単語出⼒力力に影響
を与える
38
yt = f(ht), ht+1 = g(x...

Back Propagation Through Time (BPTT)で学習
l  時間⽅方向に展開した状態で誤差逆伝搬すると、時間をさ
かのぼって学習しているように⾒見見える
39

深いネットワークと同様の問題が発⽣生する
l  何度度も掛け算が発⽣生するので、重みが爆発したり、勾配
が消失する問題が発⽣生する
l  そのため、⻑⾧長い依存関係を学習できない
40

Long Short-Term Memory [Hochreiter+97]
l  勾配が消えないようにエラーを内部に貯めこむ構造に
なっている
l  ⼊入出⼒力力のゲートを作って、情報を選択的に流流すようにす
る（流流すタイミングを学習す...

LSTMをRNNのモジュールとして利利⽤用する
l  時間⽅方向の遷移をLSTMに置き換えることで、
⻑⾧長距離離の依存関係を学習できるようになる
42

統計的⾔言語モデル
l  ⽂文か否かを判定するのが⾔言語モデル
l  統計的⾔言語モデルは、記号列列に対して確率率率を与
える
l  正しい⽂文には⾼高い確率率率、⾮非⽂文に対しては低い確率率率
43
P（今日は天気だ）＞P（は天気だ今...

RNNの⾔言語モデルへの利利⽤用 [Mikolov+10]
l  ⼊入⼒力力は単語列列、出⼒力力は次の単語
l  副次的に単語毎にベクトルが学習される
44
今日
は
天気
だ
は
天気
だ
<eos>
単語毎...

⾔言語モデルは何に使われるか？
l  ⽂文を⽣生成するあらゆるタスクに応⽤用できる
l  翻訳
l  ⽂文書要約
l  ⾳音声認識識
l  対話
l  例例えば⾳音声認識識結果の候補がいくつかあったと
きに、最も尤もらしい⽂文を選択...

従来の⾔言語モデルとRNN⾔言語モデルの⽐比較
l  N-gram⾔言語モデル
l  確率率率が直近N単語にのみ依存する
l  RNN⾔言語モデル
l  隠れ状態に必要な情報がエンコードされる
46
P(xt | xt-1, …) =...

LSTM⾔言語モデルの強⼒力力さ [Graves13]
47
閉じタグが正確に復復元タグの出現順も正しい
⽂文の構造も復復元
[Graves13]より

LSTMの成功から学ぶべきこと
l  条件分岐のようなものを学習できる
l  シグモイド関数の出⼒力力をかける
l  出⼒力力が1なら使う、0なら使わないことになる
l  内部記憶のようなものも再現できる
48
微分可能な関数でかけれ...

昨年年後半からLSTMが⼤大流流⾏行行
l  ⽂文を⽣生成するタスクの標準的な⼿手法になる
l  ⾃自然⽂文以外でも、系列列を扱うタスクの標準にな
る
49

Show and Tell [Vinyals+15a]
l  画像を畳み込みニューラルネットワーク
（CNN）でエンコードして、そこからRNNで⽂文
を⽣生成する
l  画像を説明するような⽂文の⽣生成に成功
50
[Vinyals+15...

Sequence-to-sequence learning (seq2seq)
l  ⼊入⼒力力⽂文をRNNでエンコードして、そこからRNN
で出⼒力力⽂文を⽣生成する
l  ⽂文から⽂文の変換を学習できる
51
入力文
出力文
[S...

seq2seqが複数のタスクで成果を上げる
l  機械翻訳 [Sutskever+14]
l  原⽂文から翻訳⽂文へ
l  構⽂文解析 [Vinyals+15b]
l  ⽂文から構⽂文⽊木（のS式表現）へ
l  対話 [Viny...

RNNによる⽣生成はエンコードとデコードに別れる
l  ⼊入⼒力力データをエンコード
l  画像をCNNで、翻訳元の⽂文や質問⽂文をRNNで
l  できたベクトルからRNNで⽂文を⽣生成する
l  全体が1つのネットワークになる
53 ...

従来の⾔言語モデルとの⽐比較
l  従来は⾔言語モデルとタスク固有のモデル（翻訳
モデルや⾳音響モデル）は式の上で分離離した
l  RNN的なアプローチでは全部くっつけ学習する
54
argmaxy P(y|x) = argmaxy P(...

Recursive Neural Network (RNN)
l  2つの単語の表現ベクトルを組合せて、フレーズ
の表現ベクトルを構成する
l  再帰的に繰り返すことで、⽂文全体の表現ベクト
ルを作る
55
x1 x2
p1
x3
p2

RNNによる構⽂文解析 [Socher+11]
l  隣隣接単語からフレーズを
構成する
l  構成を繰り返すことで、
⽊木ができる
l  画像の構造推定にも使え
る
56
[Socher+13]より

Matrix-Vector RNN (MV-RNN) [Socher+12]
l  各フレーズは⾏行行列列とベクトルのペアで表現する
l  ⼀一⽅方のベクトルを、もう⼀一⽅方の⾏行行列列との積を
取ってから、ベクトルを合成する
57
[S...

Neural Tensor Network (NTN) [Socher+13]
l  3階のテンソルを使って、2つのベクトルから、
1つのベクトルを⽣生成する
58
[Socher+13]より

RNNによる評判分析 [Socher+13]
l  構⽂文⽊木に沿って句句のベクトルを再帰的に構築し
て、ポジ・ネガ分類をする
l  各フレーズ単位でも判定ができる
59
[Socher+13]より

Tree-LSTM [Tai+15]
l  ベクトルの合成にLSTMを利利⽤用する
l  実験結果を⾒見見ると、受け⾝身になった⽂文でも⽂文意
が変わらないことを学習できている
60
c: メモリセル
h:隠れ状態
[Tai+15]より

Recurrent vs Recursive
l  Recurrentは単純だが強⼒力力
l  実装は単純、構⽂文解析器が必要ない
l  ⽂文の⽣生成結果も良良好
l  GPUによる並列列化がし易易い
l  ⾔言語の複雑な現象を説明す...

系列列的に処理理したからといって⽊木構造を扱えないわ
けではない
l  構⽂文解析におけるShift-Reduce法は、前から順番に⽂文を
読んでスタック操作で構⽂文⽊木を⽣生成できる
l  Recurrentも似たようことが起こっている？...

構造の深層学習まとめ
l  構造は主に2種類の⼿手法がある
l  Recurrentは前から順番に単語を読む
l  LSTMが⾮非常に強⼒力力
l  翻訳や対話など、⽂文を⽣生成するタスクに期待
l  Recursiveは構⽂文⽊木に...

知識識の深層学習

RNNだけで全ての問題が解決できるのか？
l  「今⽇日の天気は？」に答えられるかは、⾔言語モ
デルとは関係がない
l  RNNでできるのは、妥当な回答候補を絞り込む
ことだけ
h RNN 出⼒力力⽂文

知能に対する個⼈人的イメージ
66
1. 知覚
3. 思考
4. 行動
2. 認識

⾃自然⾔言語処理理における処理理のイメージ
67
1. ◯◯解析
3. 推論
4. 文生成
2. 意味表現

各処理理のイメージ
68
1. ◯◯解析
3. 推論
4. 文生成
2. 意味表現
花形の研究
難しいさらに難しい
RNNが強⼒力力

三つ組（トリプル）モデル
l  2つのエンティティーと、その関係という3つの
情報を最⼩小単位とする
l  エンティティーを節、関係をラベル付きの枝と
する有向グラフとみなせる
l  RDFも三つ組で出来ている
69
(x, r, y)...

既存の知識識ベースのほとんどが、三つ組モデルで表
現される
70

具体例例
l  「New York」の「略略語」は「NY」である
71

問題設定
⼊入⼒力力
l  {(xi, ri, yi)}: 知識識ベース中の三つ組集合
l  x, y: エンティティー
l  r: エンティティー間の関係
出⼒力力
l  x, yに対応するベクトル
l  rに対応するパラメータ
7...

⼤大雑把な枠組み
l  三つ組に対するスコア関数を定義する
l  程度度の差はあるが、概ね知識識ベース中の全三つ
組に対するスコアが⼩小さく（あるいは⼤大きく）
なるようなパラメータを探す
73
argmax ∑i f(xi, ri, y...

Distance model (Structured Embedding) [Bordes
+11]
l  e は、単語からベクトルへの関数
l  Rleft, Rright は、関係から⾏行行列列への関数
l  それぞれ別々の変換を⾏行...

TransE model [Brodes+13]
l  関係 r は、ベクトル r を⾜足すだけというシンプ
ルなモデル
l  良良好な結果で、ベースライン的扱い
75
f(x, r, y) = || e(x) + r – e(y) |...

TransE modelの問題点
1対多関係、多対多関係の場合、TransEでは同じ
関係にある全ての埋め込みベクトルが同⼀一になる
ように学習してしまう
拡張
l  TransM: 広がりをもたせるように学習する
l  TransH: 射...

TransM model [Fan+14]
l  r に応じて、重みをつける
l  wr は、r の関係をもつ x, y の個数から決まる定数
77
f(x, r, y) = wr|| e(x) + r – e(y) ||2
2
[Fan...

TransH model [Wang+14]
l  関係毎に超平⾯面上に射影して、その上でTransE
と同じモデル化をする
78
[Wang+14]より

評価⽅方法：Link prediction
l  エンティティーの内の1つを隠して当てる
l  ある種のQAタスクになっている
l  「孫悟空の⼦子供は誰？」
79
(e1, r, e2)
(e1, r, ? )

⽐比較すると新しい⼿手法のほうが性能は良良い
80
TransH
TransE
⾏行行列列分解
図は[Bordes&Weston14]より

さらに発展
l  ⾃自然⽂文も⼀一緒に扱うようになる
l  より⾃自然な質問応⽤用タスクに近づく
81

記憶、知識識、推論論
l  記憶、知識識、推論論に関わりそうな研究が注⽬目さ
れている
l  RNN-EM (Microsoft)
l  Memory Networks (Facebook)
l  Neural Reasoner (Hu...

DL Workshop@ICML2015のパネル討論論より
l  ⾃自然⽂文対話とQ&Aシステムが重要になると、
FacebookとGoogle DeepMindが指摘
83
LeCun and Hassabis both picked Q...

RNN-EM [Peng+15a]
l  RNNに外部メモリ（External Memory）を追加
してより⻑⾧長い依存関係を学習
l  書き込み、読み込み操作も学習84
⼊入⼒力力単語
出⼒力力単語
隠れ状態
外部メモリ
書き込み
読...

Memory networks [Weston+15][Sukhbaatar+15]
l  ⾃自然⽂文の知識識をエンコードして、質問⽂文から答
えを探し答えるまでを1つのネットワークに
85
外部の⽂文献
知識識表現質問⽂文
知識識の探索...

Neural Reasoner [Peng+15b]
l  質問(q)と事実(fi)から、推論論を⾏行行うイメージ
l  この推論論を何回も⾏行行うと、結論論が得られる
86
質問と事実をRNNでエンコード
1段の推論論
最後に回答
推論...

Deep Learningとは、「深い」ことだけではなく
なってきている
l  認識識系のDeep Learning
l  段数の「深い」多層パーセプトロン
l  段数の「深い」畳み込みニューラルネット
l  層の深さが重要だった
l...

知識識の深層学習のまとめ
l  知識識ベースの表現学習
l  三つ組による知識識ベースを、埋め込みベクトルで表
現する
l  簡単な質問応答ができるようになった
l  より⾃自然な知識識や記憶の獲得が流流⾏行行中
l  対話型の質問応...

この辺りから議論論
89

記号列列（⾔言語）のみで
意味を獲得できるのか？
90

Skip-thought vectors [Kiros+15]
l  RNNで⽂文をエンコードし、周囲の⽂文を推定する
l  Skip-gramモデルを⽂文に適⽤用したイメージ
91
前の⽂文を予測
次の⽂文を予測
⽂文をエンコード
[K...

Skip-gramとseq2seqやSkip thought vectorの類似
性
l  Skip-gram
l  単語の意味（ベクトル）は、周囲に来やすい単語の
類似性によって決まる
l  seq2seq
l  ⽂文の意味（ベクトル...

本当に記号内で完結するのか？
l  周囲の記号同⼠士の関係のみで埋め込みベクトル
を計算している
l  本当にこれだけで、「リンゴを絞るとジュース
になる」ことを理理解できるんだろうか？
93
リンゴ
⾷食べる
カツ丼みかん
⾚赤い

連続な表現とのマッピングが必要？
l  記号の表現は不不連続
l  記号そのものは類似性を測れない
l  現状は埋め込みベクトルの類似度度と、共起関係
から間接的に類似度度を測っている
l  もっと直接的にコトバを覚えられないか？
l...

まとめ
l  埋め込みの学習
l  周囲の単語との共起を使って学習
l  Skip-gramが単純だが強⼒力力で、⼤大流流⾏行行している
l  構造の学習
l  系列列を扱うのがRecurrentで、LSTMが⾮非常に強⼒力力
l ...

参考⽂文献
l  [Evert10] Stefan Evert.
Distributional Semantic Models. NAACL 2010 Tutorial.
l  [Mikolov+13a] Tomas Mikolov, Ka...

参考⽂文献
l  [Kim+13] Joo-Kyung Kim, Marie-Catherine de Marneffe.
Deriving adjectival scales from continuous space word
repre...

参考⽂文献
l  [Hochreiter+97] Sepp Hochreiter, Jurgen Schmidhunber.
Long Short-Term Memory. Neural Computation 9(8), 1997.
l ...

参考⽂文献
l  [Sutskever+14] Ilya Sutskever, Oriol Vinyals, Quoc V. Le.
Sequence to Sequence Learning with Neural Networks.
NI...

参考⽂文献
l  [Socher+11] Richard Socher, Cliff Lin, Andrew Y. Ng, Christopher D.
Manning.
Parsing Natural Scenes and Natural ...

参考⽂文献
l  [Bordes+11] A. Bordes, J. Weston, R. Collobert, Y. Bengio.
Learning structured embeddings of knowledge bases. AA...

参考⽂文献
l  [Peng+15a] Baolin Peng, Kaisheng Yao.
Recurrent Neural Networks with External Memory for Language
Understanding....

Share Slideshare

LinkedIn
Facebook
Twitter

Embed

Size (px)

Show related Slideshows at end

WordPress Shortcode

Link

Share
Email

深層ニューラルネットワークによる知識の自動獲得・推論 by Naoaki Okazaki 15391 views
NIP2015読み会「End-To-End Memory Networks」 by Yuya Unno 11546 views
Weighting of acoustic cues shifts t... by Keiichi Yasu 1451 views
第１５回機械学習勉強会・説明用ノート by Etsuji Nakai 2444 views
破擦音生成時の解放に伴う破裂が摩擦音・破擦音識別に与える影響〜若年者... by Keiichi Yasu 2100 views
ナイーブベイズによる言語判定 by Shuyo Nakatani 8336 views

View on Slideshare

1 of 103 Ad

View on Slideshare

1 of 103 Ad