Recommended
Recommended
More Related Content
Viewers also liked
Viewers also liked (13)
More from marujirou
More from marujirou (9)
Recently uploaded
Recently uploaded (9)
Semantic Compositionality through Recursive Matrix-Vector Spaces (Socher et al.)
- 1. DL勉強会2014 Semantic Compositionality through Recursive Matrix-Vector Spaces (Socher et al.) Komachi Lab 12/01 ※このスライド中の図の一部はこの論文中のものです B4 宮崎亮輔
- 2. Komachi Lab Agenda ✤ MV-RNN Model! ✤ Back Propagation! ✤ Low-Rank Matrix Approximations! ✤ Experiments! - Adverb-Adjective Pairs! - Propositional Logic! - Movie Review Ratings! - Relation Classifications! ✤ Conclusion 2
- 3. Komachi Lab MV-RNN Model 3
- 4. Recursive Matrix-Vector Neural Network ✤ RNN (Recursive Neural Network)! - 単語をベクトルで表現し, binary treeを構成するモデル! ✤ MV-RNN (Recursive Matrix-Vector Neural Network)! - 単語をベクトルと行列で表現したRNN! - word = (a, A) : aはn次元ベクトル, Aはn×n次元行列 Komachi Lab 4
- 5. Komachi Lab Composition functions ✤ 単語の合成もRNNと違う 5 RNNの合成関数: MV-RNNの合成関数: ※) a, b, p ∈ Rn! A, B, P ∈ Rn×n! gは非線形関数（sigmoid, tanh）! W, WM ∈ Rn×2n g内にバイアス項も入れられるけど今回は簡単のために入れない
- 6. Komachi Lab Motivation ❖ ベクトルだけでは対称のテキストが! - 単純な意味の合成ならうまく表現できるけど! - オペレータとしての操作の場合はうまく表現できなかっ た! - 副詞-形容詞ペア（e.g. unbelievably sad）とか ”not”と合成するときとか! ✤ ベクトルが意味を捉え, 行列が意味の変え方を捉える 6
- 7. Komachi Lab Back Propagation 7
- 8. タスクによって変わるが, 分類タスクなら多項分布にする Komachi Lab Back Propagation ✤ 出力 8 ✤ 誤差関数（Cross entropy） ✤ 誤差関数の最小化 s: sentence, t: tree L, LMは単語のベクトル,行列
- 9. Low-Rank Matrix Approximations Komachi Lab 9
- 10. Low-Rank Matrix Approximations ✤ Back Propagationで学習するパラメータが多い Komachi Lab 10 問題がある W, WM: n×2n次元! Wlabel : d*n次元(dはラベル数)L : n次元×単語数! LM : n×n次元×単語数 一般的にn = 100くらい ➡ 行列の圧縮（低Rankの行列で近似）
- 11. Low-Rank Matrix Approximations ✤ 方法は結構たくさんある（この辺はIIR最後にやる内容）! - SVD（特異値分解）! - CUR! - CMD! - NMF（非負値行列因子分解）! ✤ 今回使われてるのはNMF似ている方法 Komachi Lab 11
- 12. 以下のように任意のRankのUとVに分解できる（X,U,Vはすべて非負） Komachi Lab NMF ✤ NMF（非負値行列因子分解） 12 X≈UV X U V ≈ 以下のステップの繰り返しで近似する
- 13. Low-Rank Matrix Approximations ✤ でも実際にやってるのは Komachi Lab 13 U∈Rn×r, V∈Rr×n, a∈Rn diag(a): 対角成分がaの対角行列 ✤ これをすべての単語がもつ行列から置き換える! ✤ 今回はr = 3! ✤ 単語が持つ行列のパラメータ総数が ”|V|×n×n” から ”|V|×n×(2r+1)” に減った
- 14. Komachi Lab Experiments 14
- 15. Komachi Lab Experiments ✤ 複数のタスクにMV-RNNモデルを適応・実験! - 副詞・形容詞ペアの感情分類! - 命題論理の表現! - Movie Reviewデータでの感情分類! - 名詞間の関係分類 15
- 16. Sentiment Distributions of Adverb-Adjective Pairs Komachi Lab 16
- 17. Komachi Lab Adverb-Adjective Pairs ✤ 全文ではなく副詞・形容詞ペアを合成した場合のみ! ✤ IMDB (Movie Review) データセットから 連続するペアを抽出! rating distribution softmax ✤ ペアが出現したレビューの評価値(1~10)の分布を教師とする! ✤ 50回以上出現した4211ペアをtrain, 1804ペアをtestに! - 単語のかぶりはあるが, ペアでのかぶりはない 17 Adverb Adjective
- 18. Komachi Lab Adverb-Adjective Pairs ✤ 既存手法との比較（様々な合成関数） 18 KLダイバージェンスで比べてる! 値が0になるほど正解分布と近い p = Ab+Ba RNN: Linear MVR: MV-RNN:
- 19. Komachi Lab Adverb-Adjective Pairs 19
- 20. 1つ前のスライドで口頭で説明した内容 ✤ 行は副詞が同じ（上からfairly, not, unbelievably）! ✤ 列は形容詞が同じ（左からannoying, awesome, sad）! ✤ notの行とかfairly awesomeで合成の表現に差がでてる! ✤ unbelievably sadはいい意味でも悪い意味でも使われる からU字になってる! ✤ （なんで正解分布は重ねなかったんだろう。。） Komachi Lab X
- 21. Komachi Lab Logic-and Vector-based Compositionality 20
- 22. Komachi Lab Propositional Logic ✤ andとかor, notのような命題論理を表現できるか! ✤ 論理式も再帰的な木構造で表現できるので 同様にモデル化できる! ✤ 2値論理なので、ベクトルも行列も1次元! - trueは(t=1, T=1), falseは(f=0, F=1)を正解とする 21
- 23. Komachi Lab Propositional Logic ✤ 例えばnot falseのtreeでは誤差関数の最小化は 22 ✤ 非線形関数の部分は閾値関数にする
- 24. Komachi Lab Propositional Logic ✤ これを学習させると, ちゃんと再現した! ✤ つまりどの組み合わせで再帰的に組み合わされても 表現できるということ 23
- 25. Predicting Movie Review Ratings Komachi Lab 24
- 26. Predicting Movie Review Ratings ✤ 今度はレビュー文で評価値の推測をする! ✤ 10000文のpositiveとnegativeがあるデータセット Komachi Lab 25
- 27. Predicting Movie Review Ratings ✤ 下2つはどの手法でも正解しなかった 知識ベースが必要なケース Komachi Lab S: sentiment! C: MV-RNNだけ正解した 26
- 28. Komachi Lab Classification of Semantic Relationship 27
- 29. Classification of Semantic Relationship ✤ COLING読み会で紹介した 名詞間の関係を分類するタスク! ✤ 例えば! - My [apartment] has a pretty large [kitchen].は! - component-wholeの関係! ! Komachi Lab 28
- 30. Classification of Semantic Relationship ❖ SVMでめちゃくちゃ素性エン ジニアリングしたのには勝てな かった! ❖ ので、３つの素性をベクトルに 入れた! - POS (+0.9)! - WN (+1.3)! - NER(+0.6) Komachi Lab 29
- 31. Komachi Lab Conclusions ✤ 完全な単語ベクトルの合成の扱いに向けて新しいモデル を導入した! ✤ 単語が他の単語の意味を変型させるモデル化をできた! ✤ 特に否定や副詞・形容詞などの接続に対しての表現が これまで以上にできた! ✤ 様々なタスクにおいてモデルを一般化することができた! ✤ 様々なタスクでstate of the artを超えた 30