Recommended
Recommended
More Related Content
More from marujirou
More from marujirou (8)
Recently uploaded
Recently uploaded (9)
Relation Classification via Convolutional Deep Neural Network (Zeng et al.)
- 1. COLING読み会2014 11/05 Relation Classification via Convolutional Deep Neural Network (Zeng et al.) ※このスライド中の一部の図はこの論文中のものです ! B4 宮崎亮輔
- 2. Agenda ❖ Task Definition! ❖ Method! ❖ Word Representation! ❖ Feature Extraction (Neural network)! ❖ Back Propagation! ❖ Experiments! ❖ Conclusion 2
- 3. Task Definition ❖ 今までの研究では素性エンジニアリングをしていた! ❖ 複雑なNLPの操作による素性抽出はエラーもある! ❖ e.g. 構文解析, 係り受け解析! ❖ 素性エンジニアリングをせずに関係分類をする! ❖ 名詞にマークのついた入力Sに対して関係分類 3
- 4. Word Representation ❖ Word Embeddingを使う（いわゆるword2vec）! ❖ Distributed representation の! ❖ dense, low-dimensional, real-valuedなやつ! ❖ 自分でトレーニングして作るのはツライので（４週間かかる研究も ある）既存のトレーニングされたものを使う (Turian et al., 2010)! ❖ この後でWord Embeddingを使うシーンがたくさんある! ❖ 全てこれを参照 (Look up table) して使ってる 4
- 6. Lexical Level Features ❖ Word Embeddingsを利用する! ❖ 関係分類したい対象の名詞ペアそれぞれと! ❖ その周辺の単語と! ❖ 名詞ペアの上位語 (WordNetを利用)を! ❖ 連結したベクトルをLexical Level Featuresとして利用 6
- 7. Sentence Level Features ❖ Word Features! ❖ Window size分だけ連結したWord Embeddingを使ったベクトル! ❖ window size = 3なら! ❖ . (xnは入力文のn番目のword embedding)! ❖ Position Features! ❖ 注目している単語とマークされた名詞との距離! ! ❖ movingを見ていたら、前も後ろも3! ❖ ベクトルd1, d2としてマップされる （次元数はhyperparameter）! ❖ この2つを連結したものがSentence Level Features 7
- 8. Sentence Level Features ❖ Convolution (Collobert et al., 2011)! ❖ ローカルな全ての素性を活用するためにConvolution! ❖ Sentence Level FeaturesをW1で畳み込む! ❖ 畳み込んだ行列の各rowから値がmaxのものをとりだす! ❖ 一番使える素性を得るため 8
- 9. Sentence Level Features ❖ 1層隠れ層を入れる! ❖ maxをとった後のベクトルを入力! ❖ この層の出力にtanhを発火関数として出力する! ❖ Back propagationの計算が楽になる! ❖ この発火関数の出力がSentence Level Features 9
- 10. Output ❖ 最後にもう1層! ❖ Lexical FeaturesのベクトルとSentence Featuresのベクト ルを連結して入力に使う! ❖ 事前に定義した関係タイプ数と同じ数の出力ノード数! ❖ 出力ベクトルにsoftmaxをかませて確率に 10
- 11. From input to output if window size = 3 xs x1 x2 WF Input sentence Window Processing Convolution 中間 tanh W1 W2 Sentence Level Features Lexical Level Features 出力層 Out put softmax W3 11
- 12. Back Propagation ! ❖ 誤差逆伝搬! ❖ パラメータW1, W2, W3, N, Xを学習する! ❖ Wは各層での重み, Nは上位語のベクトル表現, XはWord FeaturesとPosition Featuresの連結ベクトル 12
- 13. Experiments ❖ SemEval-2010のタスクのデータ・セットを使う! ❖ 10717のアノテーションされた事例、9の関係が定義! ❖ Parameterのtuning! ❖ 既存研究との比較! ❖ どの素性が効いていたか 13
- 14. Experiments ❖ パラメータのtuning ❖ 先行研究との比較 14
- 15. Experiments ❖ どの素性が効いていたか! ❖ Lexical FeatureとPosition Featureが結構効いてる 15
- 16. Conclusion ❖ Convolutional deep neural networkで feature engineeringをしなくても良い結果! ❖ Position Featureを加えると特に結果が良くなった 16