• Share
  • Email
  • Embed
  • Like
  • Save
  • Private Content
Dynamic Pooling and Unfolding Recursive Autoencoders for Paraphrase Detection (第 8 回 Deep Learning 勉強会資料; 大知)
 

Dynamic Pooling and Unfolding Recursive Autoencoders for Paraphrase Detection (第 8 回 Deep Learning 勉強会資料; 大知)

on

  • 653 views

Deep Learning Japan @ 東大です

Deep Learning Japan @ 東大です
http://www.facebook.com/DeepLearning
https://sites.google.com/site/deeplearning2013/

Statistics

Views

Total Views
653
Views on SlideShare
653
Embed Views
0

Actions

Likes
1
Downloads
15
Comments
0

0 Embeds 0

No embeds

Accessibility

Categories

Upload Details

Uploaded via as Microsoft PowerPoint

Usage Rights

© All Rights Reserved

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Processing…
Post Comment
Edit your comment

    Dynamic Pooling and Unfolding Recursive Autoencoders for Paraphrase Detection (第 8 回 Deep Learning 勉強会資料; 大知) Dynamic Pooling and Unfolding Recursive Autoencoders for Paraphrase Detection (第 8 回 Deep Learning 勉強会資料; 大知) Presentation Transcript

    • Dynamic Pooling and Unfolding Recursive Autoencoders for Paraphrase Detection Richard Socher, Eric H. Huang, Jeffrey Pennington, Andrew Y. Ng, Christopher D. Manning Computer Science Department, Stanford University, Stanford, CA 94305, USA SLAC National Accelerator Laboratory, Stanford University, Stanford, CA 94309, USA (NIPS 2011) 02/08 2013 D1 大知 正直 1
    • 本論文の選定理由 • ACL 2012 Tutorial Deep Learning for NLPにて 紹介されている • 代表的なNLPタスク(paraphrase detection)に Deep Learningを適用している • NLP with Deep Learningの代表的な研究者が執 筆している – Richard Socher, Andrew Y. Ng, Christopher D. Manning • 第5回のRecursive Autoencoder の別論文 • 結果が多く、DL on NLPの定性的解釈ができそ う 2
    • Abstract • Paraphrase Detection(言い換え表現の検 出) • Recursive Auto Encoder(RAE),Dynamic Pooling Layerを利用したモデルを提案 • MSRPコーパスにおいて他のunsupervised なmethodと比較し、最高の精度を達成 3
    • 1.Introduction • Paraphrase Detection – 2つの文章の意味が同じであることを検出す るタスク – 情報検索,質問応答,テキスト要約,剽窃の 検出,機械翻訳の評価,等へ利用されている 4 S1: The judge also refused to postpone the trial date of Sept. 29. S2: Obus also denied a defense motion to postpone the September trial date. 同じ意味であることを検出
    • 1.Introduction • 提案するモデル – Recursive Autoencoder • 構文解析木に沿って特徴量学習 – Dynamic Pooling and Classification • 各ノード間の類似度を行列化し、Paraphraseかど うか分類 5 Recursive Autoencoderについては、第 5 回の資料も参照
    • 2.Recursive Autoencoders 2.1 Neural Language Models 6 Neural Language Modelの詳細は、第6回の資料も参照 From Y.Bengio et.al. A neural probabilistic language model. JMLR 2003 • Neural Networkを利用した言語モデル • Deep LearningをNLPで適用する際に 従来の1-of-K表現に取って代わってい るらしい • 論文では、公開されているNeural Language Modelを利用したらしい
    • 2.Recursive Autoencoders 2.2 Recursive Autoencoder 7
    • 2.Recursive Autoencoders 2.2 Recursive Autoencoder 8
    • 2.Recursive Autoencoders 2.3 Unfolding Recursive Autoencoder 9 Standard RAEの問題点 • 相対的に最後に追加したノードの重みが大きくなる Unfolding RAEの場合 • 木構造全体でreconstruction Errorを計算するのでノードが追加された順序 による不公平が無い 木構造全体を再構築
    • 2.Recursive Autoencoders 2.4 Deep Recursive Autoencoder – ノードの次元数の調整 2.5 RAE Training – Minimize the sum of all nodes’ reconstruction errors. – The objective function is not convex – L-BFGS法による局所最適化,works well in practice 10
    • 3. An Architecture for Variable-Sized Similarity Matrices 3.1 Computing Sentence Similarity Matrices 11 より上層のノード (フレーズ,文章全 体の類似度) Similarity Matrixの次元は対象とする文章によって変化する →次元を一定にするため、Dynamic Pooling Matrixの提案
    • 3. An Architecture for Variable-Sized Similarity Matrices 3.2 Dynamic Pooling 12 Window matrix内で の最小値を採用 最小値を採用することで、類似度の高い単語,フレーズを優先している
    • 4.Experiments • For unsupervised RAE training – Gigaword corpus(NYT and AP) • 150,000 sentences – Stanford parser による構文解析 – Neural Language Model • 100次元 • For paraphrase experiments – Microsoft Research paraphrase corpus(MSRP) • 5,801 sentence pairs (3,900 paraphrase relationship) • Average sentence length 21(min 7, max 36) • Training 4,076(67.5% are paraphrases) • Test 1,725(66.5% are paraphrases) – Hidden RAE layer 200次元 13
    • 4.Experiments 4.1 Qualitative Evaluations of Nearest Neighbors • 各RAEで学習し、類似度の高いphraseを表示 – Recursive Average • Children nodesの平均をparentとする • 最後に追加したノードと同じ語が登場しやすい – RAE • 最後に追加したノードと同じ語が登場しやすい – Unfolding RAE • うまく構文全体でparaphraseを捉えている 14
    • 4.Experiments 4.1 Qualitative Evaluations of Nearest Neighbors • 各RAEで学習し、類似度の高いphraseを表示 15
    • 4.Experiments 4.2 Reconstructing Phrases via Recursive Decoding • 入力ノードの単語群とunfolding RAEによって出力され たノードに最も近い語を表示したものを比較 16 短いphraseはうまく再現、長いphraseは一部正しい語,それ以外は品詞は 合っていることが多い
    • 4.Experiments 17
    • 4.Experiments 4.3 Evaluation on Full-Sentence Paraphrasing • Unfolding RAEの効果 18 Model Acc. R. AVG + DPL 75.5% standard RAE + DPL 75.9% unfolding RAE + DPL 76.8% unfolding RAE with hidden layer + DPL 76.6% ※ DPL = Dynamic Pooling Layer R.AVG,standard RAEも結構精度が高い • DPLがpowerful • 元のWord vectorの表現がナイス DPLの効果も調査を行う
    • 4.Experiments 19 単純なDPLでは精度が出ていない Model Acc. S_hist 73.0% Only Feat 73.2% Only S_pooled 72.6% Top Unfolding RAE Node 74.2% unfolding RAE + DPL 76.8% ※ DPL = Dynamic Pooling Layer
    • 4.Experiments 4.3 Evaluation on Full-Sentence Paraphrasing • 関連研究との精度比較 20 DeepLearningでParaphrase Detectionの記録を更新した! WordNetを利用して、Corpus baseで多義語を解消 語彙によるマッチングbase ある語と対になって出現する 語の類似度を比較 構文解析を利用 [15]をめっちゃチューニング
    • 4.Experiments 4.3 Evaluation on Full-Sentence Paraphrasing • Unfolding RAEの良いところの定性的評価 21
    • 4.Experiments 4.3 Evaluation on Full-Sentence Paraphrasing • Unfolding RAEの良いところの定性的評価 – 2番目:単語の位置が入れ替わっても検出できた! – 3番目:同じ語がほとんど無くても検出できた! – 5番目:ほとんど語が同じでも一部が異なっている だけでnegativeだと判定できた! 22 Deep Learning で NLPタスクの精度を出すにはNeural Language Modelが必 要と言及
    • 6.Conclusion • Introducing an unsupervised feature learning algorithm based on unfolding RAE. • The RAE captures syntactic and semantic information. • Introducing the dynamic pooling architecture that produces a fixed-sized representation. • The highest accuracy of any previously published result. 23
    • 6.Conclusion • 現段階では実は2位の模様 24 ACL wiki (Paraphrase Identification (State of the art) )より