論文紹介 遠藤 20170829

1. 論文紹介 第4回
2017.8.29
Wataru Endo
1

2. 論文紹介 第4回
8/29(火)18:00～20:00(最大) 東京:3F北大会議室,大阪:18F通路側会議室
1. 18:00～18:15 ----
(未定)
2. 18:15～18:30 ----
心理学に関する論文紹介
3. 18:30～18:45 遠藤
Dynamic Pooling and Unfolding Recursive Autoencoders for Paraphrase
Detection
4. 18:45～19:00 –
5. -
6. -
7. -
8. -
2

3. Dynamic pooling and unfolding recursive autoencoders for
paraphrase detection
RichardSocher,EricH. Huang,Jeffrey Pennin,AndrewY. Ng, and ChristopherD. Manning.2011
概要:
MSRP paraphrase corpus1 を用いたParaphrase Detection
で当時のstate-of-the-artを超える結果を残した
貢献:
RAE(recursive autoencoders)をベースにしたParaphrase
Detection手法を提案
3
1.https://www.microsoft.com/en-us/download/details.aspx?id=52398
リベンジ

4. • 比較するパラフレーズのフレーズツリー毎にベクターへ圧縮し、
パラフレーズかどうか判断できる
4

5. Recursive Auto Encoder
• 普通のAE, 中間層が大事
5

6. Recursive Auto Encoder
• 再帰的に重ねていく
6

7. 左がRAE、右がUnfoldingRAE
7
フレーズツリーの構造が再現できるようになる

8. Unfolding RAE
• エンコードレイヤーはRAEと同じ
• 順番にデコードしていく
• RAEで、最もよく再構成できるベクターが学習されるので、フ
レーズツリーに当てはめ、ユークリッド距離を計算しパラフ
レーズ検出に役立てる
8

9. Dynamic pooling layer
• Computing Sentence Similarity
Matrices
• フレーズ木を、深さ優先・右から左の順に
similarity matrix Sに入れる
• ユークリッド距離を計算する
• Pooling
• Simlilatiry matrix Sは可変なので、固定サ
イズへPoolingする
• Pooling regionは簡単のためにオーバー
ラッピングを行わない
• ノーマライズ
• Pooling後に0-1へノーマライズ
9

10. Experiment
• NYT and AP sextions of Gigaword corpus
• 15万センテンス
• Stanford parserを使用し、全てのセンテンスのフレーズツリー
を計算
• 初期のword embeddingsは100次元のベクターを教師なしの
手法で計算した
• パラフレーズの実験はMSRPを使用
• 5801センテンスの組み
• RAE networkはencoding layerとdecoding layerを持ち、隠
れ層は200ユニット
10

11. 関連研究
[12] R. Socher, J. Pennington, E. H. Huang, A. Y.
Ng, and C. D. Manning. Semi-Supervised
RecursiveAutoencoders for Predicting Sentiment
Distributions. In EMNLP, 2011.
11