Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

ABCNN: Attention-Based Convolutional Neural Network for Modeling Sentence Pairs (TACL 2016)

2,161 views

Published on

第8回最先端NLP勉強会で小町が発表した、以下の研究に関するスライドです。
ABCNN: Attention-Based Convolutional Neural Network for Modeling Sentence Pairs

Published in: Technology
  • Get the best essay, research papers or dissertations. from ⇒ www.HelpWriting.net ⇐ A team of professional authors with huge experience will give u a result that will overcome your expectations.
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here
  • DOWNLOAD THI5 BOOKS INTO AVAILABLE FORMAT (Unlimited) ......................................................................................................................... ......................................................................................................................... Download Full PDF EBOOK here { http://bit.ly/2m6jJ5M } ......................................................................................................................... Download Full EPUB Ebook here { http://bit.ly/2m6jJ5M } ......................................................................................................................... ACCESS WEBSITE for All Ebooks ......................................................................................................................... Download Full PDF EBOOK here { http://bit.ly/2m6jJ5M } ......................................................................................................................... Download EPUB Ebook here { http://bit.ly/2m6jJ5M } ......................................................................................................................... Download doc Ebook here { http://bit.ly/2m6jJ5M } ......................................................................................................................... ......................................................................................................................... ......................................................................................................................... .............. Browse by Genre Available eBooks ......................................................................................................................... Art, Biography, Business, Chick Lit, Children's, Christian, Classics, Comics, Contemporary, Cookbooks, Crime, Ebooks, Fantasy, Fiction, Graphic Novels, Historical Fiction, History, Horror, Humor And Comedy, Manga, Memoir, Music, Mystery, Non Fiction, Paranormal, Philosophy, Poetry, Psychology, Religion, Romance, Science, Science Fiction, Self Help, Suspense, Spirituality, Sports, Thriller, Travel, Young Adult,
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here
  • DOWNLOAD THIS BOOKS INTO AVAILABLE FORMAT (Unlimited) ......................................................................................................................... ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... Download Full EPUB Ebook here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... ACCESS WEBSITE for All Ebooks ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... Download EPUB Ebook here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... Download doc Ebook here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... ......................................................................................................................... ......................................................................................................................... .............. Browse by Genre Available eBooks ......................................................................................................................... Art, Biography, Business, Chick Lit, Children's, Christian, Classics, Comics, Contemporary, Cookbooks, Crime, Ebooks, Fantasy, Fiction, Graphic Novels, Historical Fiction, History, Horror, Humor And Comedy, Manga, Memoir, Music, Mystery, Non Fiction, Paranormal, Philosophy, Poetry, Psychology, Religion, Romance, Science, Science Fiction, Self Help, Suspense, Spirituality, Sports, Thriller, Travel, Young Adult,
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here
  • DOWNLOAD THIS BOOKS INTO AVAILABLE FORMAT (Unlimited) ......................................................................................................................... ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... Download Full EPUB Ebook here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... ACCESS WEBSITE for All Ebooks ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... Download EPUB Ebook here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... Download doc Ebook here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... ......................................................................................................................... ......................................................................................................................... .............. Browse by Genre Available eBooks ......................................................................................................................... Art, Biography, Business, Chick Lit, Children's, Christian, Classics, Comics, Contemporary, Cookbooks, Crime, Ebooks, Fantasy, Fiction, Graphic Novels, Historical Fiction, History, Horror, Humor And Comedy, Manga, Memoir, Music, Mystery, Non Fiction, Paranormal, Philosophy, Poetry, Psychology, Religion, Romance, Science, Science Fiction, Self Help, Suspense, Spirituality, Sports, Thriller, Travel, Young Adult,
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here
  • DOWNLOAD THIS BOOKS INTO AVAILABLE FORMAT (Unlimited) ......................................................................................................................... ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... Download Full EPUB Ebook here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... ACCESS WEBSITE for All Ebooks ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... Download EPUB Ebook here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... Download doc Ebook here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... ......................................................................................................................... ......................................................................................................................... .............. Browse by Genre Available eBooks ......................................................................................................................... Art, Biography, Business, Chick Lit, Children's, Christian, Classics, Comics, Contemporary, Cookbooks, Crime, Ebooks, Fantasy, Fiction, Graphic Novels, Historical Fiction, History, Horror, Humor And Comedy, Manga, Memoir, Music, Mystery, Non Fiction, Paranormal, Philosophy, Poetry, Psychology, Religion, Romance, Science, Science Fiction, Self Help, Suspense, Spirituality, Sports, Thriller, Travel, Young Adult,
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here

ABCNN: Attention-Based Convolutional Neural Network for Modeling Sentence Pairs (TACL 2016)

  1. 1. ABCNN: Attention-Based Convolutional Neural Network for Modeling Sentence Pairs Wenpeng Yin, Hinrich Schütze, Bin Xiang, Bowen Zhou TACL 2016 ※スライド中の図表は全て論文から引用されたもの 小町守 <komachi@tmu.ac.jp> 第8回最先端NLP勉強会@東大 2016/09/12
  2. 2. 文対のモデリングは応答選択・ 言い換え・含意関係認識に必要 2 ※表層が似ていても意味が異なる場合がある
  3. 3. 文対モデリングの問題点  個別のタスクに特化してシステムを最適化 (タスクごとに最適化したくない)  ペアを考慮せずに文表現を個別にモデル化 (人間はペアを考慮している)  人手で設計したタスクに特化した素性 (人手で素性工学したくない) 3
  4. 4. ABCNN: Attention Based Convolutional Neural Network  個別のタスクに特化してシステムを最適化 →文対モデリングが必要な様々なタスクに適用可  ペアを考慮せずに文表現を個別にモデル化 →文ペアを考慮  人手で設計したタスクに特化した素性 →素性設計なしに、応答選択・言い換え同定・テキスト 含意関係認識タスクで state-of-the-art https://github.com/yinwenpeng/Answer_Selection 4
  5. 5. 自然言語処理における CNN  文(対)分類タスクでよく用いられている (Kalchbrenner et al., 2014; Kim, 2014; Socher et al., 2011; Yin and Schütze 2015)  頑健に入力の抽象的な特徴を捉えることができ る(と考えられている) 5
  6. 6. なぜ LSTM ではなく CNN?  LSTM は文脈全体をエンコード; CNN はローカ ルなフレーズを(フィルターによって)検出 →attention の作用の仕方が違い、CNN の方が attention が有効に(局所を見る CNN と全体を見る attention が相補的に)働く  畳み込み層を重ねて抽象度を上げることが可能 →(文対から、同義というよりむしろ同義でない部 分を検出すべき)応答選択タスク、テキスト含意関 係認識タスクでは特に有効 6
  7. 7. BCNN の基礎 Siamese architecture 文全体の平均プーリング(all- ap)とウィンドウ幅内の平均 プーリング(w-ap) →全部出力層に渡す 単語埋め込みは word2vec で 初期化7 pi = tanh(W×ci +b) p: フレーズ埋め込み c: 単語埋め込みの連結 W: 共通の畳み込み重み
  8. 8. 対応する文のどこを見るか をアテンションで考慮する 8 F0,a = W0 ×AT F1,a = W1 ×A Ai, j = match-score(F0,r[:,i],F1,r[:, j]) アテンション特徴量マップ →W0とW1は学習する match-score はユークリッド 距離を用いて 1 / (1 + | x – y |)
  9. 9. ABCNN-2:アテンションを 入力ではなく出力にかける 9 Fp i,r[:, j]= ai,k k=j:j+w å Fc i,r[:,k] 畳み込みの出力にアテンション重み (行または列で和を取ることにより、 ユニットごとの重みに集約する)
  10. 10. ABCNN-3: ABCNN-1 と ABCNN-2 をスタッキング 10 ABCNN-1 は単語レベルの対応を見ることができる ABCNN-2 はフレーズレベルの抽象化ができる
  11. 11. 応答選択・言い換え検出・ 含意簡易認識タスクで評価 11  Adagrad+L2 正則化+layerwise training  ハイパーパラメータは dev セットでチューニング
  12. 12. 応答選択タスク  データセット  WikiQA: オープンドメインのQAデータセット  訓練 : 開発 : テスト = 20,360 : 1,130 : 2,352  アテンションに用いる類似度  cos 類似度  タスクに特化した特徴量  WordCnt: 質問と応答で共通する単語の頻度  WgtWordCnt: 上記を IDF で重み付けしたもの 12
  13. 13. 応答選択は BCNN ですでに state-of-the-art を超えている 13 アテンションを工夫すればどんどん精度が上がる (ただし層は深くしてもほとんど変わらない)
  14. 14. 言い換え同定タスク  データセット  MSRP (Microsoft Research Paraphrase)  訓練 = 2,753 T : 1,323 F, テスト = 1,147 T : 578 F; 開発データは訓練からランダムに400事例抽出  アテンションに用いる類似度  ユークリッド距離(の逆数)  タスクに特化した特徴量  MT 評価尺度で提案されている15個の特徴量 (Madnani et al., 2012)  文長, ROUGE-1, ROUGE-2, ROUGE-S スコア 14
  15. 15. 言い換え同定ではBCNNは state-of-the-artより少し悪い 15 応答選択と同じで、層を深くしてもほとんど変わらない
  16. 16. テキスト含意関係認識タスク  データセット  SICK コーパス: 含意、矛盾、中立の3クラス分類  訓練 : 開発 : テスト = 4,439 : 495 : 4,906  アテンションに用いる類似度  ユークリッド距離  cos 類似度  タスクに特化した特徴量  MT 評価の特徴量(言い換え同定と同じ)  文長、否定、同義語、上位下位語、対義語 16
  17. 17. テキスト含意関係認識も BCNN で state-of-the-art を達成 17 ※言語的な特徴量を除いた場合、ABCNN-3の精度は84.6 (それまでの state-of-the-art と同程度)
  18. 18. テキスト含意関係認識タスクの unigram の可視化 18 単語レベルで類似しているところにアテンションされる (類似する単語がなければアテンションされない)
  19. 19. テキスト含意関係認識タスクの CNN1層目(長さ3)の可視化 19 ある種の共参照問題を解けている? (on it と building の間にアテンションが張られている)
  20. 20. 含意関係認識タスクのCNN 2層目(長さ5)の可視化 20 全体的にぼやっとしているが、長いフレーズを抽出 (several murals on it ~= of a colorful building)
  21. 21. まとめ: CNNによる文対モデル にアテンションを統合  アテンションを入れることが有効  1層か2層かはそれほど違いがない  言語的な特徴量も有効 (ただし、ABCNNなら言語的特徴量を使わなく ても state-of-the-art を達成できる) 21
  22. 22. 所感  アテンションと CNN を組み合わせるのは自然 な感じで、今後流行るかもしれない(もう手を つける人たちはつけているだろうが……)  文間類似度(MT、QA、対話、etc)や文対モデ リングにアライメントやアテンションは効果が 高いと考えており、ラベルありでやるならアテ ンションを使ってNNでやるのがよさそう  著者のソースコード(そんなに読みやすくない が)に加え他の人のソースコードも公開されて おり、試しやすい 22
  23. 23. 質疑応答  含意関係認識で含意と矛盾のような異なるクラ スを1つのネットワークでいいのか? →含意関係認識だけデータの作り方を工夫して いる。5.3節に詳細が書かれているが、文対の差 分のみ抽出した NONOVER というデータを、 元々のデータに加えて用いている。NONOVER が矛盾に関する特徴を捉えると思われる。  含意関係認識は方向性があるのに重みが共有さ れていいのか? →重みは分けたいが、データが少ない(数千〜 数万事例)ので、パラメータの数を増やすと過 学習するかもしれない 23

×