Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

20180213

77 views

Published on

018/02/13(火) 19:00〜
第2回 NIPS2017 理論と実装を話し合う会

Published in: Engineering
  • Be the first to comment

  • Be the first to like this

20180213

  1. 1. NIPS2017理論と実装を話し合う会 2018.02.13 simotake
  2. 2. 翻訳(Sutskever 2014) Seq2Seq : ABC -> WXYZに変換 課題:Encorderの長さが長くなると、Decorderの結果に十分に伝わらない
  3. 3. Attention (Luong 2015)
  4. 4. Attention is all you need Encoder 1. Input Embedding + Positional Encoding 2. Multi Head Attention 3. Feed Forward Decoder 1. Output Embedding + Positional Encoding 2. Masked Multi Head Attention 3. Multi Head Attention 4. Feed Forward
  5. 5. Positional Encoding RNNと違って位置情報が入っていないので、位置情報を付与するため、Positional Encodingを埋め込みベクトルに追加 POS i
  6. 6. Attention Queryと関係のあるKey-Valueペアを 取り出す注意機構
  7. 7. Multi-Head Attention Scaled dot product attentionを8個を一 つの注意機構として使用 実験的に複数ヘッドの注意の方が単一の 注意より性能が高い
  8. 8. 3つの使い方 ● Encoderの自己注意 ○ Query、Key-ValueペアはEncoderの値。 Encoder内の関係を学習。 ● Decoderの自己注意 ○ Query、Key-ValueペアはDecoderの値。 Decoder内の関係を学習。 ○ 未来の情報は入れないようにマスク ● Encoder-Decoder注意を使用 ○ QueryはDecoderから、Key-ValueペアはEncorderから
  9. 9. Attention visualization
  10. 10. 結果

×