Deep Learning JP, profile picture
Uploaded byDeep Learning JP
PDF, PPTX1,240 views

[DL輪読会]Pervasive Attention: 2D Convolutional Neural Networks for Sequence-to-Sequence Prediction

2018/09/07 Deep Learning JP: http://deeplearning.jp/seminar-2/

Technology◦
Related topics:
Deep Learning•

Embed presentation

Download as PDF, PPTX
Pervasive Attention: 2D Convolutional Neural Networks for Sequence-to-Sequence Prediction DEEP LEARNING JP [DL Papers] Atsushi Kayama M3, Inc
書誌情報・概要 ❏ Pervasive Attention : 2D Convolutional Neural Networks for Sequence-to-Sequence Prediction ❏ Maha Elbayad, Laurent Besacier, Jacob Verbeek (Univ. Grenoble) ❏ The SIGNULL Conference on Computational Natural Language Learning 2018 ❏ Pytorch実装：https://github.com/elbayadm/attn2d ❏ 英独翻訳タスクにおいて，Densenet Architecture を用いて SoTA達成 ❏ 2D CNNで入力・出力文を畳み込み ❏ encoder, decoder まとめた一つのアーキテクチャになっている ❏ 従来の Encoder-Decoder 構造に比べて少パラメータ
Neural 翻訳モデルおさらい ❏ RNN (LSTM, GRU) + Attention 2014 ~ ❏ CNN + Attention 2016 ~ ❏ Attention のみ 2017 ~
Neural 翻訳モデルおさらい ❏ RNN (LSTM, GRU) + Attention ❏ encoder各ステップの隠れ状態を重み付き総和(Attention)した context をdecoder 各ス テップにおいて求め，単語の生成に使用． ❏ Attention の計算・利用方法にはいくつかパターンが存在 ❏ 計算パターン ❏ 内積注意 : encoder隠れ状態・decoder隠れ状態 の内積 ❏ FFN注意：[encoder隠れ状態；decoder隠れ状態] を入力とする1層FFN D. Bahdanau et. al 2015. Neural machine translation by jointly learning to align and translate. In ICLR
Neural 翻訳モデルおさらい ❏ CNN + Attention (Convs2s) ❏ 並列計算できるため，RNN比で計算の 高速化が可能 ❏ CNNのカーネルが未来を参照しないよ うにマスク ❏ Attention (Transformer) ❏ 自身の系列に適用する Self-Attention のみで翻訳生成 ❏ 単語の位置情報は別途付与 ❏ Attentionが未来を参照しないようにマ スク A. Vaswani, et.al 2017. Attention is all you need. In NIPSJ. Gehring et.al 2017. Convolutional sequence to sequence learning. In ICML.
先行研究との差分 ❏ 一つのDensenet Architecture で翻訳を実現 ❏ 従来のニューラル翻訳ではEncoder-Decoder 構造がデファクトスタンダード ❏ 入力・出力系列をCNNで畳み込むことで Attention を実現 ❏ 入力文とそれまでに生成した単語を用いて特徴量を計算し直すことができる ❏ 従来Attention は最初に encoder で計算した隠れ状態を繰り返し用いており， decoding しな がらその表現を変更していくことはできない ❏ 訓練時は全ての単語をまとめて生成でき，訓練にかかる時間が少ない ❏ IWSLT 2014 German-to-English, English-to-German タスクでSoTA
モデル概要 1. 入力テンソルの作成 2. 畳み込みカーネルサイズの設定 3. DenseNet での畳み込み 4. Pooling・線形変換&Softmax 入力： S x T x (dt + ds) S x T x fl T x fl 出力 ：T x V DenseNet 畳み込み Pooling FFN&Softmax
モデル概要 1. 入力テンソル |S| x |T| x (ds +dt) の作成 ❏ 入力センテンスS ( |S| x ds) 出力センテンスT ( |T| x dt ) を出現位置で組合せ，入力テンソルを作成 2. 畳み込みのカーネルサイズを 5 x 3 に設定 ❏ 右図青色領域がカーネルに対応する領域 ❏ 未来の情報（右図灰色部分）は用いない 入力テンソルと畳み込みカーネル
モデル概要 3. DenseNet で畳み込み ❏ 各ブロック内での処理 ❏ BatchNorm -> ReLU -> 1x1 Conv -> BatchNorm -> 5x3 Conv -> Dropout ❏ gated linear unit を ReLU の代わりに使用 ❏ l 番目のブロックの入・力feature 次元 ❏ f0 + (l - 1)g ー＞ 4g (1x1Conv) ー＞ g (5x3Conv) ❏ f0 = ds + dt ❏ 1ブロック毎に g 次元増加
モデル概要 4. Pooling ( 3パターン) S x T x fL ー＞ T x fL ❏ max pooling ❏ average pooling ( センテンス長の平方根で割る） ❏ self attention pooling ❏ 重み付け足し合わせで pooling ❏ max pooling もしくは average pooling で得られたテンソルと concat するか， 単独で用いる ❏ w : fL 次元ベクトル
実装詳細 ❏ Optimizer : Adam ❏ ❏ 学習率：5e^-4，減衰率：0.8 ❏ 8k update 毎に validation Loss を確認，0.01 以上の改善が見られなければ学習率を減衰 ❏ 40epoch 学習 ❏ 幅5 のビームサーチで翻訳し，評価
実験結果 ❏ Pooling方法・活性化関数の比較 ❏ Max pooling を用いるのが良い ❏ ベストはmax pooling と self attention pooling を concat する方法 ❏ 最適なembedding, g, L の値を探索 ❏ 下記で他のモデルと比較 ❏ embedding =128 ❏ g = 32 ❏ L = 24
実験結果 ❏ カーネルサイズ：５，L (depth) = 20 程度がパフォーマンスが良い ❏ 同じ深さでは k が小さい方が良かった( L = 16 での比較 ) ❏ ほぼ全てのセンテンス長で提案手法がトップのBLEUスコアを記録 ❏ 69単語以上のケースではCovS2S, Transformer 優位
実験結果 ❏ 少ないパラメータ数で高いBLEUスコアを記録 ❏ Transformer に比べてパラメータ数は1/8 ❏ 学習に掛かった時間は ConvS2S < Pervasive(本論文) = Transformer
実験結果 ❏ Alignment を確認 ❏ 生成したBP w の生成確率へ，どの入力BP i が影響を与えていたか可視化 ❏ max pooling オペレーション後に残る特徴量Bij の内，入力 i の由来のものの， 出力 j (BP w ) に対する入力値αij を計算 ❏ 出力 j (BP w ) に対する αij の値を確認することで，どの入力 i が BP の生成に効いていたの かがわかる
実験結果 ❏ 翻訳に必要な単語の情報を参照できている ❏ for some time ＜ー＞ seit einiger zeit ❏ 名前もBPEに分解した後に再現できてる(camer@@onrus@@)

More Related Content

PDF
不均衡データのクラス分類
byShintaro Fukushima
 
PDF
【論文読み会】Deep Clustering for Unsupervised Learning of Visual Features
byARISE analytics
 
PPTX
SSII2020 [OS2-02] 教師あり事前学習を凌駕する「弱」教師あり事前学習
bySSII
 
PDF
【DL輪読会】Implicit Behavioral Cloning
byDeep Learning JP
 
PPTX
[DL輪読会]Swin Transformer: Hierarchical Vision Transformer using Shifted Windows
byDeep Learning JP
 
PPTX
勾配降下法の 最適化アルゴリズム
bynishio
 
PDF
SSII2019OS: 深層学習にかかる時間を短くしてみませんか？ ～分散学習の勧め～
bySSII
 
PDF
POMDP下での強化学習の基礎と応用
byYasunori Ozaki
 
不均衡データのクラス分類
byShintaro Fukushima
 
【論文読み会】Deep Clustering for Unsupervised Learning of Visual Features
byARISE analytics
 
SSII2020 [OS2-02] 教師あり事前学習を凌駕する「弱」教師あり事前学習
bySSII
 
【DL輪読会】Implicit Behavioral Cloning
byDeep Learning JP
 
[DL輪読会]Swin Transformer: Hierarchical Vision Transformer using Shifted Windows
byDeep Learning JP
 
勾配降下法の 最適化アルゴリズム
bynishio
 
SSII2019OS: 深層学習にかかる時間を短くしてみませんか？ ～分散学習の勧め～
bySSII
 
POMDP下での強化学習の基礎と応用
byYasunori Ozaki
 

What's hot

PDF
Semantic segmentation
byTakuya Minagawa
 
PDF
Introduction to YOLO detection model
byWEBFARMER. ltd.
 
PDF
Adversarial Examples 分野の動向 （敵対的サンプル発表資料）
bycvpaper. challenge
 
PDF
オープンワールド認識 (第34回全脳アーキテクチャ若手の会 勉強会)
byTakuma Yagi
 
PPTX
物体検出の歴史（R-CNNからSSD・YOLOまで）
byHironoriKanazawa
 
PPTX
【DL輪読会】言語以外でのTransformerのまとめ (ViT, Perceiver, Frozen Pretrained Transformer etc)
byDeep Learning JP
 
PPTX
[DL輪読会]PointNet++: Deep Hierarchical Feature Learning on Point Sets in a Metr...
byDeep Learning JP
 
PPTX
モデル高速化百選
byYusuke Uchida
 
PPTX
【DL輪読会】Flamingo: a Visual Language Model for Few-Shot Learning 画像×言語の大規模基盤モ...
byDeep Learning JP
 
PPTX
[DL輪読会]When Does Label Smoothing Help?
byDeep Learning JP
 
PDF
SSII2021 [OS2-01] 転移学習の基礎：異なるタスクの知識を利用するための機械学習の方法
bySSII
 
PDF
Deep Learningによる超解像の進歩
byHiroto Honda
 
PPTX
強化学習アルゴリズムPPOの解説と実験
by克海 納谷
 
PPTX
OSS強化学習フレームワークの比較
bygree_tech
 
PPTX
Curriculum Learning （関東CV勉強会）
byYoshitaka Ushiku
 
PPTX
backbone としての timm 入門
byTakuji Tahara
 
PDF
【DL輪読会】"Masked Siamese Networks for Label-Efficient Learning"
byDeep Learning JP
 
PDF
TransPose: Towards Explainable Human Pose Estimation by Transformer
byYasutomo Kawanishi
 
PDF
Domain Adaptation 発展と動向まとめ（サーベイ資料）
byYamato OKAMOTO
 
PDF
[DL輪読会]SOM-VAE: Interpretable Discrete Representation Learning on Time Series
byDeep Learning JP
 
Semantic segmentation
byTakuya Minagawa
 
Introduction to YOLO detection model
byWEBFARMER. ltd.
 
Adversarial Examples 分野の動向 （敵対的サンプル発表資料）
bycvpaper. challenge
 
オープンワールド認識 (第34回全脳アーキテクチャ若手の会 勉強会)
byTakuma Yagi
 
物体検出の歴史（R-CNNからSSD・YOLOまで）
byHironoriKanazawa
 
【DL輪読会】言語以外でのTransformerのまとめ (ViT, Perceiver, Frozen Pretrained Transformer etc)
byDeep Learning JP
 
[DL輪読会]PointNet++: Deep Hierarchical Feature Learning on Point Sets in a Metr...
byDeep Learning JP
 
モデル高速化百選
byYusuke Uchida
 
【DL輪読会】Flamingo: a Visual Language Model for Few-Shot Learning 画像×言語の大規模基盤モ...
byDeep Learning JP
 
[DL輪読会]When Does Label Smoothing Help?
byDeep Learning JP
 
SSII2021 [OS2-01] 転移学習の基礎：異なるタスクの知識を利用するための機械学習の方法
bySSII
 
Deep Learningによる超解像の進歩
byHiroto Honda
 
強化学習アルゴリズムPPOの解説と実験
by克海 納谷
 
OSS強化学習フレームワークの比較
bygree_tech
 
Curriculum Learning （関東CV勉強会）
byYoshitaka Ushiku
 
backbone としての timm 入門
byTakuji Tahara
 
【DL輪読会】"Masked Siamese Networks for Label-Efficient Learning"
byDeep Learning JP
 
TransPose: Towards Explainable Human Pose Estimation by Transformer
byYasutomo Kawanishi
 
Domain Adaptation 発展と動向まとめ（サーベイ資料）
byYamato OKAMOTO
 
[DL輪読会]SOM-VAE: Interpretable Discrete Representation Learning on Time Series
byDeep Learning JP
 

Similar to [DL輪読会]Pervasive Attention: 2D Convolutional Neural Networks for Sequence-to-Sequence Prediction

PDF
attention_is_all_you_need_nips17_論文紹介
byMasayoshi Kondo
 
PDF
[第2版]Python機械学習プログラミング 第15章
byHaruki Eguchi
 
PDF
最近のDeep Learning (NLP) 界隈におけるAttention事情
byYuta Kikuchi
 
PDF
Deep Learningの基礎と応用
bySeiya Tokui
 
PPTX
論文紹介：「End-to-end Sequence Labeling via Bi-directional LSTM-CNNs-CRF」
byNaonori Nagano
 
PDF
「ゼロから作るDeep learning」の畳み込みニューラルネットワークのハードウェア化
bymarsee101
 
PPTX
「機械学習とは？」から始める Deep learning実践入門
byHideto Masuoka
 
PDF
Recurrent Neural Networks
bySeiya Tokui
 
PDF
RNN-based Translation Models (Japanese)
byNAIST Machine Translation Study Group
 
PDF
Efficient Neural Architecture Searchvia Parameter Sharing
byTaichi Itoh
 
PDF
【文献紹介】Abstractive Text Summarization Using Sequence-to-Sequence RNNs and Beyond
byTakashi YAMAMURA
 
PDF
【DL輪読会】ConvNeXt V2: Co-designing and Scaling ConvNets with Masked Autoencoders
byDeep Learning JP
 
PDF
ICCV 2019 論文紹介 (26 papers)
byHideki Okada
 
PDF
論文紹介 Star-Transformer (NAACL 2019)
by広樹 本間
 
PDF
論文紹介：PaperRobot: Incremental Draft Generation of Scientific Idea
byHirokiKurashige
 
PPTX
Image net classification　with Deep Convolutional Neural Networks
byShingo Horiuchi
 
PPTX
Bert(transformer,attention)
bynorimatsu5
 
PDF
Convolutional Neural Networks のトレンド @WBAFLカジュアルトーク#2
byDaiki Shimada
 
PPTX
畳み込みニューラルネットワークの高精度化と高速化
byYusuke Uchida
 
PDF
SSII2022 [TS1] Transformerの最前線〜 畳込みニューラルネットワークの先へ 〜
bySSII
 
attention_is_all_you_need_nips17_論文紹介
byMasayoshi Kondo
 
[第2版]Python機械学習プログラミング 第15章
byHaruki Eguchi
 
最近のDeep Learning (NLP) 界隈におけるAttention事情
byYuta Kikuchi
 
Deep Learningの基礎と応用
bySeiya Tokui
 
論文紹介：「End-to-end Sequence Labeling via Bi-directional LSTM-CNNs-CRF」
byNaonori Nagano
 
「ゼロから作るDeep learning」の畳み込みニューラルネットワークのハードウェア化
bymarsee101
 
「機械学習とは？」から始める Deep learning実践入門
byHideto Masuoka
 
Recurrent Neural Networks
bySeiya Tokui
 
RNN-based Translation Models (Japanese)
byNAIST Machine Translation Study Group
 
Efficient Neural Architecture Searchvia Parameter Sharing
byTaichi Itoh
 
【文献紹介】Abstractive Text Summarization Using Sequence-to-Sequence RNNs and Beyond
byTakashi YAMAMURA
 
【DL輪読会】ConvNeXt V2: Co-designing and Scaling ConvNets with Masked Autoencoders
byDeep Learning JP
 
ICCV 2019 論文紹介 (26 papers)
byHideki Okada
 
論文紹介 Star-Transformer (NAACL 2019)
by広樹 本間
 
論文紹介：PaperRobot: Incremental Draft Generation of Scientific Idea
byHirokiKurashige
 
Image net classification　with Deep Convolutional Neural Networks
byShingo Horiuchi
 
Bert(transformer,attention)
bynorimatsu5
 
Convolutional Neural Networks のトレンド @WBAFLカジュアルトーク#2
byDaiki Shimada
 
畳み込みニューラルネットワークの高精度化と高速化
byYusuke Uchida
 
SSII2022 [TS1] Transformerの最前線〜 畳込みニューラルネットワークの先へ 〜
bySSII
 

More from Deep Learning JP

PPTX
【DL輪読会】AdaptDiffuser: Diffusion Models as Adaptive Self-evolving Planners
byDeep Learning JP
 
PPTX
【DL輪読会】事前学習用データセットについて
byDeep Learning JP
 
PPTX
【DL輪読会】 "Learning to render novel views from wide-baseline stereo pairs." CVP...
byDeep Learning JP
 
PPTX
【DL輪読会】Zero-Shot Dual-Lens Super-Resolution
byDeep Learning JP
 
PPTX
【DL輪読会】BloombergGPT: A Large Language Model for Finance arxiv
byDeep Learning JP
 
PPTX
【DL輪読会】マルチモーダル LLM
byDeep Learning JP
 
PDF
【 DL輪読会】ToolLLM: Facilitating Large Language Models to Master 16000+ Real-wo...
byDeep Learning JP
 
PPTX
【DL輪読会】AnyLoc: Towards Universal Visual Place Recognition
byDeep Learning JP
 
PDF
【DL輪読会】Can Neural Network Memorization Be Localized?
byDeep Learning JP
 
PPTX
【DL輪読会】Hopfield network　関連研究について
byDeep Learning JP
 
PPTX
【DL輪読会】SimPer: Simple self-supervised learning of periodic targets( ICLR 2023 )
byDeep Learning JP
 
PDF
【DL輪読会】RLCD: Reinforcement Learning from Contrast Distillation for Language M...
byDeep Learning JP
 
PDF
【DL輪読会】"Secrets of RLHF in Large Language Models Part I: PPO"
byDeep Learning JP
 
PPTX
【DL輪読会】"Language Instructed Reinforcement Learning for Human-AI Coordination "
byDeep Learning JP
 
PPTX
【DL輪読会】Llama 2: Open Foundation and Fine-Tuned Chat Models
byDeep Learning JP
 
PDF
【DL輪読会】"Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware"
byDeep Learning JP
 
PPTX
【DL輪読会】Parameter is Not All You Need:Starting from Non-Parametric Networks fo...
byDeep Learning JP
 
PDF
【DL輪読会】Drag Your GAN: Interactive Point-based Manipulation on the Generative ...
byDeep Learning JP
 
PDF
【DL輪読会】Self-Supervised Learning from Images with a Joint-Embedding Predictive...
byDeep Learning JP
 
PPTX
【DL輪読会】Towards Understanding Ensemble, Knowledge Distillation and Self-Distil...
byDeep Learning JP
 
【DL輪読会】AdaptDiffuser: Diffusion Models as Adaptive Self-evolving Planners
byDeep Learning JP
 
【DL輪読会】事前学習用データセットについて
byDeep Learning JP
 
【DL輪読会】 "Learning to render novel views from wide-baseline stereo pairs." CVP...
byDeep Learning JP
 
【DL輪読会】Zero-Shot Dual-Lens Super-Resolution
byDeep Learning JP
 
【DL輪読会】BloombergGPT: A Large Language Model for Finance arxiv
byDeep Learning JP
 
【DL輪読会】マルチモーダル LLM
byDeep Learning JP
 
【 DL輪読会】ToolLLM: Facilitating Large Language Models to Master 16000+ Real-wo...
byDeep Learning JP
 
【DL輪読会】AnyLoc: Towards Universal Visual Place Recognition
byDeep Learning JP
 
【DL輪読会】Can Neural Network Memorization Be Localized?
byDeep Learning JP
 
【DL輪読会】Hopfield network　関連研究について
byDeep Learning JP
 
【DL輪読会】SimPer: Simple self-supervised learning of periodic targets( ICLR 2023 )
byDeep Learning JP
 
【DL輪読会】RLCD: Reinforcement Learning from Contrast Distillation for Language M...
byDeep Learning JP
 
【DL輪読会】"Secrets of RLHF in Large Language Models Part I: PPO"
byDeep Learning JP
 
【DL輪読会】"Language Instructed Reinforcement Learning for Human-AI Coordination "
byDeep Learning JP
 
【DL輪読会】Llama 2: Open Foundation and Fine-Tuned Chat Models
byDeep Learning JP
 
【DL輪読会】"Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware"
byDeep Learning JP
 
【DL輪読会】Parameter is Not All You Need:Starting from Non-Parametric Networks fo...
byDeep Learning JP
 
【DL輪読会】Drag Your GAN: Interactive Point-based Manipulation on the Generative ...
byDeep Learning JP
 
【DL輪読会】Self-Supervised Learning from Images with a Joint-Embedding Predictive...
byDeep Learning JP
 
【DL輪読会】Towards Understanding Ensemble, Knowledge Distillation and Self-Distil...
byDeep Learning JP
 

[DL輪読会]Pervasive Attention: 2D Convolutional Neural Networks for Sequence-to-Sequence Prediction

  • 1.
    Pervasive Attention: 2DConvolutional Neural Networks for Sequence-to-Sequence Prediction DEEP LEARNING JP [DL Papers] Atsushi Kayama M3, Inc
  • 2.
    書誌情報・概要 ❏ Pervasive Attention: 2D Convolutional Neural Networks for Sequence-to-Sequence Prediction ❏ Maha Elbayad, Laurent Besacier, Jacob Verbeek (Univ. Grenoble) ❏ The SIGNULL Conference on Computational Natural Language Learning 2018 ❏ Pytorch実装：https://github.com/elbayadm/attn2d ❏ 英独翻訳タスクにおいて，Densenet Architecture を用いて SoTA達成 ❏ 2D CNNで入力・出力文を畳み込み ❏ encoder, decoder まとめた一つのアーキテクチャになっている ❏ 従来の Encoder-Decoder 構造に比べて少パラメータ
  • 3.
    Neural 翻訳モデルおさらい ❏ RNN(LSTM, GRU) + Attention 2014 ~ ❏ CNN + Attention 2016 ~ ❏ Attention のみ 2017 ~
  • 4.
    Neural 翻訳モデルおさらい ❏ RNN(LSTM, GRU) + Attention ❏ encoder各ステップの隠れ状態を重み付き総和(Attention)した context をdecoder 各ス テップにおいて求め，単語の生成に使用． ❏ Attention の計算・利用方法にはいくつかパターンが存在 ❏ 計算パターン ❏ 内積注意 : encoder隠れ状態・decoder隠れ状態 の内積 ❏ FFN注意：[encoder隠れ状態；decoder隠れ状態] を入力とする1層FFN D. Bahdanau et. al 2015. Neural machine translation by jointly learning to align and translate. In ICLR
  • 5.
    Neural 翻訳モデルおさらい ❏ CNN+ Attention (Convs2s) ❏ 並列計算できるため，RNN比で計算の 高速化が可能 ❏ CNNのカーネルが未来を参照しないよ うにマスク ❏ Attention (Transformer) ❏ 自身の系列に適用する Self-Attention のみで翻訳生成 ❏ 単語の位置情報は別途付与 ❏ Attentionが未来を参照しないようにマ スク A. Vaswani, et.al 2017. Attention is all you need. In NIPSJ. Gehring et.al 2017. Convolutional sequence to sequence learning. In ICML.
  • 6.
    先行研究との差分 ❏ 一つのDensenet Architectureで翻訳を実現 ❏ 従来のニューラル翻訳ではEncoder-Decoder 構造がデファクトスタンダード ❏ 入力・出力系列をCNNで畳み込むことで Attention を実現 ❏ 入力文とそれまでに生成した単語を用いて特徴量を計算し直すことができる ❏ 従来Attention は最初に encoder で計算した隠れ状態を繰り返し用いており， decoding しな がらその表現を変更していくことはできない ❏ 訓練時は全ての単語をまとめて生成でき，訓練にかかる時間が少ない ❏ IWSLT 2014 German-to-English, English-to-German タスクでSoTA
  • 7.
    モデル概要 1. 入力テンソルの作成 2. 畳み込みカーネルサイズの設定 3.DenseNet での畳み込み 4. Pooling・線形変換&Softmax 入力： S x T x (dt + ds) S x T x fl T x fl 出力 ：T x V DenseNet 畳み込み Pooling FFN&Softmax
  • 8.
    モデル概要 1. 入力テンソル |S|x |T| x (ds +dt) の作成 ❏ 入力センテンスS ( |S| x ds) 出力センテンスT ( |T| x dt ) を出現位置で組合せ，入力テンソルを作成 2. 畳み込みのカーネルサイズを 5 x 3 に設定 ❏ 右図青色領域がカーネルに対応する領域 ❏ 未来の情報（右図灰色部分）は用いない 入力テンソルと畳み込みカーネル
  • 9.
    モデル概要 3. DenseNet で畳み込み ❏各ブロック内での処理 ❏ BatchNorm -> ReLU -> 1x1 Conv -> BatchNorm -> 5x3 Conv -> Dropout ❏ gated linear unit を ReLU の代わりに使用 ❏ l 番目のブロックの入・力feature 次元 ❏ f0 + (l - 1)g ー＞ 4g (1x1Conv) ー＞ g (5x3Conv) ❏ f0 = ds + dt ❏ 1ブロック毎に g 次元増加
  • 10.
    モデル概要 4. Pooling (3パターン) S x T x fL ー＞ T x fL ❏ max pooling ❏ average pooling ( センテンス長の平方根で割る） ❏ self attention pooling ❏ 重み付け足し合わせで pooling ❏ max pooling もしくは average pooling で得られたテンソルと concat するか， 単独で用いる ❏ w : fL 次元ベクトル
  • 11.
    実装詳細 ❏ Optimizer :Adam ❏ ❏ 学習率：5e^-4，減衰率：0.8 ❏ 8k update 毎に validation Loss を確認，0.01 以上の改善が見られなければ学習率を減衰 ❏ 40epoch 学習 ❏ 幅5 のビームサーチで翻訳し，評価
  • 12.
    実験結果 ❏ Pooling方法・活性化関数の比較 ❏ Maxpooling を用いるのが良い ❏ ベストはmax pooling と self attention pooling を concat する方法 ❏ 最適なembedding, g, L の値を探索 ❏ 下記で他のモデルと比較 ❏ embedding =128 ❏ g = 32 ❏ L = 24
  • 13.
    実験結果 ❏ カーネルサイズ：５，L (depth)= 20 程度がパフォーマンスが良い ❏ 同じ深さでは k が小さい方が良かった( L = 16 での比較 ) ❏ ほぼ全てのセンテンス長で提案手法がトップのBLEUスコアを記録 ❏ 69単語以上のケースではCovS2S, Transformer 優位
  • 14.
    実験結果 ❏ 少ないパラメータ数で高いBLEUスコアを記録 ❏ Transformerに比べてパラメータ数は1/8 ❏ 学習に掛かった時間は ConvS2S < Pervasive(本論文) = Transformer
  • 15.
    実験結果 ❏ Alignment を確認 ❏生成したBP w の生成確率へ，どの入力BP i が影響を与えていたか可視化 ❏ max pooling オペレーション後に残る特徴量Bij の内，入力 i の由来のものの， 出力 j (BP w ) に対する入力値αij を計算 ❏ 出力 j (BP w ) に対する αij の値を確認することで，どの入力 i が BP の生成に効いていたの かがわかる
  • 16.
    実験結果 ❏ 翻訳に必要な単語の情報を参照できている ❏ forsome time ＜ー＞ seit einiger zeit ❏ 名前もBPEに分解した後に再現できてる(camer@@onrus@@)