Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

[DL輪読会]QUASI-RECURRENT NEURAL NETWORKS

2017/2/24
Deep Learning JP:
http://deeplearning.jp/seminar-2/

Related Books

Free with a 30 day trial from Scribd

See all

Related Audiobooks

Free with a 30 day trial from Scribd

See all
  • Be the first to comment

[DL輪読会]QUASI-RECURRENT NEURAL NETWORKS

  1. 1. Quasi-Recurrent Neural Networks James Bradbury, Stephen Merity, Caiming Xiong, Richard Socher 17/02/01
  2. 2. アジェンダ • 書誌情報 • 背景 • 関連研究 • 提案モデル • 実験・結果 • 結論
  3. 3. 書誌情報 • ICLR2017 Accepted Paper • Poster Presentation • 採点(6, 7, 5, 7) • Author • Salesforce Researchのグループ • Last authorはRecursive NNのRichard Socher
  4. 4. 背景 • RNN • 深層学習で系列データを扱う場合、標準的になってきている • 並列計算ができない • ⻑い系列を扱いにくい • CNN • 系列データを扱う際にも有⽤であることが⽰されている • 並列計算が可能 • QRNN(提案⼿法) • CNN-like:並列計算を時系列、ミニバッチの次元について可能 • RNN-like:⼊⼒系列の順序全体が出⼒に影響を与える
  5. 5. 関連研究 • Strongly-typed recurrent neural networks • Convolutional-recurrent models • ByteNet • QRNN encoder-decoderモデルが似ている
  6. 6. 提案モデル • QRNN
  7. 7. 提案モデル • QRNNはCNNにおける畳み込み層とプーリング層に対応する 2層からなる • ⼊⼒として系列⻑Tでn次元のベクトルX∈RT×nを受け取り、 時系列⽅向に畳み込みを⾏う • 畳み込みの際に未来の情報を含まないようにするため、 Masked convolution(系列⽅向にfilter幅に応じたpadding)を⾏う • Z, F, Oを下の式に応じて得る • Zの活性化関数はtanh, F, Oではシグモイド関数 • *は時系列⽅向へのMasked Convolutionを表す
  8. 8. 提案モデル • Pooling • 3つのpoolingを提案 • f-pooling • fo-pooling • ifo-pooling
  9. 9. 提案モデル • Regularization • Recurrent connectionに対して提案されている正則化のうち、 zoneoutを⽤いる(variational inference-based dropoutは使えない) • Zoneoutは以下で実装可能 • Densely-connected layers • Sequence classificationタスクにおいては、QRNNの各層間に skip-connectionを⼊れた⽅が良い • Encoder-Decoder Models • Vl: l層の最終のencoding state
  10. 10. 実験・結果 • QRNNの精度および実⾏時間を検証するため下記の実験を⾏う • Sentiment Classification • Language Modeling • Character-level Neural Machine Translation
  11. 11. 実験・結果 • Sentiment classification: IMDb Dataset • 映画についてのレビューおよび採点のデータ • X: レビュー⽂章(英語、⾃然⾔語) • y: 対象についてpositive/negativeの評価(⼆値分類) • 分類精度にて評価(従来のLSTMとの実⾏時間の差も合わせて⽐較)
  12. 12. 実験・結果 • 4層のdensely-connected QRNNで最も良い精度 • 256unit/layer, 300次元word vector(GloVe embedding) • Dropout = 0.3, L2 regularization = 4 × 10-6 • Minibatch = 24, RMSprop, learning rate = 0.001, α=0.9, ε=10-8
  13. 13. 実験・結果 • IMDb sentiment analysis • LSTMと同程度の精度である⼀⽅、エポックあたりの時間は1/3程度
  14. 14. 実験・結果 • 隠れ層の可視化
  15. 15. 実験・結果 • Language modeling: Penn Treebank • コーパスの⼀種であり、各⽂に統語構造の注釈が付与されたもの • Word-level predictionを⾏う • 929k training words, 73k validation words, 82k test words • Vocabularyは10k • Perplexityにて評価(低い⽅が良い)
  16. 16. 実験・結果 • 2層、640 unit/layer(32の倍数の⽅が計算効率が良いらしい) • Penn Treebankは⽐較的⼩さいデータセットであり、 過学習を防ぐことが重要となる • 最適化はSGD + momentumで⾏い、学習率は最初の6epochの 間、1に設定された後、減衰率0.95で⼩さくなる(計72epoch)
  17. 17. 実験・結果 • Penn Treebank language modeling task • 通常のLSTM(正則化なし)と⽐較して良いperplexity • 正則化を⾏なった場合も、highly competitive
  18. 18. 実験・結果 • Batchあたりの処理時間 • Chainer default LSTM, 最適化されたcuDNNによるLSTMと⽐較して、 QRNNでは “RNN” 部分の計算時間が減少している
  19. 19. 実験・結果 • Character-level neural machine translation: IWSLT English-German spoken language translation task • Sequence-to-sequence QRNNを評価する • ドイツ語 -> 英語の翻訳(Character levelのsegmentation) • 209,772sentence pair (TEDxから) • 187 Unicode code points
  20. 20. 実験・結果 • 4層、320unit/layer、dropoutまたはL2regularizationなし • 最初の畳み込み層のfilter幅 = 6、その他はfilter幅 = 2 • 最適化はAdamにて⾏い、計10epoch実施
  21. 21. 実験・結果 • IWSLT English-German spoken language translation task • Character-level LSTMを上回る精度 • Word-level attentionによるbase lineとほぼ同程度
  22. 22. 結論 • RNNとCNNの良い部分を合わせたようなQRNNを提案 • 複数のタスクにおいて、従来のLSTMと同程度または 少し上回る性能を⽰す • Epochあたりに要する時間は25 ~ 50%程度になった

    Be the first to comment

    Login to see the comments

  • hugokawamura

    Feb. 25, 2017
  • kentarorikimaru

    Mar. 29, 2017
  • RyoNakamura3

    May. 6, 2017
  • oborozarudofu

    May. 7, 2017
  • hiroshimamatsui

    Oct. 17, 2017
  • TAKUYACHIDA

    Apr. 15, 2018
  • TadashiSuzuki2

    Aug. 7, 2018

2017/2/24 Deep Learning JP: http://deeplearning.jp/seminar-2/

Views

Total views

4,019

On Slideshare

0

From embeds

0

Number of embeds

113

Actions

Downloads

30

Shares

0

Comments

0

Likes

7

×