Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Maskgan better text generation via filling in the ____

1,049 views

Published on

Paper introduction of Maskgan: better text generation via filling in the ____ in NN論文を肴に酒を飲む会 #8

Published in: Technology
  • Be the first to comment

Maskgan better text generation via filling in the ____

  1. 1. MASKGAN: Better Text Generation via Filling in the ______ William Fedus, Ian Goodfellow, Andrew M. Dai
  2. 2. 自己紹介  Twitter/Github: ymym3412  都内のIT企業で自然言語処理の研究開発  nlpaper.challenge主催
  3. 3. 【宣伝】nlpaper.challengeとは?  自然言語処理の学会「ACL」論文を完全読破する取り組み  Twitter: @NlpaperChalleng  cvpaper.challengeの親戚  NLPとCVの交流のための勉強会を開催中!  勉強会で会場を提供してくださる企業様を募集中です!
  4. 4. おなじみSequence-to-Sequence [Sustskever+, 2014] [Thang+, 2015] [Nallapati+, 2016]
  5. 5. 機械翻訳タスクを例に 入力文: 私は 犬が 好きです 出力文: I like dogs 私は
  6. 6. 機械翻訳タスクを例に 入力文: 私は 犬が 好きです 出力文: I like dogs 私は 犬が
  7. 7. 機械翻訳タスクを例に 入力文: 私は 犬が 好きです 出力文: I like dogs 私は 犬が 好きです
  8. 8. 機械翻訳タスクを例に 入力文: 私は 犬が 好きです 出力文: I like dogs 私は 犬が 好きです <SOS> I
  9. 9. 機械翻訳タスクを例に 入力文: 私は 犬が 好きです 出力文: I like dogs 私は 犬が 好きです <SOS> I I like
  10. 10. 機械翻訳タスクを例に 入力文: 私は 犬が 好きです 出力文: I like dogs 私は 犬が 好きです <SOS> I I like like dogs
  11. 11. 機械翻訳タスクを例に 入力文: 私は 犬が 好きです 出力文: I like dogs 私は 犬が 好きです <SOS> I I like like dogs dogs <EOS>
  12. 12. Exposure bias 私は 犬が 好きです <SOS> I I train like planes dogs <EOS> • 学習時: Teacher forcing • Decoderへの入力はground truth label Cross-Entropyを計算
  13. 13. Exposure bias • 推論時: Free Running • Decoderへの入力はt-1のDecoderの出力 私は 犬が 好きです <SOS> I I like like dogs dogs <EOS> 学習時と推論時の差がExposure biasを引き起こす!
  14. 14. Exposure biasの対策その1 Scheduled Sampling [Bengio+, 2015] ground truth labelを使うかself-generated tokenを使うかを確率的に決める 少しずつprevious tokenが選ばれるようにしていくことで 学習時と推論時のギャップを埋める
  15. 15. Exposure biasの対策その2 Professor Forcing [Lamb+, 2016] Teacher Forcing時の隠れ層と Free running時の隠れ層のとを 識別するDiscriminatorを用意し Teacher ForcingとFree Running の差がなくなるように学習
  16. 16. Text生成のGAN: SeqGAN[Yu+, 2016]  テキスト生成のGと真贋を見極めるD + 強化学習  単語1つ1つの尤度最大化ではなく文としての最適化  単語毎のMLEでは文全体の整合性は取れない  MCサーチ + 方策勾配法でGを学習
  17. 17. SeqGANの派生  MaliGAN[Che+, 2017]  真贋判定という2値分類の問題を緩和  報酬をリスケーリング  RankGAN[Lin+, 2017]  こちらも2値分類の問題を緩和  2値分類ではなくランキング問題として解く  LeakGAN[Guo+, 2017]  Mode collapseによる短いテキスト生成を回避  Dの情報をGにLeakしてテキスト生成をガイドする
  18. 18. MASKGANの構成 I live __ Tokyo I live live Tokyo <EOS>Tokyo I live in Tokyo D1 D2 D3 D4 Generator Discriminator Critic I live Tokyo I live Tokyo V1 V2 V3 V4 I live Tokyo I live Tokyo
  19. 19. MASKGANのポイント  Generatorをin-fillingタスクで学習させる  微分不可能な処理を挟むため強化学習で学習を行う
  20. 20. Generator  本来の文章をランダムにマスクした文章を生成し、マスク部分を復元する ように学習させる  マスク部分に適切な語を復元することでDiscriminatorを騙せる I live __ Tokyo I live live Tokyo <EOS>Tokyo
  21. 21. Discriminator  GeneratorのDecoderが生成した文章の妥当性をチェックする  Gの生成文の真贋判定ではなく、正しいContextとの比較を行う I live in Tokyo D1 D2 D3 D4 I live Tokyo I live Tokyo in rtは時刻tの報酬 正しい単語でfillしないと、 Generatorは高い報酬を受け取れない
  22. 22. Generator/Discriminatorの学習  Discriminatorはいつも通り真贋判定のLoss  Generatorがサンプリング処理を挟むため微分不可能→強化学習  Actor-Critic法を使って学習する ※ɤは割引率 ※VはCriticの出力 勾配の分散を抑えるためのベースラインを モデルで推定するのがActor-Critic法
  23. 23. Critic  Generatorが得る勾配の分散を抑えるためのベースラインを推定する V1 V2 V3 V4 I live Tokyo I live Tokyo
  24. 24. GeneratorのLoss関数  各時刻tで未来の割引報酬も考慮した報酬を計算しているため、各時刻 毎の単語の対数尤度を最大化するMLEと違い、系列全体を通して報酬 の最大化の学習を行う
  25. 25. 実験  Pen Tree Bank(PTB)とIMDBでConditional/Unconditionalのテ キスト生成実験  MaskGANとMLEで学習したMaskMLEの比較  生成されたテキストの定性比較、Perplexityの比較、人手での評価、 mode collapseの解析を実施
  26. 26. PTB/IMDB PTB Conditional PTB Unconditional IMDB Conditional IMDB Unconditional IMDB Perplexity MaskGANではDiscriminatorの対数尤度を Generatorの報酬として受け取っている=Perplexity を直接最適化していると言える? とすればPerplexityの改善はある意味当然
  27. 27. Mode collapse  Generatorが勾配を得やすい確率分布上の特定の1点にはまってしまう ことで生成されるデータの多様性が失われる現象  ユニークなn-gramを測ることでmode collapseを確認する  Quadgramsの低下が確認できmode collapseが起きている?
  28. 28. 人間によるABテスト  AMTで2つの文章を見せてどちらがより良いか回答してもらう  SeqGANと比べると改善が見られるが、リアルデータと比べるとまだまだ
  29. 29. まとめ  Seq2Seqの抱えるExposure biasの問題をin-fillingタスク+強化学 習による系列最適化で解決  評価方法が定性評価に強く依存している。SeqGANからどんな発展が あったかが明確には述べられていない  Blank(___)を完全なランダムではなく連続してblankとすると学習の質 が改善されることが確認されており、句といった単位でblankにすることで 構文なども考慮した学習ができるのではないか
  30. 30. 参考文献  William Fedus, Ian Goodfellow and Andrew M. Dai; MaskGAN: Better Text Generation via Filling in the______, https://arxiv.org/abs/1801.07736  Ilya Sutskever, Oriol Vinyals, Quoc V. Le, Sequence to Sequence Learning with Neural Networks, https://arxiv.org/abs/1409.3215  Minh-Thang Luong, Hieu Pham, Christopher D. Manning, Effective Approaches to Attention-based Neural Machine Translation, https://arxiv.org/abs/1508.04025  Ramesh Nallapati, Bowen Zhou, Cicero Nogueira dos santos, Caglar Gulcehre, Bing Xiang, Abstractive Text Summarization Using Sequence-to-Sequence RNNs and Beyond, https://arxiv.org/abs/1602.06023  Samy Bengio, Oriol Vinyals, Navdeep Jaitly, Noam Shazeer , Scheduled Sampling for Sequence Prediction with Recurrent Neural Networks, https://arxiv.org/abs/1506.03099  Samuel R Bowman, Luke Vilnis, Oriol Vinyals, Andrew M Dai, Rafal Jozefowicz, and Samy Bengio; Generating sentences from a continuous space, https://arxiv.org/abs/1511.06349  Lantao Yu† , Weinan Zhang†∗, Jun Wang‡ , Yong Yu†, SeqGAN: Sequence Generative Adversarial Nets with Policy Gradient, https://arxiv.org/pdf/1609.05473.pdf  Alex Lamb, Anirudh Goyal, Ying Zhang, Saizheng Zhang, Aaron Courville, and Yoshua Bengio. Professor forcing: A new algorithm for training recurrent networks, https://arxiv.org/pdf/1801.07736.pdf  Tong Che * 1 Yanran Li * 2 Ruixiang Zhang * 3 R Devon Hjelm 1 4 Wenjie Li 2 Yangqiu Song 3 Yoshua Bengio 1, Maximum-Likelihood Augmented Discrete Generative Adversarial Networks, https://arxiv.org/pdf/1702.07983.pdf  Kevin Lin, Dianqi Li, Xiaodong He, Zhengyou Zhang, and Ming-Ting Sun. Adversarial ranking for language generation, https://arxiv.org/pdf/1705.11001.pdf  Jiaxian Guo† , Sidi Lu† , Han Cai† , Weinan Zhang†∗, Yong Yu† , Jun Wang‡, Long Text Generation via Adversarial Training with Leaked Information, https://arxiv.org/pdf/1709.08624.pdf  Sidi Lu1 , Yaoming Zhu1 , Weinan Zhang1 , Jun Wang2 , Yong Yu1, Neural Text Generation: Past, Present and Beyond, https://arxiv.org/pdf/1803.07133.pdf  Github: https://github.com/tensorflow/models/tree/master/research/maskgan

×