Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Generative Adversarial Networks (GAN) @ NIPS2017

11,511 views

Published on

NIPS2017本会議で採択された Generative Adversarial Networks (GAN) 論文をまとめ紹介しています。学習の収束性・安定性、半教師あり学習、Mode Collapse回避、解きほぐされた表現学習、構造的な生成、等。NIPS2017読み会@PFNでの発表資料です。

Published in: Data & Analytics
  • Hello! Get Your Professional Job-Winning Resume Here - Check our website! https://vk.cc/818RFv
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here

Generative Adversarial Networks (GAN) @ NIPS2017

  1. 1. Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. Generative Adversarial Networks @NIPS2017 濱田晃一 Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. @hamadakoichi NIPS 2017 読み会 @Preferred Networks 2018/1/21 参加報告・テーマ発表
  2. 2. Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. AGENDA ◆GANs @NIPS2017 ◆Generative Adversarial Networks(GANs) ◆GANs Progress
  3. 3. Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. 講師 2010年6月 Mobageプラットフォーム全体の機械学習活用したサービス開発・洗練2011年4月~ 濱田晃一 (@hamadakoichi) ・執筆:Mobageを支える技術 DeNA中途入社:ソーシャルゲームのデータマイニングチーム立上げ DeNA全サービスの機械学習活用したサービス開発・洗練2014年10月~ ・博士 : 量子統計場の理論 (理論物理) ・TokyoWebmining 主催者 - 機械学習の実活用コミュニティ。登録人数 1500人超。 - 8年継続、累積開催 60回超 Analytics Architect ・DeNA全サービスを対象とし、大規模機械学習活用したサービス開発  - 数千万ユーザー、50億アクション/日、テキスト、画像、ソーシャルグラフ  - 体験設計から、分散学習アルゴリズムの設計・実装まで ・深層学習活用  - 画像表現学習・画像生成    対話・文章の表現学習・文章生成 等
  4. 4. Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. Generative Adversarial Nets @ NIPS 2017 問 NIPS2017本会議での Generative Adversarial Networks の 論文の採択数は?
  5. 5. Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. Generative Adversarial Nets @ NIPS 2017 NIPS2017本会議では、34本のGAN論文(※)が採択 (※GANが中心となる論文) 課題分類 課題内容 合計 Oral Spotlight Poster 学習の収束性・安定性 Training Convergence/Stability GAN学習での安定な平衡解や収束性の 理解、よい学習⽅法を得る 11 1 5 5 半教師あり学習 Semi-supervised Learning 限られた少数教師データを活⽤した GAN学習をできるようにする 5 5 Mode Collapse回避 Avoiding Mode Collapse GeneratorがDiscriminatorを騙せる 単⼀Modeに落ち込むのを回避。 多様な⽣成をできるようにする 3 1 2 解きほぐされた表現学習 Learning Disentangled  RepresentaCons 制御・活⽤しやすい 解きほぐされた潜在表現の獲得 3 1 2 模倣学習 ImitaCon Learning 模倣学習でのGAN活⽤ 3 3 構造的な⽣成 Structural GeneraCon 多様な構造をもった⽣成を 出来るようにする 2 2 データ拡張 Data AugmentaCon データ拡張へのGAN適⽤ 2 2 その他 他 5 2 3
  6. 6. Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. Generative Adversarial Nets @ NIPS 2017 NIPS2017本会議の Deep Learning Sessionでも Oral:1/4、Spotlight: 8/8 がGAN研究 活発に研究進展している Oral: 1/4 • TernGrad: Ternary Gradients to Reduce Communication in Distributed Deep Learning • Train longer, generalize better: closing the generalization gap in large batch training of neural networks • End-to-End Differentiable Proving • Gradient descent GAN optimization is locally stable Spotlight: 8/8 • f-GANs in an Information Geometric Nutshell • Unsupervised Image-to-Image Translation Networks • The Numerics of GANs • Dual Discriminator Generative Adversarial Nets • Bayesian GAN • Approximation and Convergence Properties of Generative Adversarial Learning • Dualing GANs • Generalizing GANs: A Turing Perspective 青字:GAN関連の論文NIPS2017 Deep Learning Session - Presentations
  7. 7. Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. AGENDA ◆GANs @NIPS2017 ◆Generative Adversarial Networks(GANs) ◆GANs Progress
  8. 8. Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. AGENDA ◆GANs @NIPS2017 ◆Generative Adversarial Networks(GANs) ◆GANs Progress
  9. 9. Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. Generative Adversarial Nets(GAN) Progressive Growing of GANs for Improved Quality, Stability, and Variation. Tero Karras, Timo Aila, Samuli Laine, Jaakko Lehtinen. arXiv:1710.10196. GAN例 高解像度・クリアな画像生成(1024x1024画像) 教師なし画像ドメイン変換 Unpaired Image-to-Image Translation using Cycle- Consistent Adversarial Networks. Jun-Yan Zhu, Taesung Park, Phillip Isola, Alexei A. Efros. arXiv:1703.10593. In ICCV2017.
  10. 10. Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. NIPS14: Generative Adversarial Nets(GAN) (Goodfellow+) Generator(生成器)と Discriminator(識別器)を戦わせ 生成精度を向上させる 識別器: “本物データ”と “生成器による生成データ”を識別する 生成器: 生成データを識別器に“本物データ”と誤識別させようとする Generative Adversarial Nets. Ian J. Goodfellow, Jean Pouget-Abadie, Mehdi Mirza, Bing Xu, David Warde-Farley, Sherjil Ozair, Aaron Courville, Yoshua Bengio. arXiv:1406.2661. In NIPS 2014.
  11. 11. Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. Minimax Objective function Discriminator が 「本物データ」を「本物」と識別 (Goodfellow+, NIPS2014, Deep Learning Workshop, Presentation) Discriminator が 「生成データ」を「偽物」と識別 Discriminatorは 正しく識別しようとする (最大化) Generatorは Discriminator に誤識別させようとする(最小化) Generator(生成器)と Discriminator(識別器)を戦わせ 生成精度を向上させる NIPS14: Generative Adversarial Nets(GAN) (Goodfellow+)
  12. 12. Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. Discriminator と Generator を交互に学習していく Discriminatorでの 最大化(k 回) Generator での 最小化(1回) Generative Adversarial Nets. Ian J. Goodfellow, Jean Pouget-Abadie, Mehdi Mirza, Bing Xu, David Warde-Farley, Sherjil Ozair, Aaron Courville, Yoshua Bengio. arXiv:1406.2661. In NIPS 2014. NIPS14: Generative Adversarial Nets(GAN) (Goodfellow+)
  13. 13. Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. AGENDA ◆GANs @NIPS2017 ◆Generative Adversarial Networks(GANs) ◆GANs Progress
  14. 14. Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. 学習が難しいGANに対し、各種工夫による学習安定化 Batch Normalization、LeakyReLU、Adam、等。クリアな画像生成を実現 ICLR16: DCGAN (Radford+) 自然画像のクリアな画像生成 画像演算 Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks. Alec Radford, Luke Metz, Soumith Chintala. arXiv:1511.06434. In ICLR 2016.
  15. 15. Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. NIPS16: Improved Techniques for Training GAN (Salimans+) Improved Techniques for Training GANs. Tim Salimans, Ian Goodfellow, Wojciech Zaremba, Vicki Cheung, Alec Radford, Xi Chen. arXiv:1606.03498. In NIPS 2016. GANの学習安定化のための各種技術 DCGANとこれらの技術で、2016年以降GAN研究が活発に 1. Feature Matching 2. Minibatch discrimination 3. Historical averaging 4. One-sided label smoothing 5. Virtual batch normalization Techniques Semi-supervised learning MNIST Semi-supervised training with feature matching Semi-supervised training with feature matching and minibatch discrimination CIFAR-10 Generated samples
  16. 16. Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. Extended Architectures for GAN (2016) 幅広い・クリアな画像生成のための各種GAN拡張 Figure by Chris Olah (2016) :https://twitter.com/ch402/status/793535193835417601 Ex) Conditional Image Synthesis With Auxiliary Classifier GANs. Augustus Odena, Christopher Olah, Jonathon Shlens. arXiv: 1610.09585. In ICML 2017.
  17. 17. Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. NIPS16: f-GAN (Nowozin+) GAN目的関数を Symmetric JS-divergence から f-divergence に一般化。各Divergence を用い学習・評価 f-GAN: Training Generative Neural samplers using variational Divergence Minimization. Sebastian Nowozin, Botond Cseke, Ryota Tomioka. arXiv:1606.00709. In NIPS 2016. Kernel Density Estimation on the MNIST f-divergence LSUN
  18. 18. Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. ICML17: Wasserstein GAN (Arjovsky+) Wasserstein計量を用いたGenerator勾配消失の解消、学習の安定化 CriticがWasserstein計量を算出、Generatorが最小化 Wasserstein GAN. Martin Arjovsky, Soumith Chintala, Léon Bottou. arXiv:1701.07875. In ICML 2017. LSUN Wasserstein-1 metric
  19. 19. Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. ICCV17: Least Squares GAN (Mao+) Sigmoidに替え二乗誤差を用いた学習安定化 生成データ・実データをマージンありで識別 Least Squares Generative Adversarial Networks. Xudong Mao, Qing Li, Haoran Xie, Raymond Y.K. Lau, Zhen Wang, Stephen Paul Smolley. arXiv:1611.04076. In ICCV 2017. Least square loss functionSigmoid cross entropy loss function
  20. 20. Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. arXiv17:Boundary Equilibrium GAN (Berthelot+) AutoEncoderのDiscriminatorが生成・実画像の識別、実データ復元 生成画像の多様性・クリアさを指定した生成制御 BEGAN: Boundary Equilibrium Generative Adversarial Networks. David Berthelot, Thomas Schumm, Luke Metz. arXiv:1703.10717. 128 x 128 image Objective Function Diversity/Sharpness Ratio
  21. 21. Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. AGENDA ◆GANs @NIPS2017 ◆Generative Adversarial Networks(GANs) ◆GANs Progress
  22. 22. Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. Generative Adversarial Nets @ NIPS 2017 NIPS2017本会議では、34本のGAN論文(※)が採択 (※GANが中心となる論文) 課題分類 課題内容 合計 Oral Spotlight Poster 学習の収束性・安定性 Training Convergence/Stability GAN学習での安定な平衡解や収束性の 理解、よい学習⽅法を得る 11 1 5 5 半教師あり学習 Semi-supervised Learning 限られた少数教師データを活⽤した GAN学習をできるようにする 5 5 Mode Collapse回避 Avoiding Mode Collapse GeneratorがDiscriminatorを騙せる 単⼀Modeに落ち込むのを回避。 多様な⽣成をできるようにする 3 1 2 解きほぐされた表現学習 Learning Disentangled  RepresentaCons 制御・活⽤しやすい 解きほぐされた潜在表現の獲得 3 1 2 模倣学習 ImitaCon Learning 模倣学習でのGAN活⽤ 3 3 構造的な⽣成 Structural GeneraCon 多様な構造をもった⽣成を 出来るようにする 2 2 データ拡張 Data AugmentaCon データ拡張へのGAN適⽤ 2 2 その他 他 5 2 3
  23. 23. Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. Generative Adversarial Nets @ NIPS 2017 NIPS2017本会議では、34本のGAN論文(※)が採択 (※GANが中心となる論文) 課題分類 課題内容 合計 Oral Spotlight Poster 学習の収束性・安定性 Training Convergence/Stability GAN学習での安定な平衡解や収束性の 理解、よい学習⽅法を得る 11 1 5 5 半教師あり学習 Semi-supervised Learning 限られた少数教師データを活⽤した GAN学習をできるようにする 5 5 Mode Collapse回避 Avoiding Mode Collapse GeneratorがDiscriminatorを騙せる 単⼀Modeに落ち込むのを回避。 多様な⽣成をできるようにする 3 1 2 解きほぐされた表現学習 Learning Disentangled  RepresentaCons 制御・活⽤しやすい 解きほぐされた潜在表現の獲得 3 1 2 模倣学習 ImitaCon Learning 模倣学習でのGAN活⽤ 3 3 構造的な⽣成 Structural GeneraCon 多様な構造をもった⽣成を 出来るようにする 2 2 データ拡張 Data AugmentaCon データ拡張へのGAN適⽤ 2 2 その他 他 5 2 3
  24. 24. Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. 学習の収束性・安定性:Training Convergence/Stability : 11論文 Gradient descent GAN optimization is locally stable. Vaishnavh Nagarajan, J. Zico Kolter. The Numerics of GANs. Lars Mescheder, Sebastian Nowozin, Andreas Geiger. [Oral +Poster : 1] [Spotlight (SL) + Poster : 6] Approximation and Convergence Properties of Generative. Adversarial Learning. Shuang Liu, Olivier Bousquet, Kamalika Chaudhuri. f-GANs in an Information Geometric Nutshell. Richard Nock, Zac Cranko, Aditya Krishna Menon, Lizhen Qu, Robert C. Williamson. f-GANs in an Information Geometric Nutshell. Richard Nock, Zac Cranko, Aditya Krishna Menon, Lizhen Qu, Robert C. Williamson. Bayesian GAN. Yunus Saatchi, Andrew Gordon Wilson. Dualing GANs. Yujia Li, Alexander Schwing, Kuan-Chieh Wang, Richard Zemel. Fisher GAN. Youssef Mroueh, Tom Sercu. [Poster : 5] GANs Trained by a Two Time-Scale Update Rule Converge to a Local Nash Equilibrium. Martin Heusel, Hubert Ramsauer, Thomas Unterthiner, Bernhard Nessler, Sepp Hochreiter. MMD GAN: Towards Deeper Understanding of Moment Matching Network. Chun-Liang Li, Wei-Cheng Chang, Yu Cheng, Yiming Yang, Barnabás Póczos. Improved Training of Wasserstein GANs Ishaan Gulrajani, Faruk Ahmed, Martin Arjovsky, Vincent Dumoulin, Aaron Courville. Stabilizing Training of Generative Adversarial Networks through Regularization. Kevin Roth, Aurelien Lucchi, Sebastian Nowozin, Thomas Hofmann. GANの学習の収束性・安定性 GAN学習での安定な平衡解や収束性の理解、よい学習方法を得る
  25. 25. Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. 学習の収束性・安定性:Training Convergence/Stability : 11論文 Gradient descent GAN optimization is locally stable. Vaishnavh Nagarajan, J. Zico Kolter. The Numerics of GANs. Lars Mescheder, Sebastian Nowozin, Andreas Geiger. [Oral +Poster : 1] [Spotlight (SL) + Poster : 6] Approximation and Convergence Properties of Generative. Adversarial Learning. Shuang Liu, Olivier Bousquet, Kamalika Chaudhuri. f-GANs in an Information Geometric Nutshell. Richard Nock, Zac Cranko, Aditya Krishna Menon, Lizhen Qu, Robert C. Williamson. f-GANs in an Information Geometric Nutshell. Richard Nock, Zac Cranko, Aditya Krishna Menon, Lizhen Qu, Robert C. Williamson. Bayesian GAN. Yunus Saatchi, Andrew Gordon Wilson. Dualing GANs. Yujia Li, Alexander Schwing, Kuan-Chieh Wang, Richard Zemel. Fisher GAN. Youssef Mroueh, Tom Sercu. [Poster : 5] GANs Trained by a Two Time-Scale Update Rule Converge to a Local Nash Equilibrium. Martin Heusel, Hubert Ramsauer, Thomas Unterthiner, Bernhard Nessler, Sepp Hochreiter. MMD GAN: Towards Deeper Understanding of Moment Matching Network. Chun-Liang Li, Wei-Cheng Chang, Yu Cheng, Yiming Yang, Barnabás Póczos Improved Training of Wasserstein GANs Ishaan Gulrajani, Faruk Ahmed, Martin Arjovsky, Vincent Dumoulin, Aaron Courville. Stabilizing Training of Generative Adversarial Networks through Regularization. Kevin Roth, Aurelien Lucchi, Sebastian Nowozin, Thomas Hofmann. GANの学習の収束性・安定性 GAN学習での安定な平衡解や収束性の理解、よい学習方法を得る
  26. 26. Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. NIPS17[Oral]:Gradient descent GAN optimization is locally stable(Nagarajan+) GANの不安定性、平衡点の存在証明は行われてきたが 平衡点が局所安定なのかは解明されていなかった また、GANは平衡点近傍でもConcave-Concave。安定性証明が難しい ■ Towards Principled Methods for Training Generative Adversarial Networks. Martin Arjovsky, Léon Bottou. arXiv:1701.04862. In ICLR 2017. GANで生成分布と真の分布の support が互いに素な場合の不安定性 ■ Generalization and Equilibrium in Generative Adversarial Nets (GANs). Sanjeev Arora, Rong Ge, Yingyu Liang, Tengyu Ma, Yi Zhang. arXiv:1703.00573. In ICML 2017. GANのモデル表現力と平衡点の存在 Gradient descent GAN optimization is locally stable. Vaishnavh Nagarajan, J. Zico Kolter. arXiv:1706.04156. In NIPS 2017.
  27. 27. Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. Wasserstein GAN NIPS17[Oral]:Gradient descent GAN optimization is locally stable(Nagarajan+) Gradient descent GAN optimization is locally stable. Vaishnavh Nagarajan, J. Zico Kolter. arXiv:1706.04156. In NIPS 2017. 非線形系の定理を用い、GAN平衡点での局所安定性を証明 (ただWasserstein GANは、収束しない循環構造を持ちうる) GAN Streamline plots around the equilibrium (WGAN can have non-convergent limit cycles near equilibrium.)
  28. 28. Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. NIPS17[Oral]:Gradient descent GAN optimization is locally stable(Nagarajan+) 新たな正則化項も提案。正則化追加でWGANの平衡点の局所安定性も保証される また、GAN・WGANともに収束速度の向上・Mode Collapse回避が行える Wasserstein GAN η = 0.0 η = 0.25 η = 0.5 η = 1.0 GAN Streamline plots around the equilibrium (0, 1) With Regularization Gradient descent GAN optimization is locally stable. Vaishnavh Nagarajan, J. Zico Kolter. arXiv:1706.04156. In NIPS 2017.
  29. 29. Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. NIPS17[SL]: Bayesian GAN (Saatchi+) Generator/Discriminator のパラメータ分布を導入 ベイズ推定で逐次的更新 特殊な学習テクニックなくよい収束性を獲得 Bayesian Inference for GANs Semi-Supervised Learning Stochastic gradient HMC Bayesian GAN. Yunus Saatchi, Andrew Gordon Wilson. arXiv:1705.09558. In NIPS 2017.
  30. 30. Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. NIPS17[SL]: Bayesian GAN (Saatchi+) 1%ラベルデータの半教師ありクラス分類で State of the Art Mode Collapse回避 Data MLGAN Bayesian GAN Results on Synthetic Data Semi-supervised Results Bayesian GAN. Yunus Saatchi, Andrew Gordon Wilson. arXiv:1705.09558. In NIPS 2017.
  31. 31. Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. NIPS17[SL]: Dualing GAN (Li+) Dualing GANs. Yujia Li, Alexander Schwing, Kuan-Chieh Wang, Richard Zemel. arXiv:1706.06216. In NIPS 2017. MinMax Gameにより学習が不安定だった Discriminatorを双対問題で定式化。全体最大化問題で学習安定化 Standard GAN Dual GAN Dual GAN Standard GAN Standard GAN Metrics and Generated Images Dual GAN
  32. 32. Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. NIPS17: WGAN with Gradient Penalty (Gulrajani+) WGANのLipschitz制約(勾配上限制約)を、Weight Clipping のかわりに、Gradient Penaltyを用い記述。高次の分布特徴を捉えられる … Improved Training of Wasserstein GANs. Ishaan Gulrajani, Faruk Ahmed, Martin Arjovsky, Vincent Dumoulin, Aaron Courville. arXiv:1704.00028. In NIPS 2017. Original critic loss Gradient penalty
  33. 33. Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. Generative Adversarial Nets @ NIPS 2017 NIPS2017本会議では、34本のGAN論文(※)が採択 (※GANが中心となる論文) 課題分類 課題内容 合計 Oral Spotlight Poster 学習の収束性・安定性 Training Convergence/Stability GAN学習での安定な平衡解や収束性の 理解、よい学習⽅法を得る 11 1 5 5 半教師あり学習 Semi-supervised Learning 限られた少数教師データを活⽤した GAN学習をできるようにする 5 5 Mode Collapse回避 Avoiding Mode Collapse GeneratorがDiscriminatorを騙せる 単⼀Modeに落ち込むのを回避。 多様な⽣成をできるようにする 3 1 2 解きほぐされた表現学習 Learning Disentangled  RepresentaCons 制御・活⽤しやすい 解きほぐされた潜在表現の獲得 3 1 2 模倣学習 ImitaCon Learning 模倣学習でのGAN活⽤ 3 3 構造的な⽣成 Structural GeneraCon 多様な構造をもった⽣成を 出来るようにする 2 2 データ拡張 Data AugmentaCon データ拡張へのGAN適⽤ 2 2 その他 他 5 2 3
  34. 34. Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. 半教師あり学習: Semi-supervised Learning: 5論文 [Poster : 5] Good Semi-supervised Learning that Requires a Bad GAN. Zihang Dai, Zhilin Yang, Fan Yang, William W. Cohen, Ruslan Salakhutdinov. Semi-Supervised Learning for Optical Flow with Generative Adversarial Networks. Wei-Sheng Lai, Jia-Bin Huang, Ming-Hsuan Yang. GANの半教師あり学習 限られた少数教師データを活用したGAN学習をできるようにする Semi-supervised Learning with GANs: Manifold Invariance with Improved Inference. Abhishek Kumar, Prasanna Sattigeri, P. Thomas Fletcher. Triangle Generative Adversarial Networks. Zhe Gan, Liqun Chen, Weiyao Wang, Yunchen Pu, Yizhe Zhang, Hao Liu, Chunyuan Li, Lawrence Carin. Triple Generative Adversarial Nets. Chongxuan Li, Kun Xu, Jun Zhu, Bo Zhang.
  35. 35. Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. 半教師あり学習: Semi-supervised Learning: 5論文 [Poster : 5] Good Semi-supervised Learning that Requires a Bad GAN. Zihang Dai, Zhilin Yang, Fan Yang, William W. Cohen, Ruslan Salakhutdinov Semi-Supervised Learning for Optical Flow with Generative Adversarial Networks. Wei-Sheng Lai · Jia-Bin Huang · Ming-Hsuan Yang. GANの半教師あり学習 限られた少数教師データを活用したGAN学習をできるようにする Semi-supervised Learning with GANs: Manifold Invariance with Improved Inference. Abhishek Kumar, Prasanna Sattigeri, P. Thomas Fletcher. Triangle Generative Adversarial Networks. Zhe Gan, Liqun Chen, Weiyao Wang, Yunchen Pu, Yizhe Zhang, Hao Liu, Chunyuan Li, Lawrence Carin. Triple Generative Adversarial Nets. Chongxuan Li, Kun Xu, Jun Zhu, Bo Zhang.
  36. 36. Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. [先行研究]ICLR17: Adversarially Learned Inference/Bi-GAN Adversarially Learned Inference. Vincent Dumoulin, Ishmael Belghazi, Ben Poole, Olivier Mastropietro, Alex Lamb, Martin Arjovsky, Aaron Courville. arXiv: 1606.00704. In ICLR 2017. (x, z)ペアのDiscriminatorを用い、表現ベクトルz →データ x、 データx →表現ベクトルz、双方向の射影を同時学習。多様な生成 Adversarially Learned Inference (ALI) Bi-directional GAN (Bi-GAN) Adversarial Feature Learning. Jeff Donahue, Philipp Krähenbühl, Trevor Darrell. arXiv:1605.09782. In ICLR 2017.
  37. 37. Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. [先行研究]NIPS16: Improved Techniques for Training GAN (Salimans+) Improved Techniques for Training GANs. Tim Salimans, Ian Goodfellow, Wojciech Zaremba, Vicki Cheung, Alec Radford, Xi Chen. arXiv:1606.03498. In NIPS 2016. Discriminatorが偽物か、本物の場合はクラスを識別 本物・偽物、クラスは独立なため、Discriminatorが2つの識別双方での 同時最適解を得られない課題があった 1. Feature Matching 2. Minibatch discrimination 3. Historical averaging 4. One-sided label smoothing 5. Virtual batch normalization Techniques Semi-supervised learning MNIST Semi-supervised training with feature matching Semi-supervised training with feature matching and minibatch discrimination CIFAR-10 Generated samples
  38. 38. Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. NIPS17: Triple GAN(Li+) Triple Generative Adversarial Nets. Chongxuan Li, Kun Xu, Jun Zhu, Bo Zhang. arXiv:1703.02291. In NIPS 2017. Generator: Classifier : (x, y)-pair Discriminator: 半教師ありでの条件付き生成学習 Generator: y →x、Classifier: x →y を同時学習 : y → x : x → y Discriminatorからクラス識別の役割を切り出し、GeneratorとDiscriminatorが同時に最適解を取れるように。 GANで少数ラベルデータでクラス条件付きの生成を学習できるようにした。 ※α:論文を通し α=1/2を使用 ※ラベルありのクラス識別Loss:
  39. 39. Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. NIPS17: Triple GAN(Li+) Triple Generative Adversarial Nets. Chongxuan Li, Kun Xu, Jun Zhu, Bo Zhang. arXiv:1703.02291. In NIPS 2017. 半教師ありクラス分類 クラス条件付きでの 表現ベクトル空間の Interpolation 生成画像 半教師ありのクラス分類でState of the Art クラス条件付きの多様な画像生成
  40. 40. Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. 半教師ありの条件付き生成学習。本物ペアか否か・どちらの変換からきたものか識別 の2段Discriminator。多様なデータ種類間での条件付き生成 NIPS17: Triangle GAN(Gan+) Triangle Generative Adversarial Networks. Zhe Gan, Liqun Chen, Weiyao Wang, Yunchen Pu, Yizhe Zhang, Hao Liu, Chunyuan Li, Lawrence Carin. arXiv:1709.06548. In NIPS 2017. Paired Data Ex) Image & attribute D2: (x, y)がPx(x,y), Py(x,y) どちらの変換からきたものか識別 D1: 本物ペアデータか否か識別 本物ペアデータ : 教師あり学習 : 教師なし学習
  41. 41. Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. NIPS17: Triangle GAN(Gan+) Triangle Generative Adversarial Networks. Zhe Gan, Liqun Chen, Weiyao Wang, Yunchen Pu, Yizhe Zhang, Hao Liu, Chunyuan Li, Lawrence Carin. arXiv:1709.06548. In NIPS 2017. Image & label pair Image & Image Pair Image & attribute pair Image editing 半教師ありのクラス分類でState of the Art クラス条件付き生成画像 半教師ありのクラス分類でState of the Art (Triple GANよりよい) 多様なデータ種類のペアで条件付き生成
  42. 42. Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. Generative Adversarial Nets @ NIPS 2017 NIPS2017本会議では、34本のGAN論文(※)が採択 (※GANが中心となる論文) 課題分類 課題内容 合計 Oral Spotlight Poster 学習の収束性・安定性 Training Convergence/Stability GAN学習での安定な平衡解や収束性の 理解、よい学習⽅法を得る 11 1 5 5 半教師あり学習 Semi-supervised Learning 限られた少数教師データを活⽤した GAN学習をできるようにする 5 5 Mode Collapse回避 Avoiding Mode Collapse GeneratorがDiscriminatorを騙せる 単⼀Modeに落ち込むのを回避。 多様な⽣成をできるようにする 3 1 2 解きほぐされた表現学習 Learning Disentangled  RepresentaCons 制御・活⽤しやすい 解きほぐされた潜在表現の獲得 3 1 2 模倣学習 ImitaCon Learning 模倣学習でのGAN活⽤ 3 3 構造的な⽣成 Structural GeneraCon 多様な構造をもった⽣成を 出来るようにする 2 2 データ拡張 Data AugmentaCon データ拡張へのGAN適⽤ 2 2 その他 他 5 2 3
  43. 43. Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. Mode Collapse回避: Avoiding Mode Collapse: 3論文 [Spotlight (SL) + Poster : 1] VEEGAN: Reducing Mode Collapse in GANs using Implicit Variational Learning. Akash Srivastava, Lazar Valkov, Chris Russell, Michael U. Gutmann, Charles Sutton. GANの Mode Collapse回避 GeneratorがDiscriminatorを騙せる単一Modeに落ち込むのを回避 多様な生成をできるようにする AdaGAN: Boosting Generative Models. Ilya Tolstikhin, Sylvain Gelly, Olivier Bousquet, Carl-Johann Simon-Gabriel, Bernhard Schölkopf. Dual Discriminator Generative Adversarial Nets. Tu Dinh Nguyen, Trung Le, Hung Vu, Dinh Phung. [Poster : 2]
  44. 44. Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. Mode Collapse回避: Avoiding Mode Collapse: 3論文 VEEGAN: Reducing Mode Collapse in GANs using Implicit Variational Learning. Akash Srivastava, Lazar Valkov, Chris Russell, Michael U. Gutmann, Charles Sutton. GANの Mode Collapse回避 GeneratorがDiscriminatorを騙せる単一Modeに落ち込むのを回避 多様な生成をできるようにする AdaGAN: Boosting Generative Models. Ilya Tolstikhin, Sylvain Gelly, Olivier Bousquet, Carl-Johann Simon-Gabriel, Bernhard Schölkopf. Dual Discriminator Generative Adversarial Nets. Tu Dinh Nguyen, Trung Le, Hung Vu, Dinh Phung. [Poster : 2] [Spotlight (SL) + Poster : 1]
  45. 45. Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. NIPS17[SL]: Dual Discriminator GAN (Nguyen+) 本物と生成分布のKL Divergenceは複数Modeを学習できるが生成質があがらない 一方、Reverse KL Divergenceは生成質が向上するがMode Collapseが生じる 両方を組み合わせ、バランスをとったGANを構築する。 本物データ・生成データそれぞれを評価する2つのDiscriminatorを導入。 3 Player Gameを解く Dual Discriminator Generative Adversarial Nets. Tu Dinh Nguyen, Trung Le, Hung Vu, Dinh Phung. arXiv:1709.03831. In NIPS 2017.
  46. 46. Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. Mode Collapse回避し生成画像の多様性、生成の質、双方を実現 Dual Discriminator Generative Adversarial Nets. Tu Dinh Nguyen, Trung Le, Hung Vu, Dinh Phung. arXiv:1709.03831. In NIPS 2017. Generated Images NIPS17[SL]: Dual Discriminator GAN (Nguyen+)
  47. 47. Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. Generative Adversarial Nets @ NIPS 2017 NIPS2017本会議では、34本のGAN論文(※)が採択 (※GANが中心となる論文) 課題分類 課題内容 合計 Oral Spotlight Poster 学習の収束性・安定性 Training Convergence/Stability GAN学習での安定な平衡解や収束性の 理解、よい学習⽅法を得る 11 1 5 5 半教師あり学習 Semi-supervised Learning 限られた少数教師データを活⽤した GAN学習をできるようにする 5 5 Mode Collapse回避 Avoiding Mode Collapse GeneratorがDiscriminatorを騙せる 単⼀Modeに落ち込むのを回避。 多様な⽣成をできるようにする。 3 1 2 解きほぐされた表現学習 Learning Disentangled  RepresentaCons 制御・活⽤しやすい 解きほぐされた潜在表現の獲得 3 1 2 模倣学習 ImitaCon Learning 模倣学習でのGAN活⽤ 3 3 構造的な⽣成 Structural GeneraCon 多様な構造をもった⽣成を 出来るようにする 2 2 データ拡張 Data AugmentaCon データ拡張へのGAN適⽤ 2 2 その他 他 5 2 3
  48. 48. Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. 解きほぐされた表現学習: Learning Disentangled Representations: 3論文 [Spotlight (SL) + Poster : 1] PixelGAN Autoencoders. Alireza Makhzani, Brendan Frey. 解きほぐされた表現学習に関する3論文 制御・活用しやすい解きほぐされた潜在表現の獲得 Unsupervised Learning of Disentangled Representations from Video. Emily Denton, Vighnesh Birodkar. Structured Generative Adversarial Network. Zhijie Deng, Hao Zhang, Xiaodan Liang, Luona Yang, Shizhen Xu, Jun Zhu, Eric P. Xing. [Poster : 2]
  49. 49. Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. [先行研究]NIPS16: InfoGAN (Chen+) InfoGAN: Interpretable Representation Learning by Information Maximizing Generative Adversarial Nets. Xi Chen, Yan Duan, Rein Houthooft, John Schulman, Ilya Sutskever, Pieter Abbeel. arXiv:1606.03657. In NIPS 2016. Latent code c、Generator 出力との Mutual Information を加え cに関連する要素を表現ベクトル空間に埋め込む
  50. 50. Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. [先行研究]NIPS17: Triple GAN (Li+) Triple Generative Adversarial Nets. Chongxuan Li, Kun Xu, Jun Zhu, Bo Zhang. arXiv:1703.02291. In NIPS 2017. Generator: Classifier : (x, y)-pair Discriminator: 半教師ありでの条件付き生成学習 Generator: y →x、Classifier: x →y を同時学習 : y → x : x → y Discriminatorからクラス識別の役割を切り出し、GeneratorとDiscriminatorが同時に最適解を取れるように。 GANで少数ラベルデータでクラス条件付きの生成を学習できるようにした。 ※α:論文を通し α=1/2を使用 ※ラベルありのクラス識別Loss:
  51. 51. Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. NIPS17: Structured GAN (Deng+) Structured Generative Adversarial Networks. Zhijie Deng, Hao Zhang, Xiaodan Liang, Luona Yang, Shizhen Xu, Jun Zhu, Eric P. Xing. arXiv:1711.00889. In NIPS 2017. z の推定network と(x, z)pairの識別network を追加導入し zの推定、(x,z)識別、yとzの再構築も同時学習。 2つの敵対学習と2つの協調学習で、潜在表現のラベルに対応する部分を分離 Generator: z Inference network: y Inference network: (x, z)-pair Critic network: (x, y)-pair Critic network: I : 本物 x に対応した z に近づける (x,z)-pair (x,y)-pair C: 本物(教師)ペア(x, y)で識別学習 C: 生成ペア(x, y) で 識別学習   Data Augmentationの効果 G: 本物の yと識別される x に近づける G: y条件付きで本物 x に近づける G, I : y と分離されたzを学習 y のReconstruction z のReconstruction Collaborative Learning Adversarial Learning (ALI) (※青字:Triple GANとの差分) G: z条件付きで本物 x に近づける
  52. 52. Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. NIPS17: Structured GAN (Deng+) Structured Generative Adversarial Networks. Zhijie Deng, Hao Zhang, Xiaodan Liang, Luona Yang, Shizhen Xu, Jun Zhu, Eric P. Xing. arXiv:1711.00889. In NIPS 2017. 半教師ありのクラス分類 スタイル変化:ラベル対応の潜在表現y を固定し、潜在表現z を変化 ラベル変化:潜在表現z を固定し、ラベル対応の潜在表現y を変化 ラベル以外を表現する潜在表現z での分類 ラベルに対応する潜在表現y での分類 (MNIST) 半教師ありでラベルに対応する潜在表現y、その他の潜在表現zを分離し獲得 半教師ありのクラス分類でState of the Art 各潜在表現ベクトルを用いたクラス分類 各潜在表現ベクトル変化での生成変化
  53. 53. Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. Generative Adversarial Nets @ NIPS 2017 NIPS2017本会議では、34本のGAN論文(※)が採択 (※GANが中心となる論文) 課題分類 課題内容 合計 Oral Spotlight Poster 学習の収束性・安定性 Training Convergence/Stability GAN学習での安定な平衡解や収束性の 理解、よい学習⽅法を得る 11 1 5 5 半教師あり学習 Semi-supervised Learning 限られた少数教師データを活⽤した GAN学習をできるようにする 5 5 Mode Collapse回避 Avoiding Mode Collapse GeneratorがDiscriminatorを騙せる 単⼀Modeに落ち込むのを回避。 多様な⽣成をできるようにする 3 1 2 解きほぐされた表現学習 Learning Disentangled  RepresentaCons 制御・活⽤しやすい 解きほぐされた潜在表現の獲得 3 1 2 模倣学習 ImitaCon Learning 模倣学習でのGAN活⽤ 3 3 構造的な⽣成 Structural GeneraCon 多様な構造をもった⽣成を 出来るようにする 2 2 データ拡張 Data AugmentaCon データ拡張へのGAN適⽤ 2 2 その他 他 5 2 3
  54. 54. Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. 模倣学習: Imitation Learning: 3論文 [Poster : 3] Robust Imitation of Diverse Behaviors. Ziyu Wang, Josh Merel, Scott Reed, Greg Wayne, Nando de Freitas, Nicolas Heess. GAN模倣学習 模倣学習でのGAN活用 (今回、強化学習関連のテーマセッションが他に2つあるのでリストのみ紹介) Multi-Modal Imitation Learning from Unstructured Demonstrations using Generative Adversarial Nets. Karol Hausman, Yevgen Chebotar, Stefan Schaal, Gaurav Sukhatme, Joseph Lim. InfoGAIL: Interpretable Imitation Learning from Visual Demonstrations. Yunzhu Li, Jiaming Song, Stefano Ermon.
  55. 55. Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. Generative Adversarial Nets @ NIPS 2017 NIPS2017本会議では、34本のGAN論文(※)が採択 (※GANが中心となる論文) 課題分類 課題内容 合計 Oral Spotlight Poster 学習の収束性・安定性 Training Convergence/Stability GAN学習での安定な平衡解や収束性の 理解、よい学習⽅法を得る 11 1 5 5 半教師あり学習 Semi-supervised Learning 限られた少数教師データを活⽤した GAN学習をできるようにする 5 5 Mode Collapse回避 Avoiding Mode Collapse GeneratorがDiscriminatorを騙せる 単⼀Modeに落ち込むのを回避。 多様な⽣成をできるようにする 3 1 2 解きほぐされた表現学習 Learning Disentangled  RepresentaCons 制御・活⽤しやすい 解きほぐされた潜在表現の獲得 3 1 2 模倣学習 ImitaCon Learning 模倣学習でのGAN活⽤ 3 3 構造的な⽣成 Structural GeneraCon 多様な構造をもった⽣成を 出来るようにする 2 2 データ拡張 Data AugmentaCon データ拡張へのGAN適⽤ 2 2 その他 他 5 2 3
  56. 56. Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. 構造的な生成: Structural Generation: 2論文 GANでの生成 構造を持った生成に課題がある GANでの生成例 NIPS 2016 Tutorial: Generative Adversarial Networks, Ian Goodfellow. (128x128 Imagenet)
  57. 57. Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. 構造的な生成: Structural Generation: 2論文 [Poster : 2] 構造的な生成 多様な構造をもった生成を出来るようにする Pose Guided Person Image Generation. Liqian Ma, Qianru Sun, Xu Jia, Bernt Schiele, Tinne Tuytelaars, Luc Van Gool. Dual-Agent GANs for Photorealistic and Identity Preserving Profile Face Synthesis. Jian Zhao, Lin Xiong, Panasonic Karlekar Jayashree, Jianshu Li, Fang Zhao, Zhecan Wang, Panasonic Sugiri Pranata, Panasonic Shengmei Shen, Shuicheng Yan, Jiashi Feng.
  58. 58. Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. [先行研究]NIPS16: Learning What and Where to Draw (Reed+) Learning What and Where to Draw. Scott Reed, Zeynep Akata, Santosh Mohan, Samuel Tenka, Bernt Schiele, Honglak Lee. arXiv:1610.02454. In NIPS 2016. 文章からの画像生成 表示位置情報も条件付したGAN
  59. 59. Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. [先行研究]ICCV17: StackGAN (Zhang+) 1段目で文章から低解像度画像を生成 2段目で低解像度画像から高解像度画像を生成 StackGAN: Text to Photo-realistic Image Synthesis with Stacked Generative Adversarial Networks. Han Zhang, Tao Xu, Hongsheng Li, Shaoting Zhang, Xiaolei Huang, Xiaogang Wang, Dimitris Metaxas. arXiv:1612.03242. In ICCV 2017. (256x256 image)
  60. 60. Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. NIPS17: Pose Guided Person Image Generation (Ma+) Pose Guided Person Image Generation. Liqian Ma, Qianru Sun, Xu Jia, Bernt Schiele, Tinne Tuytelaars, Luc Van Gool. arXiv:1705.09368. In NIPS 2017. 参照画像・姿勢条件付きの人画像生成。L1 Lossで姿勢変化した 低解像度の全体画像を生成し、条件付きGANで高解像度化 Pose Mask (256x256 image) (128x64 image)
  61. 61. Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. NIPS17: Pose Guided Person Image Generation (Ma+) Pose Guided Person Image Generation. Liqian Ma, Qianru Sun, Xu Jia, Bernt Schiele, Tinne Tuytelaars, Luc Van Gool. arXiv:1705.09368. In NIPS 2017. (256x256 image) (128x64 image) 参照画像に対し、多様な姿勢での画像生成
  62. 62. Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. NIPS17: Dual-Agent GAN (Zhao+) Dual-Agent GANs for Photorealistic and Identity Preserving Profile Face Synthesis. Jian Zhao, Lin Xiong, Karlekar Jayashree, Jianshu Li, Fang Zhao, Zhecan Wang, Sugiri Pranata, Shengmei Shen, Shuicheng Yan, Jiashi Feng. In NIPS 2017. Simulatorの3Dモデルで回転させた不完全な顔画像を、Generatorで精緻化 顔方向・人物をあわせる形で、真の画像に近づけていく Generator Discriminator (AutoEncoder) Simulator Optimization - Generator : - Discriminator : → Face RoI Extraction → 68-Point Landmark Detection → 3D Face Model → Simulated Profile Faces with Pre-Defined Angles 同一の人物 (多クラスCross Entropy) 同一の顔方向 (Pixel-wise L1) AutoEncodrでの復元 (Boundary Equilibrium Reg.) y x~ x~ x x
  63. 63. Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. NIPS17: Dual-Agent GAN (Zhao+) Dual-Agent GANs for Photorealistic and Identity Preserving Profile Face Synthesis. Jian Zhao, Lin Xiong, Karlekar Jayashree, Jianshu Li, Fang Zhao, Zhecan Wang, Sugiri Pranata, Shengmei Shen, Shuicheng Yan, Jiashi Feng. In NIPS 2017. Generated Images State of the Art for Face Verification / Identification on NIST- IJB-A benchmark dataset Recognition via generation (pre-trained models are fine-tuned on original data and generated data with DA-GAN) 各角度で余分な構造物を除去した顔画像生成が行えている 生成画像でデータ拡張し、Face Verification/Face IdentificationでState of the Art Generated Images
  64. 64. Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. Generative Adversarial Nets @ NIPS 2017 NIPS2017本会議では、34本のGAN論文(※)が採択 (※GANが中心となる論文) 課題分類 課題内容 合計 Oral Spotlight Poster 学習の収束性・安定性 Training Convergence/Stability GAN学習での安定な平衡解や収束性の 理解、よい学習⽅法を得る 11 1 5 5 半教師あり学習 Semi-supervised Learning 限られた少数教師データを活⽤した GAN学習をできるようにする 5 5 Mode Collapse回避 Avoiding Mode Collapse GeneratorがDiscriminatorを騙せる 単⼀Modeに落ち込むのを回避。 多様な⽣成をできるようにする。 3 1 2 解きほぐされた表現学習 Learning Disentangled  RepresentaCons 制御・活⽤しやすい 解きほぐされた潜在表現の獲得 3 1 2 模倣学習 ImitaCon Learning 模倣学習でのGAN活⽤ 3 3 構造的な⽣成 Structural GeneraCon 多様な構造をもった⽣成を 出来るようにする 2 2 データ拡張 Data AugmentaCon データ拡張へのGAN適⽤ 2 2 その他 他 5 2 3
  65. 65. Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. データ拡張: Data Augmentation、その他 [Poster : 2] A Bayesian Data Augmentation Approach for Learning Deep Models. Toan Tran, Trung Pham, Gustavo Carneiro, Lyle Palmer, Ian Reid. Learning to Compose Domain-Specific Transformations for Data Augmentation. Alexander J. Ratner, Henry R. Ehrenberg, Zeshan Hussain, Jared Dunnmon, Christopher Ré. データ拡張: Data Augmentation データ拡張へのGAN適用 その他 Adversarial Ranking for Language Generation. Kevin Lin, Dianqi Li, Xiaodong He, Zhengyou Zhang, Ming- Ting Sun. Unsupervised Image-to-Image Translation Networks. Ming-Yu Liu, Thomas Breuel, Jan Kautz. Generalizing GANs: A Turing Perspective. Roderich Gross, Yue Gu, Wei Li, Melvin Gauci. Temporal Coherency based Criteria for Predicting Video Frames using Deep Multi-stage Generative Adversarial Networks. Prateep Bhattacharjee, Sukhendu Das. Wasserstein Learning of Deep Generative Point Process Models. Shuai Xiao, Mehrdad Farajtabar, Xiaojing Ye, Junchi Yan, Le Song, Hongyuan Zha. [Spotlight (SL) + Poster : 2] [Poster : 3] リストのみを記載
  66. 66. Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. Generative Adversarial Nets @ NIPS 2017 NIPS2017本会議では、34本のGAN論文(※)が採択 (※GANが中心となる論文) 課題分類 課題内容 合計 Oral Spotlight Poster 学習の収束性・安定性 Training Convergence/Stability GAN学習での安定な平衡解や収束性の 理解、よい学習⽅法を得る 11 1 5 5 半教師あり学習 Semi-supervised Learning 限られた少数教師データを活⽤した GAN学習をできるようにする 5 5 Mode Collapse回避 Avoiding Mode Collapse GeneratorがDiscriminatorを騙せる 単⼀Modeに落ち込むのを回避。 多様な⽣成をできるようにする 3 1 2 解きほぐされた表現学習 Learning Disentangled  RepresentaCons 制御・活⽤しやすい 解きほぐされた潜在表現の獲得 3 1 2 模倣学習 ImitaCon Learning 模倣学習でのGAN活⽤ 3 3 構造的な⽣成 Structural GeneraCon 多様な構造をもった⽣成を 出来るようにする 2 2 データ拡張 Data AugmentaCon データ拡張へのGAN適⽤ 2 2 その他 他 5 2 3
  67. 67. Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. AGENDA ◆GANs @NIPS2017 ◆Generative Adversarial Networks(GANs) ◆GANs Progress

×