Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Generative Adversarial Networks (GAN) の学習方法進展・画像生成・教師なし画像変換

18,215 views

Published on

Generative Adversarial Networks (GAN) の学習方法進展・画像生成・教師なし画像変換に関し、Seminar での進展紹介に用いた資料です。

Published in: Data & Analytics
  • Hi there! Essay Help For Students | Discount 10% for your first order! - Check our website! https://vk.cc/80SakO
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here

Generative Adversarial Networks (GAN) の学習方法進展・画像生成・教師なし画像変換

  1. 1. 1 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. Generative Adversarial Networksの 学習方法進展・画像生成・教師なし画像変換 濱田晃一 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. AI研究開発グループ 週次セミナー 2017/04/20 @hamadakoichi
  2. 2. 2 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. AGENDA ◆GANの教師なし画像変換 ◆Generative Adversarial Networks(GAN) ◆GANの学習方法進展・画像生成
  3. 3. 3 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. AGENDA ◆GANの教師なし画像変換 ◆Generative Adversarial Networks(GAN) ◆GANの学習方法進展・画像生成
  4. 4. 4 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. Generative Adversarial Nets(GAN) (Goodfellow+2014) Generative Adversarial Nets. Ian J. Goodfellow, Jean Pouget-Abadie, Mehdi Mirza, Bing Xu, David Warde-Farley, Sherjil Ozair, Aaron Courville, Yoshua Bengio. arXiv:1406.2661. In NIPS 2014.
  5. 5. 5 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. Generative Adversarial Nets(GAN) (Goodfellow+2014) Generator(生成器)と Discriminator(識別器)を戦わせ 生成精度を向上させる 識別器: “本物データ”と “生成器が作った生成データ”を識別する 生成器: 生成データを識別器に“本物データ”と誤識別させようとする (Goodfellow+, NIPS2014, Deep Learning Workshop, Presentation)
  6. 6. 6 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. Generative Adversarial Nets(GAN) (Goodfellow+2014) Minimax Objective function Discriminator が 「本物データ」を「本物」と識別 (Goodfellow+, NIPS2014, Deep Learning Workshop, Presentation) Discriminator が 「生成データ」を「偽物」と識別する Discriminatorは 正しく識別しようとする (最大化) Generatorは Discriminator に誤識別させようとする(最小化) Generator(生成器)と Discriminator(識別器)を戦わせ 生成精度を向上させる
  7. 7. 7 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. Generative Adversarial Nets(GAN) (Goodfellow+2014) SGDで Discriminator k回、Generator 1回と交互に学習 MCMC等のSampling必要なく、Back Propagation で解ける Discriminatorでの 最大化(k 回) Generator での 最小化(1回)
  8. 8. 8 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. AGENDA ◆GANの教師なし画像変換 ◆Generative Adversarial Networks(GAN) ◆GANの学習方法進展・画像生成
  9. 9. 9 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 学習が難しいGAN。Batch Normalization、LeakyReLU、Adam、等、 学習の安定化のための各種工夫。クリアな画像生成を実現。 DCGAN (Radford+2015) 自然画像のクリアな画像生成 画像演算 Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks. Alec Radford, Luke Metz, Soumith Chintala. arXiv:1511.06434. In ICLR 2016.
  10. 10. 10 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. Improved Techniques for Training GAN (Salimans+2016) Improved Techniques for Training GANs. Tim Salimans, Ian Goodfellow, Wojciech Zaremba, Vicki Cheung, Alec Radford, Xi Chen. arXiv:1606.03498. In NIPS 2016. GANの学習安定化のための各種技術 DCGANとこれらの技術で、2016年以降GAN研究が活発に 1. Feature Matching 2. Minibatch discrimination 3. Historical averaging 4. One-sided label smoothing 5. Virtual batch normalization Techniques Semi-supervised learning MNIST Semi-supervised training with feature matching Semi-supervised training with feature matching and minibatch discrimination CIFAR-10 Generated samples
  11. 11. 11 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. Extended Architectures for GAN (2016) 幅広い・クリアな画像生成のための各種GAN拡張 Figure by Chris Olah (2016) :https://twitter.com/ch402/status/793535193835417601 Ex) Conditional Image Synthesis With Auxiliary Classifier GANs. Augustus Odena, Christopher Olah, Jonathon Shlens. arXiv: 1610.09585.
  12. 12. 12 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. InfoGAN (Chen+2016) InfoGAN: Interpretable Representation Learning by Information Maximizing Generative Adversarial Nets. Xi Chen, Yan Duan, Rein Houthooft, John Schulman, Ilya Sutskever, Pieter Abbeel. arXiv:1606.03657. In NIPS 2016 Latent code c、Generator 出力との Mutual Information を加え GANで狙って表現ベクトル空間を学習
  13. 13. 13 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. StackGAN (Zhang+2016) 1段目で文章から低解像度画像を生成 2段目で低解像度画像から高解像度画像を生成 StackGAN: Text to Photo-realistic Image Synthesis with Stacked Generative Adversarial Networks. Han Zhang, Tao Xu, Hongsheng Li, Shaoting Zhang, Xiaolei Huang, Xiaogang Wang, Dimitris Metaxas. arXiv:1612.03242. 256 x 256 Image
  14. 14. 14 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. Plug & Play Generative Networks (Nguyen+2016) ImageNet1000カテゴリの幅広い対象で 高解像度の画像生成 Plug & Play Generative Networks: Conditional Iterative Generation of Images in Latent Space. Anh Nguyen, Jason Yosinski, Yoshua Bengio, Alexey Dosovitskiy, Jeff Clune. arXiv:1612.00005. 227 x 227 Image
  15. 15. 15 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. f-GAN (Nowozin+2016) GAN目的関数を Symmetric JS-divergence から f-divergence に一般化。各Divergence を用い学習・評価 f-GAN: Training Generative Neural samplers using variational Divergence Minimization. Sebastian Nowozin, Botond Cseke, Ryota Tomioka. arXiv:1606.00709. In NIPS 2016. Kernel Density Estimation on the MNIST f-divergence LSUN
  16. 16. 16 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. WGAN (Arjovsky+2017) Wasserstein計量を用いたGenerator勾配損失の解消、学習の安定化 CriticがWasserstein計量を算出、Generatorが最小化 Wasserstein GAN. Martin Arjovsky, Soumith Chintala, Léon Bottou. arXiv:1701.07875. LSUN Wasserstein-1 metric
  17. 17. 17 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. LSGAN(Mao+2017) Sigmoidに替え二乗誤差を用いた学習安定化 生成データ・実データをマージンありで識別 Least Squares Generative Adversarial Networks. Xudong Mao, Qing Li, Haoran Xie, Raymond Y.K. Lau, Zhen Wang, Stephen Paul Smolley. arXiv:1611.04076. (v2 update: 2017/2/24) Least square loss functionSigmoid cross entropy loss function
  18. 18. 18 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. BEGAN(Berthelot+2017) AutoEncoderのDiscriminatorが生成・実画像の識別、実データ復元 生成画像の多様性・クリアさを指定した生成制御 BEGAN: Boundary Equilibrium Generative Adversarial Networks. David Berthelot, Thomas Schumm, Luke Metz. arXiv:1703.10717. 128 x 128 image Objective Function Diversity/Sharpness Ratio
  19. 19. 19 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. WGAN with Gradient Penalty (Gulrajani+2017) WGANで Lipschitz制約(勾配上限制約)を、Weight Clipping のかわ りに、Gradient Penaltyを用い記述。高次の分布特徴を捉えられる … Improved Training of Wasserstein GANs. Ishaan Gulrajani, Faruk Ahmed, Martin Arjovsky, Vincent Dumoulin, Aaron Courville. arXiv:1704.00028. Original critic loss Gradient penalty
  20. 20. 20 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. AGENDA ◆GANの教師なし画像変換 ◆Generative Adversarial Networks(GAN) ◆GANの学習方法進展・画像生成
  21. 21. 21 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 画像ドメイン間の画像変換 対応関係の教師なしの、各画像集合のみを用いた変換学習 Unsupervised Image to Image translation (Figures: Zhu+ 2017)
  22. 22. 22 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 同一の表現ベクトル z から2つのGeneratorで各ドメイン画像を生成 Discriminator が生成画像と、ドメインの実画像を識別 CoGAN (Liu+ 2016) Coupled Generative Adversarial Networks. Ming-Yu Liu, Oncel Tuzel. arXiv:1606.07536. In NIPS 2016. RGB and Depth Images
  23. 23. 23 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. VAE+CoGAN. 各ドメイン画像からEncoderで表現ベクトルzを作り 同一&別ドメインそれぞれのGenerator画像生成・Discriminator識別 UNIT (Liu+2017) Unsupervised Image-to-Image Translation Networks. Ming-Yu Liu, Thomas Breuel, Jan Kautz. arXiv:1703.00848
  24. 24. 24 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 2方向のDomain変換のGenerator。変換画像と実画像で各Domain Discriminatorで識別。2回Domain変換し戻した画像復元、による学習 DiscoGAN (Kim+2017) Learning to Discover Cross-Domain Relations with Generative Adversarial Networks. Taeksoo Kim, Moonsu Cha, Hyunsoo Kim, Jungkwon Lee, Jiwon Kim. arXiv:1703.05192.
  25. 25. 25 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 2方向のDomain変換のGenerator。変換画像と実画像で各Domain Discriminatorで識別。2回Domain変換し戻した画像復元、による学習 Unpaired Image-to-Image Translation using Cycle- Consistent Adversarial Networks. Jun-Yan Zhu, Taesung Park, Phillip Isola, Alexei A. Efros arXiv:1703.10593. CycleGAN (Zhu+2017)
  26. 26. 26 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 2方向のDomain変換のGenerator。変換画像と実画像で各Domain Discriminatorで識別。2回Domain変換し戻した画像復元、による学習 Adversarial Loss Cyclic consistency Loss Least Square Loss (LSGAN) Objective Function Unpaired Image-to-Image Translation using Cycle- Consistent Adversarial Networks. Jun-Yan Zhu, Taesung Park, Phillip Isola, Alexei A. Efros arXiv:1703.10593. CycleGAN (Zhu+2017)
  27. 27. 27 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. Photographs to Paintings CycleGAN (Zhu+2017)
  28. 28. 28 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. Monet paintings to Photographs CycleGAN (Zhu+2017)
  29. 29. 29 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. AGENDA ◆GANの教師なし画像変換 ◆Generative Adversarial Networks(GAN) ◆GANの学習方法進展・画像生成
  30. 30. 30 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. まとめ ・GANの学習方法進展、画像生成、教師なし画像変換、を紹介。 ・GAN学習方法に関する研究が活発に行われ、生成のクオリティ向 上、多様性の向上、生成制御、学習安定化、等、進んでいる。 ・教師なし画像変換も、GANを用いた新たな学習方法が試され、質 向上している。

×