Generative Adversarial Networks (GAN) の学習方法進展・画像生成・教師なし画像変換

1
Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved.
Generative Adversarial Networksの
学習方法進展・画像生成・教師なし画像変換
濱田晃一
AI研究開発グループ週次セミナー
2017/04/20
@hamadakoichi

2
AGENDA
◆GANの教師なし画像変換
◆Generative Adversarial Networks(GAN)
◆GANの学習方法進展・画像生成

3
AGENDA

4
Generative Adversarial Nets(GAN) (Goodfellow+2014)
Generative Adversarial Nets.
Ian J. Goodfellow, Jean Pouget-Abadie, Mehdi Mirza, Bing Xu,
David Warde-Farley, Sherjil Ozair, Aaron Courville, Yoshua Bengio.
arXiv:1406.2661. In NIPS 2014.

5
Generator(生成器)と Discriminator(識別器)を戦わせ
生成精度を向上させる
識別器: “本物データ”と “生成器が作った生成データ”を識別する
生成器: 生成データを識別器に“本物データ”と誤識別させようとする
(Goodfellow+, NIPS2014, Deep Learning Workshop, Presentation)

6
Minimax Objective function
Discriminator が
「本物データ」を「本物」と識別
(Goodfellow+, NIPS2014, Deep Learning Workshop, Presentation)
Discriminator が
「生成データ」を「偽物」と識別する
Discriminatorは
正しく識別しようとする
（最大化）
Generatorは Discriminator に誤識別させようとする（最小化）
Generator(生成器)と Discriminator(識別器)を戦わせ
生成精度を向上させる

7
SGDで Discriminator k回、Generator 1回と交互に学習
MCMC等のSampling必要なく、Back Propagation で解ける
Discriminatorでの
最大化(k 回)
Generator での
最小化(1回)

8
AGENDA

9
学習が難しいGAN。Batch Normalization、LeakyReLU、Adam、等、
学習の安定化のための各種工夫。クリアな画像生成を実現。
DCGAN (Radford+2015)
自然画像のクリアな画像生成画像演算
Unsupervised Representation Learning with Deep
Convolutional Generative Adversarial Networks.
Alec Radford, Luke Metz, Soumith Chintala.
arXiv:1511.06434. In ICLR 2016.

10
Improved Techniques for Training GAN (Salimans+2016)
Improved Techniques for Training GANs.
Tim Salimans, Ian Goodfellow, Wojciech
Zaremba, Vicki Cheung, Alec Radford, Xi Chen.
arXiv:1606.03498. In NIPS 2016.
GANの学習安定化のための各種技術
DCGANとこれらの技術で、2016年以降GAN研究が活発に
1. Feature Matching
2. Minibatch discrimination
3. Historical averaging
4. One-sided label smoothing
5. Virtual batch normalization
Techniques Semi-supervised learning
MNIST
Semi-supervised training
with feature matching
Semi-supervised training
with feature matching and
minibatch discrimination
CIFAR-10
Generated samples

11
Extended Architectures for GAN (2016)
幅広い・クリアな画像生成のための各種GAN拡張
Figure by Chris Olah (2016) :https://twitter.com/ch402/status/793535193835417601
Ex)
Conditional Image Synthesis
With Auxiliary Classifier GANs.
Augustus Odena, Christopher
Olah, Jonathon Shlens.
arXiv: 1610.09585.

12
InfoGAN (Chen+2016)
InfoGAN: Interpretable Representation
Learning by Information Maximizing
Generative Adversarial Nets.
Xi Chen, Yan Duan, Rein Houthooft, John
Schulman, Ilya Sutskever, Pieter Abbeel.
arXiv:1606.03657. In NIPS 2016
Latent code c、Generator 出力との Mutual Information を加え
GANで狙って表現ベクトル空間を学習

13
StackGAN (Zhang+2016)
1段目で文章から低解像度画像を生成
2段目で低解像度画像から高解像度画像を生成
StackGAN: Text to Photo-realistic Image
Synthesis with Stacked Generative Adversarial
Networks.
Han Zhang, Tao Xu, Hongsheng Li, Shaoting Zhang,
Xiaolei Huang, Xiaogang Wang, Dimitris Metaxas.
arXiv:1612.03242.
256 x 256 Image

14
Plug & Play Generative Networks (Nguyen+2016)
ImageNet1000カテゴリの幅広い対象で
高解像度の画像生成
Plug & Play Generative Networks: Conditional
Iterative Generation of Images in Latent Space.
Anh Nguyen, Jason Yosinski, Yoshua Bengio,
Alexey Dosovitskiy, Jeff Clune.
arXiv:1612.00005.
227 x 227 Image

15
f-GAN (Nowozin+2016)
GAN目的関数を Symmetric JS-divergence から
f-divergence に一般化。各Divergence を用い学習・評価
f-GAN: Training Generative
Neural samplers using
variational Divergence
Minimization.
Sebastian Nowozin, Botond
Cseke, Ryota Tomioka.
arXiv:1606.00709.
In NIPS 2016.
Kernel Density Estimation on the MNIST
f-divergence
LSUN

16
WGAN (Arjovsky+2017)
Wasserstein計量を用いたGenerator勾配損失の解消、学習の安定化
CriticがWasserstein計量を算出、Generatorが最小化
Wasserstein GAN.
Martin Arjovsky, Soumith Chintala, Léon Bottou.
arXiv:1701.07875.
LSUN
Wasserstein-1 metric

17
LSGAN(Mao+2017)
Sigmoidに替え二乗誤差を用いた学習安定化
生成データ・実データをマージンありで識別
Least Squares Generative Adversarial Networks.
Xudong Mao, Qing Li, Haoran Xie, Raymond Y.K. Lau, Zhen
Wang, Stephen Paul Smolley.
arXiv:1611.04076. (v2 update: 2017/2/24)
Least square loss functionSigmoid cross entropy loss function

18
BEGAN(Berthelot+2017)
AutoEncoderのDiscriminatorが生成・実画像の識別、実データ復元
生成画像の多様性・クリアさを指定した生成制御
BEGAN: Boundary Equilibrium Generative Adversarial
Networks.
David Berthelot, Thomas Schumm, Luke Metz.
arXiv:1703.10717.
128 x 128 image
Objective Function
Diversity/Sharpness Ratio

19
WGAN with Gradient Penalty (Gulrajani+2017)
WGANで Lipschitz制約(勾配上限制約)を、Weight Clipping のかわ
りに、Gradient Penaltyを用い記述。高次の分布特徴を捉えられる
…
Improved Training of Wasserstein GANs.
Ishaan Gulrajani, Faruk Ahmed, Martin Arjovsky, Vincent Dumoulin,
Aaron Courville.
arXiv:1704.00028.
Original critic loss Gradient penalty

20
AGENDA

21
画像ドメイン間の画像変換
対応関係の教師なしの、各画像集合のみを用いた変換学習
Unsupervised Image to Image translation
(Figures: Zhu+ 2017)

22
同一の表現ベクトル z から２つのGeneratorで各ドメイン画像を生成
Discriminator が生成画像と、ドメインの実画像を識別
CoGAN (Liu+ 2016)
Coupled Generative Adversarial Networks.
Ming-Yu Liu, Oncel Tuzel.
arXiv:1606.07536. In NIPS 2016.
RGB and Depth Images

23
VAE+CoGAN. 各ドメイン画像からEncoderで表現ベクトルzを作り
同一＆別ドメインそれぞれのGenerator画像生成・Discriminator識別
UNIT (Liu+2017)
Unsupervised Image-to-Image Translation
Networks.
Ming-Yu Liu, Thomas Breuel, Jan Kautz.
arXiv:1703.00848

24
2方向のDomain変換のGenerator。変換画像と実画像で各Domain
Discriminatorで識別。2回Domain変換し戻した画像復元、による学習
DiscoGAN (Kim+2017)
Learning to Discover Cross-Domain Relations with Generative
Adversarial Networks.
Taeksoo Kim, Moonsu Cha, Hyunsoo Kim, Jungkwon Lee, Jiwon Kim.
arXiv:1703.05192.

25
Unpaired Image-to-Image Translation using Cycle-
Consistent Adversarial Networks.
Jun-Yan Zhu, Taesung Park, Phillip Isola, Alexei A. Efros
arXiv:1703.10593.
CycleGAN (Zhu+2017)

26
Adversarial Loss
Cyclic consistency Loss
Least Square Loss (LSGAN)
Objective Function
Unpaired Image-to-Image Translation using Cycle-
Consistent Adversarial Networks.
Jun-Yan Zhu, Taesung Park, Phillip Isola, Alexei A. Efros
arXiv:1703.10593.
CycleGAN (Zhu+2017)

27
Photographs to Paintings
CycleGAN (Zhu+2017)

28
Monet paintings to Photographs
CycleGAN (Zhu+2017)

29
AGENDA

30
まとめ
・GANの学習方法進展、画像生成、教師なし画像変換、を紹介。
・GAN学習方法に関する研究が活発に行われ、生成のクオリティ向
上、多様性の向上、生成制御、学習安定化、等、進んでいる。
・教師なし画像変換も、GANを用いた新たな学習方法が試され、質
向上している。

Generative Adversarial Networks (GAN) の学習方法進展・画像生成・教師なし画像変換

More Related Content

What's hot

Viewers also liked

Similar to Generative Adversarial Networks (GAN) の学習方法進展・画像生成・教師なし画像変換

More from Koichi Hamada

Generative Adversarial Networks (GAN) の学習方法進展・画像生成・教師なし画像変換