[DL Hacks]Variational Approaches For Auto-Encoding Generative Adversarial Networks
•
20 likes•7,458 views
2018/04/16 Deep Learning JP: http://deeplearning.jp/hacks/
![Variational Approaches For Auto-Encoding
Generative Adversarial Networks
Shintaro Murakami, Dentsu Inc.
DEEP LEARNING JP [DL HACKS]](https://image.slidesharecdn.com/alpha-gan-inpl-180417074219/85/DL-Hacks-Variational-Approaches-For-Auto-Encoding-Generative-Adversarial-Networks-1-320.jpg)
More Related Content
What's hot
What's hot (20)
More from Deep Learning JP
More from Deep Learning JP (20)
Recently uploaded
Recently uploaded (8)
[DL Hacks]Variational Approaches For Auto-Encoding Generative Adversarial Networks
- 1. Variational Approaches For Auto-Encoding Generative Adversarial Networks Shintaro Murakami, Dentsu Inc. DEEP LEARNING JP [DL HACKS]
- 2. 書誌情報 論⽂名 Variational Approaches For Auto-Encoding Generative Adversarial Networks. 著者 Mihaela Rosca, Balaji Lakshminarayanan, David Warde-Farley, Shakir Mohamed (DeepMind社) 論⽂URL https://arxiv.org/pdf/1706.04987.pdf Point alpha-GANという新しいGANの⼿法を提唱している。 GANとVAEを組み合わせることで、両⽅の良いところを組み合わせ、より良い特徴表現を学習できる 選定理由 ・実装を通して、GANの学習のための最適化の書き⽅など、今後役に⽴ちそうなノウハウが⾝につく ・近年盛り上がっているGANの事例として興味深い
- 4. Alpha-GANとは
- 5. alpha-GANとは alpha-GANはGenerative Adversarial NetsとVariational Auto Encoderを組み合わせた⼿法。 お互いの⻑所を組み合わせることで、より良い特徴表現を学習できる。 Real Data X Encoder Encoded Z’ Random Z Code Discriminator Encoded or Random? Generator Generated X’ Discriminator Real or Fake? alpha-GAN
- 8. 特にRadford et al. (2015)によって提案されたDC-GANは、⾼精細な画像⽣成によって世間を驚かせた。 BatchNormalizationの導⼊など、⾰新的な⼿法も提案された。 Generative Adversarial Netsの概要 Math on Face
- 9. ・学習が安定せずパラメータチューニングが必要となる。 ・Generatorが偏ったデータしか⽣成しなくなる”Mode Collapse”が起きる Generative Adversarial Netsの弱点
- 10. Generative Adversarial Netsの弱点 Mode Collapseの分かりやすい例 例えばMNISTを学習するときに、「1」だけ異 常にうまく⽣成できるようになってしまった場 合。 全⼒で「1」さえ⽣成すれば、Discriminatorを 騙し続けることができるので、そっちに偏って 学習してしまう。 このような問題を回避するためにW-GANや VEEGANなどの⼿法が開発されている。alpha- GANと⽐べてどっちがいいということではな く、alpha-GANにもW-GANの仕組みを取り⼊ れた実装がある。
- 13. まずAuto Encoderについて データ X Encoder Decoder ⽣成データ X’ Auto Encoder 潜在空間 Z 普通のAuto Encoder ⼀番基本的な構造。次元圧縮などに⽤いられる。
- 15. Variational Auto Encoderの概要 データ X Encoder Decoder 分散 σ 平均 μ ⽣成データ X’ Variational Auto Encoder 潜在空間 Z ⼊⼒から直接潜在空間にEncodeするのではなく、⼀旦(μ, σ)にEncodeする。 (μ, σ)をガウス分布のパラメータとして、サンプルしたものを潜在空間Zの変数とする。 これは、Encoderの結果にガウシアンノイズをいれているようなものともとることができる。 さらに、⽬的関数でKL距離を最⼩化することでZ全体の分布を正規分布に近づける。
- 17. ⽐較すると⼀⽬瞭然 テストデータの Encode-Decode ランダムな潜在変数の Decode 潜在空間内の モーフィング AutoEncoder Variational Auto Encoder
- 19. ② Encodeされたzをブレさせることで、学習データを⽔増ししたような効果が得られる。 データ X Encoder Decoder 分散 σ 平均 μ ⽣成データ X’ Variational Auto Encoder 潜在空間 Z データxを⼀度(μ, σ)にし、そこからガウス分布に従ってサンプリングすることによりzを得る。 この間に⼊ったガウス分布が、AutoEncoderの中間値にノイズを⼊れるような働きをする。
- 23. alpha-GAN
- 30. alpha-GANの損失関数 Real Data X Encoder Encoded Z’ Random Z Code Discriminator Encoded or Random? Generator Generated X’ Discriminator Real or Fake? alpha-GAN 4つの損失関数を組み合わせて最適化している。 Reconstruction loss Code Discriminator Loss Generator Loss Discriminator Loss
- 31. Reconstruction loss Code Discriminator Loss Generator Loss Discriminator Loss alpha-GANの損失関数 Encode-Decodeして画像を元通りに復元できるか 得られたZの分布が望み通りの形になっているか GeneratorがDiscriminatorを騙されているか DiscriminatorがGeneratorを騙せているか
- 33. Code Discriminator Loss ⽣成された特徴空間Zの分布がきちんと望み通りのものに なっているかチェックする。VAE由来の損失関数。 Real Data X Encoder Encoded Z’ Random Z Code Discriminator Encoded or Random? Generator Generated X’ Discriminator Real or Fake?
- 34. Code Discriminator Loss ⽣成された特徴空間Zの分布がきちんと望み通りのものに なっているかチェックする。 Real Data X Encoder Encoded Z’ Random Z Code Discriminator Encoded or Random? Generator Generated X’ Discriminator Real or Fake?
- 35. Density ratio trick | Code Discriminator Loss ここで、元となったVAEはKL-divergenceを使って得られたZの分布が望み通りになっていることを チェックしていた。しかしながら、KL-divergenceはガウス分布を仮定しているため、それよりも複 雑な分布を仮定できないという⽋点があった。 そこで、density ratio trickという⼿法を使い、KL-divergenceを以下のように近似した。 GANのLoss関数と同じ
- 36. Density ratio trick | Code Discriminator Loss この近似により、 Encoderにより⽣成された特徴量とZからランダムにサンプルされた特徴量を識別する識別器Cω をつくり、訓練することで特徴空間Zの分布を望みの分布に寄せることができる。 そのため、この識別器をCode Discriminatorと⾔う。 Real Data X Encoder Encoded Z’ Random Z Code Discriminator Encoded or Random? Generator Generated X’ Discriminator Real or Fake?
- 37. Generator Loss おなじみのGANの損失関数。GeneratorがうまくDiscriminatorを騙せているか評価する。 GANとの相違点は、AutoEncoderによってAutoEncodeされたXもGenerated Xとして扱う点。 Real Data X Encoder Encoded Z’ Random Z Code Discriminator Encoded or Random? Generator Generated X’ Discriminator Real or Fake?
- 39. Hybrid Loss Functions これらの4つの損失関数をまとめることで、ネットワーク全体を最適化する。 論⽂中ではHybrid loss functionsと呼ばれている。
- 40. Hybrid Loss Functions Reconstruction loss Discriminator loss Generator loss Code discriminator loss これらの4つの損失関数をまとめることで、ネットワーク全体を最適化する。 論⽂中ではHybrid loss functionsと呼ばれている。
- 41. Hybrid Loss Functions Reconstruction loss Discriminator loss Generator loss Code discriminator loss これらの4つの損失関数をまとめることで、ネットワーク全体を最適化する。 論⽂中ではHybrid loss functionsと呼ばれている。 VAE GAN GAN VAE
- 42. alpha-GANによる顔画像の⽣成結果 DCGAN WGAN-GP AGE alpha-GAN ⽣成結果は以下のようになる。 VAEの仕組みを⽤いているにもかかわらず、GANに劣らない鮮明な画像を⽣成することができてい る。 Negative Wasserstein distance
- 45. 実装に向けて
- 51. 結果をチラ⾒せ
- 52. 実装
- 61. ResBlock Input X ResBlock Conv2d BatchNorm Activation Output Y 2015年にMicrosoft Researchが発表したDeep Residual Learning(ResNet)で提案された⼿法。 ⾮常に深く層を重ねることが可能で、ResNetでは154層で画像を学習し、⼈間を超える精度を記録した。 ⼊⼒が出⼒に直接Addされているのが特徴。 Conv2d BatchNorm ActivationADD
- 69. TensorFlowでのUpSampling TensorFlowにはkeras.layers.UpSampling2Dやtorch.nn.UpsampleにあたるAPIが存在しない。 世の中のQiitaの記事にはConvolutional2D() + UpSampling2D() の機能を持つ tf.nn.conv2d_transposeを使うものが多いが、これではResNetを構成できない。 Input X ResBlock Conv2d BatchNorm Activation Output Y Conv2d BatchNorm ActivationADD
- 79. Train alpha-GAN
- 80. 1-15⾏⽬: 下準備
- 83. 68-75⾏⽬: ⽬的関数の定義
- 88. 132⾏⽬ - : 学習処理 ポイント：AutoEncoderは他の部分の2倍学習させている。Discriminator陣がはやく賢くなりすぎるため。
- 89. 実験結果
- 93. モーフィング
- 95. 所感
- 96. Keras使いからみたTensorFlow Keras = ブロックを組み⽴てるイメージ TensorFlow = ブレッドボード上で配線するイメージ やはりKerasよりも頭を使ってプログラミングをすることになるが、昔よりもだいぶ使いやすくなった。 tf.layersが素晴らしい。