ICML2018 勉強会

1. ICML2018 勉強会 M2 中塚俊介

3. Tempered Adversarial Networks

4. Copyright © 2018 Gifu-U Kato-Lab All Rights Reserved. TL;DR ◼ GANの学習は安定しない ― GeneratorとDiscriminatorのバランスを調整するのが難しい ― Mode Collapse ◼ 普通のGANはfixされたデータ分布に生成分布を近づける ◼ この手法ではデータ分布を生成分布に近づけるようにして安定化を図った ― データ分布を生成分布に近づけるために Lens Networkを用いる ― この枠組みは，DCGAN・LSGAN・WGANなどObjectiveにかかわらず有効 4

5. Copyright © 2018 Gifu-U Kato-Lab All Rights Reserved. Motivation ◼ GANの学習は安定しない ― GeneratorとDiscriminatorのバランスを調整するのが難しい ― Mode Collapse ◼ GANの学習中において，生成分布は常に変化するのにデータ分布は一切変化しない ― 生成分布とデータ分布を完全に見極めるようなDiscriminatorができると学習が破綻 ― じゃあ，データ分布を生成分布に近づけてあげよう pdata pg 完全に分離できるDiscriminator pdata pg 完全分離できないように 5

7. Copyright © 2018 Gifu-U Kato-Lab All Rights Reserved. Objective ◼ Lensの目的関数は2つの項からなる ― LL A : 敵対的誤差 ― LL R : 再構成誤差 ◼ GAN自体のLossは ― Generatorは変更なし ― Discriminatorは D(L(x)) に ― Metricsに関わらず適用可能 [ ( ( ( )))]A L x XL E log D L x= − 2 2( )R L x XL E x L x= − A R L L LL L L= + Lens [ ( ( ( )))]G z ZL E log D G z= − [ ( ( ( )))] [ (1 ( ( )))]D x X z ZL E log D L x E log D G z  −= − − Discriminator Generator 7

8. Copyright © 2018 Gifu-U Kato-Lab All Rights Reserved. Lensの強さは動的 ◼ Lensの強さを決定するパラメータλ は，学習が進むにつれて減少させるように設計 ◼ λ = 0 になると，Lensは取り払ってしまう ◼ 論文では，K=105で固定 ) 0 1 2 ( otherwi t sin t e K s K      −   =       8

9. Copyright © 2018 Gifu-U Kato-Lab All Rights Reserved. Lensの役割 ◼ Lensは単射（1対1対応の写像）である必要はない ◼ だからLensによって同じデータポイントへ写像されることがある ― これにより，分布の複雑さが緩和される ― そのため，学習が安定 ◼ 以前からガウスノイズをx に付加するテクニックはあった ― しかし，減衰率は手動設定だった ― Lensはその調節も動的にしてくれている（多分， λ の減衰とは別に） 9

12. Optimizing the Latent Space of Generative Networks

14. Copyright © 2018 Gifu-U Kato-Lab All Rights Reserved. Objective ◼ クラス分類のように，1対1対応の x とz のペアを作る ◼ ノイズz をGeneratorによって写像する ◼ MinMin問題となっていて，学習が安定する ◼ Lossの推移で学習がうまくいってるか判断できる 14 1 1 min min ( ( ), ) i N i i z i l g z x N   = 

15. Copyright © 2018 Gifu-U Kato-Lab All Rights Reserved. Objective of θ ◼ zから，g(z)を得る ― GANでは，Adversarial Lossをとるが，今回は教師データx がある ― x との距離を測ればよい ◼ MSEではなく，Laplacian Pyramid Lossを用いる ― 解像度でピラミッドを作り，上下レイヤで差分したもの ― 位置感度は鈍感，各周波数ごとに差をとれる ― 小規模DiscriminatorにおけるEMDに一致するらしい 15 2 1 ( , ) 2 ( ) ( )j j j j Lap x x L x L x−  = −

16. Copyright © 2018 Gifu-U Kato-Lab All Rights Reserved. Objective of z ◼ 事前分布は正規分布 ◼ 学習中にzは，変化していく ― そのため，ノルムもその都度変化する ― これでは，Lipchitz連続性が保てない ◼ 半径1の閉単位超球に収まるように正規化 ― z の次元数d として， d で割るだけ ◼ ObejctiveはReconstruction Loss 16 2 2 ( )zL g z x= −

ICML2018 勉強会

You are reading a preview.

Check these out next

ICML2018 勉強会

More Related Content

Slideshows for you (20)

More from Shunsuke NAKATSUKA (8)

Recently uploaded (20)