いつの日か発表したGANのスライドです． SlideShare用に補足説明と，手書きの数式をいくつか加えています． https://ymztmt.hatenablog.com/entry/2018/06/11/211213

1. Generative Adversarial Nets

2. Abstract

3. Abstract
GANの概念図
・GANはGeneratorとDiscriminatorが競い合うように，学習を進める．
・Generator(以下G)は，データの分布をとらえる．
・Discriminator(以下D)は，与えられたサンプルがGで生成されたデータなのか，
教師データからきたものなのかを識別する．
Z
noise
G
Generator
D
Discriminator
X
data
Probability
of
Data from X

4. Abstract
GANの概念図
・Generatorは与えられたノイズから教師データと同様の分布を作成し，
Discriminatorは与えられたデータが，教師データからきたデータなのか，
もしくはGeneratorで生成されたデータなのかを識別する．Discriminatorの
出力は入力されたデータが教師データ由来である確率(スカラー)．
Z
noise
G
Generator
D
Discriminator
X
data
Probability
of
Data from X

5. Abstract
・DがGからきたデータを教師データのXからきたデータであると誤認識する
確率が最大になるように学習を進める．
・Gが教師データの分布を再現できるようになると，分布のどこにおいても，
D X =
1
2
になる．
・ GとDはともにMLP(Multi Layer Perceptrons)で，バックプロパゲーション
により学習を進める．(当然だが，必ずしもMLPである必要はない．)
・学習中，データ生成中ともにマルコフ連鎖とunrolled approximate inference
networksは不要．
・実験ではGANのポテンシャルについて，定性的にも定量的にも示している．

6. Kullback Leibler Divergence
同じ確率変数Xに対して，異なる確率分布𝑃(𝑋)と𝑄(𝑋)があるとき，
Kullback Leabler Divergenceを使って，この2つの分布にどれだけの差があるのか
を図ることができる．
Kullback Leibler Divergenceにおいて最も有用な性質は非負であるという点である．
離散変数において，PとQが同じ分布である場合に限って，KLダイバージェンスは
0となり，連続変数の場合，「ほとんどいたるところで」等しくなる．
ただし非対称であるため，距離的な尺度ではない．

7. Jensen Shannon Divergence
Kullback Leibler Divergenceに対称性を持たせたもの．距離概念として捉える
ことができる．

8. Adversarial Nets

9. Adversarial Nets
・𝑉 𝐺, 𝐷 をDに関して最大値をとり，その後Gに関して最小値をとる．
・第一項はDescriminatorに訓練データ𝑥を与えたときの出力の期待値．
・第二項はDescriminatorに生成データ𝐺(𝑧)を与えたときの出力の期待値．

10. Adversarial Nets
(a)𝑝 𝑔の分布は𝑝 𝑑𝑎𝑡𝑎と似ており，Dは部分的に正確に分類
できている．
(b)Dは教師データを区別できるよう学習が進み，
𝐷 𝑥 =
𝑝 𝑑𝑎𝑡𝑎
𝑝 𝑑𝑎𝑡𝑎+𝑝 𝑔
に収束する．
(c)Dの勾配は𝐺(𝑧) をより精工に訓練データのようなデータが
生成できるようにする．
(d)数ステップの学習ののち，GとDに十分なキャパシティがあれば，𝑝 𝑔 = 𝑝 𝑑𝑎𝑡𝑎
となり，これ以上改善できなくなる．Dは二つの分布を区別できなくなり，
このときD(x)=1/2になる． https://arxiv.org/pdf/1406.2661.pdf
Green : G(z)
Blue Dot : D(x)
Black Dot : Train Data

11. 補足
・図の下側でz軸からx軸に向かっている矢印はzがG(z)に
よって写像される様子を表す．
(a) 状態0
(b) Dの学習が進んだ状態．
(c) Gの学習が進んだ状態．
を繰り返し，
(d) 最適化された状態．
つまり，G(z)が教師データのxと同じ分布を表現できるようになった状態．
https://arxiv.org/pdf/1406.2661.pdf
Green : G(z)
Blue Dot : D(x)
Black Dot : Train Data

12. Algorithm
https://arxiv.org/pdf/1406.2661.pdf

13. Algorithm
・θ 𝑑はDのMLPの重みとバイアス．Binary Cross Entropyに基づき導出された式．
・Dの出力は確率なので0～1の間．
したがって，log(𝐷(𝒙𝑖
))もlog(1 − 𝐷(𝐺 𝒛𝑖
))も負．
・目的関数の値が常に負になるため，stochastic gradient ascentにより計算．
𝑦 = log(𝑥)
1

14. Theretical Results