Recommended
More Related Content
What's hot
Similar to GANの基本
Similar to GANの基本 (20)
GANの基本
- 1. GAN １
- 5. （今回の）⽣成モデル⼀⾔で 任意の分布を何かしらのデータを⽣成する真の分布に変換する関数 任意の分布 真の分布 学習 観測データ p✓(x) = Z p✓(x|z)p(z)dz ⽣成モデルp(z) pdata(x) = p✓(x) 変換前のベクトル𝑧は 出⼒の特徴を表すことから 潜在変数と呼ばれる 5
- 11. GANを⼀⾔で ⽣成ネットワークGと識別ネットワークDの騙し合いゲーム イメージ 贋作を作る ⽣成機G ⽣成 贋作 本物 真贋⾒分ける 識別機D (Fate/grand order) vs 11
- 12. ⽣成ネットワークGの⽬的 ⽣成 𝐷に⾃分の⽣成した出⼒が本物であると誤認させたい ⼊⼒: 潜在変数 𝑧 出⼒: 偽データ 𝑥!"#$ ロス: 𝐷が𝑥!"#$を受け取って出⼒する偽物への確信度 1 − 𝑝 𝐶 = 1 𝑥!"#$ インスピレーション ⼊⼒ 評価 12
- 13. 識別ネットワークDの⽬的 𝐺の作った贋作なのか本物なのかを識別したい ⼊⼒: とあるデータ𝑥 (本物 𝑥%"&" or 贋作 𝑥!"#$) 出⼒: 本物への確信度 𝑝(𝐶 = 1|𝑥) ロス: 出⼒と正解ラベルとの誤差 正解ラベル 誤差関数 評価 ⼊⼒ 誤差 13
- 14. 数式に落とし込む 潜在変数 𝑧 訓練データ 𝑥-./. ⽣成データ 𝑥0.12 = 𝐺(𝑧) 識別機の出⼒ 𝑦 = 𝐷(𝑥) 識別機の損失関数 ⽣成機の損失関数 ED(x) = (t log y + (1 t) log(1 y)) G G(z) xfake D D(x) Eg(z) = log(1 D(G(z)) 14
- 15. ⽣成モデル⼀⾔で 任意の分布を何かしらのデータを⽣成する真の分布に変換する関数 任意の分布 真の分布 学習 観測データ p✓(x) = Z p✓(x|z)p(z)dz ⽣成モデルp(z) pdata(x) = p✓(x) 変換前のベクトル𝑧は 出⼒の特徴を表すことから 潜在変数と呼ばれる 15
- 17. 理想的な識別機 理想的には となり、損失関数 の正解ラベルがそれぞれの分布から抽出される ことに注意して と変換したものに代⼊すると pdata(x) D(x) ED(x) = (t log y + (1 t) log(1 y)) D(x) = pdata(x) pdata(x) + pg(x) pg(x) (Epdata(x)[ln D(x)] + Epg(x)[ln(1 D(x))]) 17
- 18. Z pdata ln pdata ddata + pg dx Z pdata ln pg ddata + pg dx Z pdata ln 2pdata ddata + pg dx + Z pdata ln 2dx Z pdata ln 2pg ddata + pg dx + Z pg ln 2dx 2DJS[pdata||pg] + 2 ln 2 と変換することができ、識別機の⽬的は訓練データ集合の従う分布と、 ⽣成されたデータ集合の従う分布のJSダイバージェンスを求めることに 対応していることがわかります。 18
- 19. 理想的な⽣成機 理想的な識別機の働きについて確認したらそれに敵対する⽣成機 の学習内容を考えることは簡単です。識別器が適切に分布間距離 を求めることで損失関数を最⼩化しようとしているのに対し、 ⽣成機は を に近づけることで、識別機の損失関数を 最⼤化しようとします 2DJS[pdata||pg] + 2 ln 2 pg pdata 19
- 20. 実験 実際にデータが⽣成されていく様⼦を⾒ていく 潜在変数 p(z) = N(0, 1) 20
- 23. 実験 識別機の構造 ● ● ● 10ノード sigmoid x p(C = 1|x) LeakyReLU 23
- 24. 実験 学習データ数 10000 1度の学習に使⽤するデータ数 1024(ランダム抽出) 学習回数 1000回 100回ごとに⽣成機からの出⼒をサンプリング 24
- 25. 結果 真の分布（からのサンプリング） 100 200 300 400 500 600 700 800 900 1000 モード崩壊の始まり 25
- 29. 再実験 先ほどのネットワークが （⼊⼒層, 中間層, 出⼒層）=(1, 10, 1)と 構成されていたのに対して今回はD, Gそれぞれ （⼊⼒層, 中間層*2, 出⼒層）=(1, 100, 100, 1)と 層とノードを増やすことで表現⼒の向上を図った 他の条件は先ほどと同じ 29
- 30. 結果 真の分布（からのサンプリング） 100 200 300 400 500 600 700 800 900 1000 先ほどよりも真の分布に近そう 30
- 34. GANの発展 A Review on Generative Adversarial Networks: Algorithms, Theory, and Applications written by Jie Gui, Zhenan Sun, Yonggang Wen, Dacheng Tao, Jieping Ye (Submitted on 20 Jan 2020) 34