Downloaded 91 times
![Bread Company
手法（おまけ）なぜWGAN-GPがうまくいくのか
Prop
𝑋: compact metric space
𝑃𝑟, 𝑃𝑔: distributions in 𝑋
𝑓∗
を以下の最適化問題の最適解とする｡
max
𝑓 𝐿
≤1
𝐸 𝑦 𝑓 𝑦 – 𝐸 𝑥[𝑓 𝑥 ]
このとき､Pr ∇𝑓∗
= 1 = Pg ∇𝑓∗
= 1 = 1
∴最適なfの勾配は1→1から外れたらペナルティを課そう
63](https://image.slidesharecdn.com/bread0311open-180311135634/85/Goodfellow-GAN-63-320.jpg)
Uploaded byKatsuya Ito
Goodfellow先生おすすめのGAN論文６つを紹介
以下の6つの論文をゼミで紹介した Progressive Growing of GANs for Improved Quality, Stability, and Variation Spectral Normalization for Generative Adversarial Networks cGANs with Projection Discriminator High-Resolution Image Synthesis and Semantic Manipulation with Conditional GANs Are GANs Created Equal? A Large-Scale Study Improved Training of Wasserstein GANs
More Related Content
![[DL輪読会]Progressive Growing of GANs for Improved Quality, Stability, and Varia...](https://cdn.slidesharecdn.com/ss_thumbnails/kuboshizuma20180316-180525003941-thumbnail.jpg?width=640&height=640&fit=bounds)
![SSII2021 [OS2-02] 深層学習におけるデータ拡張の原理と最新動向](https://cdn.slidesharecdn.com/ss_thumbnails/os2-03latest-210610045610-thumbnail.jpg?width=640&height=640&fit=bounds)
![[DLHacks]StyleGANとBigGANのStyle mixing, morphing](https://cdn.slidesharecdn.com/ss_thumbnails/dlhacks0805-190815052222-thumbnail.jpg?width=640&height=640&fit=bounds)
![[DL輪読会]Model soups: averaging weights of multiple fine-tuned models improves ...](https://cdn.slidesharecdn.com/ss_thumbnails/dl0401-220405031053-thumbnail.jpg?width=640&height=640&fit=bounds)
![[DL輪読会]Wasserstein GAN/Towards Principled Methods for Training Generative Adv...](https://cdn.slidesharecdn.com/ss_thumbnails/wgan-1-170224021826-thumbnail.jpg?width=640&height=640&fit=bounds)
![[DL輪読会]Grokking: Generalization Beyond Overfitting on Small Algorithmic Datasets](https://cdn.slidesharecdn.com/ss_thumbnails/20220325okimura-220405024717-thumbnail.jpg?width=640&height=640&fit=bounds)
Similar to Goodfellow先生おすすめのGAN論文６つを紹介
![[GTC 2018] GTCテクニカルセッション_0913 Ridge-i発表資料](https://cdn.slidesharecdn.com/ss_thumbnails/publicgtc-technicalsession-20180913-180918074321-thumbnail.jpg?width=640&height=640&fit=bounds)
![[DL Hacks]Self-Attention Generative Adversarial Networks](https://cdn.slidesharecdn.com/ss_thumbnails/self-attentiongenerativeadversarialnetworks-180730075733-thumbnail.jpg?width=640&height=640&fit=bounds)
![[DL輪読会]StarGAN: Unified Generative Adversarial Networks for Multi-Domain Ima...](https://cdn.slidesharecdn.com/ss_thumbnails/171222stargan-171225064145-thumbnail.jpg?width=640&height=640&fit=bounds)
![[DL輪読会]Toward Multimodal Image-to-Image Translation (NIPS'17)](https://cdn.slidesharecdn.com/ss_thumbnails/20180427-180514071433-thumbnail.jpg?width=640&height=640&fit=bounds)
![[DL輪読会] MoCoGAN: Decomposing Motion and Content for Video Generation](https://cdn.slidesharecdn.com/ss_thumbnails/0911mocogan-170911121936-thumbnail.jpg?width=640&height=640&fit=bounds)
Goodfellow先生おすすめのGAN論文６つを紹介
- 1. Bread Company @Goodfellow先生おすすめの @GANについての論文を @GANGAN読むゼミ @G Labthe University of Tokyo @GAN素人 @k1ito @GAN玄人 @sumipan 1 発表 聴講
- 2.
- 3.
- 4.
- 5.
- 6.
- 7. Bread Company ①Progressive Growingof GANs ●論文：Progressive Growing of GANs for Improved Quality, Stability, and Variation https://arxiv.org/abs/1710.10196 目的：高画質・安定・多様な画像生成 手法：GeneratorとDiscriminatorに 徐々に高画質な層を追加してく Goodfellow: probably the highest quality images so far 7
- 8. Bread Company 問題提起(1)生成モデルの比較 8 モデル名 長所短所 Autoregressive Model 鮮明 Latentを使わない 遅い VAE 学習が簡単 ぼやける GAN きれい 不安定 高画質はダメ
- 9. Bread Company 問題提起(2)GANの短所について詳しく ● 学習が難しい・不安定 分布が重ならないと勾配がダメになる ●低解像度 高解像度だとDiscriminatorに有利 Batchサイズ的な意味でも難しい ● 多様性がない 一部の特徴しか捉えられない。 9
- 10. Bread Company 提案手法(1) ProgressiveGrowing ●G:低画質→高画質層 D:高画質→低画質層 10
- 11. Bread Company 提案手法(1) なぜProgressiveが良いのか ●低画質のほうが安定した学習ができる クラスに関する情報量が少ない ● 徐々に画質を上げていく ＜ いきなり高画質を入れる （簡単） （難しい） ● Gを１つ、Dを１つでやっている 他にも似たような研究をしている人たちがいるが GとDを１つだけにしているのはこれだけ 11
- 12.
- 13. Bread Company 提案手法(2) MinibatchStandard Deviation ●多様性を加えるために ミニバッチごとに分散を計算して層に挿入する 13
- 14.
- 15. Bread Company 結果(2) ProgressiveGrowingの検証 ●Progressive Growingを入れたほうが早く収束する（2倍ぐらい） ● ふつう Progressive 15
- 16.
- 17. Bread Company ②Spectral Normalizationfor GANs ●論文：Spectral Normalization for Generative Adversarial Networks https://arxiv.org/abs/1802.05957 目的：Discriminatorの学習の安定化 手法：Spectral Normで重みを正規化する Goodfellow:got GANs working on lots of classes, which has been hard 17
- 18. Bread Company 問題提起 GANの問題点 ●Discriminatorの勾配が不安定 𝐷𝐺 ∗ 𝑥 = 𝑞 𝑑𝑎𝑡𝑎 𝑥 𝑞 𝑑𝑎𝑡𝑎 𝑥 +𝑝 𝐺(𝑥) がGを固定したときのoptimalな解だった。 𝐷 𝐺 ∗ 𝑥 ≔ sigmoid 𝑓∗ 𝑥 : = sigmoid(log 𝑞 𝑑𝑎𝑡𝑎 𝑥 − log𝑝 𝐺 𝑥 ) として定めると、 𝛻f∗ x = 1 qdata(x) 𝛻𝑞 𝑑𝑎𝑡𝑎 𝑥 − 1 𝑝 𝐺(𝑥) 𝛻𝑝 𝐺(𝑥) 18 ↑不安定 ↑不安定
- 19. Bread Company 手法：Spectral Norm ●fは実際はNNで、x→x+dtとしたとき、f(x)がどう動くかが不安 DefAを行列とする。Aのspectral normを以下で定める。 𝜎 𝐴 ≔ max ℎ≠0 ||𝐴ℎ||2 ||ℎ||2 つまり、行列Aをかけると、最大でσ(A)倍L2ノルムが大きくなる Rem σ(A)は特異値（固有値のn×m行列ver）のうち最大のもの 19
- 20. Bread Company Spectral NormとLipschitzNorm Thm 𝑓(𝑥, 𝜃) = 𝑊L+1 𝑎 𝐿 ( 𝑊 𝐿 𝑎 𝐿−1 ( 𝑊 𝐿−1 ⋯ 𝑎1(𝑊1 𝑥) ⋯ ) ただし、WはNNのパラメータ、aは活性化関数 とする。 このとき、 || 𝑓 𝑥 – 𝑓 𝑥’ || || 𝑥 − 𝑥′|| ≤ || 𝑓|| 𝐿𝑖𝑝 ≤ 𝑙 𝜎(𝑊 𝑙) Proof 実際、多くの活性化関数はLipschitz連続で、 合成関数のLipschitzノルムは積に分解され、 後はSpectral normの定義から明らか。 20
- 21.
- 22.
- 23.
- 24. Bread Company ③cGANs withProjection Discriminator ●論文：cGANs with Projection Discriminator https://arxiv.org/abs/1802.05637 目的：安定した画像生成 多様な画像生成 カテゴリーを連続的に移動や高画質化も可能にしたい 手法：cGANを改良して、最後にyとの内積をとる Goodfellow:from the same lab as #2, both techniques work well together, overall give very good results with 1000 classes 24
- 25.
- 26. Bread Company 問題提起 cGAN ●cGAN: DとGにカテゴリーのラベルを入れる しかし、それでもモデルの崩壊が生まれたりする。 さらに理論的に考えると、cGANは不自然な操作を行っている。 26
- 27. Bread Company 提案手法 yは後から内積をとってやる ThmGを固定したとき、optimalなDiscriminator Dは 𝐷 = sigmoid{ 𝑦 𝑇 𝑉 𝜙 𝑥; 𝜃Φ + 𝜓 𝜙 𝑥; 𝜃Φ ; 𝜃Ψ } と書ける。つまり、xの関数のoutputとyの内積をとるのがoptimal ただし Vはyの埋め込み行列であり、φ,ψは後に定義されるxの関数 27
- 28. Bread Company 提案手法 Proof 𝐿 𝐷= −∫ ∫ {𝑞(𝑦)𝑞(𝑥|𝑦) log (𝐷 𝑥, 𝑦 ) + 𝑝(𝑦)𝑝(𝑥|𝑦)log(1 − 𝐷(𝑥, 𝑦)} 𝑑𝑥𝑑𝑦 である。一般にa logx + blog(1-x)は a/(a+b)でoptimalであるので、 活性化関数がsigmoidであることに注意すると、 𝑓 𝑥, 𝑦 = log 𝑞 𝑥 𝑦 𝑞 𝑦 𝑝 𝑥 𝑦 𝑝(𝑦) = log 𝑞 𝑦 𝑥 𝑝 𝑦 𝑥 + log 𝑞 𝑥 𝑝(𝑥) ここで、 log 𝑝 𝑦 = 𝑐 𝑥 = 𝑣𝑐 𝑃 𝑇 𝜙 𝑥 − log(𝑍(𝜙 𝑥 )とパラメトライズする Qも同じモデルを使ってDを整理すると、 28 𝐷 = sigmoid{ 𝑦 𝑇 𝑉 𝜙 𝑥; 𝜃Φ + 𝜓 𝜙 𝑥; 𝜃Φ ; 𝜃Ψ }
- 29.
- 30.
- 31. Bread Company 結果(1)スコア 31 手法 InceptionScore Intra FID AC-GAN 28.5 ± 0.20 260.0 Concat 21.1±0.35 141.2 Projection 29.7±0.61 103.1 Projection 850K Iter. 36.8±0.44 92.4
- 32.
- 33. Bread Company 結果(2) Model崩壊の防止 33
- 34.
- 35.
- 36. Bread Company ④Highresolution ImageSynthesis ●論文：High-Resolution Image Synthesis and Semantic Manipulation with Conditional GANs https://arxiv.org/abs/1711.11585 https://tcwang0509.github.io/pix2pixHD/ 目的：高画質・意味付け・多様な画像生成 手法：粗から密のGenerator 複数の画質に対してDiscriminatorを用意 層(特徴量)ごとに差を計算して正則化項とする Goodfellow:GANs for 2-megapixel video 36
- 37.
- 38.
- 39. Bread Company 手法(1)Coarse-to-fine generator G1:global, G2:localというふうに分ける｡ G1は0.5倍した画像をResidual Blockで学習 G2は普通の画像をResidual Blockで学習し途中でG1結果をたす 39
- 40. Bread Company 手法2 Multi-scaleDiscriminator ●D1,D2,D3と別々のDiscriminatorをつくる min 𝐺 max 𝐷1,𝐷2,𝐷3 𝑘=1,2,3 𝐿 𝐺, 𝐷 𝑘 利点: 1｡小さいネットワークで済む 2｡高画質化をしながら過学習に対応する 40
- 41. Bread Company 手法3 AdversarialLoss ●次の項を正則化項として加える｡ T:Layerの合計数 𝑁𝑖:i1層目の合計要素数 41
- 42. Bread Company 手法4 InstanceMaps ●物体の意味を扱いたい｡ ●物体のラベルは隣接している事が多い｡ → ラベルだけでなく輪郭も追加して情報を与え､認識力を上げる｡ 42
- 43.
- 44.
- 45.
- 46.
- 47. Bread Company ⑤ AreGANs Created Equal? ●論文：Are GANs Created Equal? A Large-Scale Study https://arxiv.org/abs/1711.10337 目的：そこまでGAN(original)とX-GANの代わりはない説 FIDのminだけを見ることをへの疑問 その他色々GANの検証 手法：GANs (MM,LS,W,W-GP,BE)-GAN Metric: FID,InceptionScore,F1 Goodfellow:A big empirical study showing the importance of good rigorous empirical work and how a lot of the GAN variants don't seem to actually offer improvements in practice 47
- 48.
- 49. Bread Company GANいろいろ ●WGAN: Wasserstein的に解釈してD･Gを計算 ●LSGAN:sigmoid を2乗誤差にする ●BEGAN: Autoencoder･DiversityとShapenessを指定 ●WGAN-GP: WGANに勾配上限制約をつける ●DRGAN: ●目的関数を線形･凸にするためPenaltyをつける 49
- 50.
- 51. Bread Company Metricいろいろ(1) InceptionScore ●Inception Score (1) p(y|x)のentropyは低いはず Xが与えられればyは定まるはずなので (2) ∫p(y|x=G(z))dzのentropyは高いはず Generateされる画像全部を集めたものなので 51
- 52. Bread Company Metricいろいろ(2) FrechetInception Distance ●Inception Netによってfeature spaceに画像を埋め込む ●Gaussianとみなして良いので平均･共分散行列を計算する｡ 52
- 53. Bread Company FID vsIS 53 ノイズを加える ノイズを加える ぼかす ぼかす
- 54.
- 55.
- 56.
- 57.
- 58.
- 59. Bread Company ⑥Wasserstein GANs- GP ●論文：Improved Training of Wasserstein GANs https://arxiv.org/abs/1704.00028 目的：Wasserstein GANの安定化 手法：WGANに勾配が１になるようにペナルティを化す Goodfellow:probably the most popular GAN variant today and seems to be pretty good in my opinion. Caveat: the baseline GAN variants should not perform nearly as badly as this paper claims, especially the text one 59
- 60. Bread Company 問題提起(1) WassersteinGAN ●普通のGAN ●WassersteinGAN Dは1-Lipschitzな関数のみ 60
- 61.
- 62. Bread Company 手法(1) GradientPenalty 62
- 63. Bread Company 手法（おまけ）なぜWGAN-GPがうまくいくのか Prop 𝑋: compactmetric space 𝑃𝑟, 𝑃𝑔: distributions in 𝑋 𝑓∗ を以下の最適化問題の最適解とする｡ max 𝑓 𝐿 ≤1 𝐸 𝑦 𝑓 𝑦 – 𝐸 𝑥[𝑓 𝑥 ] このとき､Pr ∇𝑓∗ = 1 = Pg ∇𝑓∗ = 1 = 1 ∴最適なfの勾配は1→1から外れたらペナルティを課そう 63
- 64.
- 65.
- 66.
- 67.
- 68. Bread Company 結果(4) 収束 ●WeightClipingより早く･DCGANより安定する 68
- 69.
- 70. Bread Company 結果(6)Sampleの質と相関がある･過学習する ● OursWeight Cliping 70