Download as PDF, PPTX
![[DL輪読会] “Asymmetric Tri-training for Unsupervised Domain Adaptation (ICML2017...](https://cdn.slidesharecdn.com/ss_thumbnails/dlhacks20170728-170728025901-thumbnail.jpg?width=640&height=640&fit=bounds)
![[DL Hacks] Deterministic Variational Inference for RobustBayesian Neural Netw...](https://cdn.slidesharecdn.com/ss_thumbnails/adobepdffile2-190628001736-thumbnail.jpg?width=640&height=640&fit=bounds)
![[AI08] 深層学習フレームワーク Chainer × Microsoft で広がる応用](https://cdn.slidesharecdn.com/ss_thumbnails/ai08-170705031536-thumbnail.jpg?width=640&height=640&fit=bounds)
![[DL輪読会]Pervasive Attention: 2D Convolutional Neural Networks for Sequence-to-...](https://cdn.slidesharecdn.com/ss_thumbnails/20180907pervasiveattention2dconvolutionalneuralnetworksforsequence-to-sequenceprediction-180907000649-thumbnail.jpg?width=640&height=640&fit=bounds)
![[DL輪読会]Convolutional Conditional Neural Processesと Neural Processes Familyの紹介](https://cdn.slidesharecdn.com/ss_thumbnails/20191220readingpaperconvcnp-191220034420-thumbnail.jpg?width=640&height=640&fit=bounds)
![[DL輪読会] Learning from Simulated and Unsupervised Images through Adversarial T...](https://cdn.slidesharecdn.com/ss_thumbnails/dlhacks1708281-170907071224-thumbnail.jpg?width=640&height=640&fit=bounds)
Nips20180127
- 1.
- 2.
- 3.
- 5. Triple-GANとは 論文 C. Li, et.al. Triple Generative Adversarial Nets. In NIPS, 2017. 著者らのコード https://github.com/zhenxuan00/triple-gan taki0112氏のTensorflowを用いたCifar10での学習コード https://github.com/taki0112/TripleGAN-Tensorflow 私のTensorflowを用いたMNISTでの学習コード https://github.com/masataka46/tripleGAN 私のChainerを用いたMNISTでの学習コード https://github.com/masataka46/tripleGAN_chainer
- 6. 本日の予定 1. Triple-GANのしくみ 2. Triple-GANの学習方法 3. Triple-GANの学習結果 4. 実装のポイント 5. Triple-GANの改良案 6. Tripel-GANのまとめ 7. NIPS2017から Discriminatorの役割を分けた他の例 8. NIPS2017から 半教師あり学習の他の例
- 7.
- 8. 元祖GANsのしくみ Xl Xg R 元祖 GANs ノイズによって異なる画像を生成する Ian Goodfellow,et. al. Generative adversarial nets. In NIPS, 2014.
- 9. Conditional-GANのしくみ Xl R ３ ３ ３ Conditional-GAN ラベルを一緒に入力し、そのラベルの画像を生成させる M. Mirza andS. Osindero. Conditional generative adversar- ial nets. arXiv preprint arXiv: 1411.1784, 2014 Discriminatorは入力された画像とラベルのペアが real なものか、生成さ れたものかを判別する
- 10. Conditional-GANの問題点 Xl R ３ ３ ３ 例えば Discriminator に と３を入力した時にDiscriminator が生成され た画像とラベルのペアと判定したとする。 これは３っぽい画像だけど本物っぽくないスタイルなので real でないと考 えたのか・・・・ あるいは本物っぽいスタイルだけど３でなく８と考えたからそう判定したの だろうか・・・ Conditional-GANの問題点（１）
- 11.
- 12.
- 13. Triple-GANのしくみ そこで Triple-GAN では新たにClassifier を設ける ３ ３ ３ ３
- 14. Triple-GANのしくみ ① Classifier でラベルを識別する →これによりClassifier の識別性能はどんどん上がるだろう。。。 ３ ３ ３ ３ Classifier にラベルの存在する画像を入れた場合の流れ 出力と正解ラベルから教師あり学習をする
- 15. Triple-GANのしくみ ② Classifier にラベルなしの画像も入れ、ラベルを推論させる →データセットが大幅に増やせる ３ ３ ３ ３ ラベルの無い画像をClassifier に入れた場合の流れ Classifier でラベルを推論し、それを Discriminator に渡す
- 16. Triple-GANのしくみ ③ Classifier にGenerator で生成した画像を入れる →データセットが更に増やせる ３ ３ ３ ３ Generator で生成した画像を Classifier に入れた場合の流れ 教師あり学習をさせる
- 17.
- 18.
- 19. 学習方法① Generator Generator はadversarial な学習のみ。 ３
- 20. 学習方法② Discriminator Discriminator は３種類の流れに対するadversarial な学習。 ３
- 21. 学習方法③ Classifier Classifier は推論したラベルに関するadversarial な学習、real 画像に対す る教師あり学習、Generator で生成された画像に対する教師あり学習 ３
- 22. 学習のポイント 学習がうまくいくポイントは となること ３ p Xl, Xl()= p Xg, Xg( )= p Xc, Xc( )
- 23.
- 24.
- 25. 学習結果 Generator で生成された画像。 各列は同一のノイズ z、各行は同一のラベル y それっぽい画像が生成されている
- 26. 学習結果 Chainer で作成したコードによる学習結果。 Generator から生成された画像。 各列は同一のノイズz 、各行は同一のラベル y 学習回数１回 学習回数１０回 学習回数５００回
- 27. 学習結果 学習速度の比較 同じ半教師学習である Improved GANより収束が早い 学習回数１０回 T. Salimans, et. al. Improved techniques for training GANs. In NIPS, 2016.
- 28.
- 29. Chainer で実装する際のポイント まず Discriminatorを学習させる場合を考える ３
- 30. Chainer で実装する際のポイント お決まりの cleargrads()で Discriminator に溜められた勾配をクリアにする。 ３
- 31. Chainer で実装する際のポイント backward() でDiscriminator の Loss を起点に勾配を計算する ３ →Generator、Classifier の勾配も計算される
- 32. Chainer で実装する際のポイント update() でDiscriminator の重みのみ更新する ３
- 33. Chainer で実装する際のポイント 次に Classifierを学習させる。Disciriminator からの不要な勾配があるの で、これを消す。 ３
- 34. Tensorflow で実装する際のポイント Discriminator のみを学習させる場合、var_listに対象のパラメータを列挙 する ３
- 35. Tensorflow での学習結果 Chainer で作成したコードによる学習結果。 Generatorから生成された画像。 各列は同一のノイズ z 、各行は同一のラベル y 学習回数５００回 学習回数１０００回 ノイズを変えてもラベルを変えても全て同じものが出力される しかも学習回数によってラベルは変わってくる・・・・なぜ？？
- 36.
- 37. 学習のポイント（再掲） 学習がうまくいくポイントは となること ３ p Xl, Xl()= p Xg, Xg( )= p Xc, Xc( )
- 38. Triple-GAN の改良案 現状では Generatorから Classifier への経路だけ誤差逆伝播してない ３ ココ
- 39.
- 40.
- 41. Triple-GAN の改良案 学習結果 Generator から生成された画像（100epochくらい） うまくいかなかった・・・・なぜ？
- 42. Tensorflowでの実装とChainerでの実装、 どちらがいいか l Tensorflow では３日かけて作ったが学習が進まない。。。 l Chainer では１晩で作ったが学習がうまくいった l 面倒臭い設定が少ない Chainer の方が楽か？？？
- 43. 苦労した点 l ハイパーパラメータを少しいじるとうまくいかなくなる。DCGANなど２ 要素の場合より難易度が高いか l supplementarymaterial を見てもハイパーパラメータの詳細は書か れていない →参照されてる論文や著者のコードを読み解く必要が あり、面倒臭い
- 44.
- 45. Triple-GANのまとめ l Triple-GANはGenerator とDiscriminator に加えて Classifier を導入 した l これにより半教師あり学習が可能となった l 学習後の Generator はこれまでのモデルよりリアルな画像を生成し た l 学習後の Classifier はこれまでのモデルより識別性能が上がった l このしくみは特に少ない教師データで学習する際に威力を発揮する
- 46.
- 47. Discriminatorの役割を分離する他の例 DA-GAN 色々な向きを向いた顔画像を生み出して、学習に使いたい シミュレータを使うと本物らしからぬ画像が生成されるので、これを本物っぽくしたい この際に１）顔の角度を指定し、２）個人のラベルを維持、したい 生成器 （generator） 本物画像 合成画像 洗練された画像 識別器 シミューレータ J. Zhao. et.al. Dual-Agent GANs for Photorealistic and Identity Preserving Profile Face Synthesis . In NIPS, 2017.
- 48.
- 49.
- 50.
- 51.
- 52. DA-GANとは 実際は本物画像の「本物っぽさ」を生成画像の「本物っぽさ」の kt 倍にする？ 誰？ 生成器 （generator） 本物画像 合成画像 洗練された画像 L1ノルム 識別器２ 本物っぽさ 識別器１ とすべく で更新する は
- 53.
- 54. DA-GANとは GeneratorのLossの１項目はauto-encoder自体を学習させている？ 誰？ 生成器 （generator） 本物画像 合成画像 洗練された画像 L1 ノルム 識別器２ 本物っぽさ 識別器１ LGθ =−Ladv + λ1Lip( )+ λ2Lpp （ ） LGθ = kt !xi − Dφ !xi( ) i ∑ + λ1Lip ⎛ ⎝ ⎜ ⎞ ⎠ ⎟+ λ2Lpp
- 55.
- 56. 半教師あり学習の他の例 ２枚の画像から Optical Flowを求めるモデル 教師がある場合は予測画像と教師画像から EPE loss を求める 教師がない場合は Flow warp error を求め、adversarial loss を求める W. Lai, et. al. ImSemi-Supervised Learning for Optical Flow with Generative Adversarial Networks proved techniques for training GANs. In NIPS, 2017.