[DL Hacks 実装]Photographic Image Synthesis with Cascaded Refinement Networks
•
4 likes•1,374 views
Deep Learning JP: http://deeplearning.jp/hacks/
Recommended
Recommended
More Related Content
What's hot
What's hot (20)
More from Deep Learning JP
More from Deep Learning JP (20)
Recently uploaded
Recently uploaded (8)
[DL Hacks 実装]Photographic Image Synthesis with Cascaded Refinement Networks
- 1. /34DL HACKS 論文紹介 Photographic Image Synthesis with Cascaded Refinement Networks Leo Tsukada DL Hacks 2017/12/04 1 arXiv:1707.09405
- 2. /34DL HACKS 論文紹介 テーマ ▸ Motivation ▸ CG -> 光の反射などによる見え方の計算を短縮 ▸ mental imagery & simulation -> 効率的な学習への鍵？ 2topic Photo synthesis Semantic segmentation
- 3. /34DL HACKS 論文紹介 背景 ▸ GANを用いた画像生成 Goodfellow et al. MNISTの画像生成(32*32) Denton et al. multiple separate GAN(?) 96*96 の解像度 Radfold et al. modifications and heuristics to solve instability、128*128の解像度 3 Mode collapseなどの問題により、 学習が困難な場合がある
- 4. /34DL HACKS 論文紹介 背景 ▸ Isola et al. Conditional GAN cityscape の画像生成 4
- 5. /34DL HACKS 論文紹介 概観 ▸ Cascaded Refinement Networks (CRN) 5 3×3conv ReLU 3×3conv ReLU c + di−1 channels di channels di channels
- 6. /34DL HACKS 論文紹介 ▸ Cascaded modules ▸ photorealismの上で鍵となる概念 Global Coordination : 広い領域での規則性、feature matchingで実現 high resolution : 段階的に2倍ずつ高めていくことで実現 Big capacity : 画像生成の汎用性を高めるには多くのパラーメータ領域が必要 概観 6 wi × hi × di wi+1 × hi+1 × di+1 = 2wi × 2hi × di+1 wi+2 × hi+2 × di+2 = 4wi × 4hi × di+2 bilinear upsampling bilinear upsampling
- 7. /34DL HACKS 論文紹介 学習 ▸ 1対多の対応問題 7 最終的な画像のみをground truthとするのは、厳しすぎる 既存のCNNの中でfeature matchingを行い あらゆる特徴量でロスを算出する。
- 8. /34DL HACKS 論文紹介 学習 8 l :conv1-2, conv2-2, conv3-2, conv4-2, conv5-2 λl :hyper parameters g(L; θ):synthesized image I :the reference image
- 11. /34DL HACKS 論文紹介 Synthesizing a diverse collection 11 e2 l = 2 reference fake j番目 c枚
- 12. /34DL HACKS 論文紹介 実験 ▸ semantic segmentation のネットワークで評価できない？ 評価関数を最大化するようにいじれば簡単に騙される Amazon Mechanical Turkで人に任せる！ 12
- 13. /34DL HACKS 論文紹介 実験1 ▸ 今回開発したCRNと他のベースラインをランダムにペア ▸ 時間無制限で比較 13 ※%は比較したベースラインより、 CRNの方がrealisticだと答えた割合
- 14. /34DL HACKS 論文紹介 実験1 ▸ 今回開発したCRNと他のベースラインをランダムにペア ▸ 時間無制限で比較 14
- 15. /34DL HACKS 論文紹介 実験2 ▸ Pix2pixや本物の写真と比べる ▸ 制限時間を0.125~8sで設ける 15
- 16. /34DL HACKS 論文紹介 論文まとめ ▸ cascaded modeleで解像度を段階的に上げていった ▸ 誤差関数としてVGG19を用いて、feature matching ▸ さらにoutputの多様性を許すために、diversity lossを設定 ▸ 結果、めっちゃリアリスティック 16
- 17. /34DL HACKS 論文紹介 学習結果 ▸ Qifeng et alによる学習済みモデル(3000枚*100 epoch) 17
- 18. /34DL HACKS 論文紹介 学習結果 ▸ Qifeng et alによる学習済みモデル(3000枚*100 epoch) 18
- 19. /34DL HACKS 論文紹介 学習結果 ▸ CPUだけで頑張って学習(100枚*200 epoch) 19
- 20. /34DL HACKS 論文紹介 学習結果 ▸ CPUだけで頑張って学習(100枚*200 epoch) 20
- 21. /34DL HACKS 論文紹介 学習結果 ▸ CPUだけで頑張って学習(100枚*200 epoch) 21
- 22. /34DL HACKS 論文紹介 学習結果 ▸ CPUだけで頑張って学習(100枚*200 epoch) 22
- 23. /34DL HACKS 論文紹介 学習結果 ▸ CPUだけで頑張って学習(100枚*200 epoch) 23
- 24. /34DL HACKS 論文紹介 学習結果 ▸ CPUだけで頑張って学習(100枚*200 epoch) 24
- 25. /34DL HACKS 論文紹介 学習結果 ▸ CPUだけで頑張って学習(100枚*200 epoch) 25
- 26. /34DL HACKS 論文紹介 学習結果 ▸ CPUだけで頑張って学習(100枚*200 epoch) 26
- 27. /34DL HACKS 論文紹介 学習結果 ▸ CPUだけで頑張って学習(100枚*200 epoch) 27
- 28. /34DL HACKS 論文紹介 学習結果 ▸ CPUだけで頑張って学習(100枚*200 epoch) 28
- 29. /34DL HACKS 論文紹介 学習結果 ▸ CPUだけで頑張って学習(100枚*200 epoch) 29
- 30. /34DL HACKS 論文紹介 学習結果 ▸ CPUだけで頑張って学習(100枚*200 epoch) 30
- 31. /34DL HACKS 論文紹介 学習結果 ▸ CPUだけで頑張って学習(100枚*200 epoch) 31
- 32. /34DL HACKS 論文紹介 learning rateの違いを比較 32
- 33. /34DL HACKS 論文紹介 Small error makes it realistic? 33 epoch 150 epoch 185
- 34. /34DL HACKS 論文紹介 まとめ・感想 ▸ CRNの学習過程は確認できた。 ▸ 学習時間かかりすぎ…. ▸ GPUわからん ▸ データの多様性が重要？ ▸ 次はPytorch頑張る 34