Deep Learning JP: http://deeplearning.jp/hacks/

1. /34DL HACKS 論文紹介
Photographic Image Synthesis
with Cascaded Refinement Networks
Leo Tsukada
DL Hacks
2017/12/04
1
arXiv:1707.09405

2. /34DL HACKS 論文紹介
テーマ
▸ Motivation
▸ CG -> 光の反射などによる見え方の計算を短縮
▸ mental imagery & simulation -> 効率的な学習への鍵？
2topic
Photo synthesis
Semantic segmentation

3. /34DL HACKS 論文紹介
背景
▸ GANを用いた画像生成
Goodfellow et al.
MNISTの画像生成(32*32)
Denton et al.
multiple separate GAN(?) 96*96 の解像度
Radfold et al.
modifications and heuristics to solve instability、128*128の解像度
3
Mode collapseなどの問題により、
学習が困難な場合がある

4. /34DL HACKS 論文紹介
背景
▸ Isola et al.
Conditional GAN
cityscape の画像生成
4

5. /34DL HACKS 論文紹介
概観
▸ Cascaded Refinement Networks (CRN)
5
3×3conv
ReLU
3×3conv
ReLU
c + di−1 channels di channels di channels

6. /34DL HACKS 論文紹介
▸ Cascaded modules
▸ photorealismの上で鍵となる概念
Global Coordination : 広い領域での規則性、feature matchingで実現
high resolution : 段階的に2倍ずつ高めていくことで実現
Big capacity : 画像生成の汎用性を高めるには多くのパラーメータ領域が必要
概観
6
wi × hi × di
wi+1 × hi+1 × di+1
= 2wi × 2hi × di+1
wi+2 × hi+2 × di+2
= 4wi × 4hi × di+2
bilinear
upsampling
bilinear
upsampling

7. /34DL HACKS 論文紹介
学習
▸ 1対多の対応問題
7
最終的な画像のみをground truthとするのは、厳しすぎる
既存のCNNの中でfeature matchingを行い
あらゆる特徴量でロスを算出する。

8. /34DL HACKS 論文紹介
学習
8
l :conv1-2, conv2-2, conv3-2, conv4-2, conv5-2
λl :hyper parameters
g(L; θ):synthesized image
I :the reference image

9. /34DL HACKS 論文紹介
VGG-19
9
…
…
…
…
…
reference
fake

10. /34DL HACKS 論文紹介
VGG-19
10
…
…
…
…
…
e1
e2
e3
e4
e5
reference
fake

11. /34DL HACKS 論文紹介
Synthesizing a diverse collection
11
e2
l = 2
reference
fake
j番目
c枚

12. /34DL HACKS 論文紹介
実験
▸ semantic segmentation のネットワークで評価できない？
評価関数を最大化するようにいじれば簡単に騙される
Amazon Mechanical Turkで人に任せる！
12

13. /34DL HACKS 論文紹介
実験1
▸ 今回開発したCRNと他のベースラインをランダムにペア
▸ 時間無制限で比較
13
※%は比較したベースラインより、
CRNの方がrealisticだと答えた割合

14. /34DL HACKS 論文紹介
実験1
▸ 今回開発したCRNと他のベースラインをランダムにペア
▸ 時間無制限で比較
14

15. /34DL HACKS 論文紹介
実験2
▸ Pix2pixや本物の写真と比べる
▸ 制限時間を0.125~8sで設ける
15

16. /34DL HACKS 論文紹介
論文まとめ
▸ cascaded modeleで解像度を段階的に上げていった
▸ 誤差関数としてVGG19を用いて、feature matching
▸ さらにoutputの多様性を許すために、diversity lossを設定
▸ 結果、めっちゃリアリスティック
16

17. /34DL HACKS 論文紹介
学習結果
▸ Qifeng et alによる学習済みモデル(3000枚*100 epoch)
17

18. /34DL HACKS 論文紹介
学習結果
▸ Qifeng et alによる学習済みモデル(3000枚*100 epoch)
18

19. /34DL HACKS 論文紹介
学習結果
▸ CPUだけで頑張って学習(100枚*200 epoch)
19

20. /34DL HACKS 論文紹介
学習結果
▸ CPUだけで頑張って学習(100枚*200 epoch)
20

21. /34DL HACKS 論文紹介
学習結果
▸ CPUだけで頑張って学習(100枚*200 epoch)
21

22. /34DL HACKS 論文紹介
学習結果
▸ CPUだけで頑張って学習(100枚*200 epoch)
22

23. /34DL HACKS 論文紹介
学習結果
▸ CPUだけで頑張って学習(100枚*200 epoch)
23

24. /34DL HACKS 論文紹介
学習結果
▸ CPUだけで頑張って学習(100枚*200 epoch)
24

25. /34DL HACKS 論文紹介
学習結果
▸ CPUだけで頑張って学習(100枚*200 epoch)
25

26. /34DL HACKS 論文紹介
学習結果
▸ CPUだけで頑張って学習(100枚*200 epoch)
26

27. /34DL HACKS 論文紹介
学習結果
▸ CPUだけで頑張って学習(100枚*200 epoch)
27

28. /34DL HACKS 論文紹介
学習結果
▸ CPUだけで頑張って学習(100枚*200 epoch)
28

29. /34DL HACKS 論文紹介
学習結果
▸ CPUだけで頑張って学習(100枚*200 epoch)
29

30. /34DL HACKS 論文紹介
学習結果
▸ CPUだけで頑張って学習(100枚*200 epoch)
30

31. /34DL HACKS 論文紹介
学習結果
▸ CPUだけで頑張って学習(100枚*200 epoch)
31

32. /34DL HACKS 論文紹介
learning rateの違いを比較
32

33. /34DL HACKS 論文紹介
Small error makes it realistic?
33
epoch 150 epoch 185

34. /34DL HACKS 論文紹介
まとめ・感想
▸ CRNの学習過程は確認できた。
▸ 学習時間かかりすぎ….
▸ GPUわからん
▸ データの多様性が重要？
▸ 次はPytorch頑張る
34