AI勉強会資料

1. Deeply-Recursive Convolutional
Network for Image Super-
Resolution
北海道⼤学⼤学院 情報科学研究科 情報理⼯学専攻
複雑系⼯学講座 調和系⼯学研究室
修⼠1年 桶智輝

2. 論⽂情報
タイトル
– Deeply-Recursive Convolutional Network
for Image Super-Resolution
発表学会
– CVPR2016
被参照数
– 45件（2017/6/26）
著者
– Jiwon Kim, Jung Kwon Lee and Kyoung Mu Lee
(Department of ECE, ASRI, Seoul National University, Korea)
2

3. 概要
画像を⼤きく、輪郭をシャープに
＝ 低解像度の画像を⾼解像度に変換！
低解像度 ⾼解像度
3

4. 先⾏研究
VDSR [CVPR2016]
– Very DeepなCNNでSRに成功している論⽂
– 同じ構造の畳込み層を20層重ねた構造
※ SR：超解像技術（Super-Resolution）
20回同じ構造の畳み込み層を繰り返し
…
低解像度 ⾼解像度
Conv3x3-64 / relu
4

5. 先⾏研究
VDSR [CVPR2016]
– Very DeepなCNNでSRに成功している論⽂
– 同じ構造の畳込み層を20層重ねた構造
※ SR：超解像技術（Super-Resolution）
20回同じ構造の畳み込み層を繰り返し
層とパラメータを1つの層にして再帰すればいいのでは？
…
低解像度 ⾼解像度
Conv3x3-64 / relu
5

6. ネットワークの設計⽅針１
受容野が広くなるように設計
– 受容野の広さ＝情報量
– SRにおいて情報量は⾼解像度に復元するための鍵
狭い受容野の情報量 広い受容野の情報量
6

7. ネットワークの設計⽅針１
受容野が広くなるように設計
– 受容野の広さ＝情報量
– SRにおいて情報量は⾼解像度に復元するための鍵
狭い受容野の情報量 広い受容野の情報量
7

8. ネットワークの構成⽅針２
受容野を広くするための２つの⽅法
1 1 2 4
5 6 7 8
3 2 1 0
1 2 3 4
6 8
3 4
畳み込み層の使⽤
• 層がパラメータを持つ
• パラメータの増加は
学習を難しくする
プーリング層の使⽤
• パラメータは持たない
• Max-Poolingでは
最⼤値以外の情報を失う
8

9. ネットワークの構成⽅針２
受容野を広くするための２つの⽅法
Deep Recursive NN では
パラメータを増やさずに畳み込み層を増やす事ができる
畳み込み層の使⽤
• 層がパラメータを持つ
• パラメータの増加は
学習を難しくする
9

10. 従来のDeep Recursive NNの問題点
1. 浅い（３層が限界）
2. 次元が下がる
3. 過学習
Eigen et al.(ICLR WS2014), Liang et al.(CVPR 2015)
本論⽂で提案する
Deeply Recursive Convolutional Network（DRCN）は上記
の問題を解決
10

11. ベースとなるアプローチ
同じ層を再帰的（最⼤１６回）に⽤いることで
Very Deepなネットワーク構造を実現
– 何度も畳み込みを⾏うことで受容野を広く
– パラメータを増やさずに畳み込み回数を増やしている
𝑓"#$"% 𝑔 𝑓'"()*
11

12. ベースとなるアプローチ
• Inference Network内の畳
み込み層の
パラメータは共有
• ⼊出⼒マップ
𝐻* 𝑛 = −1,0, . . , 𝐷 + 1
のサイズは⼀定
12

13. 学習上の問題点
DeepなRecursive CNNを学習させるのは難しい
1. 勾配発散・消失問題
2. 適切な再帰回数の決定
これらの問題を解決するように改善
1. Skip-connection
• ⼊⼒画像を直接Reconstruction Netに加える
2. Recursive-supervision
• Inference Netで⾏われる再帰毎の出⼒マップを保存し、
Reconstruction Netの出⼒をensembleしてFinal Outputとする
13

14. 改善したアプローチ１ ー Skip-connection
• ⼊⼒画像を直接Reconstruction Netに⼊⼒
SRでは⼊⼒画像は正解データとの相関が⾼いため、推測に重要
深い構造でも⼊⼒が消失や発散することなく、推測に利⽤可能
14

15. 改善したアプローチ２ ー Recursive-supervision
• 再帰毎の出⼒𝐻*を保持し、Reconstruction Netに⼊⼒
• 全てのOutputをensembleし、Final Outputを決定
全ての再帰回数のOutputからFinal Outputを決定するため、
適切な再帰回数を設定する必要がない
15

16. 改善したアプローチ３ ー 数式では
• 再帰回数dでの出⼒ 𝑦7%（Output d）
– 𝑦9% = 𝑓'"()* 𝑥, 𝑔 %
𝑓"#$"% 𝑥 , 𝑑 = 1,2,3, … 𝐷
• 最終出⼒（Final Output）
– 𝑦7 = Σ%@A
B
𝜔% D 𝑦7%
16

17. 誤差関数の設計
Immidiate Outputの誤差
– 𝑙A 𝜃 = Σ%@A
B
ΣG@A
H A
IBH
||𝑦 K − 𝑦7%
(K)
||I
Final Output の誤差
– 𝑙I 𝜃 = ΣG@A
H
||𝑦 K − Σ%@A
B
𝜔% D 𝑦7%
(K)
||I
Total の誤差
– 𝐿 𝜃 = 𝛼𝑙A 𝜃 + 1 − 𝛼 𝑙I 𝜃 + 𝛽||𝜃||I
• 𝛼：中間出力の重み
• 𝛽：Weight Decayの係数
17

18. Training Data
91枚の鮮明な画像データセット（Yang et al.）
41x41のサイズでstrideを21取って切り取ったもの
18

19. Test Data
4種類のデータセット
– Set5, Set14, B100, Urban100
19

20. 評価指標
⼈間の⽬で⾒たとき重要となるのは輝度
• PSNR（ピーク信号対雑⾳⽐）
– 𝑃𝑆𝑁𝑅 = 10 D logAY
Z[]
^
Z_`
• 𝑀𝐴𝑋d：⾼解像度画像の輝度の最⼤値
• 𝑀𝑆𝐸：⾼解像度画像と低解像度画像の間での輝度の平均⼆乗誤差
– 値が⼤きいほど雑⾳が少ない（＝よい）
• SSIM（Structural similarity）
– 輝度値、コントラスト、構造の３つの変化を評価するも
の
20

21. 実験結果１
再帰回数による影響
– 縦軸：PSNR
– 横軸：ネットワークの再帰回数
再帰回数が多いほどPSNRは⼤きくなった
21

22. 実験結果２
Ensembleによる影響
– 縦軸：PSNR
– 横軸：選択した再帰層の回数
• 問題によって最適な再帰回数は異なった
• Ensembleしたものが最もPSNRが⾼くなった
点線：Ensembleした
Final OutputのPSNR
⾚：２倍のサイズ
緑：３倍のサイズ
⻘：４倍のサイズ
ネットワークはすべて
16回再帰する構造
22

23. 実験結果３
23

24. 実験結果４
24

25. 実験結果５
25

26. 実験結果６
26

27. まとめ
1. 新しいSRのネットワーク
Deeply-Recursive Convolutional Networkを提案
– 層を追加してもパラメータは増えない
2. 学習を安定させるための構造
Recursive-supervisionとSkip-connectionを提案
3. State-of-the-artな性能を発揮
4. ⼊⼒や中間層の出⼒を保持したい
他タスクにも簡単に適⽤可能
27