2023/8/18 Deep Learning JP http://deeplearning.jp/seminar-2/

1. 1
DEEP LEARNING JP
[DL Papers]
http://deeplearning.jp/
Zero-Shot Dual-Lens Super-Resolution
Presenter: KazutoshiAkita
(ToyotaTechnological Institute, Intelligent Information Media Lab)

2. 論文情報
• 論文名：Zero-Shot Dual-Lens Super-Resolution (CVPR2023)
• 著者：Ruikang Xu, Mingde Yao, Zhiwei Xiong
University of Science and Technology of China
• URL: https://openaccess.thecvf.com/content/CVPR2023/papers/Xu_Zero-Shot_Dual-Lens_Super-Resolution_CVPR_2023_paper.pdf
2
※本資料の図は，言及がなければ自作あるいは上記論文からの引用

3. 前提知識
• 超解像（Super Resolution, SR）
– 画像を綺麗に拡大する技術
3
超解像
(SRNet)
低解像画像
（LR画像）
超解像画像
（SR画像）

4. 前提知識
• 超解像は大きく分けて2種類
– Non-Blind Super-Resolution
– Blind Super-Resolution (≒ Real Image Super-Resolution)
4

5. 前提知識
5
• Non-Blind Super-Resolution
– 劣化過程が既知（or 事前定義）の問題設定
– 学習に使用した劣化においては非常によい性能を示す

6. 前提知識
6
• Blind Super-Resolution
– 劣化過程が未知の問題設定
– 様々な手法が提案されているが，Non-Blindと比べると当然性能は劣る

7. 前提知識
• 超解像は大きく分けて2種類
– Non-Blind Super-Resolution
• 劣化過程が既知の問題設定
• 学習に使用した劣化においては非常によい性能を示す
– Blind Super-Resolution (≒ Real Image Super-Resolution)
• 劣化過程が未知
• 様々な手法が提案されているが，Non-Blindと比べると当然性能は劣る
7

8. Dual-lens Super-Resolution
• 近年，焦点距離（=画角）の異なる複数カメラを搭載したスマホが主流に
– 望遠カメラ＆広角カメラ（＆超広角カメラ）
– 主目的は薄型化
• この複数カメラを用いた新たな応用が考えられている
– 前景・背景の分離による画像加工
– Dual-lens Super-Resolution
8

9. Dual-lens Super-Resolution
• Dual-lens Super-Resolution
– 広角カメラ画像と望遠カメラ画像のペアを用いて，広角カメラ画像の解像度を上げる
– 望遠カメラ画像が広角カメラ画像の中心領域が高解像度化されたものとして見なせる
• 高解像画像と低解像画像のペアが得られているので，Non-Blind Super-Resolutionとして解ける
9
広角カメラ画像
(wide-angle)
望遠カメラ画像
(telephoto)

10. 概要
• Dual-lens Super-ResolutionのためのZero-shot learning手法を提案
– 従来手法と異なり，1つのテストデータに適合
• デバイス毎・画像毎に異なるカメラパラメータに対しても適合可能
10

11. 手法
• ベースの考え方
– 広角カメラ画像と望遠カメラ画像の対応領域でSRNetをfine-tune
11
広角カメラ画像
SRNet
Center
crop
Loss (L2)
望遠カメラ画像
超解像画像
クロップ画像

12. クロップ画像
手法
• CenterCropでは位置ずれがある
12
望遠カメラ画像
クロップ画像を適切に位置合わせ（Alignment）する必要がある

13. 手法
• Alignment
13
広角カメラ画像
Center
crop
Loss
(L2)
望遠カメラ画像
Alignment
Network
Down
scaling

14. 手法
• Alignment
– L2損失によるAlignment Networkの最適化では，
LRが持っていた劣化情報（ブラーカーネル）が変化してしまう
• 特に周波数空間において顕著に変化が見て取れる
– SRNet学習用のペアを作成するという目的には不適
14
Image
Frequency

15. 手法
• Degradation-invariant Alignment
– ℒ𝑎𝑑𝑣
𝑠
, ℒ𝑎𝑑𝑣
𝑓
: Alignment前後での変化がなくなるように敵対的学習
– ℒ𝑐𝑙 : Alignment前後の特徴は近づけ，Alignment後とHRの特徴は遠ざける
15

16. 手法
• Degradation-aware Training
– Alignmentが適切に行われているであろう領域で優先的に学習したい
– Degradation-invariant Alignmentで利用した識別器の出力で学習に使うパッチを選択
16

17. 実験
• 以下2つの設定で実験
– Synthetic Data
• 低解像化・劣化を人工的に付与し，Dual-lensの設定を疑似的に再現したデータ
– HCI new ：ライトフィールドカメラのデータセット．2つの画像を選択し片方を劣化させ
る
– Middlebury2021 ：ステレオカメラのデータセット．片方を劣化させる
• PSNR，SSIM（再構成誤差）で評価
– Real Data
• 実際にDual-lensカメラを持つスマートフォンで撮影したデータ
17

18. 実験
• Synthetic Data
– Non-blind SRの手法との比較
18

19. 実験
• Synthetic Data
– Blind-SRの手法との比較
19

20. 実験
• Synthetic Data
20

21. 実験
• Synthetic Data
– Ablation Study
21

22. 実験
• Synthetic Data
– Ablation Study
22

23. 実験
• Synthetic Data
– Ablation Study
23

24. 実験
• Real Data
– 提案手法の結果と比較して，どちらが綺麗かを30人で評価
24

25. 実験
• Real Data
25

26. まとめ
• Dual-lens Super-ResolutionをZero-shotで解く手法を提案
– テストデータ毎に適合するためデバイス特性やカメラパラメータなどに依らずに動作
26