review date: 2020/05/27 (by Meyong-Gyu.LEE @Soongsil Univ.) Kor simple review of Single Image Super-Resolution Task.

1. CGLAB 이명규Simple Review of Super Resolution Task (1/34) Presented by CGLAB 이명규
2020/05/27
Simple Review of
Super Resolution Task

2. CGLAB 이명규Simple Review of Super Resolution Task (2/34)
I N D E X
01
02
Introduction
Featured Papers

3. CGLAB 이명규Simple Review of Super Resolution Task (3/34)
Introduction
Part 01
1. Super Resolution 소개
2. 관련 연구 소개

4. CGLAB 이명규Simple Review of Super Resolution Task (4/34)
↳
Super Resolution 소개1-1
• LR(Low-resolution) image 또는 video를
HR(High-resolution)으로 복구하는 문제
• SISR(Single Image SR)과 MISR(Multiple Image SR)로 구분
Problem Definition
𝒚 𝑳𝑹 = 𝒙⨂𝒌 𝒔 + 𝒏.
GT HR image
Blur Kernel
Down
Sampling Noise

5. CGLAB 이명규Simple Review of Super Resolution Task (5/34)
↳
Super Resolution 소개1-1
• SISR Algorithms
• Interpolation based method
(Bicubic, bilinear, Nearest neighbor etc….)
=> Just “upscaling” image
• Reconstruction based method
• Deep Learning based method
Problem Definition
https://bskyvision.com/531

6. CGLAB 이명규Simple Review of Super Resolution Task (6/34)
↳
Super Resolution 소개1-1
Applications
Super Resolution Applications in Modern Digital Image Processing (IJCA 2016)
▲ SR for Satellite Image ▲ SR for Medical Imaging
▲ SR for Astrological Studies ▲ SR for Microscopy
Image Processing

7. CGLAB 이명규Simple Review of Super Resolution Task (7/34)
↳
Related Works1-2

8. CGLAB 이명규Simple Review of Super Resolution Task (8/34)
↳
Related Works1-2
Deep Learning for Image Super-resolution: A Survey

9. CGLAB 이명규Simple Review of Super Resolution Task (9/34)
↳
Related Works1-2
• DL을 SSIR에 사용한 첫 논문
→ 3-layer CNN, MSE loss
• 전통적인 방식 대비 월등한 성능
SRCNN (ECCV 2014)
Image Super-Resolution Using Deep Convolutional Networks (ECCV 2014)

10. CGLAB 이명규Simple Review of Super Resolution Task (10/34)
↳
Related Works1-2
• Too Shallow했던 SRCNN의 단점 개선,
안정적이면서 빠른 학습
→ VGGNet based deep residual learning+MSE
“Adjustable gradient clipping for maximal boost
in speed while suppressing exploding gradients”
• 단순 LR→HR mapping 학습이 아닌,
bicubic upsampled LR 이미지와
HR 이미지의 잔차(residual) 혹은 noise를
학습하는 방식
VDSR (CVPR 2016)
Image Super-Resolution Using Deep Convolutional Networks (ECCV 2014)
이후 DRCN(Deeply-recursive CNN), SRResNet,
DRRN의 제안으로 이어짐

11. CGLAB 이명규Simple Review of Super Resolution Task (11/34)
↳
Related Works1-2
• GAN을 활용해 인간이 보기에 그럴싸한 이미지를 생성하려는 시도
• MSE loss는 blurry한 이미지를 생성하므로, Perceptual loss 사용을 제안
→ 𝑷𝒆𝒓𝒄𝒆𝒑𝒕𝒖𝒂𝒍 𝒍𝒐𝒔𝒔 = 𝑮𝑨𝑵 𝒍𝒐𝒔𝒔 + 𝑪𝒐𝒏𝒕𝒆𝒏𝒕 𝒍𝒐𝒔𝒔
MSE loss 대신 style transfer에서 사용되는 VGG loss로 교체
SRGAN (CVPR 2017)
Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network (CVPR 2017)

12. CGLAB 이명규Simple Review of Super Resolution Task (12/34)
↳
Related Works1-2
SRGAN (CVPR 2017)
Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network (CVPR 2017)

13. CGLAB 이명규Simple Review of Super Resolution Task (13/34)
Featured Papers
Part 02
1. Paper 1 (“EDSR”)
(Enhanced Deep Residual Networks for
Single Image Super-Resolution)
2. Paper 2 (“SAN”, SOTA)
(Second-order Attention Network for
Single Image Super-Resolution)

14. CGLAB 이명규Simple Review of Super Resolution Task (14/34)
Paper 1:
Enhanced Deep Residual Networks for
Single Image Super-Resolution(“EDSR”)
Part 2-1
1. Introduction
2. Architecture Overview
3. Experiment & Conclusion

15. CGLAB 이명규Simple Review of Super Resolution Task (15/34)
↳
Introduction2-1-1
Limitations of Previous Works
• ResNet을 그대로 사용 시(SRResnet)SISR에
좋은 성능을 보여 주지만 다음 이슈가 존재
• ResNet과 같은 분류기들은 classification과 같은 high-level 문제를 위한 구조
(SR은 low-level task)
• ResNet에 적용된 BN으로 인해 네트워크의 flexibility 저하
→ 학습 시간이 오래 걸리는 문제
▲ Batch Normalization
Enhanced Deep Residual Networks for Single Image Super-Resolution (CVPR 2017)

16. CGLAB 이명규Simple Review of Super Resolution Task (16/34)
↳
Introduction2-1-1
Contributions
• 학습 시 메모리 사용량 40% 절감
→ BN layer를 제거한 new residual block 제안
→ 더 깊은 네트워크를 학습할 수 있게 됨
• Single Scale Model(EDSR)과 Multi Scale Model(MDSR) 제안
→ 각각 single scale(x2, x3, x4)을 따로따로 학습(EDSR)하거나 동시에 여러 scale에 대해
학습(MDSR)
Enhanced Deep Residual Networks for Single Image Super-Resolution (CVPR 2017)

17. CGLAB 이명규Simple Review of Super Resolution Task (17/34)
↳
Architecture Overview2-1-2
Model Overview
▲ EDSR ▲ MDSR
Enhanced Deep Residual Networks for Single Image Super-Resolution (CVPR 2017)

18. CGLAB 이명규Simple Review of Super Resolution Task (18/34)
↳
Architecture Overview2-1-2
Model Overview
• BN이 빠진 새 residual block 구조 제안
• Residual block 최종 feature matrix에
0.1의 constant를 곱해 줌
→ 안정적인 학습 도모
• x3, x4배 scaling 학습에서는 x2 모델을
기반으로 transfer learning
Enhanced Deep Residual Networks for Single Image Super-Resolution (CVPR 2017)

19. CGLAB 이명규Simple Review of Super Resolution Task (19/34)
↳
Evaluation results
2-1-3 Experiment & Conclusion
Enhanced Deep Residual Networks for Single Image Super-Resolution (CVPR 2017)

20. CGLAB 이명규Simple Review of Super Resolution Task (20/34)
↳
• Conclusion
• 종전 방법 대비 학습 시 메모리를 40%까지 줄이는 방법을 제안
• Single Scale(EDSR)과 Multi Scale(MDSR)에서 작동하는
SR 모델의 제안
• Limitations
• CNN의 receptive field size가 상대적으로 작음. (즉, local patch에만 집중)
→ 이미지에서 보다 넓은 영역을 고려하지 못함.
• Feature들이 담고 있는 local 혹은 global 정보가 동등하게 처리됨
→ 이후 Dilated conv, spatial or channel-wise attention 등의 제안으로 이어짐
Conclusion & Limitations
2-1-3 Experiment & Conclusion
Enhanced Deep Residual Networks for Single Image Super-Resolution (CVPR 2017)

21. CGLAB 이명규Simple Review of Super Resolution Task (21/34)
Paper 2:
Second-order Attention Network for
Single Image Super-Resolution(“SAN”)
Part 2-2
1. Introduction
2. Architecture Overview
3. Experiment & Conclusion

22. CGLAB 이명규Simple Review of Super Resolution Task (22/34)
↳
Introduction2-2-1
Limitations of Previous Works
• 기존 모델들은 깊거나 넓은 구조 디자인에만 초점을 맞춤
→ 따라서 레이어 간의 관계를 탐색하지 않아 네트워크 전체의 표현력 저하
• 대부분 LR 이미지의 모든 정보를 사용하지 않아 낮은 성능을 보여 옴
• 학습 속도가 본 논문 대비 상대적으로 느림
Enhanced Deep Residual Networks for Single Image Super-Resolution (CVPR 2017)

23. CGLAB 이명규Simple Review of Super Resolution Task (23/34)
↳
Introduction2-2-1
Contributions
• Second order statistics를 활용해 레이어 간 feature 상호 의존성 학습
• LSRAG(local-source residual attention groups) 구조를 제안해 LR 이미지
정보를 적극 활용
→ 풍부한 low-frequency 정보

24. CGLAB 이명규Simple Review of Super Resolution Task (24/34)
↳
Architecture Overview2-2-2
Model Overview

25. CGLAB 이명규Simple Review of Super Resolution Task (25/34)
↳
Architecture Overview2-2-2
Detailed view of Model:
RL-NL Module
• 목적 : 영상을 잘게 쪼개어 영상 전체를 보기 위함
→ 영상을 4등분 후 각 영역에 대해 non-local module 적용 (큰 해상도에서도 유리)
• SSRG모듈 전후로 수행되며, high-level에서 넓은 범위의 정보들을 모으는 역할
→ Global level non-local 연산은 인풋 사이즈가 클 경우 연산량 증가
(Region-Level Non-Local)

26. CGLAB 이명규Simple Review of Super Resolution Task (26/34)
↳
Architecture Overview2-2-2
Detailed view of Model:
LSRAG Module
• 목적 : Feature inter-dependencies를 잘 유지하기 위함
→ 영상을 4등분 후 각 영역에 대해 non-local module 적용 (큰 해상도에서도 유리)
• Simplified residual block들로 구성
(Local Source
Residual Attention Group)

27. CGLAB 이명규Simple Review of Super Resolution Task (27/34)
↳
Architecture Overview2-2-2
Detailed view of Model:
SOCA Module
• 목적 : 공분산 정규화를 통한 모델의 Discriminative representation 능력 향상
→ Attention을 통해 네트워크가 더욱 중요한 정보를 갖는 feature에 가중치를 더 두도록 함
• 기존 Attention 알고리즘들은 GAP을 이용한 1차 statistics 정보만 활용
→ 기존 방식들은 1st order statistics(=average) 이상의 정보를 활용하지 않아
모델의 Discriminative representation 능력이 저하됨
→ 따라서 Covariance Normalization을 거쳐 channel attention 수행
(Second-Order
Channel Attention)

28. CGLAB 이명규Simple Review of Super Resolution Task (28/34)
↳
Architecture Overview2-2-2
Detailed view of Model:
SOCA Module
• GAP(Global Average Pooling) :
각 feature map의 노드들로부터
단순히 평균을 추출해 차원 축소
e.g.)
(𝟏+𝟗+𝟔+𝟒+𝟓+𝟒+𝟕+𝟖+𝟓+𝟏+𝟐+𝟗+𝟔+𝟕+𝟔+𝟎)
𝟏𝟔
= 𝟓
Replace to GCP(Global Covariance Pooling)

29. CGLAB 이명규Simple Review of Super Resolution Task (29/34)
↳
Architecture Overview2-2-2
Detailed view of Model:
SOCA Module
• Covariance Normalization:
1. Reshape 𝑯 × 𝑾 × 𝑪 feature map 𝑭 = [𝐟 𝟏, … , 𝐟𝒄] to feature matrix 𝑿.
(𝑿 has 𝒔 = 𝑾𝑯 features of 𝑪-dim)
2. Compute sample covariance matrix 𝚺.
𝚺 = 𝐗 ҧ𝐈𝐗 𝑻
, where ҧ𝐈 =
𝟏
𝒔
(𝐈 −
𝟏
𝒔
𝟏). (𝑰=𝒔 × 𝒔 Identity matrix, 𝟏=matrix of all ones)

30. CGLAB 이명규Simple Review of Super Resolution Task (30/34)
↳
Architecture Overview2-2-2
Detailed view of Model:
SOCA Module
3. 𝚺 is symmetric positive semi-definte, thus has EIG as follows:
𝚺 = 𝐔𝚲𝐔 𝐓, 𝒘𝒉𝒆𝒓𝒆 𝑼 = 𝒐𝒓𝒕𝒉𝒐𝒈𝒐𝒏𝒂𝒍 𝒎𝒂𝒕𝒓𝒊𝒙, 𝜦 = 𝒅𝒊𝒂𝒈 𝒎𝒂𝒕𝒓𝒊𝒙 𝒘𝒊𝒕𝒉 𝒆𝒊𝒈𝒆𝒏𝒗𝒂𝒍𝒖𝒆𝒔.
4. So, covariance normalization can be coverted to power of 𝒆𝒊𝒈𝒆𝒏𝒗𝒂𝒍𝒖𝒆𝒔.
෡𝐘 = 𝚺 𝜶 = 𝐔𝚲 𝜶 𝐔 𝑻
- 𝜶는 양의 실수로, 1일 경우 정규화를 수행하지 않음. ( 𝛼 =½에서 잘 작동함을 확인)
- 𝜶<1인 경우 1.0보다 큰 eigenvalue는 non-linear하게 축소하고, 반대는 늘림.

31. CGLAB 이명규Simple Review of Super Resolution Task (31/34)
↳
Architecture Overview2-2-2
Detailed view of Model:
SOCA Module
• Normalized covariance matrix ෠𝐘는 channel-wise feature들 간의
상관 관계를 characterize하는 역할
• Covariance normalized ෡𝐘 를 이용해 channel level에서 pooling을 수행
𝒍𝒆𝒕 ෠𝐘 = 𝒚 𝟏, … , 𝒚 𝑪 , 𝒄𝒉𝒂𝒏𝒏𝒆𝒍𝒘𝒊𝒔𝒆 𝒔𝒕𝒂𝒕𝒊𝒔𝒕𝒊𝒄𝒔 𝒛 = 𝑯 𝑮𝑪𝑷 𝒚 𝒄 =
𝟏
𝑪
෍
𝒊
𝑪
𝒚 𝑪(𝒊)

32. CGLAB 이명규Simple Review of Super Resolution Task (32/34)
↳
Evaluation results
2-2-3 Experiment & Conclusion

33. CGLAB 이명규Simple Review of Super Resolution Task (33/34)
↳
• 다양한 모듈을 제안해 SISR의 PSNR 성능을 높임
• SSRG 모듈을 통해 low-frequency 정보들을 충분히 활용
• RL-NL 모듈을 통해 long-distance spatial contextual information을 활용
• SOCA 모듈을 통해 global covariance pooling을 수행하고, 레이어 간의
dependencies를 학습
• Second-order channel attention을 통해 discriminative representation학습에 집중
• 네트워크 규모 대비 낮은 수의 파라미터 개수
Conclusion & Limitations
2-2-3 Experiment & Conclusion

34. CGLAB 이명규Simple Review of Super Resolution Task (34/34)
Thank you for Listening.
Email : brstar96@naver.com (or brstar96@soongsil.ac.kr)
Mobile : +82-10-8234-3179