Super resolution

1. Super-Resolution
김용우

2. 목차
• 1. Introduction
• 2. 모델 종류
2-1) Pre-Upsampling
2-2) Post-Upsampling
2-3) Progressive-Upsampling
2-4) Iterative Up and Down Sampling
• 3. Loss function
• 4. Metrics

3. 1. Introduction
• 이미지란?
- 이미지는 m x n 개의 숫자로 이루어진 숫자덩어리
- 𝐼𝑚𝑎𝑔𝑒 𝑋 ∈ 𝑁 ∪ {0} 𝑚×𝑛
- 𝐼𝑚𝑎𝑔𝑒 𝑋 는 𝑚 × 𝑛 차원의 한 점
→ 이미지가 딥러닝을 이용했을 때 성능이 좋은 이유

4. 1. Introduction
• 저해상도 (Low-Resolution) vs 고해상도 (High-Resolution)
144p
480p
- 고해상도와 저해상도의 차이는 표현하는 픽셀 수 의 차이가 가장 큼

5. 1. Introduction
• Super-Resolution 이란?
- 저해상도 이미지를 고해상도 이미지로 복원하는 것
𝐿𝑅 = 𝐷𝑒𝑔𝑟𝑎𝑑𝑎𝑡𝑖𝑜𝑛 𝐻𝑅 → 𝐷𝑒𝑔𝑟𝑎𝑑𝑎𝑡𝑖𝑜𝑛−1
𝐿𝑅 = 𝐻𝑅

6. 2-1. Pre-Upsampling
- Interpolation(Bilinear Interpolation , Bicubic Interpolation)
- SRCNN
- VDSR

7. Bilinear Interpolation
𝑓 𝑅1 =
𝑥 − 𝑥1
𝑥2 − 𝑥1
𝑓 𝑄21 +
𝑥2 − 𝑥
𝑥2 − 𝑥1
𝑓(𝑄11)
𝑓 𝑅2 =
𝑥 − 𝑥1
𝑥2 − 𝑥1
𝑓 𝑄22 +
𝑥2 − 𝑥
𝑥2 − 𝑥1
𝑓(𝑄12)
→ 𝑓 𝑃 =
𝑦−𝑦1
𝑦2−𝑦1
𝑓 𝑅2 +
𝑦2−𝑦
𝑦2−𝑦1
𝑓(𝑅1)
𝑃 𝑥, 𝑦 =
𝑖=0
1
𝑗=0
1
𝑎𝑖𝑗 𝑥 𝑖
𝑦 𝑗
= 𝑎11 𝑥𝑦 + 𝑎10 𝑥 + 𝑎01 𝑦 + 𝑎00
𝑃 0,0 = 𝑎00
𝑃 1,0 = 𝑎10 + 𝑎00
𝑃 0,1 = 𝑎01 + 𝑎00
𝑃 1,1 = 𝑎11 + 𝑎10 + 𝑎01 + 𝑎00

8. Bicubic Interpolation
𝑃 𝑥, 𝑦 =
𝑖=0
3
𝑗=0
3
𝑎𝑖𝑗 𝑥 𝑖
𝑦 𝑗
= 𝑎33 𝑥3
𝑦3
+ 𝑎32 𝑥3
𝑦2
+ ⋯ + 𝑎01 𝑦 + 𝑎00
→ 총 16개의 변수
𝑃 0,0
𝑃 1,0
𝑃 0,1
𝑃 1,1
𝑃𝑥 0,0
𝑃𝑥(1,0)
𝑃𝑥(0,1)
𝑃𝑥(1,1)
𝑃𝑦 0,0
𝑃𝑦(1,0)
𝑃𝑦(0,1)
𝑃𝑦(1,1)
𝑃𝑥𝑦 0,0
𝑃𝑥𝑦(1,0)
𝑃𝑥𝑦(0,1)
𝑃𝑥𝑦(1,1)
→ 총 16개의 방정식을 이용해 P(x,y)를 구함

9. SRCNN
Conv – Relu – Conv – Relu - Conv

10. VDSR

11. 2-2. Post-Upsampling
- Transposed Convolution
- FSRCNN
- ESPCN

12. 1. Transposed Convolution
1 2
2 1
1 2 1
1 1 2
2 1 1
8 8
8 8
1
2
1
1
1
2
2
1
1
1 2 0 2 1 0 0 0 0
0 1 2 0 2 1 0 0 0
0 0 0 1 2 0 2 1 0
0 0 0 0 1 2 0 2 1
8
8
8
8
x
x
=
=

13. 2. FSRCNN

14. 3. ESPCN

15. 2-3. Progressive-Upsampling
- Laplacian Pyramid SR Net

16. 1. Laplacian Pyramid SR Net

17. 2-4. Iterative-Up-and-Down-sampling
- U-Net

18. 1. U-Net

19. 3. Loss function