Unsupervised learning for real-world super-resolution review presentation

1. Unsupervised Learning for Real-
World Super-Resolution review
Seoung-Ho Choi

2. Unsupervised Learning for Real-World Super-
Resolution, A. Lugmayr et al., 2019 (1/10)
• 목표
• 기존 완전히 감독되는 방식으로 네트워크를 훈련시키기 위해 저해상도 및
고해상도 이미지 쌍에 의존.
• 실제 애플리케이션에서 사용하지 못하는 방법.
• 기존 문제점
• 낮은 해상도의 이미지를 만들어 내기 위해 bicubic downsampling 의 방법을 사용.
• 이는 “natural sensor noise” 그리고 “real-world characteristic”을 없애는 문제점.
• 해결 방법
• 우리는 고해상도에 대해서 비 지도학습 방법을 제안.
• 손상 되지 않은 데이터만 주어진다면 데이터에 존재하는 자연 이미지 특성을
복원하기 위해 bicucbic downsampling 효과를 반전시키는 방법을 배움.
• 이를 통해 실제 이미지 분포를 충실히 반영하여 사실적인 이미지 쌍을 생성.

3. Unsupervised Learning for Real-World Super-
Resolution, A. Lugmayr et al., 2019 (2/10)
• 제안 방법 based on single image
super-resolution problem
• 모델 학습 방법
• In the first step, we learn the domain
distribution network G
• Given unpaired data from the input
pX and output pY distributions, the
generator G is trained in a GAN
framework by employing cycle
consistency losses.
• The SR network S is trained in a
second stage, depicted in orange,
using pairs (X, Y ˆ ) generated by our
domain distribution network G.
Schematic overview of our approach
S 는 Super resolution par
B 는 bicubic part
F, G는 generator
D 는 discriminator

4. Unsupervised Learning for Real-World Super-
Resolution, A. Lugmayr et al., 2019 (3/10)
• Model detail
• Domain Distribution Learning
• 파란색 부분

5. Unsupervised Learning for Real-World Super-
Resolution, A. Lugmayr et al., 2019 (4/10)
• Model detail (Cont.)
• Super-Resolution Learning
Classification 용도
L1 loss 용도
Conditional GAN 기반
판별용도
대립학습
Super Resolution 전체

6. Unsupervised Learning for Real-World Super-
Resolution, A. Lugmayr et al., 2019 (5/10)
• 실험 환경
• Networks architecture
• ESRGAN 기반 pretrained 모델을 사용
• building block called residual in residual dense blocks 새로운 블락
• Norm 제외하고 skip diagram 을 효율적으로 적용한 블락
• Training details
• Learning rate scheduling을 이용해서 학습

7. Unsupervised Learning for Real-World Super-
Resolution, A. Lugmayr et al., 2019 (6/10)
• 실험 환경
• Real-word SR 방법에서 평가 방법
• Domain specific super resolution (DSR)
• 목표는 입력이미지와 동일한 분포의 이미지 생성
• Clean super resolution (CSR)
• 목표는 입력이미지와 다른 분포의 깨끗한 이미지
• DSR은 입력과 유사한 분포를 만들고 CSR은 깨끗한 이미지를 만들기
• Degradations for test
• 두가지 테스트 데이터 나눔
• JPEG compression artifacts
• 스마트폰에서 획득 혹은 인터넷에서 획득
• Gaussian noise
• Real-world sensor noise

8. Unsupervised Learning for Real-World Super-
Resolution, A. Lugmayr et al., 2019 (7/10)
• Measure
• PSNR
• 신호가 가질 수 있는 최대 전력에 대한 잡음의 전력을 나타낸 것.
• SSIM
• 영상 품질을 측정하기 위한 구조적 유사도 지수
• LPIPS
• Evaluate the distance between image patches. Higher means further/more different.
Lower means more similar.
• Datasets
• DF2K 는 Flicker2k dataset with 2640 images
• DPED acquired by smart phone camera

9. Unsupervised Learning for Real-World Super-
Resolution, A. Lugmayr et al., 2019 (8/10)
• Ablation study
• 4가지 다른 케이스에 대해서 분석
• Standard
• Training the network on LR images generated by bicubic down sampling
• Cleaning the input
• Cleaning the input for tackling the shift between train and test distribution
• Low resolution supervision
• Fully supervised
• Fully supervised training using paired samples

10. Unsupervised Learning for Real-World Super-
Resolution, A. Lugmayr et al., 2019 (9/10)
• State-of-the-art Comparison on DIV2K
• ZSSR, EDSR, ESRGAN
• The method ZSSR applies a Zero-Shot learning strategy, where weights are learned for each
image individually.
• The EDSR trains a ResNet-based model without perceptual loss.
• ESRGAN applies the same SR architecture and perceptual losses as in our approach
• EDSR 그리고 ESRGAN에서 bi 큐빅 다운 샘플링을 사용
• ESRGAN 을 미세조정
• "ESRGAN FT IN"방법은 입력 이미지 세트에 대해 훈련
• "ESRGAN FT OUT"은 출력 이미지 세트에 대해 훈련
• Bi 큐빅 다운 샘플링을 사용하여 해당 LR 이미지를 구성
• Real-World Evaluation on the DPED Dataset
• DPED iPhone3 에서 획득된 데이터를 가지고 실제 검증

11. Unsupervised Learning for Real-World Super-
Resolution, A. Lugmayr et al., 2019 (10/10)
• 결론
• 페어링 된 데이터가 없는 실제 고해상도 문제를 해결
• 바이 큐빅 다운 샘플링으로 부터 발생하는 아티팩트를 피하기 위해
저해상도 이미지를 실제 이미지 분포로 복원하는 네트워크를 배움
• 현실적인 훈련 쌍을 생성.
• 벤치 마크 실험 수행
• 실제 데이터에 대한 실험 수행
• 센서 노이즈, 압축 아티팩트 및 기타 효과 보다 더 좋음

12. Comment (1/2)
• 그림2는 bicubic downsampling에 대한 effects에 대한 시각화
• Bicubic down sampling can drastically change the natural characteristics of an
image by, e.g., removing sensor noise and compression artefacts. A real-world
example is shown in Figure 2. The natural image (left) is affected by natrual
sensor noise. However, the corresponding bicubically downsampled image
does not preserve these characteristics. “Hence, a network trained to super-
resolve the latter image cannot be expected to generalize to the original real-
world distribution”
• 여기서 generalize 보다는 reconstruction 이 맞다고 생각함.
• Generalize란 하나의 도메인에서 동작하는게 다른 도메인에서도 동작 해야됨 이를
주장하려면 각각 다른 도메인에서 실험한 내용이 포함 되어됨.

13. Comment (2/2)
• “If both networks were to be trained jointly using the cycle-consistency loss
for S(G(B(Y ))) ≈ Y , the networks S and G would collaborate in order to
minimize the aforementioned loss. This leads to severe overfitting and poor
generalization.”
• 왜 위 부분에 대한 명확한 실험이 없음.