Review of SRGAN

1. Photo-Realistic Single Image Super -Resolution
Using a Generative Adversarial Network
2017 CVPR (oral)(arXiv 버전)
Christain Ledig 외 10명 트위터
발표자 : 정우진
한양대학교 컴퓨터 비전 및 패턴 인식 연구실
4x SRGAN (proposed) origianl

2. / 20
• Introduction
– Related Work
– Contribution
• Proposed Method
– Network Architecture
– Loss Function
• Experiments
2
Contents

3. / 20
기존 SR(Super-Resolution) 기법의 문제점
• MSE(Mean Squared Error) 사용
• PSNR 평가에 유리
• 흐릿한 영상
• 텍스쳐 손실
• 실사진과는 다름
해결책
• GAN(Generative Adversarial
Network) 사용
3
Introduction
MSE 기반 기법과 GAN 기
반 기법의 비교

4. / 20
SRCNN
• Image Super-Resolution Using Deep Convolutional Networks
• (아마도)최초의 DNN기반 슈퍼 레졸루션(SR)
• 기존의 기계학습 방법을 능가
• 3층의 convolution layer
– SR의 전 과정이 가능함을 증명
4
Related Work
Introduction
SRCNN의 구조

5. / 20
DRCN
• Deeply-Recursive Convolutional Network for Image Super-
Resolution
• FOV(Field of View)를 확장 (Receptive field와 같은 개념)
• 깊게 구성
– SRCNN : 3층, DRCN : 20층
• 반복구성
– 가중치 공유
– 훈련난이도
하락
5
Related Work
Introduction
DRCN의 구조

6. / 20
• SRResNet
– ResNet 구조를 차용
– 좋은 PSNR, SSIM
– MSE loss
• SRGAN
– GAN 기반의 네트워크 학습
– 사진에 적합한 loss 기법 사용 : VGG loss
• MOS
– Mean Option Score
– 새로운 평가 방법
6
Contribution
Introduction

7. / 20
• 제안하는 방법이 2개
– SRResNet
– ResNet 구조를 응용
– GAN 사용하지 않음
– SRGAN
– SRResNet에 추가 학습함
– GAN 사용
– 실사진과 같은 복원이 목표
7
Proposed Method

8. / 20
Generator and Discriminator 구조
8
Network Architecture
Proposed Method
k : 커널크기
n : 채널크기
s : stride

9. / 20
전체에러
• Generator에러 + Discriminator에러
Discriminator 에러
• 틀리면 페널티
9
Loss Function
Proposed Method

10. / 20
Generator 에러 1 :MSE
• L2 놈
Generator 에러 2 : VGG특징 사용
• 사전학습 된 VGG사용
• 특징을 비교
• Feature of j-th convolution before the i-th maxpooling layer
10
Loss Function
Proposed Method

11. / 20
객관적 지표
– SRResNet이 우수
11
Experiments

12. / 20
실험결과
12
Experiments

13. / 20
주관적 지표
• 화질을 평가하기 위
해 MOS도입
• Mean Opinion
Score
– 1점~5점 투표
• SRGAN이 우수
– 차이가 많이남
13
Experiments

14. / 20
MSE loss vs. VGG loss
• VGG loss의 결과는 실사진과 유사
14
Experiments

15. / 20
PSNR/time
15
Experiments