Recommended
Recommended
More Related Content
What's hot
What's hot (20)
Similar to Review EDSR
Similar to Review EDSR (14)
Review EDSR
- 1. Enhanced Deep Residual Network for Single Image Super-Resolution NTIRE 2017 1st Place Award (Challenge on Single Image Super-Resolution) 서울대 이경무 교수팀 arXiv 버전 발표자 : 정우진 한양대학교 컴퓨터 비전 및 패턴 인식 연구실
- 2. / 20 • NTIRE 2017 – DIV2K • Introduction • Proposed Method • 실험 및 분석 2 Contents
- 3. / 20 NTIRE : New Trends in Image Restoration and Enhancement workshop • 기간 – 2017년 7월 21일 • 분야 – Papers addressing topics related to image restoration and enhancement are invited. The topics include, but are not limited to: • 2017년에는 초해상도 복원 경진대회(NTIRE challenge on example-based single image super-resolution)를 진행 – 1위 : 서울대 이경무 교수팀 – 2위 : 중국팀 – 3위 : 카이스트 예종철 교수팀 – 4위 : 카이스트 김문철 교수팀 – 5위 :중국팀 3 NTIRE 2017
- 4. / 20 • NTIRE 2017 초해상도 복원 경진 대회를 위해 준비한 데이터 셋 – 2040x1356 크기 HR – 블러 없음 – Track 1 : Matlab bicubic 함수로 2배, 3배, 4배 축소한 LR – Track 2 : 어떻게 저해상도가 되었는지 알 수 없는 LR, 2배, 3배, 4배 축 소 4 DIV2K
- 5. / 20 • 기존 방법의 문제점 – 학습이 잘 안됨 – 주의 : 경진 대회 용 DNN이므로 매우 깊음. 그래서 학습이 잘 안됨 – 한번에 한가지 영상만 생성함 – 2배, 3배, 4배 용 DNN이 독립적으로 필요함 • 기여 – SRResNet을 기반으로 – 1. 필요없는 부분 제거 – 2. 3배, 4배 학습을 위해 2배 학습 결 과 사용함 – 3. 한번에 여러 배율 확대 가능 5 Introduction
- 6. / 20 Baseline • SRResNet에서 변화 • Batch normalization 층 제거 – BN이 초해상도를 방해 – 초해상도에서는 정규화가 악영향 – 대신 residual scaling을 사용 – 다음 슬라이드에서 설명… 6 Proposed Method
- 7. / 20 ※ Residual Scaling • Google Inception-v4 에서 소 개 • 기존의 문제점 – 매우 깊은 레지듀얼 네트워크 훈 련 불가능(학습중 네트워크가 ‘사망’, 0 값만 만들어 냄) – BN으로 해결되지 않음 • 레지듀얼 스케일링 – Residual의 끝에 0.1~0.3 곱함 • 다른 해결책 – Training warm-up : 학습 초기 에 아주 작은 학습률로 학습 – 구글팀은 웜업으로도 불가능한 경우가 있다고 보고함 7
- 8. / 20 EDSR • Baseline 모델에서 깊이와 폭을 확장 MDSR • 한번에 2배, 3배, 4배를 모두 처리할 수 잇는 구조 • 도입 부분과 재구성 부분이 각각 존재함 • 중간 부분은 공유 8 Proposed Method
- 9. / 20 Geometric Self-ensemble • 7개 입력 영상 추가 생성 – flip, rotation하여 7개 입력 영상 생성 + 원래 영상 • 결과 영상을 앙상블 • EDSR+, MDSR+ 로 표기 9 Proposed Method
- 10. / 20 MDSR이 가능한 이유 • EDSR훈련중 • 3배, 4배 모델 학습을 위해 2배 학습 결과를 초기 가중치로 활용함 • 학습도 빠르고 결과도 우수함 • 따라서 SR은 배율에 상관없는 유사성이 있다고 판단 10 실험 및 분석
- 11. / 20 모델 변화에 따른 성능 향상 • 발전과정 – SRResNet(L2 loss) – SRResNet(L1 loss) – Baseline – EDSR, MDSR – EDSR+, MDSR+ 11 실험 및 분석
- 12. / 20 Benchmark Results 12 실험 및 분석
- 13. / 20 NTIRE 2017 Track 1 : bicubic downscaling 13 실험 및 분석
- 14. / 20 NTIRE 2017 Track 2 : unknown downscailing 14 실험 및 분석
- 15. / 20 NTIRE 2017 Track 1 & 2 15 실험 및 분석
- 16. / 20 감사합니다. 16