Download as PDF, PPTX
![[데이터 분석 소모임] Transformer 설명 자료입니다 (김고은, 김려린) .pdf](https://cdn.slidesharecdn.com/ss_thumbnails/z6sg9ytbrgark5mmec0m-transformer-240226121206-c64f7bb5-thumbnail.jpg?width=640&height=640&fit=bounds)
![[기초개념] Recurrent Neural Network (RNN) 소개](https://cdn.slidesharecdn.com/ss_thumbnails/agistpurnndkim190430-190430140949-thumbnail.jpg?width=640&height=640&fit=bounds)
![SSII2021 [SS1] Transformer x Computer Visionの 実活用可能性と展望 〜 TransformerのCompute...](https://cdn.slidesharecdn.com/ss_thumbnails/ss1-01-210607043349-thumbnail.jpg?width=640&height=640&fit=bounds)
![[第2回3D勉強会 研究紹介] Neural 3D Mesh Renderer (CVPR 2018)](https://cdn.slidesharecdn.com/ss_thumbnails/201807263dv-180728060959-thumbnail.jpg?width=640&height=640&fit=bounds)
Super resolution-review
- 1. / 디지털 영상 확대기법 : 고전적인 방법부터 딥러닝 방법까지 플랫폼 3그룹 정우진 수석 1
- 2. 초해상도(Super-Resolution) 란? 디지털 영상획득 과정 Scene Optics Imager Image Understanding Scene Hardware Software 렌즈 조리개 셔터 CCD Output (jpg, bmp, …) Image Processing • 자연 상태의 일부분을 광학계, 이미저를 통해 전기신호로 바꾸고, 다시 A/D Converter 영상처리를 거쳐 디지털 영상으로 변환 • 디지털 영상의 최소 단위 : 픽셀(pixel) • 디지털 영상의 해상도 : 몇 개 픽셀로 구성된 영상인지를 표현 픽셀 Pixel 2
- 3. 초해상도(Super-Resolution) 란? 광학을 이용한영상 확대 Scene Optics Imager Image Understanding 줌 렌즈 줌렌즈의 작동원리 원래 장면 광학장치를 이용해 10배 확대한 영상 • 하드웨어 기반의 영상 확대 • 상대적으로 높은 배율 • 10배이상 (렌즈 구성에 따라 다름) 3
- 4. 초해상도(Super-Resolution) 란? 촬영 이후의영상 확대 Scene Optics Imager Image Understanding 2011, Minjae Kim et al., “Robust Video Super Resolution Algorithm Using Measurement Validation Method and Scene Change Detection,” Journal on Advances in Signal Processing • 소프트웨어 기반의 영상 확대 • 디지털 줌 • 상대적으로 낮은 배율(2배~8배) 영상 일부를 자른 뒤 늘임 영상 해상도 증가 4
- 5. 초해상도(Super-Resolution) 란? 초해상도 영상복원(Super-Resolution) • 영상 획득 시스템의 해상도를 향상시키는 기법 • 영상처리 분야에서는 주로 소프트웨어 알고리즘을 통한 해상도 향상 기법을 의미 Input Image (160×120) Output Image (640×480) Super-Resolution 5
- 6. 초해상도(Super-Resolution) 란? 영상 손상모델과 초해상도 • 선명한 장면의 일부를 Sampling하는 과정에서 정 보가 손실 • 영상 추출 역 과정을 어떻게 만들지에 따라 초해상 도 알고리즘이 정의 됨 초해상도 평가 방법 • 정답 영상만 필요 • 정답영상(=고해상도 영상) • 입력영상(=정답으로부터 생성된 저해상도 영상) • 정답영상과 복원된 영상의 차이를 비교 • 정답영상과 복원영상의 차이가 적을수록 좋은 결과 • 정량적 평가 뿐 아니라 정성적 평가도 중요함 • 결국 사람 눈에 좋게 보여야 함 선명한 장면 복원된 영상 저해상도 영상 영상 추출 영상 추출의 역 과정을 모사 정량적 알고리즘 평가 • PSNR(Peak Signal-to-Noise Ratio:최대 신호 대 잡음비) • SSIM(Structural SIMilarity) • MSE(Mean Squared Error:평균 제곱 오차) • … 정성적 알고리즘 평가 • MOS(Mean Opinion Score) 초해상도 복원 알고리즘 6
- 7. 초해상도(Super-Resolution) 란? 초해상도 영상복원의 어려움 • 정보 손실 발생 (아날로그 영상 디지털 영상) • 정보 손실로 인해 완전한 역과정 불가능 • 이론적으로도 완벽한 복구 불가능 선명한 장면 고해상도 영상 저해상도 영상 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 본래 픽셀이 어떻게 구성되어 있었는지 알 수 없음 8 × 8 = 64 4 × 4 = 16 7
- 8. 초해상도(Super-Resolution) 란? 초해상도의 적용 •영상/동영상 이 적용되는 모든 분야 • 하드웨어의 한계를 넘어서야 할 때 • 디바이스에 제약이 있을때 • 영상 데이터의 품질 향상 8k/4k Upscaling Smartphone CCTV / 차량용 블랙박스 위성영상 의료영상 8
- 9. 발표가 다루는 범위 발표범위 • 고전적인 영상/동영상 초해상도 • 딥러닝 초해상도 • 초해상도와 가까운 영상개선 분야 영상 초해상도 동영상 초해상도 영상 초해상도 (딥러닝) 동영상 초해상도 (딥러닝) 생성모델 기반 초해상도 초해상도와 관련된 연구들 얼굴 초해상도 9
- 10. / 디지털 영상 확대기법 : 고전적인 방법부터 딥러닝 방법까지 기존 초해상도 기법들 (영상) 10
- 11. 기존 초해상도 기법들(영상) 보간 (Interpolation) 기반 방식 • 알려진 데이터를 이용해 그 사이의 모르는 데이터를 추정하는 것 • 곡선 적합(curve fitting), 회귀 분석(regression analysis) • 현재도 많이 사용됨 (간단한 구현, 수행시간) 선형 보간 다항 보간 알려진 데이터 보간 된 데이터 저해상도 영상 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 고해상도 영상 최근접이웃 보간법 저해상도 영상 고해상도 영상 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 이중 선형 보간법 저해상도 영상 고해상도 영상 Bicubic 보간법 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 최근접이웃 보간 이중 선형 보간 Bicubic 보간 이중 선형 보간 Bicubic 보간 최근접이웃 보간 입력영상 입력영상 11
- 12. 기존 초해상도 기법들(영상) 에지 (Edge) 방향대로 복원 하는 방식 • 인간 시각 인지의 특성 (=경계선에 민감한) 을 고려한 방식 • 현재는 거의 고려되지 않음 1. 저해상도 패치 추출 2. 에지 방향성 추정 3. 방향 따라 복원 저해상도 영상 일반적인 에지 기반 방식의 흐름 복원된 고해상도 영상 4. 모든 패치에 대해 반복 패치 단위 초해상도 복원 12
- 13. 기존 초해상도 기법들(영상) 주파수 기반 방식 • 영상을 일종의 주파수 데이터로 해석 • 손실된 고주파 성분을 복원 원본 영상 고해상도 영상 저해상도 영상 복원된 영상 원본 영상의 주파수 데이터 저해상도 영상의 주파수 데이터 고주파 성분이 복원된 주파수 데이터 주파수 영역 손상된 고주파 성분 단순 데이터 변환 주파수 기반의 초해상도 입력영상 DCT DCT IDCT 복원된 고해상도 영상 고주파 성분 저주파 성분 주파수 기반 초해상도의 예 ※ 2015, J. M. Lee and Y. S. Moon, “Super-resolution Image Reconstruction by High- frequency Components Estimation Based on Self-reference,” (Doctor of Philosophy), Hanyang University - 확대영상 복원된 고주파 성분 고주파 성분 13
- 14. 기존 초해상도 기법들(영상) 예제 기반 방식 • 고해상도 패치와 저해상도 패치쌍을 저장 • 이후 저해상도 입력에 대응하는 고해상도 패치로 복원 고해상도 영상 저해상도 영상 고해상도 패치 고해상도 패치 고해상도 패치 고해상도 패치 고해상도 패치 저해상도 패치 저해상도 영상 고해상도 영상 학습 데이터 학습 과정 복원 과정 Low-resolution patch Corresponding high-resolution patch Generation of training data 학습과정 복원과정 ※ 2002, W. T. Freeman, T. R. Jones, and E. C. Pasztor, “Example-based super-resolution,” IEEE Computer Graphics and Applications 고해상도 패치 저해상도 패치 14
- 15. 기존 초해상도 기법들(영상) 예제 기반 방식 장/단점 • 학습 데이터의 유사성에 따라 복원 결과에 차이 학습영상 입력영상 복원 결과 학습영상 입력영상(확대) 입력영상 복원 결과 입력영상(확대) ※ 2002, W. T. Freeman, T. R. Jones, and E. C. Pasztor, “Example-based super-resolution,” IEEE Computer Graphics and Applications 15
- 16. 기존 초해상도 기법들(영상) 기존 초해상도 기법 정리 • 보간법 • 에지 기반 방법 • 주파수 기반 방법 • 예제 기반 방법 기존 방법의 의의 • 영상에 대한 사전 지식(=사람의 지식)을 알고리즘으로 구현 • 가정에 들어맞는 상황에서 높은 성능 • 주파수 기반 : 인공패턴 • 예제 기반 : 비슷한 주제의 영상 입력영상 예제 기반 초해상도 입력영상(확대) 정답영상 저해상도 Bicubic 주파수 기반 초해상도 16
- 17. / 디지털 영상 확대기법 : 고전적인 방법부터 딥러닝 방법까지 기존 초해상도 기법들 (동영상) 17
- 18. 기존 초해상도 기법들(동영상) 동영상 초해상도 복원 • Multi-Frame Super-Resolution • Consecutive-Frame Super-Resolution • Video Super-Resolution • 여러 장의 연속된 저해상도 영상으로부터 고해상도 영상을 복원하는 분야 • 문제의 범위에 따라 다양한 해결 방법이 연구됨 연속영상 초해상도 복원의 예 저해상도 영상 확대 고해상도 영상 확대 동영상 초해상도 복원 기법을 사용하는 이유 단일영상 초해상도 복원 기법으로 복원 불가능한 경 우에도 영상이 복원 가능함(특정 조건 아래에서) 정답영상 저해상도 영상 Bicubic보간법 연속영상 초해상도 복원 결과 18
- 19. 기존 초해상도 기법들(동영상) 동영상이 훼손되는 과정 • 각각의 훼손과정은 서로 다른 원인에 의해 발생함 • 따라서 문제의 범위에 맞춘 접근방법이 필요함 흔들림 제거 연속영상 카메라흔들림 모션블러 다운샘플링 노이즈 훼손된영상 동영상이 훼손되는 과정 디블러링 노이즈 제거 19
- 20. 기존 초해상도 기법들(동영상) 이미지 센서를 움직이는 방식 • 일부러 센서를 움직여 촬영 • 여러장을 모아 하나의 고해상도 영상 복원 Computer Controlled X Micro-Actuator Computer Controlled Y Micro-Actuator Board Camera Lens 지터 카메라의 구조 Lens Sensor Micro-actuator 촬영하려는 장면 저해상도 영상 복원된 고해상도 영상 ※ M. Ben-Ezra, A. Zomet, S. K. Nayar, “Video Super-Resolution Using Controlled Subpixel Detector Shifts”, IEEE Trans. Pattern Analysis and Machine Intelligence, 2005 20
- 21. 기존 초해상도 기법들(동영상) 이미지 센서를 움직이는 방식의 결과 • 작은 부분까지 복원이 가능함 입력영상 결과영상 입력영상 결과영상 21
- 22. 기존 초해상도 기법들(동영상) 영상 정합 기반 방식 • 영상 정합(Image Registration) • 영상간 위치 오차를 추정하여 동일한 위치의 영상으로 되돌림 • 앞에 소개된 방식의 센서 이동을 소프트웨어로 대체 ※ S. Farsiu, M. D. Robinson, P. Milanfar, “Fast and Robust Multi-Frame Super-Resolution”, IEEE Trans. Image Processing, 2004 저해상도 연속영상 복원된 고해상도 영상 영상 정합 기반 방식의 흐름 𝑡 − 1 번째 𝑡 번째 𝑡 + 1 번째 영상 정합 영상 정합 초해상도 𝑡 − 1 번째 𝑡 + 1 번째 복원된 영상 (고해상도) 𝑡 번째 22
- 23. 기존 초해상도 기법들(동영상) 광류(Optical Flow) 기반 방식 • 광류를 이용하여 기준프레임에 맞게 주변프레임을 변형 (warping)한 후 고해상도 영상복원 광류를 이용하여 기준영상 맞게 변형 입력영상 결과영상 입력영상의 번호판 부분 결과영상의 번호판 부분 • 광류(Optical Flow) • 물체나 영상의 움직임을 나타내는 패턴 ※ D. Mitzel, T. Pock, T. Schoenemann, D. Cremers, “Video Super Resolution Using Duality Based TV-𝐿1 Optical Flow”, Joint Pattern Recognition Symposium, 2009 23
- 24. 기존 초해상도 기법들(동영상) 고전적인 동영상 초해상도 정리 • 여러장의 입력영상으로부터 복원 • 단일 영상을 이용한 경우보다 더 세밀한 복원 저해상도 정답영상 동영상 초해상도 단일영상 초해상도 저해상도 정답영상 동영상 초해상도 단일영상 초해상도 원본 동영상 원본 동영상 24
- 25. / 디지털 영상 확대기법 : 고전적인 방법부터 딥러닝 방법까지 딥러닝 초해상도 기법들 (영상) 25
- 26. 딥러닝 초해상도 기법들(영상) 딥러닝 방식의 초해상도 • 예제 기반 방식과 유사함 • 학습 : 저해상도-고해상도 쌍 데이터를 학습 • 복원 : 저해상도 데이터로부터 고해상도를 예측 고해상도 영상 저해상도 영상 학습된 CNN CNN 저해상도 영상 데이터 고해상도 영상 데이터 예측 결과 오차 수정 학습 과정 복원 과정 딥러닝 기반 초해상도 영상 복원의 흐름 26
- 27. 딥러닝 초해상도 기법들(영상) SRCNN(Image Super-Resolution Using Deep Convolutional Networks) • 가장 초기의 딥러닝 초해상도 • 기존 예제기반 초해상도와 비슷하게 해석함 • 3단계 - 3층 Convolution 구조 • 단순한 구조로 SR의 모든 과정이 가능함을 증명 • 딥러닝 이전 방법에 비해 확실히 우수한 결 • 정량적, 정성적 평가 모두 차이 ※ C. Dong, C. C. Loy, K. He, and X. Tang, “Image Super-Resolution Using Deep Convolutional Networks,” IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI), 2015 27
- 28. 딥러닝 초해상도 기법들(영상) SRCNN은 기존 예제기반 초해상도와 비슷함 • 예제기반 1. 저해상도 패치 추출 2. 데이터에서 적합한 데이터 매칭 3. 고해상도 패치로 치환 • SRCNN 1. 패치 추출 및 특징백터로 변환 2. Non-Linear Mapping(저해상도 특징 <->고해상도 특징) 3. 고해상도 특징백터를 고해상도 패치로 재구성 • 이후 딥러닝 초해상도 구조의 기반이 됨 SRCNN 의 구조 Low-resolution patch Corresponding high-resolution patch Generation of training data 예제 기반 초해상도의 학습과정과 복원과정 28
- 29. 딥러닝 초해상도 기법들(영상) FSRCNN(Accelerating the Super-Resolution Convolutional Neural Network) • 이전 논문(SRCNN)의 속도를 개선 • 5단계 - 8층 구조 • Deconvolution 층을 사용하여 Low Resolution 에서 연산을 수행함 • 낮은 연산 비용 속도 향상 ※ C. Dong, C. C. Loy, X. Tang. “Accelerating the Super-Resolution Convolutional Neural Network,” in Proceedings of European Conference on Computer Vision (ECCV), 2016 29
- 30. 딥러닝 초해상도 기법들(영상) 딥러닝 초해상도의 복원 품질 vs. 속도 • 일반적으로 초해상도 네크워크는 영상 upsampling 시점에 따라 2가지 구조 중 하나 장점 단점 이른 upsampling 영상을 세세하게 복원할 수 있음 배율이 커지면 매우 느림 늦은 upsampling Low-resolution(LR) space에 서 많은 연산을 수행하므로 빠름 복원 영상의 품질이 낮음 <SRCNN> 이른 upsampling <FSRCNN> 늦은 upsampling 30
- 31. 딥러닝 초해상도 기법들(영상) VDSR (Accurate Image Super-Resolution using Very Deep Convolutional Networks) • 매우 깊은 (약 20층) 네트워크 달성 • 초해상도에서 깊은 네트워크가 불가능하다 여겨 졌었음 • 잔차(Residual) 학습 • 잔차 = 고해상도 – 저해상도(Interpolation) • 고해상도 영상의 대부분은 이미 저해상도로부터 계산 가능 • 학습 필요량 감소 Interpolated LR HR Skip-connection way learned residual Conv.1 Conv.D-1 ReLu.1 ReLu.D-1 ※ J. Kim, J.K. Lee, and K.M. Lee “Accurate Image Super-Resolution Using Very Deep Convolutional Networks,” Proc. of IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2016. 31
- 32. 딥러닝 초해상도 기법들(영상) VDSR의 잔차학습의 효율성 • 고해상도 영상의 대부분은 저해상도 영상과 동일 • 잔차 학습시 효율성 증가 • 깊은 네트워크 사용 가능 • VDSR 이전 : 초해상도는 깊은 네트워크 사용 불가하다 여김 저해상도 영상 고해상도 영상 잔차 영상 저해상도 영상 고해상도 영상 정답영상 SRCNN VDSR 32
- 33. 딥러닝 초해상도 기법들(영상) LapSRN(Laplacian Pyramid Network for Super-Resolution) • 이른/늦은 Upsampling을 결합 • 속도는 합리적 • 동시에 여러단계의 확대 • ×2, ×4, ×8 • Feature Extraction Branch • Laplacian 영상 복원 • (=잔차) • Image Reconstruction Branch • ×2, ×4, ×8 영상 복원 ※ W.-S. Lai, J.-B. Huang, N. Ahuja, and M.-H. Yang, “Deep Laplacian Pyramid Networks for Fast and Accurate Super-Resolution,” CVPR 2017 LapSRN 복원과정 애니메이션 입력영상 입력영상 2배확대 ↑ 4배확대 ↑ 8배확대 ↑ 33
- 34. 딥러닝 초해상도 기법들(영상) 초기 딥러닝 초해상도를 지나서… • 이후 초해상도를 위한 수많은 네트워크, 학습 방법등이 제시되었음 • Skip-Connection 의 위치를 바꿈 • 반복적 학습구조를 채택 • 동시에 여러 단계를 복원 • … • 다만 혁신적인 변화는 없으므로 필요에 따라 참고 34
- 35. 딥러닝 초해상도 기법들(영상) 딥러닝 기반 초해상도 요약 • 기존 초해상도 보다 월등한 성능 • 속도도 우수함 • 보간법보다는 느리지만 복잡한 초해상도 알고리즘보다 빠름 0 30 60 90 120 Bicubic 주 파 수 기 반 방 법 1 딥 러 닝 기 반 방 법 2 초당 영상 처리 (FPS) 복원 속도 비교 30 FPS 60 FPS 1 J. M. Lee and Y. S. Moon, “Super-resolution Image Reconstruction by High-frequency Components Estimation Based on Self-reference,” (Doctor of Philosophy), Hanyang University, 2015. 2 Z. Hui, X. Wang, and X. Gao, “Fast and Accurate Single Image Super-Resolution via Information Distillation Network,” CVPR, 2018. 저해상도(입력) 고해상도(정답) 주파수 기반 방법1 딥러닝 기반 방법2 저해상도(입력) 고해상도(정답) 주파수 기반 방법1 딥러닝 기반 방법2 35
- 36. / 디지털 영상 확대기법 : 고전적인 방법부터 딥러닝 방법까지 딥러닝 초해상도 기법들 (동영상) 36
- 37. 딥러닝 초해상도 기법들(동영상) VESPCN : Video Efficient Sub-Pixel Convolution Network • 모션 측정과 보상 • 저해상도 영상에서 모션 보상 • N개 저해상도 영상 단일 고해상도 영상 • 여러장의 보상된 저해상도 영상으로 단일 고해상도 영상생성 • End-to-end • 모든 과정을 한번에 학습 가능 VESPCN의 구조 영상 정합 기반 방식의 흐름 𝑡 − 1 번째 𝑡 번째 𝑡 + 1 번째 영상 정합 영상 정합 초해상도 𝑡 − 1 번째 𝑡 + 1 번째 복원된 영상 (고해상도) 𝑡 Frame 37 ※ W. Shi et al, “Real-time single image and video super-resolution using an efficient sub-pixel convolutional neural network,” CVPR 2016.
- 38. 딥러닝 초해상도 기법들(동영상) 모션 예측 & 보상 네트워크 • 딥러닝으로 구현됨 • 픽셀단위 모션 예측 & 보상 • 단계적인 모션 예측 & 보상 • Coarse to fine 전략 • Warp는 픽셀단위 영상 보상 모션 보상 과정 1. 입력영상 𝐼𝑡 와 𝐼𝑡+1으로 Coarse 모션 ∆𝑐 를 계산 2. 𝐼𝑡+1 을 모션 ∆𝑐 으로 warp 𝐼𝑡+1 ′𝑐 3. 1, 2와 비슷하게 ∆𝑓 , 𝐼𝑡+1 ′ 를 계산 2단계 모션 예측과 보상 구조 coarse 예측과 보상 (¼ 스케일) 이후 fine 예측과 보상 (½ 스케일) 𝐼 : 저해상도 영상, 𝑡 : 프레임 번호 ∆𝑥, ∆𝑦 : x방향 모션과 y방향 모션 ∆𝑐, ∆𝑓 : coarse 모션, fine 모션 38
- 39. 딥러닝 초해상도 기법들(동영상) 영상복원 네트워크 • 입력 : D개의 저해상도 프레임 (모션 보간 됨) • 논문에서는 D=5를 권장 • 출력 : 고해상도 프레임 • 이후 과정은 여러층의 컨볼루션 으로 구성됨 • 단일영상 초해상도와 비슷한 구조 • 입력이 여러 개의 저해상도 라는 점을 제외하면 일반적인 초해상도와 유사한 구조 입력 프레임 개수와 깊이 실험 • 네트워크 레이어 수와 성능은 비례관계 • 대체로 5개 입력프레임이 적절 함 Early fusion 구조 D개 프레임 모션 보간 된 저해상도 입력영 상을 겹친 뒤 CNN 네트워크 구성 네트워크 레이어 수, 입력프레임 대비 성능 그래프 SF = single frame E3, E5, E7 = 각각 입력 3, 5, 7 프레임) (HD영상 한장을 처리하기 위해 필요한 연산의 수) 39
- 40. 딥러닝 초해상도 기법들(동영상) VESPCN 결과 저해상도 저해상도 (동일한 크기로 확대) 복원 된 결과 (딥러닝 초해상도) 40
- 41. 딥러닝 초해상도 기법들(동영상) VESPCN 결과 저해상도 저해상도 (동일한 크기로 확대) 복원 된 결과 (딥러닝 초해상도) 41
- 42. 딥러닝 초해상도 기법들(동영상) VESPCN 결과 • 단일 영상 초해상도에 비해 더 선명하게 복원함 • 단일 영상 초해상도에서 복원 불가능한 경우에도 일부 복원 성공함 • 2개의 기둥으로 이루어진 가로등 • 단일 영상 초해상도 기법으로는 복원되지 않지만 동영상 초해상도에서는 2개의 기둥이 나타남 동영상의 전체 화면 정답 고해상도 저해상도 저해상도 (동일한 크기로 확대) Bicubic Interpolation 동영상 초해상도 정답 고해상도 저해상도 저해상도 (동일한 크기로 확대) 단일 영상 초해상도 동영상 초해상도 42
- 43. / 디지털 영상 확대기법 : 고전적인 방법부터 딥러닝 방법까지 특별한 분야의 초해상도 43
- 44. 특별한 초해상도 Generative-Adversarial Network(GAN:적대적 생성 신경망) • Generator(생성자)와 Discriminator(판별자)를 적대적으로 학습시키는 네트워크 • 장점 : Realistic 한 Fake Data 생성 • 단점 : 결과가 정말로 존재할 수 있는지는 알 수 없음 위조지폐로 설명하는 GAN Generator : Fake Data를 만듦 Discriminator : Fake와 Real 을 구별 Generator와 Discriminator를 경쟁적으로 학습시켜 Fake Data의 품질을 높힐 수 있다. 나이 변환 성별 변환 여러가지 GAN 예제 44
- 45. 특별한 초해상도 SRGAN(Photo-Realistic SingleImage Super-Resolution Using a Generative Adversarial Network) • 최초의 초해상도 + GAN • 실제 사진 같은(=Photo-Realistic) 영상 생성 SRGAN 결과 GAN을 사용하지 않 는 방식 (=SRResNet)에 비 해 사실적인 복원 결과 MOS(Mean Opinion Score) 비교 MOS : 1~5점으로 채점된 영상 품질의 평균 SRGAN은 이제껏 있었던 어떤 방법보다 사람이 평가하기에 고해상도인 영상을 생성 SRGAN 구조 45 ※ Ledig, Christian, et al. “Photo-realistic single image super-resolution using a generative adversarial network,” CVPR 2017
- 46. 특별한 초해상도 ZSSR (Zero-ShotSuper-Resolution) • 단 한장의 저해상도 영상으로 고해상도 영상 복원 • 자연영상의 자기 유사성을 이용함 ※ A. Shocher, N. Cohen, and M. Irani, “ “Zero-Shot” Super-Resolution using Deep Internal Learning,” CVPR 2018 자기 유사성이 강한 영상의 초해상도 기둥, 둥근 아치 등의 자기 유사성이 강한 경우, 내부 데이터만 이용하는 방식이 더 깔끔하게 복원됨 외부 데이터 학습 vs. 내부 데이터 학습 결과 영상 2 EDSR : 여러장의 외부 데이터를 학습한 딥러닝 초해상도 방법 수풀은 자기 유사성이 강한 물체 ZSSR이 더 자세하게 복원됨 결과 영상 1 46
- 47. 특별한 초해상도 SinGAN (SinGAN:Learning a Generative Model from a Single Natural Image) • 한장의 영상으로부터 다양한 영상을 생성 • Editing, Harmonization, Patin to image, 초해상도 등 • GAN 사용하여 사실적인 영상 생성 ※ T. R. Shaham, T. Dekel, and T. Michaeli “SinGAN: Learning a Generative Model from a Single Natural Image,” ICCV 2019. SinGAN의 학습 구조 작은 영상부터 시작하여 큰 영상을 복원함 복원영상은 판별자를 통해 다양한 크기로 검사됨 결과적으로 SinGAN은 다양한 크기에서 본래 영상이 갖는 내부적인 데이터 분포를 학습하고 원래 영상과 구별하기 어려운 영상을 만들어 냄 Harmonization 원래 영상에 없던 물체를 삽입한 뒤 자연스럽게 수정 Editing 사람이 수정한 영상을 자연스럽게 바꿈 PhotoShap의 기능보다 자연스러운 결과 초해상도 여러장을 학습한 SRGAN만큼이나 자연스러운 영상을 생성 47
- 48. 특별한 초해상도 얼굴에 중심을둔 초해상도 • 집중적으로 연구가 진행됨 • 랜드마크(ex: 눈, 코, 입) 위치를 사용하여 더 정확한 복원 얼굴중점 초해상도 결과 일반적인 초해상도 (VDSR)은 심하게 저해상 도인 경우 얼굴을 복원하 지 못하였으나, 얼굴중심 초해상도 결과에서는 훨 씬 볼만한 결과를 나타냄 ※ D. Kim, M. Kim, G. Kwon, and D.-S. Kim, “Progressive Face Super-Resolution via Attention to Facial Landmark,”, The British Machine Vision Conference 2019. 저해상도 VDSR 얼굴중심 초해상도 고해상도(정답) 얼굴 랜드마크 (Facial Landmark) 눈, 코, 입 등의 얼굴에 대 한 랜드마크를 검출한 결 과 48
- 49. 특별한 초해상도 FSRNet(FSRNet: End-to-EndLearning Face Super-Resolution with Facial Priors) • 랜드마크를 추정하는 네트워크를 추가하여 얼굴 초해상도 성능을 높힘 • FSRGAN : FSRNet 의 GAN 버전 ※ Y. Chen, Y. Tai, X. Liu, C. Shen, and J. Yang, “FSRNet: End-to-End Learning Face Super-Resolution with Facial Priors,”, CVPR 2018 랜드마크 검출 결과 일반적인 초해상도(SRResNet) 에서는 복원수준이 낮고 랜드마크도 검출되지 않음. FSRGAN에서는 복원수진이 높고 랜드마크도 비슷하 게 검출됨 FSRNet의 구성 Coarse SR Network 에서 영상을 1차 복원함. Prior Estimation Network에서 얼굴의 랜드마크를 추측함. 이것을 활용하여 Fine SR Decoder에서 고해상도 영상으로 복원함 49
- 50. 특별한 초해상도 FSRNet(FSRNet: End-to-EndLearning Face Super-Resolution with Facial Priors) • 랜드마크를 추정하는 네트워크를 추가하여 얼굴 초해상도 성능을 높힘 • FSRGAN : FSRNet 의 GAN 버전 ※ Y. Chen, Y. Tai, X. Liu, C. Shen, and J. Yang, “FSRNet: End-to-End Learning Face Super-Resolution with Facial Priors,”, CVPR 2018 랜드마크 검출 결과 일반적인 초해상도(SRResNet) 에서는 복원수준이 낮고 랜드마크도 검출되지 않음. FSRGAN에서는 복원수진이 높고 랜드마크도 비슷하 게 검출됨 FSRNet의 구성 Coarse SR Network 에서 영상을 1차 복원함. Prior Estimation Network에서 얼굴의 랜드마크를 추측함. 이것을 활용하여 Fine SR Decoder에서 고해상도 영상으로 복원함 50
- 51. / 디지털 영상 확대기법 : 고전적인 방법부터 딥러닝 방법까지 초해상도와 비슷한 연구들 51
- 52. 초해상도와 비슷한 연구들 Deblurring(블러제거) •카메라 흔들림으로 인한 블러를 제거하는 분야 • 카메라의 이동 물체의 이동을 추측하고 그 역으로 블러를 제거함 ※ M. Delbracio and G. Sapiro “Hand-held Video Deblurring via Efficient Fourier Aggregation,” IEEE Trans. on Computational Imaging, Volume 1, Issue 4, 2015. ※ J. Pan, H. Bai, and J. Tang “Cascaded Deep Video Deblurring Using Temporal Sharpness Prior,” CVPR 2020. Deblurring 네트워크 구조 Optical Flow를 예측하는 네트워크와 Deblurring 네트워크로 구성됨 디블러링 된 영상 입력 영상 정답 영상 52
- 53. 초해상도와 비슷한 연구들 딥러닝기반 저선량 CT(Computed Tomography) 복원 기술 • 적은 방사선으로 높은 수준의 CT 영상 촬영 • 의료용 CT 촬영으로 인한 피폭 발생 • 적은 방사선 사용시 노이즈 발생 딥러닝 복원으로 고 방사선과 비슷하게 복원 ※ E. Kang, J Min, J. C. Ye, “A deep convolutional neural network using directional wavelets for low‐dose X‐ray CT reconstruction,” MedicalPhysics, Volume 44. Issue 10. 2017. 의료용 CT 적은 방사선 사용시 발생하는 노이즈 방사선을 조금 사용할경우 노이즈가 생길수 있음 (a) 가우시안 노이즈, (b) streaking artifacts 복원 결과 웨이블릿을 이용한 저선량 CT복원 네트워크 구조 웨이블릿을 사용하여 고주파 영역만 복원하는 방식으로 저선량 CT영상의 화질을 개선 53
- 54. 초해상도와 비슷한 연구들 FrameInterpolation • 낮은 fps 의 영상 높은 fps • 슬로우 비디오를 만드는 것과 비슷 54 ※ S. Niklaus and F. Liu “Softmax Splatting for Video Frame Interpolatio,” CVPR 2020.
- 55. 초해상도와 비슷한 연구들 Denoising(노이즈제거) Colorization 55 JPEC 압축 에러 제거
- 56. / 디지털 영상 확대기법 : 고전적인 방법부터 딥러닝 방법까지 질의 응답 56