지금까지 Super Resolution은 많은 방법들이 등장해왔다. 딥러닝이 영상처리 분야에서 눈에 띄는 성과를 보여주기 시작했고 이는 Super Resolution 문제에도 마찬가지로 적용됐다. 이번 발표에서는 1달 동안 3 가지 딥러닝 SR 모델을 구현한 경험담과 이를 통한 딥러닝 SR의 동향을 얘기하고자 한다. 딥러닝 SR이 기존의 SR을 어떻게 대체했는지 SRCNN을 소개로 시작하며 그 이후 딥러닝 SR의 발전과 현재 어디까지 왔는지 VDSR과 RDN을 통해 설명하겠다. 마지막으로 구현하면서 느낀 점들과 앞으로의 SR에 대한 생각을 얘기하려 한다.
지금까지 Super Resolution은 많은 방법들이 등장해왔다. 딥러닝이 영상처리 분야에서 눈에 띄는 성과를 보여주기 시작했고 이는 Super Resolution 문제에도 마찬가지로 적용됐다. 이번 발표에서는 1달 동안 3 가지 딥러닝 SR 모델을 구현한 경험담과 이를 통한 딥러닝 SR의 동향을 얘기하고자 한다. 딥러닝 SR이 기존의 SR을 어떻게 대체했는지 SRCNN을 소개로 시작하며 그 이후 딥러닝 SR의 발전과 현재 어디까지 왔는지 VDSR과 RDN을 통해 설명하겠다. 마지막으로 구현하면서 느낀 점들과 앞으로의 SR에 대한 생각을 얘기하려 한다.
Deep Learning Into Advance - 1. Image, ConvNetHyojun Kim
[본 자료는 AB180 사내 스터디의 일환으로 제작되었습니다.]
딥러닝에 대한 기초적인 이해 및 적용 예시를 알아보고, 인사이트를 공유하기 위해 만들었습니다. 첫번째로 딥러닝이 이미지 프로세싱에 적용된 방식 및, Convolutional Neural Network (ConvNet)의 기초에 대해 다루었습니다.
* 본 스터디 자료는 Stanford 강좌인 CS231n (http://cs231n.stanford.edu)의 내용을 참고했습니다.
Generative model is nowadays a very good tool for Anomaly Detection. Thus I bring a interesting generative model 'Diffusion' for solving the anomaly detection task. Presentation consists of the concept of diffusion and method to use diffusion for anomaly detection.
Deep Learning Into Advance - 1. Image, ConvNetHyojun Kim
[본 자료는 AB180 사내 스터디의 일환으로 제작되었습니다.]
딥러닝에 대한 기초적인 이해 및 적용 예시를 알아보고, 인사이트를 공유하기 위해 만들었습니다. 첫번째로 딥러닝이 이미지 프로세싱에 적용된 방식 및, Convolutional Neural Network (ConvNet)의 기초에 대해 다루었습니다.
* 본 스터디 자료는 Stanford 강좌인 CS231n (http://cs231n.stanford.edu)의 내용을 참고했습니다.
Generative model is nowadays a very good tool for Anomaly Detection. Thus I bring a interesting generative model 'Diffusion' for solving the anomaly detection task. Presentation consists of the concept of diffusion and method to use diffusion for anomaly detection.
8. Spectral Clustering (brief overview)
affinity matrix L
q
Construct N x N affinity matrix L
Get M eigenvectors of L
N
p
Lpq
(pixel p와 q의 affinity)
Project to M eigenvectors
N
(total # pixels)
K-means clustering of M projections
9. Spectral Clustering (brief overview)
affinity matrix L
q
Construct N x N affinity matrix L
Get M eigenvectors of L
N
p
Lpq
(pixel p와 q의 affinity)
Project to M eigenvectors
N
(total # pixels)
K-means clustering of M projections
bottleneck
10. 데이터 분량 줄이기 - superpixels
727 x 480 pixels
38 x 25 superpixels
Superpixels --- What is it?
• 일종의 over-segmentation
• 데이터 수를 줄이는 효과 (e.g., 350,000 pixels à 1,000 superpixels)
• 만약 일반 pixel 처럼 grid 성질을 유지하면 다루기 쉬워서 유리함
11. Superpixels - comparison
Watershed algorithm
SLIC algorithm
vs.
• Superpixel 간 grid 성질 유지하면 다루기 쉬움
• No need of nearest neighbor search
• No need of defining geometric distance between superpixels
13. SLIC superpixels – HOW?
• K-means clustering (K=1,000)
• Performed in local window
• Seeds at the minimum gradien
t
참조: Achanta et al., “SLIC Superpixels Compared to State-of-the-art Superpixel Methods”
14. SLIC superpixels – compactness parameter
• Parameter m
• Controls compactness
• Low m à more color coherent
• High m àmore compact
K=500, m=10
K=500, m=40
15. SLIC superpixels – number of pixels parameter
• Parameter K
• The number of superpixels
K=1000, m=20
K=2000, m=20
25. Line drawing method - XDoG
eXtended DoG (XDoG)
Gσ (= G smoothed)
DoG (= Gσ – p·Gkσ
)
S (= Gσ + DoG)
threshold
밝기의 변화를 강조
XDoG
참조: Winnemoller et al., “XDoG - An eXtended difference-of-Gaussian c
ompendium including advanced image stylization”
26. Line drawing method - XDoG
eXtended DoG (XDoG)
Gσ (= G smoothed)
DoG (= Gσ – p·Gkσ)
S (= Gσ + DoG)
threshold
Noise가 발생하는 이유?
XDoG
27. DoG
Difference of Gaussians (DoG)
• DoG = Gaussian Smoothing with σ0 - Gaussian Smoothing with σ1
• 사람 망막에서 일어나는 메커니즘과 유사 (σ1 = 1.6 * σ0)
• 밝기의 변화율이 강조됨. 하지만 노이즈 역시 강조됨
à 변화가 일어나는 방향으로만 강조한다면??
28. Gradient and tangent orientation
Gradient orientation
Tangent orientation
Tangent flow map
Gradient orientation : 색상, 밝기 변화량이 가장 큰 방향
Tangent orientation : gradient orientation의 수직 방향 (패턴의 흐름 방향)
29. Line drawing method - FDoG
Flow-based DoG (FDoG)
Step 1: 1-D DoG를 gradient orientation 방향으로만 적용한다
Step 2: Step 1의 결과를 tangent flow를 따라 smoothing 한다
à 전제조건: 방향이 정제된 flow map이 필요하다
참조: Kyprianidis et al., “Image Abstraction by Structure Adaptive Filtering”
30. Flow smoothing – 복잡한 방법
이미 구해진 flow map을 정제하는 작업은 복잡하다
case 1
average
orientation
case 2
o
average
orientation
x
case 3
case 4
magnitude의
차이가 크다면?
orientation 여러 개를
smoothing 하려면?
31. Flow smoothing – 간단한 방법
Structure tensor
by Sobel operator
(gij): Structure Tensor
of image f
Eigenvalues
of pixel (i,j)
Eigenvectors
of pixel (i,j)
magnitude
gradient
tangent
32. Flow smoothing – 간단한 방법
Structure tensor
by Sobel operator
EFG 3-channel 이미지로 보관
(gij): Structure Tensor
of image f
Eigenvalues
of pixel (i,j)
Eigenvectors
of pixel (i,j)
magnitude
gradient
tangent
33. Flow smoothing - 결과
초기 tangent flow는 Sobel operator로 쉽게 구할 수 있음
하지만 각 픽셀의 tangent flow는 방향 노이즈가 많아 매끄럽지 않음
à Structure tensor image를 smoothing 한다
초기 tangent flow
smoothed tangent flow
78. 품질 오판단을 유도하는 high-level 노이즈
Picture frames
Text overlay
79. 품질 오판단을 유도하는 high-level 노이즈
배경 또는 non-salient area도 품질측정 입장에서는 노이즈에 해당
이 영역의 low-level feature 값은 중요하지 않음
à 이미지 내 주요영역을 알아 낼 필요가 있다
80. 주요영역 검출 (Salient area detection) - Saliency map
Saliency of pixel (i,j) : Sij = max of { Eij * Csij }
Eij : edge density
Csij : local color contrast in the neighborhood at scale s
참조: Achanta et al., “Salient Region Detection and Segmentation”
81. 주요영역 검출 (Salient area detection)
Clustering of saliency map
+
2D Gaussian modeling
주요영역의 low-level feature 값만으로 품질을 판단
86. 주요영역 검출 활용사례 - Thumbnail cropping
Picture frame은 주요영역 검출 이전에 자동으로 제거
87. Summary – 분석의 장애물을 어떻게 극복할까?
연산량
low-level 노이즈
high-level 노이즈
데이터 과다
방향 노이즈
배경
picture frame
Superpixels
Flow smoothing
주요영역 추출
디테일 유지하면서
데이터 대량 감소
방향 노이즈를
간단하게 제거
분석 시 배경 등의
영향력을 감소