247 deview 2013 이미지 분석 - 민재식

5,367 views

Published on

0 Comments
19 Likes
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total views
5,367
On SlideShare
0
From Embeds
0
Number of Embeds
2,729
Actions
Shares
0
Downloads
109
Comments
0
Likes
19
Embeds 0
No embeds

No notes for slide

247 deview 2013 이미지 분석 - 민재식

  1. 1. 정보 추출을 위한 이미지 분석 - 분석의 장애물을 어떻게 극복할까? 민재식 부장 / 멀티미디어연구 lab / NAVER LABS
  2. 2. 이미지 분석으로 할 수 있는 일들 유사이미지 검색 정보 연결 사물 검색 이미지 분류 photo clipart sketch 아트 효과
  3. 3. 이미지 분석으로 할 수 있는 일들 유사이미지 검색 정보 연결 필요 석은 사물 검색 지분 이미지 분류 이미 하든 엇을 무 photo clipart sketch 효과
  4. 4. 이미지 분석을 방해하는 요인 연산량 high-level 노이즈 저화질 데이터 과다 low-level 노이즈 text overlay 조명 불량 picture frame 방향 노이즈 배경
  5. 5. 이미지 분석을 방해하는 요인 연산량 high-level 노이즈 저화질 데이터 과다 low-level 노이즈 text overlay 조명 불량 picture frame 방향 노이즈 배경
  6. 6. 데이터의 과다 이미지가 너무 크다?? 이미지 축소 이미지 축소 처리 처리 결과 확대 (or not) 결과 확대 (or not) 사물 위치 검출 주요영역 추출 이미지 분류 대부분의 인식 … Image matting Image morphing …
  7. 7. Mission – 피사체와 배경의 분리
  8. 8. Spectral Clustering (brief overview) affinity matrix L q Construct N x N affinity matrix L Get M eigenvectors of L N p Lpq (pixel p와 q의 affinity) Project to M eigenvectors N (total # pixels) K-means clustering of M projections
  9. 9. Spectral Clustering (brief overview) affinity matrix L q Construct N x N affinity matrix L Get M eigenvectors of L N p Lpq (pixel p와 q의 affinity) Project to M eigenvectors N (total # pixels) K-means clustering of M projections bottleneck
  10. 10. 데이터 분량 줄이기 - superpixels 727 x 480 pixels 38 x 25 superpixels Superpixels --- What is it? •  일종의 over-segmentation •  데이터 수를 줄이는 효과 (e.g., 350,000 pixels à 1,000 superpixels) •  만약 일반 pixel 처럼 grid 성질을 유지하면 다루기 쉬워서 유리함
  11. 11. Superpixels - comparison Watershed algorithm SLIC algorithm vs. •  Superpixel 간 grid 성질 유지하면 다루기 쉬움 •  No need of nearest neighbor search •  No need of defining geometric distance between superpixels
  12. 12. Distance between superpixels Watershed algorithm SLIC algorithm vs. or or … ? Distance between centroids is OK
  13. 13. SLIC superpixels – HOW? •  K-means clustering (K=1,000) •  Performed in local window •  Seeds at the minimum gradien t 참조: Achanta et al., “SLIC Superpixels Compared to State-of-the-art Superpixel Methods”
  14. 14. SLIC superpixels – compactness parameter •  Parameter m •  Controls compactness •  Low m à more color coherent •  High m àmore compact K=500, m=10 K=500, m=40
  15. 15. SLIC superpixels – number of pixels parameter •  Parameter K •  The number of superpixels K=1000, m=20 K=2000, m=20
  16. 16. SLIC superpixels 효과 2,000 개의 superpixels 만으로도 원본의 주요 특징은 유지
  17. 17. Spectral Clustering 결과 (without superpixels) 축소 clustering on 56 x 37 reduced image 원본 727 x 480 56 x 37 확대 결과 727 x 480
  18. 18. Spectral Clustering 결과 (with superpixels) 축소 56 x 37 원본 727 x 480 clustering on superpixels 56 x 37 확대 결과 727 x 480
  19. 19. Spectral Clustering 결과 (without superpixels) 축소 clustering on 53 x 40 reduced image 원본 640 x 480 53 x 40 확대 결과 640 x 480
  20. 20. Spectral Clustering 결과 (with superpixels) 축소 53 x 40 원본 640 x 480 clustering on superpixels 53 x 40 확대 결과 640 x 480
  21. 21. 이미지 분석을 방해하는 요인 연산량 high-level 노이즈 저화질 데이터 과다 low-level 노이즈 text overlay 조명 불량 picture frame 방향 노이즈 배경
  22. 22. Manga Camera (아이폰 앱) 촬영된 사진을 만화처럼 만들어 주기 만화 효과 요소 •  음영을 빗살문양으로 처리 (펜터치 효과) •  준비된 포토 프레임을 덧씌워 효과 극대화
  23. 23. Manga Camera의 만화효과 생성과정 어두운 부분 à black 원본 edge 추출 중간 부분 à 빗살문양 최종
  24. 24. Line drawing methods Edge vs. XDoG vs. FDoG Edge + dark shade XDoG FDoG 방향 노이즈 제거 작업이 필요
  25. 25. Line drawing method - XDoG eXtended DoG (XDoG) Gσ (= G smoothed) DoG (= Gσ – p·Gkσ ) S (= Gσ + DoG) threshold 밝기의 변화를 강조 XDoG 참조: Winnemoller et al., “XDoG - An eXtended difference-of-Gaussian c ompendium including advanced image stylization”
  26. 26. Line drawing method - XDoG eXtended DoG (XDoG) Gσ (= G smoothed) DoG (= Gσ – p·Gkσ) S (= Gσ + DoG) threshold Noise가 발생하는 이유? XDoG
  27. 27. DoG Difference of Gaussians (DoG) •  DoG = Gaussian Smoothing with σ0 - Gaussian Smoothing with σ1 •  사람 망막에서 일어나는 메커니즘과 유사 (σ1 = 1.6 * σ0) •  밝기의 변화율이 강조됨. 하지만 노이즈 역시 강조됨 à 변화가 일어나는 방향으로만 강조한다면??
  28. 28. Gradient and tangent orientation Gradient orientation Tangent orientation Tangent flow map Gradient orientation : 색상, 밝기 변화량이 가장 큰 방향 Tangent orientation : gradient orientation의 수직 방향 (패턴의 흐름 방향)
  29. 29. Line drawing method - FDoG Flow-based DoG (FDoG) Step 1: 1-D DoG를 gradient orientation 방향으로만 적용한다 Step 2: Step 1의 결과를 tangent flow를 따라 smoothing 한다 à 전제조건: 방향이 정제된 flow map이 필요하다 참조: Kyprianidis et al., “Image Abstraction by Structure Adaptive Filtering”
  30. 30. Flow smoothing – 복잡한 방법 이미 구해진 flow map을 정제하는 작업은 복잡하다 case 1 average orientation case 2 o average orientation x case 3 case 4 magnitude의 차이가 크다면? orientation 여러 개를 smoothing 하려면?
  31. 31. Flow smoothing – 간단한 방법 Structure tensor by Sobel operator (gij): Structure Tensor of image f Eigenvalues of pixel (i,j) Eigenvectors of pixel (i,j) magnitude gradient tangent
  32. 32. Flow smoothing – 간단한 방법 Structure tensor by Sobel operator EFG 3-channel 이미지로 보관 (gij): Structure Tensor of image f Eigenvalues of pixel (i,j) Eigenvectors of pixel (i,j) magnitude gradient tangent
  33. 33. Flow smoothing - 결과 초기 tangent flow는 Sobel operator로 쉽게 구할 수 있음 하지만 각 픽셀의 tangent flow는 방향 노이즈가 많아 매끄럽지 않음 à Structure tensor image를 smoothing 한다 초기 tangent flow smoothed tangent flow
  34. 34. Flow smoothing – line drawing 적용결과 XDoG vs. FDoG 원본 XDoG FDoG
  35. 35. Flow smoothing – 활용 사례 Pen sketch 효과
  36. 36. Flow smoothing – 활용 사례 타일 모자이크 효과
  37. 37. Flow smoothing – 활용 사례 Horizon detection & leveling original (tilted horizon) horizon detection p Tangent or ientation o f pixel p corrected image
  38. 38. 이미지 분석을 방해하는 요인 연산량 high-level 노이즈 저화질 데이터 과다 low-level 노이즈 text overlay 조명 불량 picture frame 방향 노이즈 배경
  39. 39. Mission - 사진품질 자동측정 고품질 사진 사진 DB, 개인앨범 Best shot 삭제 폴더 대표사진 보정 사진이

×