Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
정보 추출을 위한 이미지 분석
- 분석의 장애물을 어떻게 극복할까?
민재식 부장 / 멀티미디어연구 lab / NAVER LABS
이미지 분석으로 할 수 있는 일들
유사이미지 검색

정보 연결

사물 검색

이미지 분류
photo
clipart
sketch

아트 효과
이미지 분석으로 할 수 있는 일들
유사이미지 검색

정보 연결

필요
석은

사물 검색

지분
이미지 분류
이미
하든
엇을
무
photo

clipart
sketch

효과
이미지 분석을 방해하는 요인

연산량

high-level 노이즈

저화질
데이터 과다

low-level 노이즈

text overlay

조명 불량

picture frame

방향 노이즈

배경
이미지 분석을 방해하는 요인

연산량

high-level 노이즈

저화질
데이터 과다

low-level 노이즈

text overlay

조명 불량

picture frame

방향 노이즈

배경
데이터의 과다

이미지가 너무 크다??
이미지 축소

이미지 축소

처리

처리

결과 확대 (or not)

결과 확대 (or not)

사물 위치 검출
주요영역 추출
이미지 분류
대부분의 인식
…

Image mat...
Mission – 피사체와 배경의 분리
Spectral Clustering (brief overview)

affinity matrix L
q

Construct N x N affinity matrix L

Get M eigenvectors of L
N

p...
Spectral Clustering (brief overview)

affinity matrix L
q

Construct N x N affinity matrix L

Get M eigenvectors of L
N

p...
데이터 분량 줄이기 - superpixels

727 x 480 pixels
38 x 25 superpixels

Superpixels --- What is it?
•  일종의 over-segmentation
•  데이...
Superpixels - comparison
Watershed algorithm

SLIC algorithm

vs.

•  Superpixel 간 grid 성질 유지하면 다루기 쉬움
•  No need of neare...
Distance between superpixels
Watershed algorithm

SLIC algorithm

vs.

or

or … ?

Distance
between centroids
is OK
SLIC superpixels – HOW?
•  K-means clustering (K=1,000)
•  Performed in local window
•  Seeds at the minimum gradien
t

참조...
SLIC superpixels – compactness parameter
•  Parameter m
•  Controls compactness
•  Low m à more color coherent
•  High m ...
SLIC superpixels – number of pixels parameter
•  Parameter K
•  The number of superpixels

K=1000, m=20

K=2000, m=20
SLIC superpixels 효과
2,000 개의 superpixels 만으로도 원본의 주요 특징은 유지
Spectral Clustering 결과 (without superpixels)
축소

clustering on
56 x 37 reduced image

원본 727 x 480

56 x 37

확대

결과 727 x ...
Spectral Clustering 결과 (with superpixels)
축소

56 x 37

원본 727 x 480

clustering on
superpixels

56 x 37

확대

결과 727 x 480
Spectral Clustering 결과 (without superpixels)
축소

clustering on
53 x 40 reduced image

원본 640 x 480

53 x 40

확대

결과 640 x ...
Spectral Clustering 결과 (with superpixels)
축소

53 x 40

원본 640 x 480

clustering on
superpixels

53 x 40

확대

결과 640 x 480
이미지 분석을 방해하는 요인

연산량

high-level 노이즈

저화질
데이터 과다

low-level 노이즈

text overlay

조명 불량

picture frame

방향 노이즈

배경
Manga Camera (아이폰 앱)

촬영된 사진을 만화처럼 만들어 주기

만화 효과 요소
•  음영을 빗살문양으로 처리 (펜터치 효과)
•  준비된 포토 프레임을 덧씌워 효과 극대화
Manga Camera의 만화효과 생성과정
어두운 부분 à black

원본

edge 추출

중간 부분 à 빗살문양

최종
Line drawing methods

Edge vs. XDoG vs. FDoG

Edge + dark shade

XDoG

FDoG

방향 노이즈 제거 작업이 필요
Line drawing method - XDoG

eXtended DoG (XDoG)

Gσ (= G smoothed)

DoG (= Gσ – p·Gkσ
)

S (= Gσ + DoG)
threshold

밝기의 변화를...
Line drawing method - XDoG

eXtended DoG (XDoG)

Gσ (= G smoothed)

DoG (= Gσ – p·Gkσ)

S (= Gσ + DoG)
threshold

Noise가 발...
DoG

Difference of Gaussians (DoG)

•  DoG = Gaussian Smoothing with σ0 - Gaussian Smoothing with σ1
•  사람 망막에서 일어나는 메커니즘과...
Gradient and tangent orientation

Gradient orientation
Tangent orientation

Tangent flow map
Gradient orientation : 색상, 밝기...
Line drawing method - FDoG

Flow-based DoG (FDoG)
Step 1: 1-D DoG를 gradient orientation 방향으로만 적용한다

Step 2: Step 1의 결과를 ta...
Flow smoothing – 복잡한 방법

이미 구해진 flow map을 정제하는 작업은 복잡하다
case 1
average
orientation
case 2
o

average
orientation

x

case ...
Flow smoothing – 간단한 방법

Structure tensor
by Sobel operator

(gij): Structure Tensor
of image f

Eigenvalues
of pixel (i,j...
Flow smoothing – 간단한 방법

Structure tensor
by Sobel operator
EFG 3-channel 이미지로 보관
(gij): Structure Tensor
of image f

Eige...
Flow smoothing - 결과
초기 tangent flow는 Sobel operator로 쉽게 구할 수 있음
하지만 각 픽셀의 tangent flow는 방향 노이즈가 많아 매끄럽지 않음

à Structure t...
Flow smoothing – line drawing 적용결과

XDoG vs. FDoG

원본

XDoG

FDoG
Flow smoothing – 활용 사례

Pen sketch 효과
Flow smoothing – 활용 사례

타일 모자이크 효과
Flow smoothing – 활용 사례

Horizon detection & leveling

original (tilted horizon)

horizon detection

p
Tangent or
ientation...
이미지 분석을 방해하는 요인

연산량

high-level 노이즈

저화질
데이터 과다

low-level 노이즈

text overlay

조명 불량

picture frame

방향 노이즈

배경
Mission - 사진품질 자동측정
고품질 사진

사진 DB, 개인앨범

Best shot

삭제

폴더 대표사진

보정

사진이
247 deview 2013 이미지 분석 - 민재식
247 deview 2013 이미지 분석 - 민재식
247 deview 2013 이미지 분석 - 민재식
247 deview 2013 이미지 분석 - 민재식
247 deview 2013 이미지 분석 - 민재식
247 deview 2013 이미지 분석 - 민재식
247 deview 2013 이미지 분석 - 민재식
247 deview 2013 이미지 분석 - 민재식
247 deview 2013 이미지 분석 - 민재식
247 deview 2013 이미지 분석 - 민재식
247 deview 2013 이미지 분석 - 민재식
247 deview 2013 이미지 분석 - 민재식
247 deview 2013 이미지 분석 - 민재식
247 deview 2013 이미지 분석 - 민재식
Upcoming SlideShare
Loading in …5
×

of

247 deview 2013 이미지 분석 - 민재식 Slide 1 247 deview 2013 이미지 분석 - 민재식 Slide 2 247 deview 2013 이미지 분석 - 민재식 Slide 3 247 deview 2013 이미지 분석 - 민재식 Slide 4 247 deview 2013 이미지 분석 - 민재식 Slide 5 247 deview 2013 이미지 분석 - 민재식 Slide 6 247 deview 2013 이미지 분석 - 민재식 Slide 7 247 deview 2013 이미지 분석 - 민재식 Slide 8 247 deview 2013 이미지 분석 - 민재식 Slide 9 247 deview 2013 이미지 분석 - 민재식 Slide 10 247 deview 2013 이미지 분석 - 민재식 Slide 11 247 deview 2013 이미지 분석 - 민재식 Slide 12 247 deview 2013 이미지 분석 - 민재식 Slide 13 247 deview 2013 이미지 분석 - 민재식 Slide 14 247 deview 2013 이미지 분석 - 민재식 Slide 15 247 deview 2013 이미지 분석 - 민재식 Slide 16 247 deview 2013 이미지 분석 - 민재식 Slide 17 247 deview 2013 이미지 분석 - 민재식 Slide 18 247 deview 2013 이미지 분석 - 민재식 Slide 19 247 deview 2013 이미지 분석 - 민재식 Slide 20 247 deview 2013 이미지 분석 - 민재식 Slide 21 247 deview 2013 이미지 분석 - 민재식 Slide 22 247 deview 2013 이미지 분석 - 민재식 Slide 23 247 deview 2013 이미지 분석 - 민재식 Slide 24 247 deview 2013 이미지 분석 - 민재식 Slide 25 247 deview 2013 이미지 분석 - 민재식 Slide 26 247 deview 2013 이미지 분석 - 민재식 Slide 27 247 deview 2013 이미지 분석 - 민재식 Slide 28 247 deview 2013 이미지 분석 - 민재식 Slide 29 247 deview 2013 이미지 분석 - 민재식 Slide 30 247 deview 2013 이미지 분석 - 민재식 Slide 31 247 deview 2013 이미지 분석 - 민재식 Slide 32 247 deview 2013 이미지 분석 - 민재식 Slide 33 247 deview 2013 이미지 분석 - 민재식 Slide 34 247 deview 2013 이미지 분석 - 민재식 Slide 35 247 deview 2013 이미지 분석 - 민재식 Slide 36 247 deview 2013 이미지 분석 - 민재식 Slide 37 247 deview 2013 이미지 분석 - 민재식 Slide 38 247 deview 2013 이미지 분석 - 민재식 Slide 39 247 deview 2013 이미지 분석 - 민재식 Slide 40 247 deview 2013 이미지 분석 - 민재식 Slide 41 247 deview 2013 이미지 분석 - 민재식 Slide 42 247 deview 2013 이미지 분석 - 민재식 Slide 43 247 deview 2013 이미지 분석 - 민재식 Slide 44 247 deview 2013 이미지 분석 - 민재식 Slide 45 247 deview 2013 이미지 분석 - 민재식 Slide 46 247 deview 2013 이미지 분석 - 민재식 Slide 47 247 deview 2013 이미지 분석 - 민재식 Slide 48 247 deview 2013 이미지 분석 - 민재식 Slide 49 247 deview 2013 이미지 분석 - 민재식 Slide 50 247 deview 2013 이미지 분석 - 민재식 Slide 51 247 deview 2013 이미지 분석 - 민재식 Slide 52 247 deview 2013 이미지 분석 - 민재식 Slide 53
Upcoming SlideShare
study Image and video abstraction by multi scale anisotropic kuwahara
Next
Download to read offline and view in fullscreen.

21 Likes

Share

Download to read offline

247 deview 2013 이미지 분석 - 민재식

Download to read offline

Related Books

Free with a 30 day trial from Scribd

See all

Related Audiobooks

Free with a 30 day trial from Scribd

See all

247 deview 2013 이미지 분석 - 민재식

  1. 1. 정보 추출을 위한 이미지 분석 - 분석의 장애물을 어떻게 극복할까? 민재식 부장 / 멀티미디어연구 lab / NAVER LABS
  2. 2. 이미지 분석으로 할 수 있는 일들 유사이미지 검색 정보 연결 사물 검색 이미지 분류 photo clipart sketch 아트 효과
  3. 3. 이미지 분석으로 할 수 있는 일들 유사이미지 검색 정보 연결 필요 석은 사물 검색 지분 이미지 분류 이미 하든 엇을 무 photo clipart sketch 효과
  4. 4. 이미지 분석을 방해하는 요인 연산량 high-level 노이즈 저화질 데이터 과다 low-level 노이즈 text overlay 조명 불량 picture frame 방향 노이즈 배경
  5. 5. 이미지 분석을 방해하는 요인 연산량 high-level 노이즈 저화질 데이터 과다 low-level 노이즈 text overlay 조명 불량 picture frame 방향 노이즈 배경
  6. 6. 데이터의 과다 이미지가 너무 크다?? 이미지 축소 이미지 축소 처리 처리 결과 확대 (or not) 결과 확대 (or not) 사물 위치 검출 주요영역 추출 이미지 분류 대부분의 인식 … Image matting Image morphing …
  7. 7. Mission – 피사체와 배경의 분리
  8. 8. Spectral Clustering (brief overview) affinity matrix L q Construct N x N affinity matrix L Get M eigenvectors of L N p Lpq (pixel p와 q의 affinity) Project to M eigenvectors N (total # pixels) K-means clustering of M projections
  9. 9. Spectral Clustering (brief overview) affinity matrix L q Construct N x N affinity matrix L Get M eigenvectors of L N p Lpq (pixel p와 q의 affinity) Project to M eigenvectors N (total # pixels) K-means clustering of M projections bottleneck
  10. 10. 데이터 분량 줄이기 - superpixels 727 x 480 pixels 38 x 25 superpixels Superpixels --- What is it? •  일종의 over-segmentation •  데이터 수를 줄이는 효과 (e.g., 350,000 pixels à 1,000 superpixels) •  만약 일반 pixel 처럼 grid 성질을 유지하면 다루기 쉬워서 유리함
  11. 11. Superpixels - comparison Watershed algorithm SLIC algorithm vs. •  Superpixel 간 grid 성질 유지하면 다루기 쉬움 •  No need of nearest neighbor search •  No need of defining geometric distance between superpixels
  12. 12. Distance between superpixels Watershed algorithm SLIC algorithm vs. or or … ? Distance between centroids is OK
  13. 13. SLIC superpixels – HOW? •  K-means clustering (K=1,000) •  Performed in local window •  Seeds at the minimum gradien t 참조: Achanta et al., “SLIC Superpixels Compared to State-of-the-art Superpixel Methods”
  14. 14. SLIC superpixels – compactness parameter •  Parameter m •  Controls compactness •  Low m à more color coherent •  High m àmore compact K=500, m=10 K=500, m=40
  15. 15. SLIC superpixels – number of pixels parameter •  Parameter K •  The number of superpixels K=1000, m=20 K=2000, m=20
  16. 16. SLIC superpixels 효과 2,000 개의 superpixels 만으로도 원본의 주요 특징은 유지
  17. 17. Spectral Clustering 결과 (without superpixels) 축소 clustering on 56 x 37 reduced image 원본 727 x 480 56 x 37 확대 결과 727 x 480
  18. 18. Spectral Clustering 결과 (with superpixels) 축소 56 x 37 원본 727 x 480 clustering on superpixels 56 x 37 확대 결과 727 x 480
  19. 19. Spectral Clustering 결과 (without superpixels) 축소 clustering on 53 x 40 reduced image 원본 640 x 480 53 x 40 확대 결과 640 x 480
  20. 20. Spectral Clustering 결과 (with superpixels) 축소 53 x 40 원본 640 x 480 clustering on superpixels 53 x 40 확대 결과 640 x 480
  21. 21. 이미지 분석을 방해하는 요인 연산량 high-level 노이즈 저화질 데이터 과다 low-level 노이즈 text overlay 조명 불량 picture frame 방향 노이즈 배경
  22. 22. Manga Camera (아이폰 앱) 촬영된 사진을 만화처럼 만들어 주기 만화 효과 요소 •  음영을 빗살문양으로 처리 (펜터치 효과) •  준비된 포토 프레임을 덧씌워 효과 극대화
  23. 23. Manga Camera의 만화효과 생성과정 어두운 부분 à black 원본 edge 추출 중간 부분 à 빗살문양 최종
  24. 24. Line drawing methods Edge vs. XDoG vs. FDoG Edge + dark shade XDoG FDoG 방향 노이즈 제거 작업이 필요
  25. 25. Line drawing method - XDoG eXtended DoG (XDoG) Gσ (= G smoothed) DoG (= Gσ – p·Gkσ ) S (= Gσ + DoG) threshold 밝기의 변화를 강조 XDoG 참조: Winnemoller et al., “XDoG - An eXtended difference-of-Gaussian c ompendium including advanced image stylization”
  26. 26. Line drawing method - XDoG eXtended DoG (XDoG) Gσ (= G smoothed) DoG (= Gσ – p·Gkσ) S (= Gσ + DoG) threshold Noise가 발생하는 이유? XDoG
  27. 27. DoG Difference of Gaussians (DoG) •  DoG = Gaussian Smoothing with σ0 - Gaussian Smoothing with σ1 •  사람 망막에서 일어나는 메커니즘과 유사 (σ1 = 1.6 * σ0) •  밝기의 변화율이 강조됨. 하지만 노이즈 역시 강조됨 à 변화가 일어나는 방향으로만 강조한다면??
  28. 28. Gradient and tangent orientation Gradient orientation Tangent orientation Tangent flow map Gradient orientation : 색상, 밝기 변화량이 가장 큰 방향 Tangent orientation : gradient orientation의 수직 방향 (패턴의 흐름 방향)
  29. 29. Line drawing method - FDoG Flow-based DoG (FDoG) Step 1: 1-D DoG를 gradient orientation 방향으로만 적용한다 Step 2: Step 1의 결과를 tangent flow를 따라 smoothing 한다 à 전제조건: 방향이 정제된 flow map이 필요하다 참조: Kyprianidis et al., “Image Abstraction by Structure Adaptive Filtering”
  30. 30. Flow smoothing – 복잡한 방법 이미 구해진 flow map을 정제하는 작업은 복잡하다 case 1 average orientation case 2 o average orientation x case 3 case 4 magnitude의 차이가 크다면? orientation 여러 개를 smoothing 하려면?
  31. 31. Flow smoothing – 간단한 방법 Structure tensor by Sobel operator (gij): Structure Tensor of image f Eigenvalues of pixel (i,j) Eigenvectors of pixel (i,j) magnitude gradient tangent
  32. 32. Flow smoothing – 간단한 방법 Structure tensor by Sobel operator EFG 3-channel 이미지로 보관 (gij): Structure Tensor of image f Eigenvalues of pixel (i,j) Eigenvectors of pixel (i,j) magnitude gradient tangent
  33. 33. Flow smoothing - 결과 초기 tangent flow는 Sobel operator로 쉽게 구할 수 있음 하지만 각 픽셀의 tangent flow는 방향 노이즈가 많아 매끄럽지 않음 à Structure tensor image를 smoothing 한다 초기 tangent flow smoothed tangent flow
  34. 34. Flow smoothing – line drawing 적용결과 XDoG vs. FDoG 원본 XDoG FDoG
  35. 35. Flow smoothing – 활용 사례 Pen sketch 효과
  36. 36. Flow smoothing – 활용 사례 타일 모자이크 효과
  37. 37. Flow smoothing – 활용 사례 Horizon detection & leveling original (tilted horizon) horizon detection p Tangent or ientation o f pixel p corrected image
  38. 38. 이미지 분석을 방해하는 요인 연산량 high-level 노이즈 저화질 데이터 과다 low-level 노이즈 text overlay 조명 불량 picture frame 방향 노이즈 배경
  39. 39. Mission - 사진품질 자동측정 고품질 사진 사진 DB, 개인앨범 Best shot 삭제 폴더 대표사진 보정 사진이
  • sungraecho2

    Feb. 22, 2019
  • ssuser756364

    Apr. 12, 2017
  • songchanghee

    Dec. 9, 2016
  • KitaeSong

    Aug. 7, 2016
  • ssuser16965f

    Apr. 27, 2016
  • yongbinlee9843

    Sep. 17, 2015
  • YeongsooKim2

    Sep. 13, 2015
  • seongbokyoun

    Jun. 16, 2015
  • ssuserbe46cf

    Jun. 3, 2015
  • kyoungminyoon7

    Apr. 16, 2015
  • kevinhan

    Apr. 4, 2015
  • clan2000

    Jan. 18, 2015
  • hyojunguy

    Jan. 10, 2015
  • StonyKang

    Nov. 9, 2014
  • HyojinMo

    Aug. 7, 2014
  • hanaleehn

    Jun. 7, 2014
  • cyberhoon

    Oct. 30, 2013
  • sunghwankim01

    Oct. 28, 2013
  • juhyeunize

    Oct. 28, 2013
  • gisiman

    Oct. 28, 2013

Views

Total views

7,235

On Slideshare

0

From embeds

0

Number of embeds

3,561

Actions

Downloads

134

Shares

0

Comments

0

Likes

21

×