1. 이미지 분할 및 관심 영역 기반
색상 스키마 추출
2019. 12. 20 (금)
KAIST 전산학부 기하컴퓨팅연구실
김수지° 최성희
[KSC2019: 컴퓨터그래픽스 및 상호작용]

2. Contents
1. 색상 스키마(Color Scheme) 소개
2. 문제 정의
3. 제안 방법
4. 실험 결과
5. 결론
2

3. 색상 스키마(Color Scheme)
 색상은 감정 반응을 통해 인간의 인지에 강한 영향을 줌 [1, 2, 3]
3
[1] Hemphill, M. (1996). A note on adults' color–emotion associations. The Journal of genetic psychology, 157(3),
275-280.
[2] Mahnke, F. H. (1996). Color, environment, and human response: an interdisciplinary understanding of color
and its use as a beneficial element in the design of the architectural environment. John Wiley & Sons.
[3] Ou, L. C., Luo, M. R., Woodcock, A., & Wright, A. (2004). A study of colour emotion and colour preference.
Part I: Colour emotions for single colours. Color Research & Application, 29(3), 232-240.

4. 색상 스키마(Color Scheme)
색상을 표현하는 다양한 방법
4
1) Proportion reflected 2) 2D gradation
3) Radial proportion

5. 색상 스키마(Color Scheme)
색상을 표현하는 다양한 방법
5
1) Proportion reflected 2) 2D gradation
3) Radial proportion

6. 색상 스키마(Color Scheme)
색상 양자화 (Color Quantization)
 색상 이미지 압축, 디스플레이 기기의 한계, 컬러 프린팅 등에 사용하기
위해 원본 이미지를 소량의 색상으로 표현하는 기법
 최근에는 다양한 이미지 프로세싱의 기반 기술로 사용됨
 이미지 재채색 (Image Recolorization)
 이미지 분해 (Image Decomposition
 이미지 추상화 (Image Abstraction)
 이미지 인덱싱 (Image Indexing)
6

7. 색상 스키마(Color Scheme)
왜 색상 스키마를 사용하는가?
 패션, 뷰티, 건축, 미디어, 미술, UI/UX 등의 다양한 시각 분야에서
단색이 아닌 여러 가지의 색상을 조합한 색상 스키마를 사용
 색상 고유의 성질뿐만 아니라 색상간의 관계를 통해 더 풍부한 의미의
전달이 가능
7

8. 문제 정의
8
이미지 k개의 색상으로 구성된
색상 스키마

9. 문제 정의: 기존 방법
(1) k-means clustering 을 통한 색상 스키마 추출
 이미지의 각 픽셀의 (R, G, B) 값을 이용한 3차원 공간에서의 군집화
 각 군집의 centroid 픽셀의 색상을 선택
9

10. 문제 정의: 기존 방법
(2) 히스토그램 경계화를 통한 색상 스키마 추출
 이미지를 HSV 히스토그램으로 변환
 히스토그램을 몇 개의 구역으로 나누어 주요색을 선택
10

11. 문제 정의: 기존 방법
(3) 컨벡스 헐 밀폐를 통한 색상 스키마 추출
 이미지의 각 픽셀의 (R, G, B) 값을 3차원 공간에 표현
 모든 정점(vertex)을 포함하는 컨벡스 헐 계산
 컨벡스 헐을 구성하는 정점에 해당하는 색상을 선택
11

12. 문제 정의
12
k-means 군집화 히스토그램 경계화 컨벡스 헐 밀폐
 기존의 방법들 모두 이미지 내 모든 색상을
동일한 가중치로 평가
 이미지에서 중요하지 않은 픽셀의 색상 정보까지도
색상 추출에 영향을 미침
이미지 내에서의 시각적 중요도를 반영한
색상 스키마 추출이 필요함

13. 제안 방법
13
입력 이미지
주요 레이어의 색상 스키마
레이어 분할
관심 영역 맵
이미지 분할 맵
배경 레이어의 색상 스키마

14. 제안 방법
이미지 분할 (Image Segmentation) 맵 추출
 이미지 분할 없이 관심 영역 맵의 경계화만을 적용할 경우 동일한
물체가 파편화 (fragment) 되어 다른 레이어로 구분될 수 있음
➡ 물체 단위의 이미지 분할이 필요함
 ADE20K 데이터셋을 바탕으로 학습된 PSPNet(Pyramid Scene
Parsing Network)을 사용해 사전 지식 없이 자동화된 이미지 분할
맵 추출
14
입력 이미지
주요 레이어의 색상 스키마
레이어 분할
관심 영역 맵
이미지 분할 맵
배경 레이어의 색상 스키마

15. 제안 방법
관심 영역 맵 (Saliency Map) 추출
 이미지 내에서 각 픽셀의 시각적 주요도를 나타냄
 CNN-based Saliency Prediction: SalNet (Pan et al., 2016 CVPR)
15
SalNet Architecture
Examples of Saliency Map
입력 이미지
주요 레이어의 색상 스키마
레이어 분할
관심 영역 맵
이미지 분할 맵
배경 레이어의 색상 스키마

16. 제안 방법
레이어 분할 및 색상 스키마 추출
16
입력 이미지
주요 레이어의 색상 스키마
레이어 분할
관심 영역 맵
이미지 분할 맵
배경 레이어의 색상 스키마
 레이어 분할
 𝑙𝑙𝑝𝑝: 픽셀 𝑝𝑝의 그룹 𝑙𝑙 (0: 주요 레이어, 1: 배경 레이어)
 𝑆𝑆𝑝𝑝: 픽셀 𝑝𝑝의 Saliency 값
 𝐺𝐺𝑝𝑝: 픽셀 𝑝𝑝가 속한 분할 레이어 그룹
 𝜇𝜇: 두 그룹을 구분하는 평균 주목도 의 경계값 (𝜇𝜇 = 0.4)
 주요 레이어(𝑙𝑙0)와 배경 레이어(𝑙𝑙1)를 구분 후 각 레이어를 대상으로 RGB
유클리디안 거리 기반 k-means 군집화를 적용

17. 실험 결과
17
입력 이미지 분할 맵 관심 영역 맵 레이어 분할 주요 색상 스키마 배경 색상 스키마

18. 실험 결과
관심 영역 맵의 적용 없는 색상 스키마 추출 결과
18
입력 이미지 분할 맵 관심 영역 맵
관심 영역 맵
이미지 분할 맵
모두 적용 이미지 분할 맵만 적용레이어 분할

19. 실험 결과
이미지 분할 맵의 적용 없는 색상 스키마 추출 결과
19
입력 이미지 분할 맵 관심 영역 맵
색상 스키마
레이어 분할
관심 영역 맵만 적용
색상 스키마
레이어 분할
관심 영역 맵, 분할 맵 모두 적용

20. 결 론
 이미지로부터의 색상 스키마 추출 방법
 시각적 주목도가 높은 부분과 낮은 부분의 구분
 온전한 형태의 물체로부터의 색상 추출
 이미지 탐색 기술에서 설명자(descriptor) 로서의 기능 담당 가능
 추후 연구
 장면 인식을 통한 다차원적인 레이어 구분을 통한 색상 스키마 추출
20

21. 감사합니다
이미지 분할 및 관심 영역 기반 색상 스키마 추출
Color Scheme Extraction Using Segmentation and Saliency Maps
2019 한국소프트웨어종합학술대회
KAIST 전산학부 기하컴퓨팅연구실 박사과정 김수지
kimsuzi@kaist.ac.kr