Sergios Theodoridis의 Pattern recognition 책 공부하면서 이해되는데로 정리하였습니다. 내용이 잘못되거나 부족한 부분이 많습니다.

1. Pattern Recognition
Introduction
2018-07-19 도정찬

2. 1. IS PATTERN RECOGNITION IMPORTANT?
패턴 인식이란?
이미지나 신호를 의미있는 데이터로
분류하는 방법

3. 1. IS PATTERN RECOGNITION IMPORTANT?
패턴인식의 역사
1960년대 까지 통계학에서 이론적인 연구만 진행
이후 컴퓨터 성능 발전으로 실제로 개발되어 다양한 산업분야에서 사용
현재 기계 지능의 한 분야로 의사 결정 모델을 구현

4. 1. IS PATTERN RECOGNITION IMPORTANT?
머신 비전
(Machine Vision)
패턴 인식의 주요 분야로
카메라로 촬영한 사진이 무엇을 나타내는지 구분할 수 있게 만든다.
제조 라인에서 결함 감지, 사물 인식 등에 사용된다.

5. 1. IS PATTERN RECOGNITION IMPORTANT?
문자 인식
(Character Recognition)
패턴 인식의 다른 주요 분야로
Optical Character Recognition(OCR) 시스템은 이미 상업적으로 사용되며
우리에게도 친숙하게 사용하고 있다.
촬영한 이미지로부터 숫자와 문자를 감지하고 문자 영역들을 구분한다.

6. 1. IS PATTERN RECOGNITION IMPORTANT?
컴퓨터 보조 진단
(Computer-aided diagnosis)
패턴 인식의 다른 주요 분야로
의사가 진단을 내리는데 보조한다.
X-ray, 초음파, 심전도(ECGs) 등 다양한 의학 데이터를 활용하여 암을 찾아내거나
사람이 찾기 어려운 문제들을 발견한다.

7. 1. IS PATTERN RECOGNITION IMPORTANT?
음성 인식
(Speech Recognition)
패턴 인식의 다른 주요 분야로
많은 투자를 받고 있으며 사람의 말을 이해할 수 있는 기계지능을 목표로 한다.
위험한 장소에서 기계를 제어하거나 음성으로 제어하여 장애인을 돕는 등 다양한
방면으로 활용 가능하다.

8. 1. IS PATTERN RECOGNITION IMPORTANT?
데이터 마이닝과 지식탐사
(Data mining and knowledge discovery)
패턴 인식의 다른 주요 분야로
데이터 마이닝은 의학, 시장, 금융, 사업, 과학, 영상, 음악 등 모든 분야에서 나오
는 데이터로부터 정보를 찾고 활용한다.

9. 2. FEATURES, FEATURE VECTORS, AND CLASSIFIERS
의학 이미지를 이용한 분류
(a) 양성 종양 (b) 악성 종양
그림 1. (a) 클래스 A의 그림 (b) 클래스 B의 그림

10. 2. FEATURES, FEATURE VECTORS, AND CLASSIFIERS
-그림 2는 각 클래스의 관심영역, mean으로 부터 표준편차에 따른 산
포도를 보여준다.
-클래스 A는 클래스 B와 다른 관심 영역에 퍼져있다.
-일직선은 두 클래스를 잘 나누고 있다.
-새 데이터가 있다면 무슨 클래스인지 분류할수 없지만 어느 관심영역
에 속하는지 보고 판단할 수 있다.
-그림 2에서 애스터리스크(*) 점은 알 수 없는 데이터지만 클래스 B 보
다는 클래스 A일 가능성이 높다.
그림 2. 클래스 A(O)와 B(+)의 산포도
-일직선으로 두 클래스로 구분

11. 2. FEATURES, FEATURE VECTORS, AND CLASSIFIERS
방금 본 분류 작업은 다양한 클래스로 분류하는 패턴인식 문제들이 어떻게 데이터를 구분하는지 나타낸다.
분류에 사용된 중앙 값과 표준편차 분포 데이터들은 특징(Features)이며
l 가지의 경우들의 특징 xi, i = 1, 2, ..., l 과 같이 나타내며
이러한 모든 경우 특징들의 행렬을 특징 백터(Feature Vector)라 한다.
x = [x1, x2 , . . . , xi]T
*특징 백터 x 에서 나오는 T는 전치(Transposition)을 의미한다.

12. 2. FEATURES, FEATURE VECTORS, AND CLASSIFIERS
Pattern Recognition(Sergios Theodoridis)에서는 특징, 특징백터들은 랜덤 변수(확률 통계)와 백터(선형대수)들로 다룬다.
특징과 특징 백터를 나타내는 데이터들은 각 패턴들의 분포를 따르는 값들이기 때문이다.
->각 패턴은 서로 구분 가능한 특성(mean, standard variation ?)이 존재한다.
예시) 아래의 그림 1과 같이 각 클래스의 점들은 구분되는 특성을 갖는다.

13. 2. FEATURES, FEATURE VECTORS, AND CLASSIFIERS
그림 2의 직선은 결정선(decision line)으로 클래스 A와 클래스 B 특징 영역을 나누
는 분류자(classifier) 역활을 한다.
만약 애스터리스크(*)와 같이 알수 없는 패턴이 클래스 A의 영역에 있다면 클래스 B
보다는 A로 구분되며 선택(desicion)이 맞으면 평균값은 필요하지 않는다.
선택이 틀리다면 오분류(misclassification)가 발생한다.

14. 2. FEATURES, FEATURE VECTORS, AND CLASSIFIERS
그림 2에서 결정선을 그리려면 각 점들이 클래스 A 또는 B를 나타내는건지 라벨들
(labels)을 알아야한다.
이미 알고 있는 패턴(특징 패턴)은 훈련 패턴(훈련 특징 패턴)으로써 분류기를 만드는
데 사용된다.

15. 2. FEATURES, FEATURE VECTORS, AND CLASSIFIERS
아래는 분류 작업에 필요한 기초 질문, 정의와 이유를 설명합니다.
1. 어떻게 특징이 생성되나요?
앞의 예제에서는 이미지가 어떻게 만들어졌는지 알기 때문에 평균과 표준편차를 사용했습니다. 하지만 현실 문제
에서는 다릅니다. 패턴 인식 작업을 수행하는 분류 시스템 설계의 특징 생성 과정과 관련 있습니다.
2. 특징을 사용하는데 최적의 특징 갯수 l은 몇 인가요?
특징 갯수 즉, 몇 개로 분류할 건지 고르는 것도 매우 중요한 작업이고 분류 시스템의 특징 선택 과정과 관련있습
니다. 현실에서는 처음에 필요한 특징 후보 갯수 보다 많이 설정하고 최적의 l을 찾도록 훈련합니다.
3.l을 맞추면 분류기(classifier)는 어떻게 설계하나요?
앞의 예제에서 직선은 눈으로 보고 경험적(empirically)으로 그려졌습니다. 현실에서는 안되고 최적화된 기준
(optimality criterion)에 따라서 최적화되어 그려야합니다. 게다가 좋은 성능을 내는 선형 분류기(직선 straight
line 또는 다차원에서 초평면 hyperplane)를 사용하는 문제들이 존재 하지 않을수도 있습니다.(are not the
rule ??) 일반적으로 다양한 클래스 영역에서 공간을 나누는 면들은 비선형입니다. 어떻게 비선형 문제를 해결하
고 다차원 특징 공간에서 최적화 기준을 사용할지에 대한 문제들은 분류기 디자인 과정에서 다룹니다.
4. 마지막으로 분류기가 설계되면 어떻게 성능을 평가하나요? 그게 분류 에러 비율인가요?
시스템 평가 과정의 작업에서 이뤄집니다.

16. 2. FEATURES, FEATURE VECTORS, AND CLASSIFIERS
그림 3은 분류 시스템 설계 과정들을 나타냅니다. 피드백 화살선을 보시다시피, 각 과정들은 독립적이지 않고 서
로 연관되어 결과에 의존합니다.
성능을 향상하기 위해 결과가 이전 과정으로 다시 보내지고, 최적화 작업을 위해 특징 선택, 분류기 설계 과정은
같이 이루어지기도 합니다.
그림 3. 분류 시스템 설계 기본 과정

17. 3. SUPERVISED, UNSUPERVISED LEARNING
그림 1의 예제에서는 훈련 데이터가 존재하고 분류기는 이미 알고있는 정보로 설계되었습니다. 이러한 경우를
지도 학습(Supervised Learning)이라 합니다.
하지만 항상 이렇지 않고 클래스 라벨이 없는 훈련 데이터를 통한 패턴 인식의 경우는 다릅니다. 이 문제에서는
특징 백터 x의 집합에서 비슷한 백터들 끼리 모아서(cluster) 해결하는데 이를 비지도 학습(Unsupervised
Learning) 또는 클러스터링이라 합니다.

18. 감사합니다