형태소 분석 후 품사 태깅을 위한 HMM 알고리즘 설명

1. 형태소분석과 Vitebi 알고리즘
2015.02.15
윤도상
dsyoon@ncue.net

2. 자연어 처리 (Natural Language Processing)
자연어 처리는
• 인간이 발화하는 언어 현상을 기계적으로 분석해서 컴퓨터가 이해할 수 있는 형태로 만드는 자연 언
어 이해 혹은 그러한 형태를 다시 인간이 이해할 수 있는 언어로 표현하는 제반 기술을 의미한다.
형태소 분석이란
• 어떤 대상 어절의 모든 가능한 분석 결과를 출력하는 것을 의미한다.
• 형태소 분석 단계에서 문제가 되는 부분은 미 등록어, 오탈자, 띄어쓰기 오류 등을 들 수 있다.
• 또 다른 문제로는 복합 명사 분해가 있을 수 있다.
 나는 → 나(대명사) + 는(조사)
 나는 → 날(동사) + 는(관형형어미)
품사 태거는
• 형태소 분석기가 출력한 다양한 분석 결과 중에서 문맥에 적합한 하나의 분석 결과를 선택하는 모
듈이라 할 수 있다.
• 분석 시 문맥 좌우에 위치한 중의성 해소의 힌트가 되는 정보를 이용해서 적합한 분석 결과를 선택
한다. 보통 대규모의 품사부착 말뭉치를 이용해서 구현하는데 은닉 마르코프 모델(HMM)이 널리
사용되고 있다.
 나는 오늘 학교에 갔다' → '나+는 오늘 학교+에 가다+았+다‘
 하늘을 나는 새를 보았다' → '하늘+을 날다+ㄴ 새+를 보다+았+다'
참고. 위키피디아
http://ko.wikipedia.org/wiki/%EC%9E%90%EC%97%B0_%EC%96%B8%EC%96%B4_%EC%B2%98%EB%A6%AC

3. 하늘을
하늘(NNG)+을(JO)
나(NP)+는(JX)
날(VV)+는(ETM)
새(NNG)
새(MM)
나는 새
입력 문장: 하늘을 나는 새
하늘(NNG)+을(JO) 나(NP)+는(JX) 새(NNG)
하늘(NNG)+을(JO) 나(NP)+는(JX) 새(MM)
하늘(NNG)+을(JO) 날(VV)+는(ETM) 새(NNG)
하늘(NNG)+을(JO) 날(VV)+는(ETM) 새(MM)
형태소
분석
품사
태거
형태소 분석과 품사 태거 예

4. 친구의 단순한 생활
- 친구의 일상을 관찰함 (V=산책, 쇼핑, 청소)
- 날씨 (S=해, 비)
[관찰 가능한 범위 에서 파악]
날씨 날씨에 따른 친구의 행동
친구가 “그끄저께 산책, 그저께 산책, 어제 청소, 오늘 쇼핑을 했다고 함”
이때 오늘까지 4일간 그곳의 날씨는?
<전이확률>
<발생확률>
<초기확률>
HMM 원리

5. 확률 정보를 이용하여 ‘날씨’에 대한 Sequence를 예측할 수 있다.
(Vetebi 알고리즘 이용)
HMM 모델링
0.6 0.4
모델에 대한 State Diagram

6. 문제 풀이
Vetebi 알고리즘을 이용
해 해 해 해
비 비 비 비
산책 산책 청소 쇼핑
0.4
0.6
0.6 0.6 0.6
0.7 0.7 0.7
0.3
0.4
0.3
0.4
0.3
0.4
0.4*0.6=0.24
0.6*0.1=0.06 0.24*0.4*0.1=0.0096
0.24*0.6*0.6=0.0864
0.06*0.3*0.6=0.0108
0.06*0.7*0.1=0.0042
0.0864*0.6*0.1=0.005184
0.0096*0.3*0.1=0.000288
0.0864*0.4*0.5=0.01728
0.0096*0.7*0.5=0.00336
0.005184*0.6*0.3=0.00093312
0.01728 *0.3*0.3=0.0015552
0.005184*0.4*0.4=0.00082944
0.01728 *0.7*0.4=0.0048384
정답 : 해, 해, 비, 비
계산 후 값이 높은 상태를 역추적한다.
그리고 높은 상태로 처음부터 선을 그으면 끝~