자연언어처리의 형태소분석 및 품사태깅, 구문분석에 대한 간단한 소개, 계속 업데이트될 예정입니다.

1. 홍은기
INTRODUCTION
TO
NATURAL LANGUAGE
PROCESSING

2. 1. 자연언어처리란?
2. 형태소분석
3. 구문분석
4. 의미분석
5. 담화분석
6. 상호참조 해결
7. 무형대용어 생략 복원
8. 개체명 인식
CONTENTS

3. 자연언어처리 (Natural Language Processing),
또는 전산언어학 (Computational Linguistics)은
컴퓨터가 인간의 말을 이해하고 인간과 대화하는 것을
목표로 하는 언어학과 컴퓨터과학의 학제간 분야.
자연언어처리란?

4.  자연언어처리의 기초기술:
• 형태소분석 및 품사태깅(POS tagging)
• 구문분석
• 의미분석
• 담화분석
• 상호참조 해결 (Coreference Resolution)
• 무형대용어 생략 복원
• 개체명 인식 (NER, Named Entity Recognition)
자연언어처리란?

5.  자연언어처리의 응용기술:
• 기계번역 (Machine Translation)
• 의견 마이닝 (Opinion Mining)
• 질의응답 시스템 (Q & A System)
• 문서자동요약 (Automatic Summarization)
• 정보검색 (Information Retrieval)
• 정보추출 (Information Extraction)
자연언어처리란?

6. 형태소분석 및 품사태깅
 철수는 커피를 마셨다
철수/NNG + 는/JX 커피/NNG + 를/JKO 마시/VV + 었/EP + 다/EF
 이것 좀 가져다 주렴
이것/NG 좀/MAG 가지/VV + 어다/EC 주/VX + 렴/EF

7. 형태소분석 및 품사태깅
 나는
1. 나/NNP + 는/JX ex) 나는 학생이다 / 나는 짜장면
2. 나/NP + 는/JX ex) 나는 가 다음이다
3. 날/VV + 는/ETM ex) 하늘을 나는 새
4. 나/VV + 는/ETM ex) 땅에서 나는 먹거리

8. UTAGGER를 이용한 형태소분석 및 품사태깅

9. NLTK를 이용한 품사태깅

10. • 구성소(constituent)란?
- 하나의 묶음을 이루는 문장의 성분
• 어떤 단어가 어떤 단어에 더 가까울까?
Ex) 저는 순한 맛으로 해주세요.
1. 저는 순한 / 맛으로 / 해주세요
2. 저는 / 순한 맛으로 / 해주세요
3. 저는 / 순한 / 맛으로 해주세요
구문분석

11. • Non-terminal Symbols
S → NP VP
NP → Noun | Det Noun | Noun PP | Det Noun PP
VP → Verb | Verb NP | Verb PP | Verb CP
PP → Preposition NP
CP → Complementizer S
• Terminal Symbols
Noun → man | king | telescope
Det → a | an | the
Verb → saw | liked | wanted
Preposition → in | on | from
Complementizer → that
문맥자유문법의 구성

12. S
NP VP
Det N V NP PP
The man saw Det N P NP
the king with Det N
a telescope
“남자는 망원경을 이용해 왕을 보았다.”
구문분석

13. S
NP VP
Det N V NP
The man saw Det N PP
the king P NP
with Det N
a telescope
“남자는 망원경을 들고 있는 왕을 보았다.”
구문분석

14. NLTK를 이용한 구문분석

15. NLTK를 이용한 구문분석

16.  Bird et al. (2009). Natural Language
Processing with Python. O'Reilly
 김진우. (2004). 언어, 이론과 그 응용. 탑출판사
 울산대 UTagger
(http://nlplab.ulsan.ac.kr)
참조