파이썬을 활용한 자연어 분석방법을 기초부터 Deep Learning 까지 이론과/ 실습코드를 활용하여 학습합니다

1. 파이썬을 활용한 자연어 분석
nltk basic tutorial
김용범
무영인터내쇼날

6. 기본개념
CHAPTER 1

7. 오늘의 수업내용
1. Token 개념
2. Token의 정규화(Stemming), 형태소/ 문법 태그(Tagging)
3. StopWord / Tf-idf
4. Word2Vec
5. LSTM, Seq2Seq

8. Token
Token
Tokenizing
(Regex)
Stemming/
Tagging WordCloud
Document StopWord Tf-idf

9. Stemming/
Tagging
Word2Vec
Seq 2 Seq
RNN/LSTM

10. 言語學
& Python

11. 자연어 분석
자연어 객체들 (Tokens) 의
수학적 연산결과 들 중
논리적/ 유의미한 결과를 도출하는
공식/ 방법(Code)의 모음

12. Token
-nltk-

14. Main Net 을 구현
(화폐운영망을
공개/배포)
출처 : https://www.bitdegree.org/tutorials/token-vs-coin/

15. 땅에서 재배하는 농작물...
Document 에서 자라고 있는
가치있는 Token 들을 수확한다..

16. 토큰 (Token)
1. 토큰(token) : 의미를 갖는 문자열 (단어, 절, 문장 등)
2. 토크나이징(tokenizing) : 토큰을 나누는 작업
3. 영문은 공백 만으로도 충분히 토큰을 나눌 수 있다
4. 한글은 합성어, 조사합성 등의 별도 처리를 요한다
5. 작업기준을 어떻게 설정 할 것인가?

17. Tokenization (영문)

18. Tokenization (한글)
너에게 하고 싶은 말이 있어.

19. Regex
1. 파이썬 기본제공 모듈, 다양한 언어에서도 활용
2. 특정한 규칙을 활용하여 문자열의 집합을 표현하는 언어
3. 코드가 간단한 대신, 가독성이 떨어져서 난이도가 있다

20. 정규식 문법
http://www.nextree.co.kr/p4327/
출처 :
https://www.optimizesmar
t.com/regular-expression-
guide-for-seos/
https://regexr.com/3c53v

21. "=Quiz!="
Jupyter Notebook 실습

22. Jupyter Notebook 실습
>> 01-1.Token.ipynb
1. NLTK 모듈의 사용
2. regex 정규식 사용

23. Token
- 자연어 Token (대체불가)
- 정규식 이해
- Token 작업기준

24. Token 다듬기
(Word)
Chapter 2

25. 이미지 출처 : https://www.cicis.com/media/1235/saladbar_saladmix.png
Chapter 2 > Preview
- Stemming (정규화)
- Tagging (문법/Filter)
- WordCloud (시각화)
- StopWord (Token/Filter)
- tf-idf (임배딩)

26. Stemming /
/ Tagging
- 정규화/속성값 -

28. 수확을 한 뒤 출하 전
(전처리 작업)
추수를 했으니 바로 출하를??……
1. 품종을 선별, 일정한 크기 분류
2. 이력추적용 바코드 부착/표시

29. Stemming - Token의 어근 / 어간 추출
1. 단어들을 동일한 내용 으로 정규화가 목적
2. 영문의 경우 Penn Treebank / WordPunctTokenizer 등
다양한 구분기법을 NLTK에서 기본 제공
3.

30. Tagging - Token의 속성값 추가
1. Token 별 높은 확률의 Tag (속성값/문법) 를 추가
2. 문장내 문법 기준이 아닌, Token을 기준으로 생성

31. Jupyter Notebook 실습
>> 01-2.Stem_Tag.ipynb
1. Corpus : 말뭉치 사전
2. 영문의 Stemming

32. Stemming / Tagging 의 구조적 한계
1. 독립된 개별 Token의 태그 값을 추출
2. 평문, 일반문의 경우 규격화된 결과를 출력
3. 강조문/ 도치문/ 압축문 등 특수한 문장구조 는 부적합
4. Token / Stemming / Tagging 기준이 별도로 존재

33. 한글
-Konlpy-

34. Konlpy https://ratsgo.github.io/from%20frequency%20to%20semantics/2017/05/10/postag/

35. Konlpy
1. KKMA : 서울대 이상구 교수 연구실
2. Hannanum : 카이스트 최기선 교수 연구실
3. Twitter : OpenKoreanText 오픈 소스 한국어 처리기
4. Eunjeon : 은전한닢 프로젝트 (윈도우 미지원) [링크]
5. KOMORAN : Junsoo Shin님의 코모란 v3.3.3
6. 빠른 분석이 중요할 때 : 트위터
7. 정확한 품사 정보가 필요할 때 : 꼬꼬마
8. 정확성, 시간 모두 중요할 때 : 코모란

36. Jupyter Notebook 실습
>> 02-1.Konlpy.ipynb
1. Token -> Stemming -> Tag
2. 1개의 함수에서 일괄 처리

37. Word Cloud
-Token, Stemming, Tagging-
평양 남북정상회담 대국민 보고

39. Jupyter Notebook 실습
>> 02-2.WordCloud.ipynb
1. 평양 남북정상회담 대국민 보고문
2. Stemming / Tagging 활용
3. 명사의 정규화
4. [ List 객체 함수 ]

40. 불용어 처리
(Stop Word)

42. 식재료로 생각을 해본다면
도매시장에서
유의미한 물건만 찾아서 물건을 선별
(사전적인 지식과 경험의 바탕이 필요)

43. Stop Words
1. 분석목적과 연관성이 낮은 단어들을 제외
2. 작업의 난이도가 낮다
3. 목적에 맞는 불용어 선별을 위한 다양한 기준이
활용가능하다

44. Jupyter Notebook 실습
>> 02-3.Stopwords.ipynb
1. 불용어 처리 실습
2. nltk 모듈의 활용

45. 한글의 경우

46. Stop Words 사용자 정의 방법
1. 분야별(주식,리포트,연설문) 각기 다른 내용을 필요로 한다
2. 모집단 성격 및 분석목적에 따라 수집기준이 달라진다
3. 가장 쉬운 방법으로는 모집단의 범위를 특정한다

47. Jupyter Notebook 실습
>> Project1-Stopword.ipynb
삼성전자 지속가능경영보고서 [2018]
['/data/kr-Report_2016.txt',
'/data/kr-Report_2017.txt',
'/data/kr-Report_2015.txt',
'/data/kr-Report_2018.txt']

48. Tf-idf
-실수값 임베딩-

50. 1. 문서의 내용을 쉽게 벡터로 표현하는 고전적 방식
2. Term Frequency : 해당 문서내 Token 발생빈도
>> (특정 Token 출현 수) / (문서 전체 Token 갯수)
3. Inverse Document Frequency : 전체문서 빈도 역
>> log (전체 문서 Token 수 / 특정 Token 수)
상대빈도분석 - Term Frequency
Inverse Document Frequency

51. 제철상품을 찾아라 (소매시장)
회전율이 좋아야 물건도 신선하고 마진율도 높다
어떻게 이를 판단하나???

52. 1. Token 의 중요도를 실수로 계산 (값이 클수록 중요)
2. TF는 해당 문서만 있으면 바로 연산이 가능하지만
3. IDF는 모집단의 Token 별 통계 데이터가 필요
상대빈도분석 - Term Frequency
Inverse Document Frequency
출처 : https://www.bloter.net/archives/264262

54. Jupyter Notebook 실습
>> 02-4.Tf-idf_sklearn.ipynb
1. scikit-learn 모듈을 활용
2. konlpy, nltk 와 같이
scikit-learn의 자료를 활용

55. 분야별 / 내용별 tf-idf 기준값

56. Jupyter Notebook 실습
>> Project2-Tfidf_user.ipynb
1. scikit-learn 에 자료가 없는경우
2. 한글의 Token들을 비교시
3. 문서의 모집단의 범위를 특정

57. Token 다듬기
- Stemming / Tagging
- Stop Word
- tf-idf

58. Token
Token
Tokenizing
(Regex)
Stemming/
Tagging WordCloud
Document StopWord Tf-idf

59. 딥러닝
(Gensim)
Chapter 3

60. Stemming/
Tagging
Word2Vec
Seq 2 Seq
RNN/LSTM

61. 딥러닝의 기초

62. 딥러닝이란 (Deep Learning)
1. 머신러닝 : X, Y 에 적합한 수식을 찾는다
2. 신경망 : 머신러닝 / 통계를 바탕으로 일반화 Cell을
정의하고 이들을 연결하여 다양한 수식의 조합을
찾을 수 있도록 Net Work를 구성한다
3. 딥러닝 : X, Y 에 적합한 수식들의 조합을 찾는다

63. Function
y = f(x)
y = wx + b
고정된 값 고정된 값

64. 머신러닝의 Function
- X : Input Data
- Y : Target Data
- Data 에 최적의 수식(회귀식) 도출
y = wx + b
난수 값 난수 값

65. 신경세포

66. 딥러닝으로 구현한 Nural Network
Model
y=wx+b
y=wx+b
y=wx+b
y=wx+b
y=wx+b
y=wx+b
y=wx+b
y=wx+b
y=wx+b

68. https://leonardoaraujosantos.gitbooks.io/artificial-inteligence/content/neural_networks.html

69. 나에게 적합한 딥러닝 모델은..
원하는 결론이 잘 나오는 모델

70. 딥러닝 모델에 접근하는 방법
1. Model 예시 ( Train Data : X / Y )
2. Cell 의 특징
3. Cell 로 구성되는 Model 의 특징
4. Train / Simulation
5. Model 평가

71. Word 2 Vec
-기본개념-

72. Word 2 Vec
1. 고밀도(100~300차원) 단어벡터공간에 단어간 유사도
(코싸인유사도)를 활용하여 유사한 문장/ 속성의 Token 을
같은 벡터공간 (로지스틱 회귀) 에 묶는다
2. Continuous Bag of Word
3. Skip Gram

73. (1 Example / Data) 문장 구성을 활용

74. 재료간 궁합
- 잘 어울리는 조합
- 잘 안어울리는 조합
ex) 요리 재료를 묶어서 입력하면
각 재료간 NetWork 분석

77. Word 2 Vec
-Modeling-

78. https://www.researchgate.net/post/Is_Word2Vec_deep_learning

79. (2 Cell) 로지스틱 회귀

80. (3 Model)
나는 삼성전자 갤럭시 휴대폰을 본다
나는삼성전자휴대폰을본다
갤럭시

81. (1 Data)

82. (4 Training)
Input
Ouput

83. Word 2 Vec
-Simulation-

84. Vector
[ x축 3개, y축 3개, z축 3개]
- 3개 vector의 Network -

85. (4 Simulation) - 00
- Sentence Token
- 좌표로써 Vector를 활용
나는 본다
나는 휴대폰을 본다
나는 삼성전자 휴대폰을 본다
나는 삼성전자 노트9 휴대폰을 본다
경제적인 문장 : 이질적 문장성분으로 구성
(주어1, 목적어1, 형용사/부사 1, 동사1)

86. (4 Simulation) - 01
나는 본다
Dim1 Dim2 Dim N ...

87. (4 Simulation) - 02
나는
나는 휴대폰을 본다
본다
Dim1 Dim2 Dim3

88. (4 Simulation) - 03
나는 삼성전자 본다
나는 노트9 휴대폰을 본다
나는 휴대폰을 본다
Dim1 Dim2 Dim3 Dim4 Dim5

89. (4 Simulation) - 04
나는 삼성전자
노트9
휴대폰을 본다
휴대폰을 본다
G7
너는 LG전자
Dim1 Dim2 Dim3 Dim4

90. (4 Simulation) - 05
나는 삼성전자
노트9
휴대폰을 본다
휴대폰을 본다
G7
너는 LG전자
Positive 관계
Negative 관계
Dim1 Dim2 Dim3

91. Positive / Negative
출처 : https://worksheets-library.com/sheet/coterminal-and-reference-angles-worksheet-pdf-11.html

92. Token 의 Positive / Negative
1. 벡터의 방향성에 의한 관계망 분석도 가능
2. 하지만 이는 연산결과일 뿐, 구체적 내용분석은 분야의
전문지식을 갖고서 검증이 필요
Negative
Positive

93. (4 Simulation) - 05
나는 삼성전자 산다
우리는 휴대폰을 본다
너는 LG전자 판다
[ dim 1: 3개,
dim 2: 3개,
dim 3: 3개]
- 9개 Token의
Network -
Dim1 Dim2 Dim3

94. (4 Simulation) - 06

95. Jupyter Notebook 실습
>> Project2-w2v.ipynb
1. 살인의 추억 시나리오 분석
2. 캐릭터별, 단어별 NetWork
3. 독해론 알기 어려운 분석이 가능

96. pip install --upgrade gensim
1. Why is Gensim Word2Vec so much faster than Keras GPU? [link]
2. 데이터와 모델 을 저장하고, 호출하는 방식을 잘 익히자
3. 주요한 기능을 메소드 함수로 제공
https://radimrehurek.com/gensim/install.html

97. from gensim.models import Word2Vec
Word2Vec( data, size=30, window = 2, min_count=10, hs=1,
workers=4, iter=100, sg=1)
1. size = 30 : 30차원 벡터를 사용 (크면 차원의 저주)
2. window = 2 : 주변 단어(window)는 앞 뒤 두개
3. min_count = 20 : 출현 빈도가 20번 미만인 단어는 제외
4. hs = 1 : Huffman Tree를 이용한 Hierarchical Softmax
5. sg = 1 : CBOW, Skip-Gram 중 Skip-Gram를 사용
https://shuuki4.wordpress.com/2016/01/27/word2vec-관련-이론-정리/

98. TSNE - t-distributed Stochastic Neighbor Embedding
유클리디안 측정방법을 활용하여
데이터 포인트의 유사성을
조건부 확률 변환기법 으로
차원을 축소한다.
단점으로는 생성시 마다
모양이 다름

99. (5 Model 해석)
1. Word2Vec도 연산의 결과일 뿐이다
2. 사람의 논리적 근거/ 선별의 추가작업이 필요
3. 모델의 유사/ 반대의 모든 Token이 유의미 하지 않다
4. 핵심적인 Token 간의 유의미한 관계를 분석하는 용도

100. 딥러닝
(Tensorflow)
Chapter 5

101. 딥러닝 모델에 접근하는 방법
1. Model 응용 예시 ( Train Data : X / Y )
2. Cell 의 특징
3. Cell 로 구성되는 Model 의 특징
4. Train / Simulation
5. Model 평가

102. (1 Data)
Sequence Data
1. Token 변형이 불가능
2. Token 의 순서 NetWork

103. (1 Data) Data 임베딩 - 원시 데이터(raw data)를 숫자 목록 변환
1. Tf-idf : 벡터화에 바탕을 둔 용어빈도/ 역 문서 빈도 를 활용
2. Word2Vec : Mikolov가 고안한 방법으로 "주변 단어를 보면
그 단어를 알 수 있다" (John Firth) 에서 착안
3. One-hot Encoding : 단어를 고유한 숫자 인덱스로 치환

104. (1 Data) One Hot Encoding
https://minjejeon.github.io/learningstock/2017/06/05/easy-one-hot-encoding.html

107. (2 Cell) 선형 회귀식

108. RNN
-Cell-

109. (2 Cell) RNN
1. 전방향 신경망 : 회귀모델, 베이지안, CNN
2. 순환 신경망 : Recurrent Neual Network
3. 입력뉴런, 출력뉴런, 연결뉴런이 연결되어 있다
4. Input 값 과 연결뉴런의 다른 위상 값의 평균 또는 합을 X
로 연산을 진행한다

110. (2 Cell) RNN
HiddenInput
Output

111. (2 Cell) RNN
Recurrent Neual Network
Input
Output
Hidden
출처 : https://jasdeep06.github.io/posts/Understanding-LSTM-in-Tensorflow-MNIST/

112. (2 Cell) RNN
Recurrent Neual Network
인풋과 아웃풋 이외에 Hidden 을 활용하는
네트워크로 유연한 구조를 만들 수 있다.
Input
Output
Hidden

113. (2 Cell) RNN
Recurrent Neual Network

114. RNN
-simulation-

115. (1 Data)
1. X (Input) : Sequence Data
2. Y (Output) : Datum

116. (1 Data) 마지막 알파벳 예측모델
w, o, r
t, r, e
c, o, o
d
e
k

117. 출처 : https://moonblvd.github.io/brianyao_hugo/project/lstm/
(3 RNN Model)

118. 3 X 3
Target 별
최적의조합을
찾는다
w, o, r
t, r, e
c, o, o
(3 RNN Model)
d
e
k

119. LSTM

120. LSTM Cell

121. LSTM Cell
http://mysnu.org/m/community/newtechnology.php?search_order=&search_part=&c_cate1=&mode=v&idx=10575&thisPageNum=

122. 활성화 / 게이트 함수들

123. LSTM RNN CELL
Recurrent Neual Network
https://medium.com/@apiltamang/unmasking-a-vanilla-rnn-what-lies-beneath-912120f7e56c
recurrent connection allows
the network to remember
what it learned
in the previous step.

124. LSTM 의 장점
1. Hidden값을 Gate로 통과하면서 Noise를 발생
2. 저장된 Noise로 위상차이(반복횟수)를 구분
3. Gate 통과 전 / 이후의 값의 차이로 다양한 시간차를 인식
4. Sequence(연속적) 데이터 학습에 용이하다

125. LSTM 유닛구조
1. 유지게이트 : 앞의 Cell에서 넘어온 정보 중, 오래된 삭제할
정보와 유지할 정보를 Sigmoid 뉴런으로 구분한다
2. 쓰기게이트 : 위에서 구분한 정보중 필요한 정보(tan h)를
판단 후 상태변환/유지 여부를 파악 후 처리를 한다
3. 출력게이트 : 쓰기게이트와 유사한 구조를 갖고서 최종
결과물을 판단, 처리를 한다

126. Jupyter Notebook 실습
>> 04-1.RNN-LSTM.ipynb
1. RNN 알파벳 예측모델 (알파벳의 한계)
2. Data 는 사용자가 임베딩 함수를 정의
3. Data 의 Batch 함수도 직접 작성

127. Seq2Seq

128. seq 2 seq
1. 2013년 구글에서 공개한 기계번역 신경망 모델이다
2. 인코더 와 디코더를 연결
3. RNN의 재귀적 학습의 특성으로 인해, 특수함 심벌 ((1)
입력의 시작을 알림 (2) 디코더 출력이 끝남을 알림)을
필요로 한다
4. 대화형 챗봇, 번역 등 폭넓게 활용

129. (1 Data)
1. X (Input) : Sequence Data
2. Y (Output) : Sequence Data

130. (2 Cell)
1. 번역 Model 의 Cell : LSTM (엄격)
2. 챗봇 Model 의 Cell : RNN (유연)

131. (3 Model)
https://esciencegroup.com/2016/03/04/fun-with-recurrent-neural-nets-one-more-dive-into-cnt
k-and-tensorflow/

132. (3 Model)
S
E

133. Jupyter Notebook 실습
>> 04-2.Seq2Seq.ipynb
1. 영문과 이에 대응하는 한글을 학습
2. 인코더/ 디코더 의 입/출력 갯수는 고정
3. 글자수가 다른 경우는 Padding 을 활용

134. ChatBot
Sample

135. 챗봇의 실행 (질문예시)
help-you-increase-conversion

136. 챗봇의 한계
1. End to End 방식으로 블랙박스모델 학습
2. 연산(생각) 은 숫자로만 가능!!
3. 학습 데이터가 충분한 질문에는 대답을 잘함
4. 데이터가 부족한 내용에 대해선 응답이 부실

137. 마치며

138. 출처 https://slideplayer.com/slide/5371792/

140. 자연어 작업과정
1. 음운론(Phonology) : 말소리 연구 ex) 음성인식
2. 형태론(Morphology) : 단어 정규화/ 형태소
3. 통사론(Syntax) : 문법구조(Passing)
4. 의미론(Senmantics) : 의미차이 ex) 뉘앙스, 톤, 의도(긍/부정)
5. 추리론(Reasoning) : 도메인 특성 ex) 전문용어, 세대별 용어

143. 구글 번역기 자막의 수준

144. 구글 어시스턴트
잘 정제된 Sentence 문법
통계로 입력/출력 필터링
http://www.ultravioletanalytics.com/blog/tf-idf-basics-
with-pandas-scikit-learn

145. 1. 모델링은 누구나 가능, 전처리와 결과의 해석이 중요
2. 이미지, 음성 등 다른 데이터와는 다른 자연어의 특징
3. 머신러닝/ 딥러닝은 모델링을 돕는 보조재로써 활용
(알아 듣는말/ 못 알아 듣는 말 구분이 중요!)
Deep Learning 과 자연어

146. 딥러닝과 챗봇
파이썬으로 챗봇 만들기 (SlideShare)
김선동 (Naver Clova AI) GitHub
챗봇 삽질기 (You Tube)

147. 참고사이트
NLTK BOOK
Gensim Tutorial
Konlpy Document
https://github.com/YongBeomKim/nltk_rnd
https://ratsgo.github.io
https://www.lucypark.kr/courses/2015-dm/text-mining.html#2-tokenize
https://iacryl.com/uploads/Acryl_Company.pdf

148. Q/A

149. 수고하셨습니다