20160203_마인즈랩_딥러닝세미나_05 딥러닝 자연어처리와 분류엔진 황이규박사

1. 황이규
마인즈랩 CTO
딥러닝 자연어처리와 분류엔진

2. 빅데이터 딥러닝 질의응답
음성인식 자연어처리 감성분석 이미지분류 데이터마이닝
산업
비즈니스 활용영역
콜센터 효율화
빅데이터 분석
빅데이터 기반
광고
금융기관 리스크 관리
헬스케어 빅데이터
소비재산업 마케팅
IoT
홈오토메이션
마인즈랩의 딥러닝 비즈니스 활용맵

3. 자연어처리에 왜 딥러닝이 필요한가?

4. 자연어 처리(Natural Language Processing)란? - 1
• 인간의 언어(텍스트)를 기계적으로 분석해서 컴퓨터
가 이해할 수 있는 형태로 변환하는 일
 문서를 문장으로 분할하고,
 문장을 최소의 의미 단위인 형태소로 나누어 품사를 부여하고,
 문장에 포함된 인물명, 기업명, 장소, 숫자 표현 등을 인식함

5. 자연어 처리(Natural Language Processing)란? - 2
• 자연어 처리 문제  분류 문제
[강원대 이창기]

6. 분류(Classification) 문제

7. 분류(Classification) – Logistic Regression

8. 신경망(Neural Network) - 1

9. 신경망(Neural Network) - 2

10. 신경망(Neural Network) - 3

11. Dark Age of Neural Network
•학습이 잘 안됨
•계산량이 많음
•Over-fitting

12. Deep Neural Network
• 학습이 잘 안됨
Unsupervised Pre-training
• 계산량이 많음
GPU
• Over-fitting
Pre-training, Drop-out
[DEVIEW 2013 김정희]

13. Pre-training
•Autoencoder
•Word Embedding
Neural Network Language Model
Word2vec

14. Word Embedding
• Word Representation
 cat=[0,0,0,0,0,…,1,0,0,…0]
• Word Embedding
• 대량의 문서 집합을 이용하여 단어 하나 하나를 수십
혹은 수백차원의 벡터로 변환
• cat= [0.286, 0.792, -0.177, -0.107, 0.109,
-0.542, 0.349, 0.271, …]

15. Word Embedding - similarity
Tomas Mikolov et al.
“Efficient Estimation of Word Representations in Vector Space”

16. Word Embedding – examples (1)
서울시/nnp 1.0
[0.187442, -0.73144799999999999, -0.11396199999999999, -0.20471400000000001, 0.26546799999999998, -0.16996700000000001, -
0.43082999999999999, -0.357572, 0.260432, 0.26297599999999999, 0.67399399999999998, -0.156668, -0.42449100000000001, 0.050074, -
0.0142034, -0.208089, -0.30167699999999997, -0.116955, 0.22317500000000001, 0.13974300000000001, 0.51766400000000001, 0.0614694,
0.118298, -0.095564300000000005, 0.097573999999999994, -0.298039, -0.122083, 0.23808299999999999, 0.14683599999999999, 0.228599,
0.014631699999999999, 0.093880599999999995, -0.20425599999999999, -0.56347899999999995, -0.033116399999999997, 0.34053600000000001,
0.255882, -0.28526899999999999, -0.773088, 0.247804, 0.49536200000000002, 0.57169300000000001, -0.104725, -0.013605799999999999,
0.067596100000000006, -0.096035899999999993, 0.15404399999999999, 0.421873, 0.34387899999999999, 0.42075800000000002]
대전시/nnp 0.872288745481
[0.125609, -0.75786299999999995, -0.077172500000000005, -0.22937399999999999, 0.49357400000000001, -0.100869, -0.26348100000000002, -
0.36420200000000003, 0.12990399999999999, 0.199933, 0.61921199999999998, -0.0701455, -0.426952, 0.19860700000000001, -
0.32403799999999999, -0.36893100000000001, -0.29680899999999999, 0.040205100000000001, 0.23116300000000001, -0.034978599999999999,
0.67415700000000001, 0.12596399999999999, 0.061459800000000002, 0.21030699999999999, 0.062212200000000002, -0.089409100000000005,
0.10285900000000001, 0.45203300000000002, -0.049151899999999998, 0.45367099999999999, -0.38236999999999999, -0.085518800000000006, -
0.17086100000000001, -0.60310699999999995, -0.33205499999999999, 0.34587899999999999, 0.15490699999999999, -0.118342, -
0.64756999999999998, -0.050858100000000003, 0.68100700000000003, 0.56248200000000004, -0.37154199999999998, -0.095311900000000005, -
0.22226399999999999, -0.26785799999999998, 0.435643, 0.62673000000000001, 0.23565, 0.77318900000000002]
대구시/nnp 0.863960947392
[0.13580700000000001, -0.75211600000000001, -0.288852, -0.11844399999999999, 0.52702400000000005, -0.16129599999999999, -
0.31744699999999998, -0.179419, 0.20483899999999999, 0.19808700000000001, 0.53590000000000004, -0.059263099999999999, -
0.42382900000000001, -0.0130861, -0.44723800000000002, -0.51899899999999999, -0.478072, -0.047104300000000002, 0.369676, -
0.049209099999999999, 0.64743600000000001, 0.14179900000000001, 0.015994600000000001, 0.24535399999999999, -0.0491785,
0.016779700000000002, 0.153867, 0.53067600000000004, -0.054071599999999997, 0.27649000000000001, -0.250276, -0.128889, -0.078874, -
0.68885200000000002, -0.23183200000000001, 0.300898, 0.40282899999999999, -0.30210199999999998, -0.57881700000000003, -0.0717169,
0.46671299999999999, 0.51524499999999995, -0.23677500000000001, 0.16875599999999999, -0.042543600000000001, -0.27977099999999999,
0.26297799999999999, 0.67011100000000001, 0.39132499999999998, 0.67566199999999998]

17. Word Embedding – examples (2)
서울시/nnp
대전시/nnp 0.872288745481
대구시/nnp 0.863960947392
광주시/nnp 0.861110910976
서대문구청/nnp 0.854604645319
부산시/nnp 0.849407190551
서울특별시/nnp 0.84725031642
관악구/nnp 0.845485691971
인천시교육청/nnp 0.845327081104
울산시/nnp 0.84488487431
관악구청/nnp 0.839168328143
서귀포시청/nnp 0.834813048457
충남도/nnp 0.831908366916
광명시/nnp 0.828996607731
서초구청/nnp 0.82861986766
노원구/nnp 0.827777197305
아산시/nnp 0.827628197551
천안시/nnp 0.827323302249
충주시/nnp 0.824166605091
금천구/nnp 0.823213377638

18. Word Embedding - similarity
KING – MAN + WOMAN = ???

19. Word Embedding (t-SNE) - 1

20. Paragraph Embedding
[강원대 이창기]

21. 감성분류와 문서분류에 딥러닝의 활용

22. Sentiment Classification - 1
[강원대 이창기]

23. Sentiment Classification - 2
고불만
포인트유효기간을 들먹이며 강매당했다고 주장
좋지도 않은물건을 팔려고 한거아니냐, 바쁜데 전 화해서 전화끊지도
않고 주위에서도 사기당한거 아니냐며 강매당한거 같아 기분이 나
쁘다고함
딥러닝(Deep Learning)엔진
불만
차단확인안내했으나 차단한적없다고 주장 통신사쪽으로 확인해보시
라 안내하니 차단한거 없으면 당신 책임이다 단선하심
알지도 못하는 사람에게 카드가 발급되었다며, 불법 아니냐고 불만
딥러닝 학습
감성 분류 모델
중립
…
고불만
포인트유효기간을 들먹이며 강매당했다고 주장
좋지도 않은물건을 팔려고 한거아니냐, 바쁜데 전 화해서 전화끊지도
않고 주위에서도 사기당한거 아니냐며 강매당한거 같아 기분이 나
쁘다고함
고불만
포인트유효기간을 들먹이며 강매당했다고
주장
좋지도 않은물건을 팔려고 한거아니냐, 바
쁜데 전 화해서 전화끊지도 않고 주위에서
도 사기당한거 아니냐며 강매당한거 같아
기분이 나쁘다고함
불만
차단확인안내했으나 차단한적없다고 주장 통신사쪽으로 확인해보시
라 안내하니 차단한거 없으면 당신 책임이다 단선하심
알지도 못하는 사람에게 카드가 발급되었다며, 불법 아니냐고 불만
불만
차단확인안내했으나 차단한적없다고 주장
통신사쪽으로 확인해보시라 안내하니 차단
한거 없으면 당신 책임이다 단선하심
알지도 못하는 사람에게 카드가 발급되었다
며, 불법 아니냐고 불만
중립
…
중립
…

24. MindsClassifier
탐지패턴사전
HMD
문서
분류 결과
(Top N Tagged)
탐지패턴 보강
(HMD Boosting)
파라미터 튜닝
(Parameter Tuning)
학습데이터 보강
(Training Data Boosting)
자연어처리(NLP)
용례추출
학습데이터 구축
(Training Data)
패턴기반 분류기
(HMD Classifier)
딥러닝 자동분류기
(DNN Classifier)
하이브리드 분류기
(Hybrid Classifier)
워드 임베딩
(Word Embedding)1
2
3
5
6
7
8
9
4

25. ⓒ 2015 ㈜마인즈랩. All rights reserved.
END OF DOCUMENT