Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
황이규
마인즈랩 CTO
딥러닝 자연어처리와 분류엔진
빅데이터 딥러닝 질의응답
음성인식 자연어처리 감성분석 이미지분류 데이터마이닝
산업
비즈니스 활용영역
콜센터 효율화
빅데이터 분석
빅데이터 기반
광고
금융기관 리스크 관리
헬스케어 빅데이터
소비재산업 마케팅
IoT
홈오토...
자연어처리에 왜 딥러닝이 필요한가?
자연어 처리(Natural Language Processing)란? - 1
• 인간의 언어(텍스트)를 기계적으로 분석해서 컴퓨터
가 이해할 수 있는 형태로 변환하는 일
 문서를 문장으로 분할하고,
 문장을 최소의 의...
자연어 처리(Natural Language Processing)란? - 2
• 자연어 처리 문제  분류 문제
[강원대 이창기]
분류(Classification) 문제
분류(Classification) – Logistic Regression
신경망(Neural Network) - 1
신경망(Neural Network) - 2
신경망(Neural Network) - 3
Dark Age of Neural Network
•학습이 잘 안됨
•계산량이 많음
•Over-fitting
Deep Neural Network
• 학습이 잘 안됨
Unsupervised Pre-training
• 계산량이 많음
GPU
• Over-fitting
Pre-training, Drop-out
[DEVIEW 20...
Pre-training
•Autoencoder
•Word Embedding
Neural Network Language Model
Word2vec
Word Embedding
• Word Representation
 cat=[0,0,0,0,0,…,1,0,0,…0]
• Word Embedding
• 대량의 문서 집합을 이용하여 단어 하나 하나를 수십
혹은 수백차원의...
Word Embedding - similarity
Tomas Mikolov et al.
“Efficient Estimation of Word Representations in Vector Space”
Word Embedding – examples (1)
서울시/nnp 1.0
[0.187442, -0.73144799999999999, -0.11396199999999999, -0.20471400000000001, 0.2...
Word Embedding – examples (2)
서울시/nnp
대전시/nnp 0.872288745481
대구시/nnp 0.863960947392
광주시/nnp 0.861110910976
서대문구청/nnp 0.854...
Word Embedding - similarity
KING – MAN + WOMAN = ???
Word Embedding (t-SNE) - 1
Paragraph Embedding
[강원대 이창기]
감성분류와 문서분류에 딥러닝의 활용
Sentiment Classification - 1
[강원대 이창기]
Sentiment Classification - 2
고불만
포인트유효기간을 들먹이며 강매당했다고 주장
좋지도 않은물건을 팔려고 한거아니냐, 바쁜데 전 화해서 전화끊지도
않고 주위에서도 사기당한거 아니냐며 강매당한거 같아...
MindsClassifier
탐지패턴사전
HMD
문서
분류 결과
(Top N Tagged)
탐지패턴 보강
(HMD Boosting)
파라미터 튜닝
(Parameter Tuning)
학습데이터 보강
(Training Da...
ⓒ 2015 ㈜마인즈랩. All rights reserved.
END OF DOCUMENT
Upcoming SlideShare
Loading in …5
×

20160203_마인즈랩_딥러닝세미나_05 딥러닝 자연어처리와 분류엔진 황이규박사

20160203_마인즈랩_딥러닝세미나_05 딥러닝 자연어처리와 분류엔진 황이규박사

20160203_마인즈랩_딥러닝세미나_05 딥러닝 자연어처리와 분류엔진 황이규박사

  1. 1. 황이규 마인즈랩 CTO 딥러닝 자연어처리와 분류엔진
  2. 2. 빅데이터 딥러닝 질의응답 음성인식 자연어처리 감성분석 이미지분류 데이터마이닝 산업 비즈니스 활용영역 콜센터 효율화 빅데이터 분석 빅데이터 기반 광고 금융기관 리스크 관리 헬스케어 빅데이터 소비재산업 마케팅 IoT 홈오토메이션 마인즈랩의 딥러닝 비즈니스 활용맵
  3. 3. 자연어처리에 왜 딥러닝이 필요한가?
  4. 4. 자연어 처리(Natural Language Processing)란? - 1 • 인간의 언어(텍스트)를 기계적으로 분석해서 컴퓨터 가 이해할 수 있는 형태로 변환하는 일  문서를 문장으로 분할하고,  문장을 최소의 의미 단위인 형태소로 나누어 품사를 부여하고,  문장에 포함된 인물명, 기업명, 장소, 숫자 표현 등을 인식함
  5. 5. 자연어 처리(Natural Language Processing)란? - 2 • 자연어 처리 문제  분류 문제 [강원대 이창기]
  6. 6. 분류(Classification) 문제
  7. 7. 분류(Classification) – Logistic Regression
  8. 8. 신경망(Neural Network) - 1
  9. 9. 신경망(Neural Network) - 2
  10. 10. 신경망(Neural Network) - 3
  11. 11. Dark Age of Neural Network •학습이 잘 안됨 •계산량이 많음 •Over-fitting
  12. 12. Deep Neural Network • 학습이 잘 안됨 Unsupervised Pre-training • 계산량이 많음 GPU • Over-fitting Pre-training, Drop-out [DEVIEW 2013 김정희]
  13. 13. Pre-training •Autoencoder •Word Embedding Neural Network Language Model Word2vec
  14. 14. Word Embedding • Word Representation  cat=[0,0,0,0,0,…,1,0,0,…0] • Word Embedding • 대량의 문서 집합을 이용하여 단어 하나 하나를 수십 혹은 수백차원의 벡터로 변환 • cat= [0.286, 0.792, -0.177, -0.107, 0.109, -0.542, 0.349, 0.271, …]
  15. 15. Word Embedding - similarity Tomas Mikolov et al. “Efficient Estimation of Word Representations in Vector Space”
  16. 16. Word Embedding – examples (1) 서울시/nnp 1.0 [0.187442, -0.73144799999999999, -0.11396199999999999, -0.20471400000000001, 0.26546799999999998, -0.16996700000000001, - 0.43082999999999999, -0.357572, 0.260432, 0.26297599999999999, 0.67399399999999998, -0.156668, -0.42449100000000001, 0.050074, - 0.0142034, -0.208089, -0.30167699999999997, -0.116955, 0.22317500000000001, 0.13974300000000001, 0.51766400000000001, 0.0614694, 0.118298, -0.095564300000000005, 0.097573999999999994, -0.298039, -0.122083, 0.23808299999999999, 0.14683599999999999, 0.228599, 0.014631699999999999, 0.093880599999999995, -0.20425599999999999, -0.56347899999999995, -0.033116399999999997, 0.34053600000000001, 0.255882, -0.28526899999999999, -0.773088, 0.247804, 0.49536200000000002, 0.57169300000000001, -0.104725, -0.013605799999999999, 0.067596100000000006, -0.096035899999999993, 0.15404399999999999, 0.421873, 0.34387899999999999, 0.42075800000000002] 대전시/nnp 0.872288745481 [0.125609, -0.75786299999999995, -0.077172500000000005, -0.22937399999999999, 0.49357400000000001, -0.100869, -0.26348100000000002, - 0.36420200000000003, 0.12990399999999999, 0.199933, 0.61921199999999998, -0.0701455, -0.426952, 0.19860700000000001, - 0.32403799999999999, -0.36893100000000001, -0.29680899999999999, 0.040205100000000001, 0.23116300000000001, -0.034978599999999999, 0.67415700000000001, 0.12596399999999999, 0.061459800000000002, 0.21030699999999999, 0.062212200000000002, -0.089409100000000005, 0.10285900000000001, 0.45203300000000002, -0.049151899999999998, 0.45367099999999999, -0.38236999999999999, -0.085518800000000006, - 0.17086100000000001, -0.60310699999999995, -0.33205499999999999, 0.34587899999999999, 0.15490699999999999, -0.118342, - 0.64756999999999998, -0.050858100000000003, 0.68100700000000003, 0.56248200000000004, -0.37154199999999998, -0.095311900000000005, - 0.22226399999999999, -0.26785799999999998, 0.435643, 0.62673000000000001, 0.23565, 0.77318900000000002] 대구시/nnp 0.863960947392 [0.13580700000000001, -0.75211600000000001, -0.288852, -0.11844399999999999, 0.52702400000000005, -0.16129599999999999, - 0.31744699999999998, -0.179419, 0.20483899999999999, 0.19808700000000001, 0.53590000000000004, -0.059263099999999999, - 0.42382900000000001, -0.0130861, -0.44723800000000002, -0.51899899999999999, -0.478072, -0.047104300000000002, 0.369676, - 0.049209099999999999, 0.64743600000000001, 0.14179900000000001, 0.015994600000000001, 0.24535399999999999, -0.0491785, 0.016779700000000002, 0.153867, 0.53067600000000004, -0.054071599999999997, 0.27649000000000001, -0.250276, -0.128889, -0.078874, - 0.68885200000000002, -0.23183200000000001, 0.300898, 0.40282899999999999, -0.30210199999999998, -0.57881700000000003, -0.0717169, 0.46671299999999999, 0.51524499999999995, -0.23677500000000001, 0.16875599999999999, -0.042543600000000001, -0.27977099999999999, 0.26297799999999999, 0.67011100000000001, 0.39132499999999998, 0.67566199999999998]
  17. 17. Word Embedding – examples (2) 서울시/nnp 대전시/nnp 0.872288745481 대구시/nnp 0.863960947392 광주시/nnp 0.861110910976 서대문구청/nnp 0.854604645319 부산시/nnp 0.849407190551 서울특별시/nnp 0.84725031642 관악구/nnp 0.845485691971 인천시교육청/nnp 0.845327081104 울산시/nnp 0.84488487431 관악구청/nnp 0.839168328143 서귀포시청/nnp 0.834813048457 충남도/nnp 0.831908366916 광명시/nnp 0.828996607731 서초구청/nnp 0.82861986766 노원구/nnp 0.827777197305 아산시/nnp 0.827628197551 천안시/nnp 0.827323302249 충주시/nnp 0.824166605091 금천구/nnp 0.823213377638
  18. 18. Word Embedding - similarity KING – MAN + WOMAN = ???
  19. 19. Word Embedding (t-SNE) - 1
  20. 20. Paragraph Embedding [강원대 이창기]
  21. 21. 감성분류와 문서분류에 딥러닝의 활용
  22. 22. Sentiment Classification - 1 [강원대 이창기]
  23. 23. Sentiment Classification - 2 고불만 포인트유효기간을 들먹이며 강매당했다고 주장 좋지도 않은물건을 팔려고 한거아니냐, 바쁜데 전 화해서 전화끊지도 않고 주위에서도 사기당한거 아니냐며 강매당한거 같아 기분이 나 쁘다고함 딥러닝(Deep Learning)엔진 불만 차단확인안내했으나 차단한적없다고 주장 통신사쪽으로 확인해보시 라 안내하니 차단한거 없으면 당신 책임이다 단선하심 알지도 못하는 사람에게 카드가 발급되었다며, 불법 아니냐고 불만 딥러닝 학습 감성 분류 모델 중립 … 고불만 포인트유효기간을 들먹이며 강매당했다고 주장 좋지도 않은물건을 팔려고 한거아니냐, 바쁜데 전 화해서 전화끊지도 않고 주위에서도 사기당한거 아니냐며 강매당한거 같아 기분이 나 쁘다고함 고불만 포인트유효기간을 들먹이며 강매당했다고 주장 좋지도 않은물건을 팔려고 한거아니냐, 바 쁜데 전 화해서 전화끊지도 않고 주위에서 도 사기당한거 아니냐며 강매당한거 같아 기분이 나쁘다고함 불만 차단확인안내했으나 차단한적없다고 주장 통신사쪽으로 확인해보시 라 안내하니 차단한거 없으면 당신 책임이다 단선하심 알지도 못하는 사람에게 카드가 발급되었다며, 불법 아니냐고 불만 불만 차단확인안내했으나 차단한적없다고 주장 통신사쪽으로 확인해보시라 안내하니 차단 한거 없으면 당신 책임이다 단선하심 알지도 못하는 사람에게 카드가 발급되었다 며, 불법 아니냐고 불만 중립 … 중립 …
  24. 24. MindsClassifier 탐지패턴사전 HMD 문서 분류 결과 (Top N Tagged) 탐지패턴 보강 (HMD Boosting) 파라미터 튜닝 (Parameter Tuning) 학습데이터 보강 (Training Data Boosting) 자연어처리(NLP) 용례추출 학습데이터 구축 (Training Data) 패턴기반 분류기 (HMD Classifier) 딥러닝 자동분류기 (DNN Classifier) 하이브리드 분류기 (Hybrid Classifier) 워드 임베딩 (Word Embedding)1 2 3 5 6 7 8 9 4
  25. 25. ⓒ 2015 ㈜마인즈랩. All rights reserved. END OF DOCUMENT

×