Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
Spark Day 2017
Deep Learning Text NLP
with Spark Collaboration
스사모(Spark Korea User Group)
SSG.COM BigData Team
김훈동
Who am I ?
• 김훈동
• 스사모(Korea Spark User Group)
• 신세계 그룹 온라인 포털 SSG.COM 빅데이타파트 리더
• Hadoop, Spark, Machine Learning, Azure ...
I will say …
• Buzzword( AI, ML, DL … )
• 챗봇 & Text NLP …
• Deep Learning NLP
• 다양한 알고리즘.
• 성능
• 구현 Code 및 결과 Review
• Pai...
Buzzword AI에 대하여…
Buzzword Machine Learning에 대하여…
• 블랙박스 접근 vs 룰기반
Buzzword Deep Learning 에 대하여…
Buzzword 챗봇에 대하여
Closed Domain Chatbot vs Open Domain Chatbot
Retrieval Based Model vs Generative Model
Easy Hard
한정된 도메인....
Machine Learning vs Deep Learning
• 보다 긴 역사를 가지고 있다.
• 많은 구현체, 검증된 방법론들이 있다.
• 보다 다양한 요건에 대한 방법론이 존
재한다.
• 작은 데이터로 빠른 성능에 ...
개발자 입장에서 Deep Learning 이란?
• 제프 딘 역할
• 우리가 더 잘하는 건….
• 대용량 데이터 처리
• 데이터 전처리 , 후처리
• 알고리즘 구현(코딩 레벨 구현)
• Deep Learning 은 Lo...
Machine Learning vs Deep Learning
Sentimental Analysis for 한글
1. Naïve Bayes
2. Word2Vec + CNN
한글문장 긍부정 Sentimental 분류
Naï...
Machine Learning vs Deep Learning
Sentimental Analysis for 한글
1. Multinomial Naïve Bayes
2. Count Vector + SVM
3. TF-IDF +...
Deep Learning Text Classification Deep Dive for 한글
1. Word2Vec + CNN (Batch Normalize + Augmentation)
2. Word2Vec + LSTM
3...
Deep Learning Text Classification Deep Dive for 한글
1. Word2Vec + CNN (Batch Normalize + Augmentation)
2. Word2Vec + LSTM
3...
Code On!
Training 속도에 대하여
Training 속도에 대하여
• Best Score is Word2Vec + Bidirectional GRU
• Tesla M40 GPU
• Training Data 165만 건
• Learning Rate 0.000...
Deep Learning Hyper Parameter Optimization
Deep Learning Hyper Parameter Optimization
Deep Learning Text NLP – Pain Point
1. 검증된 알고리즘 코딩시간
< 해당 알고리즘에 Data 를 태우기 까지의 전처리 (of course 재활용 가능)
< Hyper Parameter Op...
Python Machine Learning on Spark
Spark Deep Learning Deep Dive
• Keras + Tensorflow + Spark : elephas
Jupyter on Spark + Hadoop Cluster
BigDL Deep Learning Job on Hadoop
Yarn Manager (by Spark Job)
BigDL Deep Learning Text Classification
BigDL Deep Learning Job on Hadoop
Yarn Manager (by Spark Job)
BigDL Deep Learning Text Classification
Spark & Deep Learning
• BigDL 예
Spark & Deep Learning
• BigDL Magic Button
https://software.intel.com/en-us/articles/deploying-bigdl-on-azure-data-science...
Tensorflow on Spark
Tensorflow on Spark
Spark & Deep Learning
• Deep Water 의 예
기타.
• Deep Learning 툴 소개
• http://ankivil.com/choosing-a-deep-learning-software/
• 딥러닝 프레임워크 속도 비교
• https://tensorflow.bl...
기타
Conclusion
• Deep Learning 이 은총알은 아니지만…
• 특정 분야에 성능에 있어 퀀텀 점프 된 성능을 보이는 것은 사실..
• 다양한 도구와 툴이 생겨나면서 진입장벽도 낮아지고 있음.
• 개발자가 유...
Deep learning text NLP and Spark Collaboration . 한글 딥러닝 Text NLP & Spark
Deep learning text NLP and Spark Collaboration . 한글 딥러닝 Text NLP & Spark
Upcoming SlideShare
Loading in …5
×

Deep learning text NLP and Spark Collaboration . 한글 딥러닝 Text NLP & Spark

6,238 views

Published on

This slide explain the Deep Learning Text NLP for Korean Language. We will also discuss expansion using Spark in Deep Learning Approach to BigData Scale data.
이 슬라이드에서는 한글의 deep learning Text NLP에 대하여 설명한다. 또한, BigData Scale 데이타에 대한 Deep Learning Approach 에 있어, Spark 를 이용한 확장에 대하여도 다룬다.

Published in: Data & Analytics
  • Be the first to comment

Deep learning text NLP and Spark Collaboration . 한글 딥러닝 Text NLP & Spark

  1. 1. Spark Day 2017 Deep Learning Text NLP with Spark Collaboration 스사모(Spark Korea User Group) SSG.COM BigData Team 김훈동
  2. 2. Who am I ? • 김훈동 • 스사모(Korea Spark User Group) • 신세계 그룹 온라인 포털 SSG.COM 빅데이타파트 리더 • Hadoop, Spark, Machine Learning, Azure ML 분야 Microsoft MVP(Most Valuable Professional) • Major in BigData RealTime Analytics & NoSQL • http://hoondongkim.blogspot.kr
  3. 3. I will say … • Buzzword( AI, ML, DL … ) • 챗봇 & Text NLP … • Deep Learning NLP • 다양한 알고리즘. • 성능 • 구현 Code 및 결과 Review • Pain Point • Spark Collaboration for Deep Learning • 결론
  4. 4. Buzzword AI에 대하여…
  5. 5. Buzzword Machine Learning에 대하여… • 블랙박스 접근 vs 룰기반
  6. 6. Buzzword Deep Learning 에 대하여…
  7. 7. Buzzword 챗봇에 대하여 Closed Domain Chatbot vs Open Domain Chatbot Retrieval Based Model vs Generative Model Easy Hard 한정된 도메인. 특정 분야. Pre-defined Response 때로는 Rule Base 때로는 Text Classification 도메인 및 의도 한정 없음. 열린 분야. 질문에 따라 답변 생성 학습하지 못한 질문에 대하여도 적절한 답변 생성 및 창조
  8. 8. Machine Learning vs Deep Learning • 보다 긴 역사를 가지고 있다. • 많은 구현체, 검증된 방법론들이 있다. • 보다 다양한 요건에 대한 방법론이 존 재한다. • 작은 데이터로 빠른 성능에 도달하기 도 한다. [장점] [단점] • 특정 분야에서는 Deep Learning 보다 정확도가 많이 떨어진다. • Feature selection , 검증 등에 있어, Deep Learning 의 end to end 방식에 비하여 손이 많이 가고, feature 가 매 우 많을 때에는 현실적이지 않을 수 있 다. • 특정 분야에 있어서는 Dramatic한 성 능 향상을 꽤 할 수 있다. • Feature Selection 등에 큰 공을 들이지 않더라도, 모델이 end to end 로 학습 하고 선별하는 경우가 많다. • 상당히 많은 Label 데이터가 필요 할 때가 많다. • 작은 양의 데이터로는 Under fit 되는 경우가 ML의 경우보다 더 많다. • GPU 및 BigData Scale Computing 환 경 등, 고사양의 Compute 자원을 필요 로 한다.
  9. 9. 개발자 입장에서 Deep Learning 이란? • 제프 딘 역할 • 우리가 더 잘하는 건…. • 대용량 데이터 처리 • 데이터 전처리 , 후처리 • 알고리즘 구현(코딩 레벨 구현) • Deep Learning 은 Low Level 코딩 구현이 더 많음. • Deep Learning 특히 CNN, RNN, RNN변형 , RL 등은 수학이 그리 복잡하 지 않음. • 이전의 Machine Learning • Markov-Chain Monte Carlo • Gibbs Sampler • Variation Inference • Deep Belief Network • 현재의 Deep Learning • CNN • RNN • LSTM … Mathematical formula Engineering Art
  10. 10. Machine Learning vs Deep Learning Sentimental Analysis for 한글 1. Naïve Bayes 2. Word2Vec + CNN 한글문장 긍부정 Sentimental 분류 Naïve Bayes 83.2% Word2Vec + CNN 85.4% - 긍부정 정확도 Score 출처. (by 송치성(바벨피쉬)) 작은 크기 데이터. 긍 부정 등 쉬운 분류 문제에서는 Machine Learning 도 매우 정확하고, 훨씬 Training 이 빠름!
  11. 11. Machine Learning vs Deep Learning Sentimental Analysis for 한글 1. Multinomial Naïve Bayes 2. Count Vector + SVM 3. TF-IDF + SVM 4. Word2Vec + CNN 한글문장 138지 분류 (1:1고객응대 Data) Multinomial Naïve Bayes 32.31% Count Vector + SVM 17.28% TF-IDF + SVM 51.21% Word2Vec + CNN 59.00% - 사용데이타 SSG.COM 1:1 고객응대 CS Data, 138지 분류 문제 (Top 1 맞추기) - Training Data : 1,649,415건 데이터 충분히 많은 경우. 좀 어려운 다지 분류 문제로 가보자.
  12. 12. Deep Learning Text Classification Deep Dive for 한글 1. Word2Vec + CNN (Batch Normalize + Augmentation) 2. Word2Vec + LSTM 3. Word2Vec + CNN + LSTM 4. Word2Vec + Bidirectional GRU 5. Word2Vec + Bidirectional GRU + Attention Network 6. FastText 7. Glove + LSTM - 사용데이타 SSG.COM 1:1 고객응대 CS Data – 고객 라벨링
  13. 13. Deep Learning Text Classification Deep Dive for 한글 1. Word2Vec + CNN (Batch Normalize + Augmentation) 2. Word2Vec + LSTM 3. Word2Vec + CNN + LSTM 4. Word2Vec + Bidirectional GRU 5. Word2Vec + Bidirectional GRU + Attention Network 6. FastText 7. Glove + LSTM (Tensorflow GPU vs BigDL on Spark Cluster) - 사용데이타 : SSG.COM 1:1 고객응대 CS Data 총 31지 분류 (top 1 맞추기) – 고객 라벨링 - Training Data : 1,649,415건 72.30% 73.94% 72.97% 74.36% 73.15% 72.50% ...ing
  14. 14. Code On!
  15. 15. Training 속도에 대하여
  16. 16. Training 속도에 대하여 • Best Score is Word2Vec + Bidirectional GRU • Tesla M40 GPU • Training Data 165만 건 • Learning Rate 0.0005 • 5 Epoch 에 50000초 = 833분 = 약 14시간
  17. 17. Deep Learning Hyper Parameter Optimization
  18. 18. Deep Learning Hyper Parameter Optimization
  19. 19. Deep Learning Text NLP – Pain Point 1. 검증된 알고리즘 코딩시간 < 해당 알고리즘에 Data 를 태우기 까지의 전처리 (of course 재활용 가능) < Hyper Parameter Optimization 2. Data 전처리, Pandas, Numpy ? One Single Core for 수백 기가 이상 데이터?? 3. GPU 의 small memory, GPU 머신 수 부족. 4. GPU 를 이용한 병렬 Deep Learning 코딩 은 흡사 초기 Map/Reduce 코딩 유사 5. 수백 기가 이상 데이터에 대한 Deep Learning? 6. 반복, 반복, 반복, parameter 바꾸고 또 반복….
  20. 20. Python Machine Learning on Spark
  21. 21. Spark Deep Learning Deep Dive • Keras + Tensorflow + Spark : elephas
  22. 22. Jupyter on Spark + Hadoop Cluster
  23. 23. BigDL Deep Learning Job on Hadoop Yarn Manager (by Spark Job)
  24. 24. BigDL Deep Learning Text Classification
  25. 25. BigDL Deep Learning Job on Hadoop Yarn Manager (by Spark Job)
  26. 26. BigDL Deep Learning Text Classification
  27. 27. Spark & Deep Learning • BigDL 예
  28. 28. Spark & Deep Learning • BigDL Magic Button https://software.intel.com/en-us/articles/deploying-bigdl-on-azure-data-science-vm
  29. 29. Tensorflow on Spark
  30. 30. Tensorflow on Spark
  31. 31. Spark & Deep Learning • Deep Water 의 예
  32. 32. 기타. • Deep Learning 툴 소개 • http://ankivil.com/choosing-a-deep-learning-software/ • 딥러닝 프레임워크 속도 비교 • https://tensorflow.blog/2017/02/13/chainer-mxnet-cntk-tf- benchmarking/ • Keras • 버전 2 준비 되고 있음. • CNTK 도 Keras 백엔드가 될 듯. • Keras 가 Tensorflow 코드 베이스로 흡수??
  33. 33. 기타
  34. 34. Conclusion • Deep Learning 이 은총알은 아니지만… • 특정 분야에 성능에 있어 퀀텀 점프 된 성능을 보이는 것은 사실.. • 다양한 도구와 툴이 생겨나면서 진입장벽도 낮아지고 있음. • 개발자가 유리한 부분이 많음. (최소한의 이론 습득이 갖추어 져 있 다면.) • 현재의 상황을 보면, 좀더 Deep Learning 이 보급되고 보편화 될것 으로 보임. • Pain Point 를 통해 예측컨데, 다시 Spark 가 힘을 받을 수 있는 환 경이 갖추어 지고 있음.

×