Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
바벨피쉬 송치성
시나브로
배우는
자연어처리
스터디 소개
1. 스터디 소개
2. 자연어처리
3. 자연어처리 실습
4. Word Enbedding
스터디 소개
- 더글러스 애덤스의 SF소설 ‘은하수를 여행하는 히치하이커를 위한 안내
서’에 나오는 작은 물고기.
- 귀에 넣으면 어떤 언어로 이야기한것이든 즉시 이해할 수 있게 됨.
- 자료 및 커리큘럼 : http:...
스터디 소개
복작복잡스핀바벨피쉬py
스터디 소개
- 자연어처리 스터디.
- 비전공자도 서당개 체험.
- 재미있는 한글공부ㅋ
바벨피쉬py
스터디 소개
- 복잡계+수학 스터디
- 수포자도 할수있어요..!
- 사칙연산이 이렇게 어려웠나…
복작복잡스핀
자, 연어처리…?
자연어처리
자연어처리
사람의 언어 프로그래밍 언어동물의 언어
- 인간이나 동물들이 음성이나 문자 등을 사용하여 사상
이나 감정을 나타내고 의사소통하는 수단.
언어 (Language) :
자연어처리
자연언어 : 한국어, 영어, 일본어
인공언어 : 프로그래밍 언어, 에스페란토어
- 의사소통을 위해 사용하는 언어와 같이 자연 발생적으
로 생성된 언어. ( ↔ 인공언어 )
자연 언어 (Natural Langu...
자연어처리
- 자연어를 분석하여 컴퓨터가 이해할 수 있는 형태로 만들거나 그러
한 형태를 다시 인간이 이해할 수 있는 언어로 표현하는 제반 기술.
자연어처리 (Natural Language Processing) :
자연어처리
뭘 할 수 있을까..?
자연어 분석
- 형태소 분석
- 구문 분석
- 의미 분석
- 담화 분석
- 중의성 해소
응용 기술
- 검색
- 온라인 광고
- 자동번역
- 감정분석
- 음성인식
- 맞춤법검사
Cf) 구...
자연어처리 실습
직접 해보자!
Step 1. NLTK 초간단 실습 : 영문으로된 텍스트를 형태소 분석해보기
자연어처리 실습
Step 1. NLTK 초간단 실습 : 영문으로된 텍스트를 형태소 분석해보기
1. 문장 끝(EOS; End Of Sentence) 탐지
2. 토큰화(Tokenization)
3. 품사(POS; part-...
자연어처리 실습
한글도 해보자!
Step 2. KonlPy 간단 실습 : 한글도 다뤄보자.
자연어처리 실습
Step 2. KonlPy 간단 실습 : 한글도 다뤄보자.
1. 한글 텍스트 데이터 불러오기
2. 트위터 형태소 분석기로 품사 태깅(POS Tagging)
3. 어떤 단어가 많이 사용되었는지 단어 빈도 ...
자연어처리 실습
자연어처리 실습
이게 끝..?
분석은 어떻게 할까?
자연어처리 실습
<Wordnet>
분류 체계(Texonomy)를 분석하여 단어간 관계를 표현.
좋아.
사랑해.
보고싶어.
싫어.
짜증나.
귀찮아.
분류 체계(Texonomy)를 이용하여 단어 의미(유사어) 파악.
자연어처리 실습
하지만.. 문제점.
자연어처리 실습
넌 극혐.
넌 볼매.
넌 지못미.
넌 완소.
신조어 뉘앙스
Good
Excellent
Nice
많은 노동력
필요
- 대부분의 Rule-based / Statistical NLP에서는 형태소를 atomic symbol로 표현.
- 이때의 벡터표기는 이산적 표현(discrete representation)방식.
Motel
시나브로 배우는 자연어처리 바벨피쉬 송치성
시나브로 배우는 자연어처리 바벨피쉬 송치성
시나브로 배우는 자연어처리 바벨피쉬 송치성
시나브로 배우는 자연어처리 바벨피쉬 송치성
시나브로 배우는 자연어처리 바벨피쉬 송치성
시나브로 배우는 자연어처리 바벨피쉬 송치성
시나브로 배우는 자연어처리 바벨피쉬 송치성
시나브로 배우는 자연어처리 바벨피쉬 송치성
시나브로 배우는 자연어처리 바벨피쉬 송치성
시나브로 배우는 자연어처리 바벨피쉬 송치성
시나브로 배우는 자연어처리 바벨피쉬 송치성
시나브로 배우는 자연어처리 바벨피쉬 송치성
시나브로 배우는 자연어처리 바벨피쉬 송치성
Upcoming SlideShare
Loading in …5
×

시나브로 배우는 자연어처리 바벨피쉬 송치성

3,420 views

Published on

* 자연어처리 기본 개념부터 Word2vec까지.
* 실습자료링크 : http://nbviewer.ipython.org/github/babelPish/nlp/blob/master/part5/studybreak_zip/babel_zip.ipynb

Published in: Data & Analytics

시나브로 배우는 자연어처리 바벨피쉬 송치성

  1. 1. 바벨피쉬 송치성 시나브로 배우는 자연어처리
  2. 2. 스터디 소개 1. 스터디 소개 2. 자연어처리 3. 자연어처리 실습 4. Word Enbedding
  3. 3. 스터디 소개 - 더글러스 애덤스의 SF소설 ‘은하수를 여행하는 히치하이커를 위한 안내 서’에 나오는 작은 물고기. - 귀에 넣으면 어떤 언어로 이야기한것이든 즉시 이해할 수 있게 됨. - 자료 및 커리큘럼 : http://babelpish.github.io/ - 페이스북 그룹 : https://www.facebook.com/groups/babelPish/ 바벨피쉬란?
  4. 4. 스터디 소개 복작복잡스핀바벨피쉬py
  5. 5. 스터디 소개 - 자연어처리 스터디. - 비전공자도 서당개 체험. - 재미있는 한글공부ㅋ 바벨피쉬py
  6. 6. 스터디 소개 - 복잡계+수학 스터디 - 수포자도 할수있어요..! - 사칙연산이 이렇게 어려웠나… 복작복잡스핀
  7. 7. 자, 연어처리…? 자연어처리
  8. 8. 자연어처리 사람의 언어 프로그래밍 언어동물의 언어 - 인간이나 동물들이 음성이나 문자 등을 사용하여 사상 이나 감정을 나타내고 의사소통하는 수단. 언어 (Language) :
  9. 9. 자연어처리 자연언어 : 한국어, 영어, 일본어 인공언어 : 프로그래밍 언어, 에스페란토어 - 의사소통을 위해 사용하는 언어와 같이 자연 발생적으 로 생성된 언어. ( ↔ 인공언어 ) 자연 언어 (Natural Language) :
  10. 10. 자연어처리 - 자연어를 분석하여 컴퓨터가 이해할 수 있는 형태로 만들거나 그러 한 형태를 다시 인간이 이해할 수 있는 언어로 표현하는 제반 기술. 자연어처리 (Natural Language Processing) :
  11. 11. 자연어처리 뭘 할 수 있을까..? 자연어 분석 - 형태소 분석 - 구문 분석 - 의미 분석 - 담화 분석 - 중의성 해소 응용 기술 - 검색 - 온라인 광고 - 자동번역 - 감정분석 - 음성인식 - 맞춤법검사 Cf) 구글이 하는것 : http://research.google.com/pubs/NaturalLanguageProcessing.html
  12. 12. 자연어처리 실습 직접 해보자! Step 1. NLTK 초간단 실습 : 영문으로된 텍스트를 형태소 분석해보기
  13. 13. 자연어처리 실습 Step 1. NLTK 초간단 실습 : 영문으로된 텍스트를 형태소 분석해보기 1. 문장 끝(EOS; End Of Sentence) 탐지 2. 토큰화(Tokenization) 3. 품사(POS; part-of-speech) 태깅(Tagging) Jupyter notebook 링크 : http://bit.ly/1R2WkIB
  14. 14. 자연어처리 실습 한글도 해보자! Step 2. KonlPy 간단 실습 : 한글도 다뤄보자.
  15. 15. 자연어처리 실습 Step 2. KonlPy 간단 실습 : 한글도 다뤄보자. 1. 한글 텍스트 데이터 불러오기 2. 트위터 형태소 분석기로 품사 태깅(POS Tagging) 3. 어떤 단어가 많이 사용되었는지 단어 빈도 플롯 살펴보기 Jupyter notebook 링크 : http://bit.ly/1NSx0Rj
  16. 16. 자연어처리 실습
  17. 17. 자연어처리 실습 이게 끝..? 분석은 어떻게 할까?
  18. 18. 자연어처리 실습 <Wordnet> 분류 체계(Texonomy)를 분석하여 단어간 관계를 표현.
  19. 19. 좋아. 사랑해. 보고싶어. 싫어. 짜증나. 귀찮아. 분류 체계(Texonomy)를 이용하여 단어 의미(유사어) 파악. 자연어처리 실습
  20. 20. 하지만.. 문제점. 자연어처리 실습 넌 극혐. 넌 볼매. 넌 지못미. 넌 완소. 신조어 뉘앙스 Good Excellent Nice 많은 노동력 필요
  21. 21. - 대부분의 Rule-based / Statistical NLP에서는 형태소를 atomic symbol로 표현. - 이때의 벡터표기는 이산적 표현(discrete representation)방식. Motel

×