Recommended
Recommended
More Related Content
Similar to 33기 정병길 "자연어 처리 (Nlp)"
Similar to 33기 정병길 "자연어 처리 (Nlp)" (11)
More from hyu_jaram
More from hyu_jaram (17)
33기 정병길 "자연어 처리 (Nlp)"
- 1. 자연어 처리 (Natural Language Processing) Jaram - 33기 정병길
- 2. 자연어 처리…? What is the Natural Language Processing …? 정보 검색 음성 인식 감정 분석 단어 분류 개체명 인식 질의 응답 기계 번역 머신 러닝 품사 태깅
- 3. 자연어 처리…? What is the Natural Language Processing …? 정보 검색 음성 인식 감정 분석 단어 분류 개체명 인식 질의 응답 기계 번역 머신 러닝 품사 태깅 구문 생성의미 파악형태 분석
- 4. 목차 01 02 03 04 1. 기계 번역 자연어 처리를 필요로 하는 가장 큰 이유 2. 형태 분석 입력 받은 문장을 형태소에 맞춰 분해하고 분석하는 과정 3. 의미 파악 주어진 형태소와 어순을 통해 문장의 의미를 파악하는 과정 4. 구문 생성 형태 분석과 의미 분석을 거쳐 적절한 답을 도출해 내는 과정
- 5. 1. 기계 번역 자연어 처리의 Motivation
- 6. 1950’s1940’s 1960’s 1980~ 고전적인 방법으로 자연어를 처리하는 것에 한계를 느낌… >> 이후 딥 러닝이 해결 자연어 처리의 암흑기 DB 와 연동하여 질의에 응답하는 시스템 개발 본격적인 자연어처리 연구 미국 정부의 지원으로 단어 - 단어 + 약간의 숙어 방식으로 번역기를 만듦 소련어의 논문을 영어로 번역하자 ! – (GAT) Warren Weaver 와 Donald Booth 사이에서 처음으로 얘기가 나옴 처음으로 기계 번역이라는 개념 등장 ! 기계 번역과 자연어 처리.. ?
- 7. Agenda Style 편의, 돈, 효율, … 왜 자연어 처리(NLP) 가 필요해졌나 6개월 8년
- 8. 규칙 / 패턴 기반 방법론 If else 문으로 가능한 많은 경우의 수를 조건문으로 형성. - 엄청난 노가다… - 모든 단어와 문장의 경우의 수를 고려해야 하므로 굉장히 비효율적. - 무한대에 가까운 경우의 수. 기계 번역 방식들 … 예시 / 검색 기반 방법론 데이터베이스에 수천~수만의 번역 예시를 저장하고 가장 유사한 결과를 출력함. - 매우 떨어지는 정확도. - 문장이 길어질 수록 산으로 감. 뉴럴 기반 방법론 심층학습 / 딥러닝 에 기반하여 현재 가장 연구가 활발히 되고 있음. - 매우 느린 학습 / 처리 속도. - 하드웨어가 더욱 발달한다면 가장 각광받을 것. - 대규모의 데이터를 필요로 함. 통계 기반 방법론 현재 가장 널리 사용되는 번역 방식. 기계학습을 통한 절, 구, 어순 등의 세밀한 분석 - 임의의 언어쌍에 적용 가능 - 수천만의 통계 데이터가 필요함 - 데이터 도메인에 따라 분위기가 천차만별
- 9. 2. 형태 분석 입력 받은 문장을 형태소에 따라 분석
- 10. 형태소 ? >> 뜻을 가진 말의 가장 기본 단위!
- 11. 형태소 / 어절 / 어미 분석 ! M[0] M[1] M[2] M[3] M[4] M[5] M[6] E[0] E[1] E[2]
- 12. 어절 / 형태소 / 음절 구분!
- 13. 문제점 ! 하늘을 나는 새 나는 커피를 좋아해 >> 어간 + 어미 >> 대명사 + 조사 같은 음절이라도 뉘앙스와 어순에 따라 그 의미가 바뀔 수 있음.
- 14. 3. 의미 파악 주어진 형태소와 어순으로 의미를 파악
- 15. 수많은 경우의 수 … 준호 동철 배 먹 어 가이 야
- 16. 수많은 경우의 수 … 준호야 동철이가 배 먹어 배? >> Ship? Stomach? Pear? 동철? >> Bronze and iron? … Bronze and iron are eating the ship now.
- 17. 일반적인 어순을 따르자 ! (SOV) 준호야 동철이가 배 먹어 주어 + 목적어 + 술어 (S + O + V) X S O V Analorder.add(E[0]~E[3]);
- 18. 내부 로직 설계 (if else…) 준호야 동철이가 배 먹어 >> 독립어 >> 주어 >> 목적어 >> 술어 주술목 문장 배열과, 어미를 기준으로 로직 설계 >> 띄어쓰기랑 어순 배열을 봇이 알아듣기 쉽게 해줍시다ㅠㅠ
- 19. 여기에 빅데이터와 확률/통계를 접목시키면 ! 준호야 동철이가 배 먹어 01 02 03 04 뉴스... SNS… 주어일 확률… 술어일 확률... 중의적 표현 예외… 동철이 bronze iron 이 아닐 확률….
- 20. 여기에 빅데이터와 확률/통계를 접목시키면 ! 준호야 동철이가 배 먹어 01 >> 주어 0.23, 독립어 0.89 준호가 이름일 확률 0.72 … >> 주어 0.81, 동철이 사람일 확률 0.85 … >> 목적어 0.62, 주어 0.32, ship 0.22, stomach 0.52, pear 0.82 … >> 술어 0.9, 명령어 0.46 뒤 어절과 연결성 0.2 … 독립어, 호칭, … 이름, 주어, 사람, … 명사, 목적어, 과일, … 동사, 술어, 현재진행형, …
- 21. 4. 구문 생성 형태 분석과 의미 파악을 통해 상황에 맞는 답을 도출
- 22. 축적한 데이터로 답을 도출하자 ! 준호 > 사람, 호칭, 청자 동철 > 제 3자, 주체, 이름, 사람 배 > Target, 과일 먹어 > Action, 현재진행, Eat + 감정 X, 봇을 칭하는 말 X, 정보 위주 준호야 동철이가 배 먹어 사람이라면 (봇 : 난 준호가 아닌데 나보고 어쩌라는겨..) 이런 느낌.
- 23. 축적한 데이터로 답을 도출하자 ! 준호 > 사람, 호칭, 청자 동철 > 제 3자, 주체, 이름, 사람 배 > Target, 과일 먹어 > Action, 현재진행, Eat + 감정 X, 봇을 칭하는 말 X, 정보 위주 확률적으로 가장 적합한 답의 카테고리와 키워드를 추려 냄
- 24. 축적한 데이터로 답을 도출하자 ! 맛있대?
- 25. 앞의 예를 잘 못 들었지만… 자람아 오늘 날씨 어떨 것 같니? 지금 몇 시인지 알려 줄래? 자람아 너는 좋아하는게 뭐니?
- 26. NPL 은 소프트웨어공학 + 수학 + 언어학 + 심리학 이 접목된 융합기술이다. 훗날 하드웨어가 발달하고 딥러닝, 머신러닝이 발달하면 더 정확하고 빠른 NPL 이 등장할 것. 따라서… 각 분야의 전문가들을 모아 NPL을 만들지 않는 이상, 60-80년대의 로직 수준의 NPL에서 벗어나긴 힘들 것. >> 이는 빅데이터와 딥러닝이 해결해 줄 것임.
- 27. Thank you 감사합니다.