@PyCon Korea 2014
NLTK 덕에 파이썬으로 자연어처리를 하는 것이 편리해졌다. 단, 한국어만 분석하려하지 않는다면. 파이썬으로 한국어를 분석할 수는 없을까? 국문, 영문, 중문 등 다양한 문자가 섞여 있는 문서는 어떻게 분석을 할 수 있을까?
이 발표에서는 자연어처리의 기초적인 개념을 다룬 후, NLTK 등의 자연어처리 라이브러리와 한국어 분석을 위해 개발중인 KoNLPy를 소개한다. 또, 파이썬으로 한국어를 분석할 때 유용한 몇 가지 트릭을 공유한다.
http://konlpy.readthedocs.org
Python과 Tensorflow를 활용한 AI Chatbot 개발 및 실무 적용Susang Kim
도입
AI Chatbot 소개
Chatbot Ecosystem
Closed vs Open Domain
Rule Based vs AI
Chat IF Flow and Story Slot
AI기반의 학습을 위한 Data 구성 방법
Data를 구하는 법 / Train을 위한 Word Representation
Data의 구성 / Data Augmentation(Intent, NER)
자연어처리 위한 AI 적용 방안
Intent (Char-CNN) / QnA (Seq2Seq)
Named Entity Recognition (Bi-LSTM CRF) / Ontology (Graph DB)
Chatbot Service를 위한 Architecture 구성
Chatbot Architecture
NLP Architecture
Web Service Architecture
Bot builder / Chatbot API
Test Codes for Chatbot
실무에서 발생하는 문제와 해결 Tips
Ensemble and voting / Trigger / Synonym(N-Gram)
Tone Generator / Parallel processing / Response Speed
마무리
[설명 코드]
Text Augmentation / Slot Bot / QA Bot / Graph DB / Response Generator
2017 tensor flow dev summit (Sequence Models and the RNN API)
작성된 자료로 2017년 2월 22일 오후 8시 부터 Maru180에서
GDG Seoul 에서 주최한 2017 Tensorflow Dev Summit Extended Seou에서
발표를 진행
Sequence Models and the RNN API 정리 내역 공유
@PyCon Korea 2014
NLTK 덕에 파이썬으로 자연어처리를 하는 것이 편리해졌다. 단, 한국어만 분석하려하지 않는다면. 파이썬으로 한국어를 분석할 수는 없을까? 국문, 영문, 중문 등 다양한 문자가 섞여 있는 문서는 어떻게 분석을 할 수 있을까?
이 발표에서는 자연어처리의 기초적인 개념을 다룬 후, NLTK 등의 자연어처리 라이브러리와 한국어 분석을 위해 개발중인 KoNLPy를 소개한다. 또, 파이썬으로 한국어를 분석할 때 유용한 몇 가지 트릭을 공유한다.
http://konlpy.readthedocs.org
Python과 Tensorflow를 활용한 AI Chatbot 개발 및 실무 적용Susang Kim
도입
AI Chatbot 소개
Chatbot Ecosystem
Closed vs Open Domain
Rule Based vs AI
Chat IF Flow and Story Slot
AI기반의 학습을 위한 Data 구성 방법
Data를 구하는 법 / Train을 위한 Word Representation
Data의 구성 / Data Augmentation(Intent, NER)
자연어처리 위한 AI 적용 방안
Intent (Char-CNN) / QnA (Seq2Seq)
Named Entity Recognition (Bi-LSTM CRF) / Ontology (Graph DB)
Chatbot Service를 위한 Architecture 구성
Chatbot Architecture
NLP Architecture
Web Service Architecture
Bot builder / Chatbot API
Test Codes for Chatbot
실무에서 발생하는 문제와 해결 Tips
Ensemble and voting / Trigger / Synonym(N-Gram)
Tone Generator / Parallel processing / Response Speed
마무리
[설명 코드]
Text Augmentation / Slot Bot / QA Bot / Graph DB / Response Generator
2017 tensor flow dev summit (Sequence Models and the RNN API)
작성된 자료로 2017년 2월 22일 오후 8시 부터 Maru180에서
GDG Seoul 에서 주최한 2017 Tensorflow Dev Summit Extended Seou에서
발표를 진행
Sequence Models and the RNN API 정리 내역 공유
모두를 위한 기계번역 (박찬준)
○ 개요
2014년 본격적으로 NMT에 대한 연구가 진행되었으며 현재는 Transformer 기반의 다양한 NMT 시스템들이 연구되고 있습니다.
더 나아가 최근 NLP에서 가장 뜨거운 연구분야인 Language Representation 분야에서도 Transformer를 기반으로 한 BERT, GPT-2, XLNET 등의 모델이 개발되고 있습니다.
본 테크톡에서는 먼저 RBMT와 SMT에 대해서 간략하게 살펴보고 RNN기반 NMT 부터 Transformer를 기반으로 하는 NMT까지 자세히 살펴볼 예정입니다.
더 나아가 최근 WMT에서 매년 Shared Task로 열리고 있는 Automatic Post Editing System과 Parallel Corpus Filtering, Quality Estimation 분야에 대해서 설명하며 NMT를 이용한 다양한 응용 연구분야를 소개해드리겠습니다. (ex. 실시간 강연통역 시스템, 문법교정 시스템) , 기계번역에 대해서 아무것도 모르시는 분, 궁금하시분들도 이해할 수 있는 수준으로 쉽게 설명을 진행할 예정입니다.
○ 목차
1)기계번역이란
2)RBMT에 대한 간략한 소개
3)SMT에 대한 간략한 소개
4)RNN기반 딥러닝부터 Transformer까지
5)NMT를 이용한 다양한 응용 연구 소개
a. Automatic Post Editing
b. Quality Estimation
c. Parallel Corpus Filtering
d. Grammar Error Correction
e. 실시간 강연통역 시스템
6)OpenNMT 소개
2019년 파이콘 한국에서 진행된 튜토리얼 자료입니다. Part 2 내용으로 LRP에 대한 튜토리얼 발표자료입니다. 아래 링크를 통해 행사 관련 정보를 확인하실 수 있습니다.
http://xai.unist.ac.kr/Tutorial/2018/
https://github.com/OpenXAIProject/PyConKorea2019-Tutorials
Part 1: https://www.slideshare.net/OpenXAI/2019-part-1
Part 2: https://www.slideshare.net/OpenXAI/2019-lrp-part-2
Part 3: https://www.slideshare.net/OpenXAI/2019-shap-part-3
네이버에서 진행한 NLP challenge에서 수상 후 발표한 자료입니다.
[대회링크] https://github.com/naver/nlp-challenge
-------------------------------------------------------------------------------
이신의 (lsnfamily02@yonsei.ac.kr)
박장원 (adieujw@gmail.com)
Exploring Deep Learning Acceleration Technology Embedded in LLMsTae Young Lee
Lab's research presentation
I am a doctoral student at Seoul National University of Science and Technology and am currently the head of the Applying LLMs to Various Industry (AL2VI) Lab.
CAST:Enhancing Code Summarization with Hierarchical Splitting and Reconstruct...taeseon ryu
Code Summarization이란 소스코드를 간결한 자연어로 나타내는 태스크고 긴 코드가 있을 때 시멘틱을 짧게 한 두 문장 정도의 자연어로 나타내서 사람이 이제 빠르게 이해할 수 있도록 하는 건데요 이제 코드를 유지 보수해보시거나 이제 오픈소스같은 큰 코드를 보신 경험이 있는 분이라면 소프트웨어 유지보수와 프로그램에 있어서 프로그램 이해에 있어서 이런 짧은 주석 같은 것들이 얼마나 중요한 역할을 하는지 잘 알고 계실겁니다 이러한 테스크를 해결하기 위해 해당 논문은 Hierarchical Splitting and Reconstruction 라는 방법을 제시합니다.
논문 리뷰를 자연어 처리팀 신동진님이 자세한 리뷰 도와주셨습니다.
[한국어] Neural Architecture Search with Reinforcement LearningKiho Suh
모두의연구소에서 발표했던 “Neural Architecture Search with Reinforcement Learning”이라는 논문발표 자료를 공유합니다. 머신러닝 개발 업무중 일부를 자동화하는 구글의 AutoML이 뭘하려는지 이 논문을 통해 잘 보여줍니다.
이 논문에서는 딥러닝 구조를 만드는 딥러닝 구조에 대해서 설명합니다. 800개의 GPU를 혹은 400개의 CPU를 썼고 State of Art 혹은 State of Art 바로 아래이지만 더 빠르고 더 작은 네트워크를 이것을 통해 만들었습니다. 이제 Feature Engineering에서 Neural Network Engineering으로 페러다임이 변했는데 이것의 첫 시도 한 논문입니다.
8. RNN
1. 전방향 신경망 : 회귀모델, 베이지안, CNN
2. 순환 신경망 : Recurrent Neual Network
3. 입력뉴런, 연결뉴런, 출력뉴런등이 연결되어 있다
4. Gate 반복에 따라 각기 다른 결과값을 Cell위치에서 저장
5. 저장된 다른 위상 값 들을 평균 또는 합 등을 구함으로써
압축 가능하다
14. LSTM 유닛구조
1. 유지게이트 : 앞의 Cell에서 넘어온 정보 중, 오래된 삭제할
정보와 유지할 정보를 Sigmoid 뉴런으로 구분한다
2. 쓰기게이트 : 위에서 구분한 정보중 필요한 정보(tan h)를
판단 후 상태변환/유지 여부를 파악 후 처리를 한다
3. 출력게이트 : 쓰기게이트와 유사한 구조를 갖고서 최종
결과물을 판단, 처리를 한다
15. LSTM RNN CELL
Recurrent Neual Network
https://medium.com/@apiltamang/unmasking-a-vanilla-rnn-what-lies-beneath-912120f7e56c
the recurrent connection
allows the network to
remember what it learned
in the previous step.
17. LSTM 의 장점
1. Gate는 공식들 연결 가운데 Noise를 발생
2. Noise를 활용하여 위상차이(반복횟수)를 구분한다
3. 또는 Gate 통과 전/이후의 값의 차이를 활용하는 등 다양한
시간차를 인식 가능하다
4. Sequence(연속적) 형태인 원본 데이터를 학습하기
용이하다 (HMM 보다 다양한 모델을 구축가능)
18. [실습Code] - 단어 어휘 예측하기
1. 3개의 알파벳을 입력하면, 나머지 알파벳 1개를 정확하게
예측하는 모델을 학습한다
2. 알파벳을 기본 요소로써 LSTM graph를 활용한다
3. 입력 데이터는 One hot - Encoding을 활용
4. One hot-encoding 에 적합한 별도의 batch 사용자 함수를
정의한다
28. seq 2 seq
1. 2013년 구글에서 공개한 기계번역 신경망 모델이다
2. LSTM 인코더(A, B, C) 와 LSTM 디코더(W, X, Y,)를 연결
3. RNN의 재귀적 학습의 특성으로 인해, 특수함 심벌 ((1)
입력의 시작을 알림 (2) 디코더 출력이 끝남을 알림)을
필요로 한다
4. 대화형 챗봇, 번역 등 폭넓게 활용
29. seq 2 seq
1. CNN 의 모델중 하나인 GAN과 유사한 구조를 갖는다
2. GAN은 전방향 학습망 으로써, 입력 이미지와 출력 이미지
중간과정이 별도로 관리가 되지 않아 학습할 때마다 다른
결과를 출력한다
3. 반면 seq2seq 는 보다 일관성 있는 결과물을 출력한다
30. [실습Code] - 번역봇
1. 영문과 이에 대응하는 한글을 학습
2. 객체들은 One-Hot Encoding을 활용
3. 한글 과 영문의 갯수는 정교한 학습을 위해 동일하게 한다
4. 글자수가 다른 내용을 학습 할 경우는 Padding 기호를
활용
37. seq 2 seq
1. seq2seq 에서 LSTM의 연속적인 분석능력을 Encoder 와
Decoder 로 연결하여 2배의 길이의 성능을 활용
2. 하지만 길이가 4, 5이 아닌 20개 30개의 LSTM을 seq2seq
로 만든다면 그 성능또한 한계가 존재
3. LSTM 셀들의 가중치를 별도로 학습하는 보조 Cell을
추가하여 다양한 길이의 객체도 학습가능한 모델을 제안
44. GRU - LSTM과 유사 / 압축모델로 속도가 빠르다
1. GRU는 게이트가 2개이고, LSTM은 3개입니다.
2. 입력 게이트와 포겟 게이트가 업데이트 게이트 z로
합쳐졌고, 리셋 게이트 r은 이전 hidden state 값에 바로
적용됩니다.
3. GRU는 파라미터 수가 적어서 학습이 빠르고 적은
데이터로도 학습이 가능
4. GRU는 상당히 최근기술로(2014), 장단점이 확실히
밝혀지지는 않다
https://aikorea.org/blog/rnn-tutorial-4/
50. 1. 3행시, 끝말 잇기, 말투 따라하기, 단문분석
2. (Business) 짜임새 있게 잘 구성된 글을 대상으로
1 문장구조를 분석하여 핵심을 추출
2 주제 부분과 설명 부분을 구분
3 글의 완결성의 판단
Deep Learning 실습들
51. 1. 내용/단점이 파악가능 해야 개선점을 찾기쉽다
2. 딥러닝은 자료의 최선의 해를 블랙박스로 추출
3. 학습모델의 구조/ 장단점 분석 작업이 필요 (RB모델)
(딥러닝 모델의 단점을 찾는 딥러닝, 찾는 딥러닝의 단점을 찾는 딥러닝…..)
Deep Learning의 한계
52. 오늘의 수업을 마무리 하며
1. Simple is the Best
2. Big Bang 이론은 Not Yet..
3. 단계를 세분화 하고, rule based 로 안정성 추구
4. 통계적 기초, 선형대수 및 미적분의 기본개념 등 수학적
지식의 추가는, 보다 정교한 이해가 가능하다
53. 1. 국립국어원 정보나눔터 (link)
2. 한글 말뭉치 2007년에 멈춘이유 (기사)
3. 2017년 11월 2차 세종계획 추진 (기사)
4. 분석기사 (기사)
5. 기초 자료의 부족을 딥러닝으로 해결
2018 ~ 2022 2차 세종계획 추진 (문체부, 국립국어원)