We present Korean Question Answering Dataset(KorQuAD), a large-scale Korean dataset for machine reading comprehension task consisting of 70,000+ human generated questions for Wikipedia articles. We release KorQuAD and launch a challenge at https://korquad.github.io so that natural language processing researchers can both easily prepare multilingual data for machine learning and objectively evaluate the model performance.
한국어 MRC를 위한 대규모 데이터셋인 KorQuAD를 소개하는 슬라이드입니다. 관련 논문은 KSC2018에 발표되었습니다.
▽ 논문 링크
http://www.dbpia.co.kr 에서 KorQuAD 검색
xgboost를 이해하기 위해서 찾아보다가 내가 궁금한 내용을 따로 정리하였으나, 역시 구체적인 수식은 아직 모르겠다.
요즘 Kaggle에서 유명한 Xgboost가 뭘까?
Ensemble중 하나인 Boosting기법?
Ensemble 유형인 Bagging과 Boosting 차이는?
왜 Ensemble이 low bias, high variance 모델인가?
Bias 와 Variance 관계는?
Boosting 기법은 어떤게 있나?
Xgboost에서 사용하는 CART 알고리즘은?
We present Korean Question Answering Dataset(KorQuAD), a large-scale Korean dataset for machine reading comprehension task consisting of 70,000+ human generated questions for Wikipedia articles. We release KorQuAD and launch a challenge at https://korquad.github.io so that natural language processing researchers can both easily prepare multilingual data for machine learning and objectively evaluate the model performance.
한국어 MRC를 위한 대규모 데이터셋인 KorQuAD를 소개하는 슬라이드입니다. 관련 논문은 KSC2018에 발표되었습니다.
▽ 논문 링크
http://www.dbpia.co.kr 에서 KorQuAD 검색
xgboost를 이해하기 위해서 찾아보다가 내가 궁금한 내용을 따로 정리하였으나, 역시 구체적인 수식은 아직 모르겠다.
요즘 Kaggle에서 유명한 Xgboost가 뭘까?
Ensemble중 하나인 Boosting기법?
Ensemble 유형인 Bagging과 Boosting 차이는?
왜 Ensemble이 low bias, high variance 모델인가?
Bias 와 Variance 관계는?
Boosting 기법은 어떤게 있나?
Xgboost에서 사용하는 CART 알고리즘은?
데이터를 둘러싼 정책과, 기업과 기술의 진화는 빠르게 변화하고 있으며, 모든 지향점은 기업들이 다양한 데이터를 활용하여 경쟁력을 확보하고 이를 통해 AI기반의 혁신을 하고자 하는데 있다.
이 과정에서 수 많은 기업의 업무 전무가, 데이터 사이언티스트 등이 다양한 기업의 혁신을 지원할 수 있는 AI 모델을 검증하는 과정을 거치게 됩니다.
하지만, 이렇게 수 많은 AI 모델이 실제 비즈니스에 적용되기 위해서는 인프라, 및 서비스 관점의 기술이 반드시 필요하게 됩니다.
MLOps는 기업에 필요한 혁신적인 아이디어(AI Model)을 적시에 비즈니스 환경에 적용할 수 있도록 지원하는 기술 및 트렌드 입니다.
주요 내용은
- 데이터를 둘러싼 환경의 변화
- 기업의 AI Model 적용시 마주하는 현실
- MLOps가 해결 가능한 문제들
- MLOps의 영역별 주요 기술들
- MLOps 도입 시 기업의 AI 환경은 어떻게 변할까?
- AI 모델을 비즈니스 환경에 적용(배포)한다는 것은?
2021년 12월 코리아 데이터 비즈니스 트렌드(데이터산업진흥원 주최)에서 발표한 내용을 공유 가능한 부분만 정리함.
발표 영상 참고 : https://www.youtube.com/watch?v=lL-QtEzJ3WY
서울시 챗봇팀이 개발한 ‘청년정책봇’은 시나리오 기반이 아닌 딥러닝 기반의 챗봇 서비스다. ETRI에서 개발한 KorBERT를 통해 언어 처리 모델을 대신하고, 형태소 분석 API를 통해 질문 문장에 대한 의도를 분석하였다. 카카오에서 배포한 khaii 형태소 분석기 적용을 통해 구문분석 정확도를 향상을 확인할 수 있었다. 또한, 위키 QA API를 통해 일반적인 질의응답을 위한 기능을 추가했다. 현재 상용화된 챗봇서비스의 대부분은 미리 구성된 시나리오(Flowchart)를 따라가는 방식을 활용하며, 자연어 처리 기술은 신뢰도가 낮아 사용되지 않고 있다. 그에 반해, ‘청년정책봇’은 cdQA 파이프라인을 접목해 유사도 높은 문서를 언어 처리 모델에 적용하는 방식으로 접근해 신뢰도를 높일 수 있었다. 기존 빌더를 통해, 상용화된 서비스 대비 두 가지 장점이 있다. 첫 번째 장점은 딥러닝 모델에 따른 발전 가능성으로써 ETRI KorBERT의 지속적인 개선에 따라 청년정책봇의 기계 독해 성능도 같이 개선된다는 것이다. 두 번째 장점은 서비스 지속 가능성으로써 cdQA 파이프라인에 기반해 주기적인 웹 크롤링을 통해 데이터 추가가 가능하기 때문에 소프트웨어 유지 보수에 필요한 자원을 최소화할 수 있다는 것이다. 청년정책 챗봇을 통해 cdQA 파이프라인과 ETRI BERT 모델을 활용해 기존의 데이터 인풋 제한을 극복하고 기계 독해에 대한 솔루션을 제시할 수 있었다.
RoFormer: Enhanced Transformer with Rotary Position Embeddingtaeseon ryu
안녕하세요 딥러닝 논문읽기 모임입니다 오늘 업로드된 논문 리뷰 영상은 올해 발표된, RoFormer: Enhanced Transformer with Rotary Position Embedding 라는 제목의 논문입니다.
해당 논문은 Rotary Position Embedding을 이용하여 Transformer를 개선 시킨 논문입니다. Position embedding은 Self attention의 포지션에 대한 위치를 기억 시키기 위해 사용이 되는 중요한 요소중 하나 인대요, Rotary Position Embedding은 선형대수학 시간때 배우는 회전행렬을 사용하여 위치에 대한 정보를 인코딩 하는 방식으로 대체하여 모델의 성능을 끌어 올렸습니다.
논문에 대한 백그라운드 부터, 수식에 대한 디테일한 리뷰까지,
논문 리뷰를 자연어 처리 진명훈님이 디테일한 논문 리뷰 도와주셨습니다!
Causal Inference : Primer (2019-06-01 잔디콘)Minho Lee
- 2019-06-01 잔디컨퍼런스(잔디콘, @구글캠퍼스) 에서 발표한 자료입니다
- 데이터를 통해 인과관계를 추론하는 방법에 대해서 알아봅니다
- Potential Outcomes, Causal Graphical Models 에 대해 간단히 살펴봅니다
- 슬라이드 내에 오타가 있습니다 ㅠㅠ
- 22p, 28p : Perkson's 가 아니라 Berkson's Paradox 입니다
[딥논읽] Meta-Transfer Learning for Zero-Shot Super-Resolution paper reviewtaeseon ryu
105번째 논문리뷰,
오늘 소개 드릴 논문은 2020 CVPR에서 발표된 Meta-Transfer Learning for Zero-Shot Super-Resolution 라는 논문입니다!
제목에서 유추가 가능하신것 처럼 학습 데이터없이 저해상도 사진을 고해상도 사진으로 바꿔주는 Zero Shot Super Resolution을 위한 Meta Transfer Learning을 소개합니다. Internal Learning에 적합한 General한 초기 parameter를 찾는것에 기반하여 한번의 Gradient Update만으로 최적의 성능을 보여주는것 방법에 대해서 소개합니다.
논문에 대한 자세한 리뷰를 이미지 처리팀 김선옥 님이 자세한 리뷰 도와주셨습니다!
https://youtu.be/lEqbXLrUlW4
아마존닷컴은 쇼핑 상품 추천, 배송 및 물류 예측 등에 기계 학습 기술을 활용해 왔으며, 최근 프라임 서비스를 위한 음악, 이미지, 영상 인식, 무인 매장인 아마존고 및 음성 비서 서비스인 알렉사에 딥러닝 기술을 활용하고 있다. 본 세션에서는 이러한 주요 딥러닝 활용 기술 사례를 알아보고, AWS 클라우드를 통해 제공하는 이미지/영상 인식, 음성 인식 및 합성, 기계 번역, 자연어 처리 등 다양한 딥러닝 기반 서비스 구현 방법을 살펴본다. 개발자들이 직접 딥러닝 기반 데이터 처리, 모델 학습 및 서비스 배포까지 손쉽게 구성할 수 있는 Amazon SageMaker와 Deep Lens를 통해 어떻게 IoT 기반 서비스로 활용할 수 있는지 시연을 통해 알아본다.
Fine-tuning BERT for Question AnsweringApache MXNet
This deck covers the problem of fine-tuning a pre-trained BERT model for the task of Question Answering. Check out the GluonNLP model zoo here for models and tutorials: http://gluon-nlp.mxnet.io/model_zoo/bert/index.html
Slides: Thomas Delteil
데이터를 둘러싼 정책과, 기업과 기술의 진화는 빠르게 변화하고 있으며, 모든 지향점은 기업들이 다양한 데이터를 활용하여 경쟁력을 확보하고 이를 통해 AI기반의 혁신을 하고자 하는데 있다.
이 과정에서 수 많은 기업의 업무 전무가, 데이터 사이언티스트 등이 다양한 기업의 혁신을 지원할 수 있는 AI 모델을 검증하는 과정을 거치게 됩니다.
하지만, 이렇게 수 많은 AI 모델이 실제 비즈니스에 적용되기 위해서는 인프라, 및 서비스 관점의 기술이 반드시 필요하게 됩니다.
MLOps는 기업에 필요한 혁신적인 아이디어(AI Model)을 적시에 비즈니스 환경에 적용할 수 있도록 지원하는 기술 및 트렌드 입니다.
주요 내용은
- 데이터를 둘러싼 환경의 변화
- 기업의 AI Model 적용시 마주하는 현실
- MLOps가 해결 가능한 문제들
- MLOps의 영역별 주요 기술들
- MLOps 도입 시 기업의 AI 환경은 어떻게 변할까?
- AI 모델을 비즈니스 환경에 적용(배포)한다는 것은?
2021년 12월 코리아 데이터 비즈니스 트렌드(데이터산업진흥원 주최)에서 발표한 내용을 공유 가능한 부분만 정리함.
발표 영상 참고 : https://www.youtube.com/watch?v=lL-QtEzJ3WY
서울시 챗봇팀이 개발한 ‘청년정책봇’은 시나리오 기반이 아닌 딥러닝 기반의 챗봇 서비스다. ETRI에서 개발한 KorBERT를 통해 언어 처리 모델을 대신하고, 형태소 분석 API를 통해 질문 문장에 대한 의도를 분석하였다. 카카오에서 배포한 khaii 형태소 분석기 적용을 통해 구문분석 정확도를 향상을 확인할 수 있었다. 또한, 위키 QA API를 통해 일반적인 질의응답을 위한 기능을 추가했다. 현재 상용화된 챗봇서비스의 대부분은 미리 구성된 시나리오(Flowchart)를 따라가는 방식을 활용하며, 자연어 처리 기술은 신뢰도가 낮아 사용되지 않고 있다. 그에 반해, ‘청년정책봇’은 cdQA 파이프라인을 접목해 유사도 높은 문서를 언어 처리 모델에 적용하는 방식으로 접근해 신뢰도를 높일 수 있었다. 기존 빌더를 통해, 상용화된 서비스 대비 두 가지 장점이 있다. 첫 번째 장점은 딥러닝 모델에 따른 발전 가능성으로써 ETRI KorBERT의 지속적인 개선에 따라 청년정책봇의 기계 독해 성능도 같이 개선된다는 것이다. 두 번째 장점은 서비스 지속 가능성으로써 cdQA 파이프라인에 기반해 주기적인 웹 크롤링을 통해 데이터 추가가 가능하기 때문에 소프트웨어 유지 보수에 필요한 자원을 최소화할 수 있다는 것이다. 청년정책 챗봇을 통해 cdQA 파이프라인과 ETRI BERT 모델을 활용해 기존의 데이터 인풋 제한을 극복하고 기계 독해에 대한 솔루션을 제시할 수 있었다.
RoFormer: Enhanced Transformer with Rotary Position Embeddingtaeseon ryu
안녕하세요 딥러닝 논문읽기 모임입니다 오늘 업로드된 논문 리뷰 영상은 올해 발표된, RoFormer: Enhanced Transformer with Rotary Position Embedding 라는 제목의 논문입니다.
해당 논문은 Rotary Position Embedding을 이용하여 Transformer를 개선 시킨 논문입니다. Position embedding은 Self attention의 포지션에 대한 위치를 기억 시키기 위해 사용이 되는 중요한 요소중 하나 인대요, Rotary Position Embedding은 선형대수학 시간때 배우는 회전행렬을 사용하여 위치에 대한 정보를 인코딩 하는 방식으로 대체하여 모델의 성능을 끌어 올렸습니다.
논문에 대한 백그라운드 부터, 수식에 대한 디테일한 리뷰까지,
논문 리뷰를 자연어 처리 진명훈님이 디테일한 논문 리뷰 도와주셨습니다!
Causal Inference : Primer (2019-06-01 잔디콘)Minho Lee
- 2019-06-01 잔디컨퍼런스(잔디콘, @구글캠퍼스) 에서 발표한 자료입니다
- 데이터를 통해 인과관계를 추론하는 방법에 대해서 알아봅니다
- Potential Outcomes, Causal Graphical Models 에 대해 간단히 살펴봅니다
- 슬라이드 내에 오타가 있습니다 ㅠㅠ
- 22p, 28p : Perkson's 가 아니라 Berkson's Paradox 입니다
[딥논읽] Meta-Transfer Learning for Zero-Shot Super-Resolution paper reviewtaeseon ryu
105번째 논문리뷰,
오늘 소개 드릴 논문은 2020 CVPR에서 발표된 Meta-Transfer Learning for Zero-Shot Super-Resolution 라는 논문입니다!
제목에서 유추가 가능하신것 처럼 학습 데이터없이 저해상도 사진을 고해상도 사진으로 바꿔주는 Zero Shot Super Resolution을 위한 Meta Transfer Learning을 소개합니다. Internal Learning에 적합한 General한 초기 parameter를 찾는것에 기반하여 한번의 Gradient Update만으로 최적의 성능을 보여주는것 방법에 대해서 소개합니다.
논문에 대한 자세한 리뷰를 이미지 처리팀 김선옥 님이 자세한 리뷰 도와주셨습니다!
https://youtu.be/lEqbXLrUlW4
아마존닷컴은 쇼핑 상품 추천, 배송 및 물류 예측 등에 기계 학습 기술을 활용해 왔으며, 최근 프라임 서비스를 위한 음악, 이미지, 영상 인식, 무인 매장인 아마존고 및 음성 비서 서비스인 알렉사에 딥러닝 기술을 활용하고 있다. 본 세션에서는 이러한 주요 딥러닝 활용 기술 사례를 알아보고, AWS 클라우드를 통해 제공하는 이미지/영상 인식, 음성 인식 및 합성, 기계 번역, 자연어 처리 등 다양한 딥러닝 기반 서비스 구현 방법을 살펴본다. 개발자들이 직접 딥러닝 기반 데이터 처리, 모델 학습 및 서비스 배포까지 손쉽게 구성할 수 있는 Amazon SageMaker와 Deep Lens를 통해 어떻게 IoT 기반 서비스로 활용할 수 있는지 시연을 통해 알아본다.
Fine-tuning BERT for Question AnsweringApache MXNet
This deck covers the problem of fine-tuning a pre-trained BERT model for the task of Question Answering. Check out the GluonNLP model zoo here for models and tutorials: http://gluon-nlp.mxnet.io/model_zoo/bert/index.html
Slides: Thomas Delteil
오컴 Clip IT 세미나 1회차 "머신러닝과 인공지능의 현재와 미래"
1. 인공지능과 머신러닝
- 영화 및 애니메이션에 나타나는 친화적 인공지능과 적대적 인공지능, 그리고 감성적 인공지능
- 강한 인공지능과 약한 인공지능의 차이
- 인공지능과 머신러닝의 관계
2. 딥러닝과 강화학습
- 인공지능의 중요 열쇠이자 머신러닝의 세부 이론인 딥러닝과 강화학습에 대한 개괄 소개
3. 인공지능에 대한 우리의 자세
- 과연 인공지능은 완벽한가?
- 과연 인공지능은 인간 전문가를 대체할 수 있을까?
- 데이터의 중요성
발표자: 김성현 (서울대 융합과학기술대학원 석사과정)
발표일: 2018.6.
네이버 해커톤에 참가하면서 주어진 문제에 어떻게 대처했고, 문제를 해결해나가면서 발생한 상황들에 대해 어떻게 대처했는지, 그리고 문제 해결을 위해서 어떤 방법들을 사용했고 어떤 방법들을 시도했는지에 대해서 사후 점검의 측면에서 정리합니다. 그리고 지금 다시 한다면 어떤 방법들을 시도해보고 싶은지와 문제 해결 전략에 대해서도 점검합니다.
문제 파악
무슨 문제를 선택할 것인가?
단어 vs 문자 단위 모델 선택
모델 선택
Why LSTM?
자잘한 선택들
Self Attention
모델 트레이닝과 정규화
일단 트레이닝부터
잘 알려진 정규화 방법을 시도
Weight Dropout
Variational Dropout
L2 Weight Decay
모델 크기 키우기
Weight Averaging
시도해본 것들
mLSTM
CNN
지금이라면 시도해보고 싶은 것들
SGD (+ Momentum), CLR, SWA, Snapshot Ensemble
FFN + Attention
해커톤 공략 전략에 대한 생각
베이스라인과 더 복잡한 모델, Exploitation vs Exploration
시간 제약이 있으면 LSTM은 위험할지도
AI_introduction and requirements(2024.05.12).pdfLee Chanwoo
AI_introduction and requirements, Considerations for introducing artificial intelligence, understanding machine learning, artificial intelligence security, considerations for introducing ChatGPT, future of generative AI
발표자: 김경민 (서울대 박사과정)
발표일: 2017.6.
현재 서울대학교 바이오지능연구실 박사과정이고 써로마인드로보틱스 책임연구원으로 있으며, 관심분야는 딥러닝을 활용한 대화/질의응답 시스템, 비디오 마이닝, 지식베이스 구축입니다.
개요:
비디오 스토리에 대한 질의 응답 문제는 실세계의 시각과 언어를 모두 다루고 있기 때문에 인간수준 인공지능을 달성하기 위해 중요한 문제이다.
본 세미나에서는
비디오 스토리 질의응답을 위한 ‘뽀로로QA’ 데이터셋을 소개한다.
‘뽀로로QA’는 20.5시간 분량의 만화 비디오 ‘뽀로로’의 16,066개 화면-대화 쌍, 27,328개의 화면 설명 문장과 8,913개의 스토리 관련 질의 응답 쌍을 포함한다.
그리고
딥러닝을 활용한 비디오 스토리 질의응답 모델인 심층 임베딩 메모리망을 소개한다.
심층 임베딩 메모리망은 비디오의 화면-대화 스트림을 은닉 임베딩 공간에 매핑시킴으로써 스토리를 이해한다.
비행기 설계를 왜 통일 해야 할까?
디자인 시스템을 하는 이유
비행기들이 다 용도가 다르다...어떻게 설계하지?
맥락이 다른 페이지와 패턴
경유지까지 아직 멀었다... 언제 수리하지?
디자인 시스템을 적용하는 시점
엔지니어랑 얘기해서 정비해야하는데...어떻게 수리하지?
디자인 시스템을 적용하는 프로세스
비행기 설계가 바뀐걸 어떻게 알리지?
디자인 시스템의 전파
3. 2/ 24
1. Machine Reading Comprehension
기계 독해 기반의 Question Answering
“LG CNS” 입니다.
Question
Machine User
Answer
Context
Reading
Comprehension
LG CNS뉴스 일부,한국경제
세계 AI 경진대회,
LG CNS “4위”
LG CNS가 세계적 인공지능(AI) 학회인
인공신경망학회(NeurIPS) 주최 AI경진
대회에서 톱5에 진입하는 성과를 거뒀다
고 20일 밝혔다. LG CNS는 NeurIPS의
AI경진대회 중 ‘이미지 인식 AI 대회’에
서 미국 카네기멜론대(1위), 중국 칭화대
(2위), 캐나다 몬트리올 고등기술대(3위)
에 이어 4위에 올랐다. 톱5 수상팀 가운
데 기업은 LG CNS가 유일하다.
…<후략>
세계적인 AI 경진대회에서
톱5에 든 기업 어디야?Reading
4. 3/ 24
2. KorQuAD
한국어 Machine Reading Comprehension을 위한 데이터 셋
표준
데이터
현존하는 다양한 영문 데이터
SQuAD
MS MARCO
HotpotQA
연구자들이 쉽게 데이터 확보
논문 저술 등 연구 활동에 활발하게 활용
리더보드
연구 성과 공유의 장
객관적인 기준으로 알고리즘 성능 평가
VS
한국어 데이터 셋 부재
5. 4/ 24
2. KorQuAD
한국어 위키백과를 대상으로 대규모 extractive MRC 데이터 구축
TRAIN 60,407 / DEV 5,774 / TEST 3,898
GITHUB
SQuAD v1.0
데이터 생성 방식을
벤치마크하여 표준성 확보
MRC 질의응답 과제를 위한
다량의 학습데이터를
연구자들이 쉽게 확보
객관적인 기준을 가진
연구 결과 성능 공유의 장
6. 5/ 24
2. KorQuAD
KorQuAD Main Page Submission Tutorial (Coda Lab)
CodaLab을 통해 모형 평가 후 TEST Set에서의 Score은
리더보드에 등재
7. 6/ 24
2. KorQuAD_ data collection
▶ 대상 문서 수집 ▶ 질문/답변 생성 ▶ 2차 답변 태깅
알찬 글
좋은 글
기타
문서
(위키 백과에서 선정한
구성이 좋은 글)
Document Crawling
위키 백과
[알찬 글]& [좋은 글] 목록으로부터
각각 100건, 143건의 문서 우선 수집
→ 양질의 문서 우선 확보
추가적으로 위키백과 랜덤 탐색을 통해
총 1,637건의 문서 수집
Extract Passages
수집한 문서는 문단 단위로 정제
이미지/표/URL 제거
Passage Curation
300자 미만의 짧은 문단 제거
수식이 포함된 문단 제거
8. 7/ 24
2. KorQuAD_ data collection
▶ 대상 문서 수집 ▶ 질문/답변 생성 ▶ 2차 답변 태깅
《해리 포터》(Harry Potter)는 1997년부터
2007년까지 연재된 영국의 작가 J.K. 롤링의
판타지 소설 시리즈다. 이모네 집 계단 밑 벽장
에서 생활하던 11살 소년 해리 포터가 호그와
트 마법학교에 가면서 겪게 되는 판타지 이야기
를 그리고 있다. 1997년 6월 첫 번째 책인 《해
리 포터와 마법사의 돌》이 출판되었으며,
2007년 7월 마지막 책인 《해리 포터와 죽음의
성물》이 출판되었다. 해리포터 시리즈가 큰 성
공을 거두면서 전 세계적으로 인기를 얻었으며,
영화를 비롯한 비디오 게임 및 다양한 상품들이
제작되었다.
질문을 입력하세요:
답변 영역을 드래그하세요:
작업 환경 예시
띄어쓰기 단위로 정답 영역 선택 후
조사 등을 삭제해 최소 영역 선택
작업자
구성
크라우드소싱을 통해 QA 70,000+쌍 생성
일정 등급 이상의 작업자만 참여 가능
작업 방식
한 사람은 하나의 문단에 대해 2-3개 질문 생성
하나의 문단은 3명에게 할당함
→ 한 문단 당 총 6~9개의 질문 생성
→ 질문 어휘의 다양성을 유도
환경 구성
작업 환경 구성 시 Copy& Paste를 방지
자신의 단어로 질문을 생성할 것을 강력하게 명시
질문 예시에 대한 상세 가이드라인 제시
9. 8/ 24
2. KorQuAD_ data collection
▶ 대상 문서 수집 ▶ 질문/답변 생성 ▶ 2차 답변 태깅
TRAIN DEV TEST TOTAL
문서 1,420 140 77 1,637
질문 60,407 5,774 3,898 70,079
KorQuAD 데이터 셋 통계
2차 답변 태깅 대상
목적 Human performance 측정
방법
140개 문서에 대해
각각 2개의 질의를 랜덤 추출
2차 작업자는 문단 & 질문을 보고 답변 영역 선택
결과
TEST 데이터 EM 80.17% / F1 91.20%
(참고) SQuAD v1.1 human performance
10. 9/ 24
2. KorQuAD_ dataset analysis
구문 변형
(56.4%)
Q: 제 1회 문학동네 작가상을 수상한 작품으로, 96년 발표
된 장편소설은?
… 작품활동을 시작하였고 이듬해 96년 장편 《나는 나를 파
괴할 권리가 있다》로 제1회 문학동네 작가상을 수상하였
다.
어휘 변형
(유의어 )
(13.6%)
Q: … 서덜랜드가 무엇을 발전시킨 것을 시작으로 연구가 시
작되었는가?
서덜랜드가 see-through HMD를 발전시킨 것을 시초로 연
구… 증강현실은 …
어휘 변형
(일반상식)
(3.9%)
Q: 해외에서 활동하는 Kayip, Superdrive와 결성한 프로젝
트 그룹의 이름은?
영국에서 활동하고 있는 Kayip, 베를린에서 … Superdrive와
… ‘모텟’을 결성
여러 문장
근거 종합
적 활용
(19.6%)
Q: 클레멘스가 명예의 전당에 입성하지 못한 이유는?
… 이 투수들이 클레멘스를 제외하고 모두 명예의 전당에
올랐기 때문이다. 클레멘스만이 … 받았다. 그는 경기력 향
상 약물 사용에 연루되어 있기 때문에 입성 여부가 불확
실...
논리적 추
론 요구
(3.6%)
Q. 대한민국 제17대 대통령 선거 당시 후보로 등록했으나
예비경선의 경선 후보로 뽑히지 못한 사람 중 법무부와
관련 있는 사람은?
정동영 전 열린우리당 의장, …, 천정배 전 법무부 장관, …
등이 후보로 등록하였고… 예비경선으로 정동영, 손학규,
이해찬, 한명숙, 유시민 후보가 경선 후보로 결정되었다.
기타
출제 오류
(2.9%)
Q. 티베트 고원에서 발원하는 강은?
… 강들이 티베트 고원에서 발원하는데, 창장, 황허, (…), 살
윈 강 등이 포함된다.
56.4% 13.6% 3.9% 19.6% 3.6% 2.9%
구문 변형 (유의어) (일반상식) 여러 문장의 근거 활용
논리적
추론(오류)
어휘 변형
KorQuAD 질문 유형
11. 10/ 24
2. KorQuAD_ dataset analysis
0% 20% 40% 60% 80% 100%
SQuAD
KorQuAD
대상 인물 시간 장소 방법 원인
55.4% 23.2% 8.9% 7.5% 4.3% 0.7%
대상 인물
시
간
장
소
방
법
원인
KorQuAD 답변 유형
⇒ 영문 표준 데이터와 특성이 유사함을 확인
12. 11/ 24
2. KorQuAD_ baseline model analysis
METRIC RESULT
복을 하고 난 직후에 내시가 왕이 입고 있던 옷을 재빨리 지
붕 아래로 … 그 옷을 덮고 5일간 살아나기를 기다렸다.
Q: 복의식 직후 왕의 옷을 아래에 있는 내시에게 던지면 곧장
죽은 왕의 몸 위에 덮고 며칠간을 기다렸는가?
Ground Truth : 5일간 (영문: for 5 days)
Predicted Answer : 5일 (영문: 5 days)
어절 단위 F1 음절 단위 F1 SQuAD (영문)
0% 80% 80%
EM:
실제 정답과 정확하게 일치하는 예측치의 비율.
F1:
실제 정답과 예측치의 겹치는 부분을 고려한 점수로, EM보
다 완화된 평가 척도.
한국어에서 어절 단위로 F1을 구할 경우 다양한 활용형태로
인해 영문의 F1보다 낮게 측정되어 음절 단위의 F1을 도입.
검증 데이터 테스트 데이터
EM F1 EM F1
Baseline* 71.68% 82.87% 71.52% 82.99%
Human - - 80.17% 91.20%
▽ 질문 유형에 따른 Performance 비교
E2E NN model을 KorQuAD 학습 데이터를 100 epoch만큼 학습
▽ Machine performance vs. human performance
▽ KorQuAD F1 계산 예시
𝑆3-Net(Park, 2017)
구문 변형
어휘 변형
(유의어
활용)
어휘 변형
(일반상식
활용)
여러
문장의
근거 활용
논리적
추론 요구
Machine EM 69.62% 60.53% 72.73% 72.73% 70.00%
Human EM 74.68% 76.32% 90.91% 83.64% 80.00%
40%
50%
60%
70%
80%
90%
13. 12/ 24
3. MRC for B2B task
다양한 구조양식을 가진 기업용 데이터를 위한 MRC
LG CNS는 1987년 1월 설립된 LG그룹의 IT 계열사이다.
LG그룹과 미국 EDS가 50:50 합작으로 설립하여 사명은
STM이였으나, 1995년 LG-EDS시스템으로 변경하였고, 합작
계약이 종료된 후 2002년 현재의 이름으로 바꿨다. CNS의
C는 Consulting, Communication, Connection, Collaboration,
N은 Network, New, And, S는 Solution, System, Service 등
다양한 의미… <후략>
LG CNS는 몇 년도에 현재의 이름을 갖게 되었죠?
Answer : “2002년”
Start index : 119
현재의 MRC 기술/연구는 정제된 plain text를 대상
- 구조를 가진 문서를 전처리하여 평문화해야 함
- 개조식 구조의 상하계층 정보를 반영할 수 없음
- 표, 목록에 대한 처리가 어려움
- 제목과 내용이 멀어질 경우 제대로 응답할 수 없음
실제 기업에서 보유한 문서는 구조가 있는 경우가 대부분
- 구조가 있는 문서를 그대로 반영하여 input으로 사용하자 !
- 표, 계층구조, 목록에 대해 최대한 유연하게 처리하자 !
- Table에 대한 MRC 가능성을 확인하자 !
- 양식을 가진 문서에 대한 MRC 가능성을 확장하야 확인하자 !
AS-IS TO-BE
14. 13/ 24
3. MRC for B2B task - Table QA
연구 의의
다양한 구조를 가진 문서에 대한 자연어 질의응답 가능성을
알아보는 연구 첫 걸음
주요 특징
표의 형식에 구애 받지 않고 여러 가지 형태의 표를 처리
표의 2차원 구조를 그대로 이용하여 질의응답 가능
표 안의 각각의 셀에 대해서 여러 feature를 추가한
풍부한 분산 표현의 표 임베딩 이용
성과
단일 모델 EM 스코어 96.0%를 가지는 모델 TabQA 개발
구조를 가진 비정형 데이터에 대해서도 자연어로 질의하여
원하는 답을 찾을 수 있는 가능성 확인
너무나 다양한 표의 양식…
……
그냥…전처리 하지 말까?
표를 위한 MRC model 만들기
15. 14/ 24
3. MRC for B2B task - Table QA
표를 image처럼 행/열 구조를 그대로 받아들이도록 처리한 TabQA
TabQA 아키텍쳐
박소윤 外, 2018 KHCLT, TabQA : 표 양식의 데이터에 대한 질의응답 모델
16. 15/ 24
모델 결과 Lv1. Lv2. Lv3. Lv4. Lv5.
Baseline 71.41% - - - - -
Baseline + field 91.06% 88.13% 97.65% 98.00% 85.95% 85.58%
Baseline + field + q-aware 94.00% 93.15% 97.45% 97.43% 91.05% 90.93%
Baseline + field + q-aware + row 93.42% 91.75% 97.18% 97.35% 90.68% 90.15%
Baseline + field + q-aware + col 96.00% 96.73% 98.80% 98.88% 92.68% 92.93%
Baseline + field + q-aware + col + row 94.96% 94.60% 99.10% 99.03% 91.35% 90.70%
Baseline + field + q-aware + col + row 90.66% 88.90% 96.70% 96.53% 86.20% 84.98%
3. MRC for B2B task - Table QA
TabQA 모델 inference 예시 및 성능평가
Table MRC
17. 16/ 24
3. MRC for B2B task - Tree QA
양식 문서용 MRC 알고리즘을 위한 input data 처리
Tree-Node input data
Tree-Node 형식으로 HTML, JSON, Word 등의 자료구조를 전처리
Hierarchical한 text의 Parent-Child 관계 표현 가능
List/Table/Plain text 표현 가능
Web(HTML) Cleansing
18. 17/ 24
3. MRC for B2B task - Tree QA
양식 문서 MRC를 위한 TreeQA 알고리즘 idea
4
Question-aware
Embedding
엘지 짠순이
적금 우대금리
적용이율
세제 혜택
1. 신규시점에 다음
조건 충족 시..
조회기준일 :
2018.08.09…..
<table><tbody>…..
구분…
본인 한도 내 비과세
종합저축으로…..
2. 다음 항목 충족 시
최대 0.8%....
3
Children을 고려한
Embedding
(bottom-up)
2
Parent를 고려한
Embedding
(Top-down)
Node의 contents를
요약한 embedding
1
엘지 짠순이 적금
우대금리 받으려면
어떻게 해야 되나요?
엘지 짠순이 적금 ?
Kai Sheng Tai, et al., 2015 ; han Cai, et al., 2018
Tree-LSTM
Summarization
Abigail See, et al., 2017