1. Dialog system을 위한
크라우드 소싱 기반의 학습데이터
수집 방안 연구
- Progress of Graduation Thesis
/김병준
x 2018 Summer
2. 좋은 피드백이란
그건 별로야 논리가 부족하니까
선행연구를 더 찾아보는게 어때?
평가보다는
해결방안을 애기한다
원인과
3. 우선 제 졸업논문은…
크라우드 소싱을 통해
특정대화에 대한 다양하고 많은 대화 표현을 수집하는 방법 연구
“알렉사, 뭐 먹을까?”
Crowdsourcing
먹을거 추천해줘
맛있는거 알려줘
뭐 먹지
먹기 좋은거
…
뭐 먹을까
뭐 먹을까
뭐 먹을까
뭐 먹을까
…
먹을거 추천해줘 뭐 먹을까
양
표현
https://www.amazon.com
5. 이게 왜 중요하냐면
IT 공룡기업들의 잇따른 AI 기술 민주화 선언에 따라
음성인식 기술 개발 툴이 제공되면서
기술적 문제보다는 특정 의미에 대응하는 대화 데이터 수집이 중요해짐
발화 데이터를 넣어서
음성인식 서비스를 만듦
https://dialogflow.com/ https://developer.amazon.com/alexa/console/ask?
6. 하지만, 발화데이터 수집은 Challenging Task
발화데이터 수집 방식은
1) 문법적인 형식에 맞춰 늘리거나
2) Small Scale의 Wizard of OZ
3) 기존 Corpus 사용
…
모으고 전사하고 라벨링
Or
Low
Performance
OTL
7. 어떻게 만들어야 할까?에 대한 고민
계속 보고 읽고 듣고…
(Information Gap Theory, Placebo, Wide wall effect, Social Proof…)
Social Proof
8. 이 논문은
사람들에게 피드백 요청을 하면
좋은 대답을 해주려하는
Bias 문제를 해결하고자 함
Social Proof 이론을 적용해서
How?
9. 이 논문은
사람들에게 피드백 요청을 하면
좋은 대답을 해주려하는
Bias 문제를 해결하고자 함
Social Proof 이론을 적용해서
How?
10. How?
Social Proof를 정리해보면
주어진 상황에서 올바른 행동을 반영하기 위해
사람들이 다른 사람들의 행동을 취하는 심리적, 사회적 현상
https://www.convertingcopy.com/what-is-social-proof-and-how-can-it-make-or-break-your-sitebusiness-online/
11. 제 연구에서는
2가지 Study 중 Crowdsourcing Experiments에 적용
Study 1.
Crowdsourcing
Experiments
Study 2.
Semi-Structured
Interviews
제공하는 예시의 종류를 독립변인으로
3가지 Condition별 각 100명씩
Mturk 진행
각 Condition별
Mturk 참가자 10명 반구조화 인터뷰
진행
12. Study 1에 대해 조금 더 애기하자면
다른 사람들이 한 예시라 설명하고
None / Positive / Negative 형식으로 제공
종속 변인 측정
1) Time
2) Sentence Similarity
3) Cognitive load
None Positive Negative
- 뭐 먹을까?
맛있는거 추천해줘
뭐 먹지?
뭐 먹을까?
뭐 먹을까?
뭐 먹을까?
O X
14. 여담으로
답은 데이터 시각화? ELK stack, 파이썬 시각화 툴, 통계 공부 중..
UX의 가치는 어떻게 증명하는가?
15. Byungjoon Kim
User Experience Lab
Graduate School of Convergence Science and Technology
Seoul National University
Contact
E-mail: kimbyungjoon@snu.ac.kr
Dialog system을 위한
크라우드 소싱 기반의 학습데이터 수집 방안 연구
- Progress of Graduation Thesis
감사합니다
