챗봇과의 대화를 언어학적으로 분석한 발제입니다.

1. Real conversations with artificial
intelligence: A comparison
between human-human and
human-chatbot
+ Computers in Human Behavior
- Jennifer Hill, W.Randolph Ford,
and Ingrid G.rarreras
/김병준
X 2017 Spring

2. 이 논문을 본 이유는
대화는 목적성 여부에 따라 크게 2가지로 나누어 진다
/ 목적형 대화 : 목표가 있는 대화 ex) 음식 주문, 인터뷰 조사, 번호 찾기
비목적형 대화 : 목표가 없는 대화 ex) 잡담
현재의 연구나 서비스는 목적 설계에 초점을 맞추지만
실제 봇과의 Interaction은 대화하려고 시도, 오히려 잡담형, 비목적형 대화를
Control하는게 중요하지 않을까?

3. Intro
현 상황은
• Intelligent agent와의 대화는 기술적 한계에도 불구하고 많이 일어나고 있다.
• Intelligent agent 대화는 디지털 기술을 통해 이루어져 CMC(Computer-
mediated communication)가 중요한 연구 분야가 되고 있다.
앞선 연구들은
• 여러 형태(Face to face, Instant messaging(IM), text messages)의 대화 연구가
있다.
• 의미를 파악하고 성능을 향상시키는 기술적 연구들이 있다.
• Turing Test 기반의 컴퓨터와의 대화 연구는 있지만 판단의 목적이 강해
편향되어 진다.
But,
• 챗봇이 많이 활용됨에도 불구하고 챗봇과의 대화에 대한 연구는 없다.

4. Human-human online conversations와
Human-chatbot conversations은 어떻게 달라지는지 알아보자
Purpose
* Chatbot : Machine conversation systems interact with
human users via natural conversational language

5. Method
데이터 수집 • Human-human conversations : 예술 대학의 대학생, 대학원생으로부터 두
사람 사이에서만 일어난 IM 데이터 수집
 205명의 참가자로부터 894개의 IM 대화
• Human-chatbot conversations : Cleverbot 제작자인 Rollo Carpenter로부터
Cleverbot 대화 데이터를 받음
 2140개의 Cleverbot 대화기록

6. Method
데이터 수집
데이터 처리 • 10 개 미만의 메시지 대화는 제거
• 영어로 진행된 대화만 사용
• 각 유형의 대화 데이터에서 랜덤하게 100개의 대화를 선택

7. Method
데이터 수집
데이터 처리
데이터 분석
• 7개의 변수를 분석 : Words per conversation, Messages per conversation,
Average number of words per message, Type/token ratio, IM shorthand,
emotions, occurrences of profanity
• 14개의 LIWC(Linguistic Inquiry and. Word Count) 변수 분석 : Word count,
Words per sentence, Percentages of words greater than six letters, LIWC
dictionary words, Function words, Pronouns, Articles, Swear words, Social
words, Affective words, Positive emotion words, Negative emotion words,
Sexual words, Words of assent

8. Linguistic variables analyzed
1. Words
White space로 구분, 이모티콘이나 구두점은 배제
2. Type-token ratio
전체 word 중 unique word 비율
3. Profanity
Banbuilder.com 에 등록된 단어 리스트 ex) 비속어, 인종차별, 성적
4. Shorthand
Internetslang.com 에 등록된 단어 리스트 ex) BOGO, SLAP
5. Emotions
Internetslang.com 에 등록된 리스트 ex) ^_^ , :) , >//<
6. Messages
길이나 내용에 상관없이 전송된 데이터 기준, 반복 전송된 데이터도 하나의 메시지로

9. Result – Linguistic variables
7개의 변수 중에서 4개의 변수(Messages per conversation, Words per message, Type/token
ratio, Frequency of profanity)가 유의미한 차이를 보임.
• 사람 간 대화에 비해 챗봇과의 대화에서 2배보다 더 많은 메시지를 보낸다
• 메시지의 길이는 사람 간 대화가 2배 정도 길다.
• 사람 간 대화에서 더 많은 단어들을 사용한다.
• 사람 간 대화보다 챗봇과의 대화에서 더 많은 비속어를 사용한다.

10. Result – LIWC variables
LIWC의 변수 중에서 8개의 변수(WPS, Words more than Six-letter, Pronoun, Swear, Social, Pos
emot, Neg emot, Sexual)가 유의미한 차이를 보임.
• 사람 간 대화에서 챗봇과의 대화보다 문장 당 사용되는 단어의 수가 10배 가까이 많다.
• 사람 간 대화에서 철자가 많은 단어를 더 사용한다.
• 챗봇 간 대화에서 대명사를 더 많이 사용한다.
• 챗봇 간 대화에서 비속어를 더 사용한다.
• 챗봇 간 대화에서 사회적인 단어를 더 사용한다.
• 사람 간 대화에서 긍정적인 이모티콘을 더 사용하는 반면, 챗봇 간 대화에서는 부정적인 이모티콘을 더 사용한다.
• 챗봇 간 대화에서 성적인 단어를 더 사용한다.

11. Future Research
1. 문법적인 구조 비교, 여러 개의 문장을 갖는 메시지와 단일 문장을 갖는 메시지
2. 메시지를 보내는 데 소요되는 시간 및 침묵의 길이
3. 대화의 주제가 바뀌는 횟수

12. Discussion
대화 주제의 범위를 좁혀서 접근하면 어떨까? 주제에 따른 변화가 생길까?
챗봇과의 대화 과정을 세분화하여 각 시점에서 발생하는 대화의 유형을 볼 수 있지
않을까?