It Takes a Village : Integrating an Adaptive Chatbot into an Online Gaming Community
1. It Takes a Village
: Integrating an Adaptive Chatbot into an Online
Gaming Community
+ CHI 2020
- Joseph Seering, Michal Luria, Connie Ye, Geoff
Kaufman, Jessica Hammer
/ 김소담
석사 과정 김소담
18/03/2021
2. Table of Contents
1 Why This Paper
2 Background
3 Method
4 Findings
5 Takeaway
3. 3
01 Why this paper
Social Dynamics in the Presence of Chatbots
•대화 에이전트 - 사용자 집단(혹은 커뮤니티)간의 상호작용
•Multi-party interaction(다자 간 상호작용)
•Adaptive 인공지능 챗봇 대화 디자인, 어떻게?
cf.“못된”사용자에 의한 학습 방지..
4. •챗봇 연구는 대부분 사용자 - 챗봇 간 1:1 대화에 초점. 챗봇이 자유로운 그룹 대화에 참
여하는 다자 간 상호작용/대화에 대한 연구 적음
•다자 간 상호작용에서 챗봇이 할 수 있는 사회적 역할, 커뮤니티 일원으로서의 CA에 대
한 연구 적음
•사용자에 의해 학습된 말, 어휘를 구사하는 챗봇의 실패… 기술의 문제가 아닌 디자인의
문제, 학습 데이터의 문제!
연구 목표
1) 잘 확립된 사회 구조, 친사회적 가치를 지향하는
온라인 커뮤니티(마을)에 의해 “길러져” 사회적으로 올바르게 행동하는 챗봇 디자인
제안/검증
2) 온라인 소셜 상호작용에서 사회적으로 적절한 코퍼스 학습 데이터 생성의 가능성 확인
4
02 Background
여러 명의 사용자로부터 “올바르게” 배워
“올바르게”대화하는 챗봇 연구 필요성
5. 연구 설계 (3주)
5
03 Method - 커뮤니티 선정 / 연구 설계
어떻게 말해야하는 지 배울 수 있는 Caring Community의 필요성
•트위치 선정 이유 : 커뮤니티 기반 구조, 실시간 커뮤니케이션, 스트리밍의 수행적 특성
•트위치 내의 커뮤니티 중 한 명의 스트리머를 중심으로 한, 인증된 커뮤니티로 선정
•스트리머의 팔로워는 약 1500명, 스트리밍 동시 시청자 10-30명
•딱 적절한 커뮤니티 사이즈 : 비교적 꾸준한 흐름의 대화가 지속되지만, 대화양이 너무 많
진 않기에 챗봇의 활동이 묻히지 않는 정도
•선정한 트위치 커뮤니티에 3주 간 챗봇 디플로이
•46명의 사용자가 전송한 총 5716개의 메세지 데이터 수집
•챗봇은 총 1154개의 메세지 전송. 52%의 메세지는 스스로 대화 시작, 48%의 메세지는
다른 사용자가 말을 걸어 대화 시작
온라인 커뮤니티 선정
6. 나이를 먹고, 성장해나가는 BabyBot의 네 단계
6
03 Method - 챗봇 디자인
온라인 커뮤니티 안에서 아기 챗봇은 성인 챗봇으로 성장한다
•룰베이스 : 나이 단계에 따라 현재 상태(hungry, lonely, ..)와 연관된 활동 상태-명령(feed,
sing, …)이 사전에 정의됨. 상태는 무작위로, 혹은 사용자의 명령에 의한 답변을 하며 변경됨
•NLP 학습 (Markov chain) : 특정 커뮤니티 내 사용자들의 대화데이터를 통해서만 어휘를
학습하고 발화함. 나이 단계에 따라 parameter가 달라짐.
작동/설계 매커니즘
Baby Toddler Adolescent Teenager
스트리밍세션 3회
스트리밍세션 2회
스트리밍세션 2회
스트리밍세션 3회
7. 7
03 Method - Chatbot Design
BabyBot의 대화 구조
BabyBot의 상태 변경 루프
BabyBot의 대화 유형
•State-action : 무작위의 간격으로, 챗봇이 스스로 시작하는 대화. 나이에 따라 사전에 상태가
무작위로 정의되며 이에 대한 꼬리 대화들이 이어짐.
ex. 챗봇 상태 배고픔 —> 사용자: !feed —> 얼마나 만족스러우며 좋았는지 등등
•Reaction : @BabyBot으로 사용자에 의해 직접 멘션 당했을 때, 나이 단계에 따라 대답 생성
8. 8
04 Findings
•사용자들은 챗봇 알아가는 과정을 즐김
•챗봇에 성격, 성향을 부여하며 대화를 이어감 ex. A virtual vampire
•살짝은 모호한 말들이 대화와 유머의 시작점이 되곤 함. 베이비봇의 가장 매력적
인 순간들은 앞뒤가 살짝 안맞는 말을 하는 순간
•사용자들은 약간은 이상한 문장으로부터 의미를 해석해내는 과정을 즐김
아기 챗봇과 활발히 어울렸다
의도하지 않았지만 약간은 모호한 말이 상황과 맞아 떨어져 재미를 자아냄
9. 9
04 Findings
•새로운 사람-챗봇-사람 인터액션 촉진
: 사회적으로 터무니 없을 수 있는 newbie 질문을 대신 던져줌
—> 새로운 구성원 온보딩 과정 보조의 가능성 발견
•새로운 사람 - 사람 인터액션 촉진
: 베이비봇을 둘러싼 대화, 논의는 더 큰 이슈의 대화로 발전하곤 함
: 커뮤니티 구성원들이 서로와 그들간의 관계에 대해 되돌아보곤 함
새로운 인터랙션을 가능하게 했다
10. 10
04 Findings
아기 챗봇과 관계를 쌓아가며, 부모가 되어가기에 진심이었다…
•관계가 깊어지며, 챗봇이 기대한 행동을 보이지 않거나 버릇없는 행동을하면 무시,
거부당했다는 감정을 느끼고 화가 남
•챗봇을 잘 기르기 위한, 잘 기르고 있는지에 대한 논의 활발. 거짓말을 하고, 건강하
지 않은 음식을 먹이면…형편없게 기르고 있는건 아닌지 유머러스한 우려 자주 표출
•“Un-teaching” : 챗봇이 이전에 배운 나쁜 행동을 적극적으로 교정
•말을 시작하는 나이가 되면, 질문에 정직하게 대답해야한다는 생각 암묵적 공유.
거짓말하면, 다른 구성원들이 “꾸짖음”
챗봇에게 공감받고, 깊어져가는 유대감 부모 노릇하며 꾸짖기
11. 11
04 Findings
사용자 개인과 커뮤니티 모두 챗봇에 대한 Ownership을 행사한다
•챗봇 성장 후 개인이 ownership을 느끼는 가장 흔한 모먼트 : 챗못이 너무 뚜렷하게
어떤 사용자의 이전 메세지를 따라한 듯한 말을 했을 때, 굉장한 만족감을 얻음
•자신의 말을 챗봇이 어떻게 re-purpose 할 것인가에 대한 meta-commentary 나눔
•커뮤니티 정회원 단위에서 챗봇을 정식 구성원으로 환영하고, 받아들이기 시작
1) 아기가 Adolescent가 되자, BabyBot이라는 이름에 대해 논의/투표 —>
PeteBot으로 공식 변경/공지
2) 채널 구독권(스트리머에 대한 충성, 서포트의 상징)을 PeteBot에게 선물
함, 채널만의 이모티콘에 접근 가능.
사용자 개인 Ownership
커뮤니티 Ownership
12. 12
06 Takeaway
1) 올바른 대화 학습을 위한 CA “대화 디자인”
챗봇을 다함께 기르기 / 무엇을, 어떤 범위로 학습시킬 것인가
2) 잘 만든 대화 에이전트는 관계를 매개할 수 있다
3) 아직 장성한, 완벽한 에이전트가 아니더라도 인간-에이전트 관계에서 presence의 중요성
사용자가 여러 명이니까, 기능적 결함도 “의미를 해석해내는 예상치못한 즐거움”이 됨
4) multi-party interaction 연구에 대한 관심
