What makes a good converation? Challenges in Designing Truly Conversational Agents

What Makes a Good Conversation?
Challenges in Designing Truly
Conversational Agents
+ CHI 2019
- Leigh Clark, Nadia Pantidi, Orla Cooney, Philip Doyle,
Diego Garaialde, Justin Edwards, Bredan Spillane, Emer
Gilmartin, Christine Murad, Cosmin Munteanu, Vincent
Wade, Benjamin R. Cowan
/ 박상아

Why This Paper
Background
Method
Findings
Discussion & Conclusion
Takeaway
1
2
3
4
5
6
목차

1. Why This Paper?
현재 구현 중인 ‘쉐어 위키’의 포지셔닝에 대한 성찰
기계와의 상호작용을 고려한 대화 설계 방안 고민
부자연스러운 발화 형태, 높은 오류 가능성 …
“인간-기계의 대화는, 기존 인간-인간 대화 방식과 어떻게 다른가?”

2. Background
•IPA(지능형 개인 비서)와 ECA(Embodied Conversational Agents)의 지속적 증가
•날씨 확인, 정보 탐색, 일정 추가 등 대화형 에이전트가 제공하는 대부분의 기능들은 간단한 질문-답변
또는 사용자 지시, 시스템 확인 대화에 초점을 맞춤
•그러나 long-term 상호작용이 이루어지는 상황 또는 특정 서비스(헬스 케어, 교육 등)에서는, 인간과
같은 상호작용이나 유대감이 요구되기도 함
•인간-인간 상호작용을 모방하여 대화를 설계하기 전에, 먼저 대화 상황을 고찰해 볼 필요
RQ 1. 사람들이 생각하는 ‘대화에서의 중요한 특성’은 무엇인가?
RQ 2. 그 특성들이, 인공적인 에이전트와 대화하는 상황에서는 어떻게 달라지는가?

3. Method
•대학 커뮤니티 이메일을 통해 17명의 참가자(남 9명, 여 8명)를 모집
•약 40분 동안의 반구조화 인터뷰 진행
1. 대화 상대에 따른(친구, 지인, 낯선 사람 등) 대화 속성, 대화 목적, 대화 경험
2. 에이전트 대화에서의 일반적 태도
3. 1에서 대답한 내용을 에이전트 대화 맥락에서 다시 숙고
4. 에이전트 대화가 이루어질 수 있는 적절한 시나리오
귀납적 주제 분석(Inductive Thematic Analysis) 실시
인터뷰 중심 토픽
RQ 1
RQ 2

4. Findings
대화의 목적
사회적 대화, 업무적 대화 두 가지로 분류 가능
1. 사회적 대화: 타인과 어울리는 것이 대화의 첫 번째 목적. 사회적 유대를 만들고 유지하는 방법.
2. 업무적 대화: 대화가 (태스크의) 목표지향적일 때 해당 목표를 위한 정보 수집이 더 잘됨.
인간-인간 대화
인간-에이전트 대화
사회적 대화보다는 업무적 대화가 이루어짐
에이전트와의 대화는 대부분 기능적 용어로 설명: 사회적, 감정적 연결에 닿기엔 장벽이 있음을 의미
"I would still think of a conversational agent as a tool.” [P109]
에이전트가 인간 상호작용을 모방하는 것이 어려우며, 이것이 바람직한 것인지 의문을 제기하기도
"So probably the conversation with a machine should be characterised by different aspects...like for
example the clarity of the conversation.” [P104]
"What we see as conversation, I don’t think we can replicate it so I think there has to be new parameters
for what a conversation is with a machine.” [P106]

4. Findings
대화의 속성 (대화에서 중요하게 여기는 지점)
1. 상호 이해 및 공통점 (타인의 발화 그 너머의 의도와 의미를 이해)
2. 신뢰성 (long-term 관계 지속 및 사적 대화를 위한 관문)
3. 적극적 경청 (대화에 참여하고자 하는 의지를 증명)
4. 유머 (대화의 동력이 되며 진지한 의도를 부드럽게 만듦)
개념 설정에 변화가 생김
1. 상호 이해 및 공통점 >> ’공통점에 대한 단방향적 이해’와 ‘개인화’
‘이해’는 서로 하는 게 아니라, 에이전트가 이끌어 가야 하는 것이라고 생각
‘개인화’된 에이전트는 공통점이라는 환상을 불러일으키기도 할 것이라고 예상
"I would find it very difficult to comprehend common ground with a machine. If you were to personalise
your machine you might have the perception of common ground. For example, I like rugby so if my machine
used rugby analogies explaining things to me I’d perceive it as having a common ground.” [P105]

4. Findings
2. 신뢰성 >> ‘기능적 신뢰성’ 및 ‘개인 정보 보호’
에이전트와의 대화에서는 신뢰성이 실리적 측면에서만 사용됨
‘보안’, ‘프라이버시’, ‘투명성’, ‘대응’, …
"Trustworthy when it comes to a machine is more about the security features that are built into it.” [P103]

4. Findings
3. 적극적 경청 >> ‘정확한 경청’
리스너로서의 역할도, 기능적인 측면에서 기대함
명확하고 빠른, 반복 말하기를 요구하지 않는 들어주기를 원함
“I think the voice recognition and not having to repeat yourself would be more of the receptive side of the
machine...It’s not bettering your experience if you have to sit and repeatedly ask.” [P108]

4. Findings
4. 유머 >> ‘새로운 기능으로서의’ 유머
에이전트의 흥미도를 높이는, 새로운 상호작용 요소로 작용할 것
기존에는 유기적인 유머 과정이 부족했던 것으로 보임
"I don’t think you’re going to get Humour. I think it’s hit or miss. I know you can ask Siri to tell you jokes and
sometimes they do and it’s usually on the dad jokes level. It’s not actually funny the way an organic
conversation would be between two humans.” [P117]

4. Findings
대화를 통한 관계 수립
1. 친구와 대화: 함께 쌓은 기억, 경험,신뢰 등을 기반으로 대화
2. 지인 또는 낯선 사람과 대화: 피상적이고 기능적인 목적
3. 교우 관계로의 전환: 대화를 친구가 되기 위한 근본적인 도구로 인식
에이전트와 친구 되기
‘대화’가 친구 되기의 초석이라지만 …
사람들은 에이전트와 친구 되기에 저항적. 기능적 목적 이상으로 생각하지 못함
대화 에이전트는 도구 및 보조자로 인식될 뿐
"I mean I don’t enjoy communicating with machines...when machines are like trying to become
human that’s just not ok...because. If you’re talking to a machine to get their perspective on
something, it’d be bit, un-normal.” [P112]

4. Findings
관계적 긴장감
기존의 주인-집사 관계에 대한 인식을 굳이 벗어나려 하지 않음
이를 극복하기 위해서는 시간과 노력이 필요함
"It’s a strange thing, on one hand you’re sort of becoming a friend, but on the other you can order it
to do what you want . . . or ask it what you want. In that sense it would be difficult to ever really
think of it as a close acquaintance. Then it would have the right to say no to you. And then people
throw those things out the window” [P113]

4. Findings
인간-에이전트 관계를 위한 잠재적 시나리오
가전 기기 제어, 건강 모니터링, 개인 업무 처리 등 기능적 어플리케이션을 주로 말함
그외 사회적으로 고립되어 있는 사람들, 정신적인 안정이 필요한 사람들 등을 대상으로 …
"If you have something in the home that is able to guide and
navigate people through their illness and teach them how to self-manage better. If it’s as simple as
reminding them to take their medications. . . telling them about hospital appointments” [P104]

5. Discussion & Conclusion
•인간-인간 대화에서는 사회적 및 업무적 목적이 모두 인지된 반면, 인간-에이전트 대화에서는
업무적 목적만 개념화되었음.
•에이전트와의 대화 속성은 대부분 기능적 측면에서 묘사되었음.
•사용자는 자신과 에이전트의 관계를 비대칭적으로 인식하는데, 이것은 에이전트와의 장기적
관계 수립에 걸림돌이 됨.
•많은 사람들이 대화형 에이전트를 태스크 중심적, 업무적 기능을 가진 것으로만 생각함. 대화
형 에이전트를 둘러싼 패러다임이 재구성될 필요가 있음.
•참가자들은 모두 IPA에 대한 이해가 어느정도 있는 사람들이었기에, 그렇지 않은 사람들에게
인터뷰를 했다면 다른 결과가 나올 가능성.
•에이전트와의 상호작용이 인간 간 상호작용을 그대로 반영하는 데에는 한계가 있음.
•인간의 상호작용을 모방하기보다는, 에이전트만의 새로운 장르의 상호작용을 도입할 필요.
Discussion
Conclusion

6. Takeaway
카카오톡으로 WoZ를 진행했을 때와, VUI로 서비스 런칭했을 때 사용자 발화 양상이 많이 달라질
것으로 예상됨 - 특히 ‘정확한 경청’의 측면에서
결국 VUI에서의 Long-term 상호작용은, 아직 기술적으로도 불완전하고
사회적 효과 측면에서도 비효율적이다 … ‘쉐어 위키’ 사용자에게 단문을 유도할 필요
사용자 입장에서는 여지껏 제공되어 왔던 업무 목적 위주의 에이전트들에 익숙해져서, 에이전트와
상호작용하는 그림을 더욱 어색하게 느낄 것이다 >> 이 벽을 깨기 위해선 어떤 요소를 갖춰야 할까?
너무 업무적인 대화만을 진행하지도 않고, 인간-인간의 상호작용을 무작정 따라하지도 않는
한 발자국 물러서서 사람과 사람을 매개하는 ‘쉐어 위키’는 어떠한 가능성을 내포하는가?

What makes a good converation? Challenges in Designing Truly Conversational Agents

Recommended

Recommended

More Related Content

Similar to What makes a good converation? Challenges in Designing Truly Conversational Agents

Similar to What makes a good converation? Challenges in Designing Truly Conversational Agents (15)

More from 박 상아

More from 박 상아 (10)

Recently uploaded

Recently uploaded (7)

What makes a good converation? Challenges in Designing Truly Conversational Agents