Summary : resilient chatbots: repair strategy preferences for conversational breakdowns (CHI2019) - Zahra Ashktorab et al.

1. + CHI 2019
/ 류명균
Resilient Chatbots: Repair Strategy
Preferences for Conversational
Breakdowns
- Zahra Ashktorab et al. (IBM Research AI)

2. 01
02
03
04
05
06
07
WHY THIS PAPER
INTRODUCTION
REPAIR STRATEGY
METHODOLOGY
RESULT
DISCUSSION
TAKEAWAY

3. 01 WHY THIS PAPER
챗봇 오류에 대한 8가지 Repair 전략의 효과를 연구한 논문
• 누구나 VUI를 더 쉽게 쓸 수 있었으면 좋겠다
• 현재 사용자가 겪고 있는 어려움
- 무슨 기능이 있는지 모르고, 어떻게 말해야 할지도 모름 (Discoverability)
- 오류가 발생하면 대처가 어려움 (Repair)
- 오래 쓴다고 해결되지도 않음 (Learnability)
어떻게 시도를 더해야 하지…?
내 말을 못알아 듣는 거니
내가 좀 어렵게 말하고 있니
아니면 그 기능이 없는거니
안써!
현재 사용자가 대화형 인터페이스를 사용하는 방법

4. 02 INTRODUCTION
태스크형 챗봇에서는 목적을 달성할 수 있는 에러 대응책이 필요
• 챗봇 개발자들이 직면한 문제 : 에러로 인해 발생하는 부정적인 경험을 어떻게 감소시킬까?
- 선행 연구에서는 공손함이나 사과하는 태도를 통해 사용자의 부정적인 감정을 완화시키는 연구를 진행
- 하지만, 태스크형 챗봇에서 이는 효과적이지 못함
- 태스크형 챗봇에서는 목적 달성이 중요
• 따라서 에러가 발생했을 때 목적을 달성할 수 있도록 하는 대응이 필요함
- 사람 사이의 대화에서 에러는 자주 발생하고, 다양한 방법으로 해결함 (반복, 문장바꾸기, 명확하게)
• Repair를 방해하는 챗봇의 문제
- 에러의 흔적이 없음
- 사용자가 효과적인 해결책을 선택하기에는 시스템 모델이 익숙치 않음
RQ1. 8가지 Repair 전략 중 사용자들은 어떤 전략을 선호하는가?
RQ2. 개인적인 요소와 업무의 종류가 선호에 영향을 미치는가?

5. 03 REPAIR STRATEGY
① 무시
인텐트 적당히 잡아서 답변 제공
② 확인하기
인텐트가 맞는지 물어 봐서 확인함
③ 반복 요청
다시 말하도록 요청
④ 옵션 제시
예상되는 인텐트를 제시함
⑥ 키워드 하이라이팅
사용자 발화에 키워드를 하이라이팅함
⑤ 상담원 답변
상담원이 답변함
⑦ 키워드 확인
키워드를 사용자에게 확인함
⑧ 이해 못한 키워드 하이라이팅
사용자 발화 중 이해 못한 키워드 하이라이팅

6. 03 REPAIR STRATEGY
② 확인하기
인텐트가 맞는지 물어 봐서 확인함
③ 반복 요청
다시 말하도록 요청
④ 옵션 제시
예상되는 인텐트를 제시함
⑥ 키워드 하이라이팅
사용자 발화에 키워드를 하이라이팅함
⑦ 키워드 확인
키워드를 사용자에게 확인함
⑧ 이해 못한 키워드 하이리팅
사용자 발화 중 이해 못한 키워드 하이라이팅
에러 흔적 없음
① 무시
인텐트 적당히 잡아서 답변 제공
Assisted Self-Repair
에러 흔적 있음
+ 사용자가 repair하도록 도와줌
System-Repair
에러 흔적 있음
+ 시스템이 repair함
Explicit Acknowledgement of Breakdown
에러 흔적 있음
⑤ 상담원 답변
상담원이 답변함

7. 04 METHODOLOGY
두 전략씩 비교하는 Pairwise Comparison Experiment
• Scenario : 48개 (3 context * 8 repair * 2 outcome success)
- Context : shopping/banking/travel
- Outcome success : 두 번째 발화에 대한 응답이 성공하는지, 실패하는지
• Pairwise Comparison Experiment
- 8개 중 2개씩 랜덤하게 10쌍 비교
- 둘 중 하나를 고르고 이유를 쓰기
10 쌍 비교
* 3초 간격으로 말풍선 올라옴
vs.
• Attention Check (10쌍 중 2쌍)
- 이전과 동일한 쌍으로 보여주고 답이 같은지 확인
- 해결한 것과 해결못한 것이 있을 때, 해결한 것을 선택하는지

8. 05 RESULTS > Preferences of Repair Strategy
시스템이 능동적으로 해결하려는 전략의 선호도가 높음
• 가장 선호도가 높았던 Repair 전략은 ‘④ 옵션 제시’
• 답변이 실패하는 경우에는 ‘⑤ 상담원 답변’의 전략을 선호
• Assisted Self-Repair 전략은 전반적으로 선호도가 높음
② 확인하기
③ 반복 요청
④ 옵션 제시
⑥ 키워드 하이라이팅
⑤ 상담원 답변
⑦ 키워드 확인
⑧ 이해 못한 키워드 하이라이팅
① 무시
④ 옵션 제시
⑤ 상담원 답변
③ 반복 요청
⑥ 키워드 하이라이팅
⑧ 이해 못한 키워드 하이라이팅
① 무시
⑦ 키워드 확인
② 확인하기
④ 옵션 제시
⑤ 상담원 답변
⑦ 키워드 확인
⑧ 이해 못한 키워드 하이라이팅
⑥ 키워드 하이라이팅
② 확인하기
① 무시
③ 반복 요청
All Data(n=1624) Successful(n=800) Unsuccessful(n=824)

9. RESULTS > Reasons for Preferences
• Explicit Acknowledgement of Breakdown
- ‘② 확인하기’는 공손하고 똑똑하다 느낌, 그러나 번거로움
- 두 전략 모두 인간과 비슷하게 자연스러움
- 반복적이고 번거로운 점은 챗봇 사용을 그만두게 만들 수도 있을 듯
• System-Repair
- ‘④ 옵션 제시’의 경우 효율적이고 타이핑과 같은 노력이 덜 듬
- 챗봇이 똑똑하다 느낌
- 아마 현실에서는 항상 올바른 선택지만은 주지 않을 것
- 그럼에도 실패의 경우에도 선호가 높은 것은 의미가 있음
• Assisted Self-Repair
- 챗봇을 더 똑똑하게 보이게 함
- 어떻게 챗봇이 동작하는지에 대한 이해를 도와줌
- 하지만, 자연스럽지는 않음 (GUI 요소 때문)
- 키워드 하이라이팅이 직관적으로 알고리즘 동작을 설명함. 그러나, 다소 반복적이고 장황함
- 이해 못한 키워드 보여주기는 더 명확하나, 일반적인 단어를 이해못하는 경우에는 덜 똑똑해 보일 것
05
⑥ 키워드 하이라이팅 ⑦ 키워드 확인 ⑧ 이해 못한 키워드 하이라이팅
④ 옵션 제시 ⑤ 상담원 답변
② 확인하기 ③ 반복 요청
각 전략을 선호하는 이유

10. RESULTS > Reasons for Preferences
05

11. DISCUSSION
Design Implication
• 단도직입적이고 반복하지 않는 방법으로 Misunderstanding을 시인하기
• 자연스럽고, 미학적으로, 수월하게 모델을 설명하기
- Mechanical, unnatural, visually unappealing, hard to read, confusing하지 않게
- 키워드 하이라이팅이 효율적, 턴 수를 아낄 수 있음
• 사용자가 컨트롤하면서 지능적인 Repair전략을 취하도록
- 에이전트가 선제적으로 맞는 행동을 제시할 때 선호가 높음
• 개인과 컨텍스트를 읽을 수 있는
- 이 연구가 모든 상황을 포괄하지는 않음
- 데이터 또는 피드백 기반의 접근으로 시스템이 adaptive하게
06

12. 07 TAKEAWAY
• Repair 전략에 효과적인 세 가지 요소
- 에러의 원인을 보여주는 것
- 사용자가 repair할 수 있도록 자원을 제공하는 것
- 적극적으로 repair에 대한 주도권을 잡는것
• 연구에 한계는 많아 보이지만, 8가지 repair 전략에 대한 사용자의 대략적인 선호도 및 생각을 참고
• 인간의 대화 + XAI에서 영감을 얻은 것이 새로운 관점
- 하지만, 본 연구에서 사용한 방법은 text-based만 가능 + rule-based에서만 가능할 것 같은…
- Intent-based VUI에서 가능한 방법은 뭐가 있을까?
Classifier의 confidence를 좀 활용해보면 어떨까?
• 프로토타입으로 진행한 repair 전략 연구는 아직은 없는 듯…
- 뱅키 실험하면서 느꼈지만, 제어도 어렵고, 신뢰도도 없어 보임
- 그렇다고 WoZ나 본 연구같은 실험은 한계가 많아 보임
- 프로토타입의 유효성(?)을 어떻게 보완할 수 있을까…?