Recommended
Recommended
More Related Content
Similar to resilient chatbots: repair strategy preferences for conversational breakdowns
Similar to resilient chatbots: repair strategy preferences for conversational breakdowns (20)
More from Myeonggyun Ryu
More from Myeonggyun Ryu (10)
resilient chatbots: repair strategy preferences for conversational breakdowns
- 1. + CHI 2019 / 류명균 Resilient Chatbots: Repair Strategy Preferences for Conversational Breakdowns - Zahra Ashktorab et al. (IBM Research AI)
- 2. 01 02 03 04 05 06 07 WHY THIS PAPER INTRODUCTION REPAIR STRATEGY METHODOLOGY RESULT DISCUSSION TAKEAWAY
- 3. 01 WHY THIS PAPER 챗봇 오류에 대한 8가지 Repair 전략의 효과를 연구한 논문 • 누구나 VUI를 더 쉽게 쓸 수 있었으면 좋겠다 • 현재 사용자가 겪고 있는 어려움 - 무슨 기능이 있는지 모르고, 어떻게 말해야 할지도 모름 (Discoverability) - 오류가 발생하면 대처가 어려움 (Repair) - 오래 쓴다고 해결되지도 않음 (Learnability) 어떻게 시도를 더해야 하지…? 내 말을 못알아 듣는 거니 내가 좀 어렵게 말하고 있니 아니면 그 기능이 없는거니 안써! 현재 사용자가 대화형 인터페이스를 사용하는 방법
- 4. 02 INTRODUCTION 태스크형 챗봇에서는 목적을 달성할 수 있는 에러 대응책이 필요 • 챗봇 개발자들이 직면한 문제 : 에러로 인해 발생하는 부정적인 경험을 어떻게 감소시킬까? - 선행 연구에서는 공손함이나 사과하는 태도를 통해 사용자의 부정적인 감정을 완화시키는 연구를 진행 - 하지만, 태스크형 챗봇에서 이는 효과적이지 못함 - 태스크형 챗봇에서는 목적 달성이 중요 • 따라서 에러가 발생했을 때 목적을 달성할 수 있도록 하는 대응이 필요함 - 사람 사이의 대화에서 에러는 자주 발생하고, 다양한 방법으로 해결함 (반복, 문장바꾸기, 명확하게) • Repair를 방해하는 챗봇의 문제 - 에러의 흔적이 없음 - 사용자가 효과적인 해결책을 선택하기에는 시스템 모델이 익숙치 않음 RQ1. 8가지 Repair 전략 중 사용자들은 어떤 전략을 선호하는가? RQ2. 개인적인 요소와 업무의 종류가 선호에 영향을 미치는가?
- 5. 03 REPAIR STRATEGY ① 무시 인텐트 적당히 잡아서 답변 제공 ② 확인하기 인텐트가 맞는지 물어 봐서 확인함 ③ 반복 요청 다시 말하도록 요청 ④ 옵션 제시 예상되는 인텐트를 제시함 ⑥ 키워드 하이라이팅 사용자 발화에 키워드를 하이라이팅함 ⑤ 상담원 답변 상담원이 답변함 ⑦ 키워드 확인 키워드를 사용자에게 확인함 ⑧ 이해 못한 키워드 하이라이팅 사용자 발화 중 이해 못한 키워드 하이라이팅
- 6. 03 REPAIR STRATEGY ② 확인하기 인텐트가 맞는지 물어 봐서 확인함 ③ 반복 요청 다시 말하도록 요청 ④ 옵션 제시 예상되는 인텐트를 제시함 ⑥ 키워드 하이라이팅 사용자 발화에 키워드를 하이라이팅함 ⑦ 키워드 확인 키워드를 사용자에게 확인함 ⑧ 이해 못한 키워드 하이리팅 사용자 발화 중 이해 못한 키워드 하이라이팅 에러 흔적 없음 ① 무시 인텐트 적당히 잡아서 답변 제공 Assisted Self-Repair 에러 흔적 있음 + 사용자가 repair하도록 도와줌 System-Repair 에러 흔적 있음 + 시스템이 repair함 Explicit Acknowledgement of Breakdown 에러 흔적 있음 ⑤ 상담원 답변 상담원이 답변함
- 7. 04 METHODOLOGY 두 전략씩 비교하는 Pairwise Comparison Experiment • Scenario : 48개 (3 context * 8 repair * 2 outcome success) - Context : shopping/banking/travel - Outcome success : 두 번째 발화에 대한 응답이 성공하는지, 실패하는지 • Pairwise Comparison Experiment - 8개 중 2개씩 랜덤하게 10쌍 비교 - 둘 중 하나를 고르고 이유를 쓰기 10 쌍 비교 * 3초 간격으로 말풍선 올라옴 vs. • Attention Check (10쌍 중 2쌍) - 이전과 동일한 쌍으로 보여주고 답이 같은지 확인 - 해결한 것과 해결못한 것이 있을 때, 해결한 것을 선택하는지
- 8. 05 RESULTS > Preferences of Repair Strategy 시스템이 능동적으로 해결하려는 전략의 선호도가 높음 • 가장 선호도가 높았던 Repair 전략은 ‘④ 옵션 제시’ • 답변이 실패하는 경우에는 ‘⑤ 상담원 답변’의 전략을 선호 • Assisted Self-Repair 전략은 전반적으로 선호도가 높음 ② 확인하기 ③ 반복 요청 ④ 옵션 제시 ⑥ 키워드 하이라이팅 ⑤ 상담원 답변 ⑦ 키워드 확인 ⑧ 이해 못한 키워드 하이라이팅 ① 무시 ④ 옵션 제시 ⑤ 상담원 답변 ③ 반복 요청 ⑥ 키워드 하이라이팅 ⑧ 이해 못한 키워드 하이라이팅 ① 무시 ⑦ 키워드 확인 ② 확인하기 ④ 옵션 제시 ⑤ 상담원 답변 ⑦ 키워드 확인 ⑧ 이해 못한 키워드 하이라이팅 ⑥ 키워드 하이라이팅 ② 확인하기 ① 무시 ③ 반복 요청 All Data(n=1624) Successful(n=800) Unsuccessful(n=824)
- 9. RESULTS > Reasons for Preferences • Explicit Acknowledgement of Breakdown - ‘② 확인하기’는 공손하고 똑똑하다 느낌, 그러나 번거로움 - 두 전략 모두 인간과 비슷하게 자연스러움 - 반복적이고 번거로운 점은 챗봇 사용을 그만두게 만들 수도 있을 듯 • System-Repair - ‘④ 옵션 제시’의 경우 효율적이고 타이핑과 같은 노력이 덜 듬 - 챗봇이 똑똑하다 느낌 - 아마 현실에서는 항상 올바른 선택지만은 주지 않을 것 - 그럼에도 실패의 경우에도 선호가 높은 것은 의미가 있음 • Assisted Self-Repair - 챗봇을 더 똑똑하게 보이게 함 - 어떻게 챗봇이 동작하는지에 대한 이해를 도와줌 - 하지만, 자연스럽지는 않음 (GUI 요소 때문) - 키워드 하이라이팅이 직관적으로 알고리즘 동작을 설명함. 그러나, 다소 반복적이고 장황함 - 이해 못한 키워드 보여주기는 더 명확하나, 일반적인 단어를 이해못하는 경우에는 덜 똑똑해 보일 것 05 ⑥ 키워드 하이라이팅 ⑦ 키워드 확인 ⑧ 이해 못한 키워드 하이라이팅 ④ 옵션 제시 ⑤ 상담원 답변 ② 확인하기 ③ 반복 요청 각 전략을 선호하는 이유
- 10. RESULTS > Reasons for Preferences 05
- 11. DISCUSSION Design Implication • 단도직입적이고 반복하지 않는 방법으로 Misunderstanding을 시인하기 • 자연스럽고, 미학적으로, 수월하게 모델을 설명하기 - Mechanical, unnatural, visually unappealing, hard to read, confusing하지 않게 - 키워드 하이라이팅이 효율적, 턴 수를 아낄 수 있음 • 사용자가 컨트롤하면서 지능적인 Repair전략을 취하도록 - 에이전트가 선제적으로 맞는 행동을 제시할 때 선호가 높음 • 개인과 컨텍스트를 읽을 수 있는 - 이 연구가 모든 상황을 포괄하지는 않음 - 데이터 또는 피드백 기반의 접근으로 시스템이 adaptive하게 06
- 12. 07 TAKEAWAY • Repair 전략에 효과적인 세 가지 요소 - 에러의 원인을 보여주는 것 - 사용자가 repair할 수 있도록 자원을 제공하는 것 - 적극적으로 repair에 대한 주도권을 잡는것 • 연구에 한계는 많아 보이지만, 8가지 repair 전략에 대한 사용자의 대략적인 선호도 및 생각을 참고 • 인간의 대화 + XAI에서 영감을 얻은 것이 새로운 관점 - 하지만, 본 연구에서 사용한 방법은 text-based만 가능 + rule-based에서만 가능할 것 같은… - Intent-based VUI에서 가능한 방법은 뭐가 있을까? Classifier의 confidence를 좀 활용해보면 어떨까? • 프로토타입으로 진행한 repair 전략 연구는 아직은 없는 듯… - 뱅키 실험하면서 느꼈지만, 제어도 어렵고, 신뢰도도 없어 보임 - 그렇다고 WoZ나 본 연구같은 실험은 한계가 많아 보임 - 프로토타입의 유효성(?)을 어떻게 보완할 수 있을까…?