Assumptions Checked: How Families Learn About and Use the Echo Dot - ERIN BENETEAU et al. (IMWUT 2020)

1. + IMWUT 2020
/ 류명균
Assumptions Checked: How
Families Learn About and Use the
Echo Dot
- ERIN BENETEAU et al.

2. 01
02
03
04
05
06
WHY THIS PAPER
INTRODUCTION
METHOD
FINDINGS
SUGGESTION
개인 연구

3. 01 WHY THIS PAPER
스마트 스피커 사용자는 어떻게 사용법을 배우는가?
• VUI에서 발생하는 Learnability, Discoverability 이슈를 다루고 싶었음
- 왜? 엄청나게 보급되고 있음에도 사용률이 저조하고, 활용률도 낮은 것 같음
‣ 기술적인 측면 : ASR, NLU 등. ASR은 이미 인간의 수준을 넘었다고도 함
‣ 컨텐츠/기능 측면 : 알렉사 skills 수- 미국 8만, 영국 4만, 인도 3.5만, 캐나다 3만, 호주 3만 정도
(애플 앱스토어는 2009년 말 10만개, 2010년 말에는 30만개)
‣ 사용성 측면 : 한정된 도메인에서만 사용. 처음에는 많이 쓰다가 시간이 지나면 잘안씀
- 사용성 측면은 개선한다고 해서 사용률을 높일 수 있을진 모르겠지만, 개선은 필요할 것
• 사용자가 스마트 스피커 사용법을 학습하는 방법을 정리한 논문

4. 02 INTRODUCTION
한정된 기능만 사용하는 원인 중 하나는 기능을 찾지 못하는 것
• 선행 연구에 따르면, 사용자는 초반에 기능 탐색을 하다가 결국 한정된 기능만 사용함
• 그 원인이 사용자가 한정된 기능만 선호할 수도 있고, 기능을 찾거나 배우는 데에 실패했을 수도 있음
- 결과적으로, Discoverability를 개선하는 것은 untapped opportunities임
• 초기의 컴퓨터는 discoverability가 매우 부족했음(명령어로 컴퓨터를 제어하던 시절).
• WIMP 시스템이 출현하면서 개선됨
• Jacob Nielsen이 제안한 휴리스틱 평가방법 중 두 가지는 discoverability와 관련이 있음
- Visibility of system status, recognition over recall
• 선행 연구에 따르면,
- VUI에서 사용자는 시각적 장치가 있어도 추측하거나 탐색하거나 trial-and-error를 더 많이 함
- 튜토리얼과 온보딩보다는, contextualized help가 discoverability를 형성하는 데 효과적임
• RQ1) 사용자는 에코 닷으로 어떤 기능을 사용하는가?
• RQ2) 사용자는 어떻게 기기의 사용법을 탐색하고 배우는가?

5. 03 METHOD
처음 사용하는 사용자의 스마트 스피커 학습 과정을 조사함
• 한 번도 스마트 스피커를 사용해보지 않은 10 가구를 대상으로 함
• 사전 인터뷰
- 새로운 기술은 어떻게 배우는지?
- 아마존 에코 닷을 어떻게 사용할거라 기대하는지?
• 사후 인터뷰
- 기능들을 어떻게 배웠는지?
- 기대와 실제 사용을 비교한다면?
- 앞으로 에코를 어떻게 사용할 예정인지?
4주간 사용
“Alexa”라고 말하면, 그 시점부터 1분 전/3분 후 녹음
사전 인터뷰 사후 인터뷰

6. 04 FINDINGS
사용자들이 기대하는 것이 다양함
• 사용자들이 기대하는 기능들
- 10명: 정보 습득 (레시피, 날씨, 일반 상식 등)
- 7명: 일상을 쉽게 (아이에게 음악을 들을라고 함으로써 유튜브 보는 걸 제지할 필요가 없어짐)
- 7명: 음악 듣기
- 4명: 리마인더, to-do 리스트
- 4명: 조명 조절
‣ 앱이나 추가적인 장비가 필요하다는 것을 알지 못했음
‣ 사후 인터뷰에서 “Oh, one thing I did that I was upset about. I remember... I was like, oh, we can
do the smart home thing now with the light bulbs and stuff. I ordered this light bulb, and
nothing in it had told me I needed a bridge thing.”
- 1명: 홈 시큐리티 시스템
- 1명: 가족 논란 중재 (목소리의 볼륨을 모니터링해서)
- 1명: 원격으로 일 처리하기 (차를 잠군다던지)

7. 04 FINDINGS

8. 04 FINDINGS
시간이 지나면 결국 한정된 카테고리만 사용함
• 시간이 지날수록 기능을 시도하는 횟수는 줄어들고, 4주차가 되면 2-3개의 카테고리만 사용함
- Family F: “And I honestly thought that we would do more...But I don't know if it's because we've
never had it before or if we, maybe also because we don't know what skills it has. And so as you
learn, you use those right. You use what you learn.”
- Family H: “I got my habit of listing, reminders and music. And then I just stopped being interested in
it.”

9. 04 FINDINGS
외부 소스가 아닌, 에이전트를 통해 기능을 학습하려 함
• 새로운 기술의 기능을 어떻게 배우는가?
- 인터넷 검색, 매뉴얼 읽기, trial-and-error
• 반면, 에코 닷의 기능을 배울 때는 제한적인 활동을 함
- 가족이나 친구에게 배우거나 에코 닷에게 배우려 함
- 제조사에서 보내는 메일은 스팸으로 여김
- 구글이나 유튜브를 통해 검색하는 경우는 드묾
• 에코 닷에게 배우는 방법은 세 가지
설명 문제점
Device-Initiated 디바이스가 적절한 기능을 제안함
컨텍스트를 놓치면 실패하기 쉬움
다소 마케팅 느낌이 날 수 있음
User-Initiated 사용자가 가능한 기능을 물어봄 비효율적이고 다소 번거로움
Trial-and-Error
시도하고 실패하면서 알아감
(가장 많이 사용되는 방법)
에코 닷이 능력을 제대로 말안해주면, 시도하기 싫어짐

10. 05 SUGGESTION
즉각적이고 개인화된 방법으로 학습 기회 제공
1) Create just-in-time learning opportunities in which the device offers to provide relevant
information based on a new and/or unique user query or a series of repeated failed
queries.
2) Create short, interruptible learning experiences, in which the device can also be
customized through settings to adjust how frequently it offers learning opportunities.
3) Create learning opportunities in which the device is transparent about its abilities.
4) Create learning opportunities that perpetuate trust with the user, including user-driven
settings which disable/enable the device to share new features from the manufacturer
and/or third parties.
5) Create learning opportunities based on user interests (including child-friendly learning
opportunities) through user-driven settings.