Understanding the Long-Term Use of Smart Speaker Assistants - FRANK BENTLEY et al. - IMWUT 2018

1. + IMWUT 2018
/ 류명균
Understanding the Long-Term Use
of Smart Speaker Assistants
- FRANK BENTLEY et al.

2. 01
02
03
04
05
06
WHY THIS PAPER
RESEARCH QUESTION
METHOD
FINDINGS
DESIGN IMPLICATION
TAKEAWAY

3. 01 WHY THIS PAPER
사용자들은 실제로 스마트 스피커를 어떻게 사용하고 있는지…
누구나 VUI를
쉽게 쓸 수 있었으면 좋겠다
ASR, NLP
부족한 컨텐츠
디바이스의 한계
…
…
…
왜 지금은 못쓰고 있을까?
Discoverability, Learnability, Repair
지금까지 살펴봤던 부분
현재 사용자는 어떻게
사용하고 있는가?

4. 01 WHY THIS PAPER
다른 IT기기보다 빠른 속도로 보급되고 있음
강석무, 2020, 위치정보 산업 동향 보고서, 한국인터넷지흥원
* 초기 수용 단계는 보급율 약 16%까지, 초기 대중화 단계는 보급율 16~50%를 기준으로 한다

5. 02 RESEARCH QUESTION
• 기능과 도메인에 따라서
- What types of commands do people make to their smart speakers (e.g. weather, music playback,
smart home control, etc.) and in what percentages do they use these different features?
• 하루, 평일/주말에 따라서
- How are these devices used at different times of day or days of the week? Are there differences in
the categories of commands?
• 시간 경과에 따라서
- How do these types of commands change over time as users become more familiar with these
devices? Do the topics change? Does the length of commands change per topic over time?
• 나이, 가구 형태에 따라서
- Are there any differences in use of these devices in different age groups or household sizes?
다양한 측면에서 스마트 스피커 장기간 사용 행동을 살펴봄

6. 03 METHOD
88명으로부터 110일 동안의 사용 로그를 수집
• Amazon MTurk을 통해서 과거 사용 데이터(로그) 수집 (한명 당 $5로 지급)
• 2017년 여름에 데이터를 수집했고, 이 당시는 구글홈 출시 1년이 안됨
- 구글홈 출시 : 2016년 11월 14일 (미국), 2018년 9월 18일(한국)
• Demographics
- 53%: 남성 / 47%: 여성, 18~64세
- 17%는 아마존 에코 소유
- 31%-1인 가구, 32%-2인 가구,15%-3인 가구, 15%-4인 가구, 6%는 4인 이상
• 65,499 커맨드 수집 (평균 744커맨드/인, 110일 동안)
• 분석 방법
- 20,000개는 수동 코딩(서브 도메인) 후에 SVM 훈련 시켜서 나머지 데이터 서브 도메인으로 자동 분류
(정확도 88%)
- 가구 형태, 사용 패턴으로 MANOVA 분석

7. 04 FINDINGS > Daily Use
하루에 약 4번 커맨드를 하고, 1~2번 짧은 인터랙션이 대부분
4.1
17.7
2.5
4
Commands Words
2
5
1
2
39%
21%
세션당 커맨드 수
하루당 커맨드 수 커맨드당 단어 수
세션당 도메인 수
1 48%
2 29% 35% - 기기 컨트롤
34% - 음악 관련

8. 04 FINDINGS > Daily Use
사용자의 생활 리듬과 유사하게 사용 패턴이 발생함
음악 관련하여
가장 많이 사용
저녁9시~새벽2시,
스마트홈 조작을 많이 함
새벽에 시간 확인을 많이 함.
얼마나 더 잘 수 있는지 알기 위해서
일어나자마자 점심시간 전
일에서 돌아와서
(하루 중 가장 많이
사용하는 시간대)

9. • 평일에 비해 주말에 사용량이 통계적으로 유의미하게 많음 (p=0.04)
• 사용하는 도메인의 비율은 비슷함
04 FINDINGS > Daily Use
집에 있는 시간과 스마트 스피커 사용량은 관계가 있음

10. • 시간이 흘러도, 하나의 커맨드에 포함된 단어의 갯수는 변하지 않음
- 초반의 며칠을 제외하고, 인터랙션의 형태도 변하지 않음
• 시간 관련, 정보 검색(날씨), 엔터테인먼트 도메인에서는 단어의 수 증가
- 날씨를 보면, 점점 더 특정 요소에 대해 질문함 (오늘의 최고 온도는?, 다른 지역의 날씨)
• 반면, 스몰토크에서는 단어의 수 감소
04 FINDINGS > Daily Use
초반 사용 방법이 유지되며, 도메인에 따라 질문이 구체화됨

11. • Commands per day - Number of domains used (r=.590)
• Commands per day - Sessions per day (r=.545)
• Commands per day - Commands per session (r=.378)
• Percent Midday - Percent Small Talk (r = -.390)
• Percent Midday - Percent Night (r = -.367)
• Percent Evening - Percent Weekend (r = .398)
• Percent Information - Average Command Length (r = .371)
• Percent Information - Percent Music (r = -.478)
• Percent Information - Percent Small Talk (r = .387)
04 FINDINGS > Usage Patterns
사용자마다 지배적인 도메인이 있음 (정보 vs. 음악)

12. • 음악은 구독 서비스를 가입해야 해서 18-24 나이대에서 사용률이 적어 보임
• MANOVA 분석 결과, 나이는 사용 도메인 비율에 유의미한 영향을 미치지 않음
04 FINDINGS > Demographic Differences
상대적으로 젊은 사용자가 많을 뿐, 유의미한 영향은 없음

13. 04 FINDINGS > Demographic Differences
가구에 따라서 조금씩 사용 도메인 비율이 다름
• 가구의 수가 많을수록 스마트 스피커를 더 적게 사용함
• 4인 이상 가구에서 스마트홈 컨트롤 사용 비율이 상대적으로 낮음

14. 05 DESIGN IMPLICATION
• 사용자에게 새로운 도메인을 소개하는 것
- 사용자는 시간이 흘러도 사용 행동이 변하지 않음
- 보통 3개의 도메인 정도에 정착함
- 구글에서 이메일을 보내지만 사용자가 새로운 도메인을 찾도록 유도하지는 못하고 있음
- 따라서, 어시스턴트 자체가 새로운 도메인으로 이끌어야 함
• 관련된, 짧은 커맨드 제안
- 숏컷을 만들어줌 (일종의 루틴)
‣ Pasta timer : 12-minute timer
- 시간이 흘러도 커맨드는 길어지지 않음. 따라서 어시스턴트가 복잡하게 물어보는 방법을 가르쳐 줄 필요가 있음
- 현재는 일방향적인 소통이 많음.
• 에이전트 기반 깊은 인터랙션 지원
- 현재의 디바이스는 단일 커맨드만 수행하는 경우가 많음
- 스마트 어시스턴트는 시간에 따라 많은 양의 컨텍스트를 배우고 기억해야 함

15. 06 TAKEAWAY
• 약간 뇌피셜(?)로 있던 생각들을 연구로 밝혀내서 인용하기에는 좋아 보임
- 하지만 생각보다 새로운 내용은 없음
- 로그로만 접근해서 다소 피상적인 내용이 많은 듯 (도메인 단위의 통계 분석 위주)
- 그래도 VUI는 로그 접근이 쉽다는 장점을 볼 수 있었음
- 확실히 스마트 스피커가 잘먹히는 사용자 집단이 있을 것 같은데…
• 결국 스마트 스피커 사용자는 초반의 몇 가지 기능만 계속해서 사용
- 어떻게 새로운 기능(앱)을 사용하게 할 수 있을까
• 사용자 입장에서는 새로운 기능을 사용할 생각을 하지 않음
- 이것이 니즈가 없는 건지, 사용이 어려운 건지는 모르겠음
• 2018년 논문인만큼 최근 논문도 살펴보면 좋을 듯 - 특히 서드파티 보이스 앱 관련해서
- 현재 인용수 183…!
• 스마트 스피커 초기의 포지셔닝도 중요한 듯
- 음악을 주로 사용하는 사람은 정보를 잘안쓰고, 정보 검색을 주로하는 사람은 음악을 잘안쓰고…
- 사람마다 스마트 스피커를 생각하는게 다른 듯