Summary of <“Hello There! Is Now a Good Time to Talk?” : Opportune Moments for Proactive Interactions with Smart Speakers>

1. “Hello There!
Is Now a Good Time to Talk?
”
: Opportune Moments for Proactive Interaction
s
with Smart Speakers
- NARAE CHA, AUK KIM, CHEUL YOUNG PARK, SOOWON KANG,
MINGYU PARK, JAE-GIL LEE, SANGSU LEE, UICHIN LEE
+ Proceedings of the ACM on Interactive, Mobile, Wearable and
Ubiquitous Technologies 2020
/ 이윤영

2. Table of Contents
1 Why This Paper?
2 연구 배경
3 연구 방법
4 연구 결과
5 논의
6 한계
7 Take-away : 미니 실험
2

3. 1. Why this Paper?
3
🤓
선제
긍정컴퓨팅 중독/과사용
넛징
📚
📚

4. 2. 연구 배경
4
• 현재 마켓&연구에서 미개척지 같은 분야로 스마트 스피커의 선제 서비스의 탐색이 이루어지고 있음
• 선제 서비스에서 타이밍은 특히 사용자 경험를 만드는 데에 중요
• 현재까지 집 안 환경에서의 스마트 스피커 선제 연구는 이루어지지 않았음

5. 스마트 스피커와의 선제적 상호작용에서의 interruptibility에 관한
RQ2) 움직임 요인은 무엇인가?
RQ3) 사회적 요인은 무엇인가?
5
3. 연구 방법
스마트 스피커 특징과 dynamic한 집 안 환경을 고려해
집에서의 자연스러운 활동 동안의 interruptible moments 이해하고자 함
• 대화적 인터렉션
• 다수 구성원 공유 가능
• 고정된 위치에 설치
(다수 사용자, 다양한 상황, 멀티테스킹, 움직임 요소)
RQ1) 개인적 요인은 무엇인가?
개입, 방해
(상황 맥락적)

6. 6
3. 연구 방법
데이터 수집 :
•2인 1실 대학 기숙사
•ESM(experience sampling method) 앱 설치된 스마트폰, 블루투스 스피커, 와이드 앵글 렌즈로 구성된 장치
•각 참가자에게 하루 간 10 ESM 응답 수집 목표, (1)완전 응답 (2) 미완전 응답 (3) 무응답
•수면 시간 제외, 평균 20분 간격으로 질문
움직임 감지 :
•3초 간격 사진 픽셀차이 비교 (유효검증실험) / 프라이버시 위한 grayscale & Gaussian blur
(두명 모두 있을 때는 각각 대답)

7. 7
3. 연구 방법
파일럿 실험 :
1. ESM 데이터 수집 과정에서 불편함 알아보고자
4명 (2인실 2방), 2일간, 하루 당 12시간 진행 -> 참가자 생활루틴 맞춘 실행 시간 설정, 질문 전 효과음(딩동)
2. 수정된 ESM 확인
동일한 참가자, 4일간 -> 효과음 확인, 하루 ESM 응답 개수 확인 후… 최소 3시간 집에 머무는 리크루팅 기준 마련
리크루팅 & 데이터 수집:
• 40명 (2인실 20방_남12/녀8), 1주 간
• OT를 통한 실험 전반 안내, 톡방 만들어서 (1)외출/귀가 시간 보고 (2) 필요한 경우 ESM 응답 관련 질문 대답
• 데이터 수집 후, 1:1 사후 인터뷰 진행 (20분)

8. 4. 연구 결과
8
데이터 분석
• 3500개의 유효한 ESM 데이터, interruptibility에 대한 상황적 요인을 찾기 위한 그루핑,
어피니티 다이어그램을 통한 귀납적 코딩
• 리서처 1명 주도 & 3명 샘플 분류하고 수정 (final level of agreement (Krippendorff’s alpha) 0.907)

9. 9
4. 연구 결과
interruptible
returning from outside (98% 좋다고 응답)
Internet/smartphone use (92%)
returning from other rooms (89%)
resting (85%), doing chores (85%)
watching videos (72%), waking up (65%)
changing clothes (64%), face or body care (64%)
hair care (62%), eating (60%).
uninterruptible
sleeping (4%), preparing to sleep (11%)
working/studying (21%), visiting other rooms (26%)
video gaming (36%), visiting outside the dorms (37%)
f2f (face-to-face) interaction (40%)
online interaction (45%)
활동에 따른 interruptible 상황 빈도수 및 비율

10. 10
4. 연구 결과
•9-11 AM : 말 걸기 덜 좋음 (주중&주말 대동소이)
•아침에 주로 하는 행동
visiting outside the dorm (16%), hair care (16%)
visiting other rooms (14%), face or body care (10%)
sleeping (9%), and waking up (9%)
다수의 ‘아침에 주로 하는 행동’ 중,
가장 높은 interruptible 행동 비율 = after waking up (52%)
하루 시간대 별 interruptible 상황 분류

11. 11
4. 연구 결과
집중과 참여
듣기/말하기 가능한 형태
정신적 또는 육체적 상태
긴급함과 바쁨
RQ 1 개인(상황)적 요인
높은 집중과 참여가 필요시 uninterruptible
working/studying (82% 좋지 않다고 응답), face-to-face interactions (74%),
playing video games (66%)
낮은 집중과 참여가 필요시 interruptible
using the Internet/smartphone (92%), doing chores (85%),
resting (83%), watching videos (72%)
uninterruptible
급한 데드라인 있을 때 (ex. 과제, 수업일정)
여러 행동을 동시에 수행하고 있을 때 (ex. 외출 준비& 양치질 & 빨래)
uninterruptible
잠 들기 전 준비 or 자기 직전, 자고 있거나 잠에서 덜 깬 상태,
얘기할 기분이 아니거나, 피곤하거나, 아플 때
uninterruptible
스마트 스피커와 상호작용 할 수 없는 상황 (ex. 드라이기, 비디오 시청)
F2F interaction, online 대화

12. 12
4. 연구 결과
기타 활동
RQ 2 움직임 요인
스피커와의 잘 들리고, 말할 수 있는 communication range 밀접한 관련
- 귀가 : 밖에서 (97% 좋다고 응답), 다른 방에서 (94%)
- 외출 : 준비로 바쁜 상태. 밖으로 (37%), 다른 방으로 (29%)
활동 전환 시 interruptible
- 활동 전환 (82%) / 랜덤 (51%)
- ‘활동 중간’ 보다 '활동 전환’ 시, 더 interruptible
상황적 맥락에 따라 다름
- 가벼운 집안일 (interruptible)
- 급한 상황, 인지적인 활동 (uninterruptible)
귀가/외출
활동전환
ex. 공부할 참, 의자에 있다가 자려고 침대로

13. 13
4. 연구 결과
RQ 3 사회적 요인
- Social presence 가 interruptibility 미치는 영향은 상대적으로 작음
- 룸메이트에 대한 배려 :
참가자 대다수 (72.5%)가 룸메이트가 잠든 상황인 경우, 말하지 않기를 선호
55.35%
50.38%

14. 5. 논의
14
시각 기반의 ESM 트리거에 대한 프라이버시 염려
• 대다수 염려 표출 x. 하지만 몇몇은 사진에 대한 걱정
•잠재적 리스크가 작다고 판단 (음성:들어도 불편한 것이 없다. 사진: 흑백이고 알아볼 수 없어서 상관x / 어떻게 데이터 사용되는지 안내 받았으니
/ IRB 따르고 … 학술적 연구에 사용되니까)
•옷 입을 때, 찍히는 것 기억남. 디테일이 적다는 것 알지만 걱정
상황적 맥락을 파악하는 선제 대화 관리
•집 안에서의 일상적 활동 & 움직임 고려 중요
>> 유저의 상황을 분석해서 언제 시작하고, 멈추고, 대화를 재개하는지 판단하는 선제적 스마트 스피커 상상
>> 자동으로 opportune moment 찾는 멀티모달 센서 데이터 리서치, 향후 연구 필요
감정적 애착과 interruptibility
•사후 인터뷰에서 스피커를 “친구”로 지칭한 일부 참가자 (자비스, 애완동물처럼 있었는데 없으면 허전할 것 같다)
•자연스럽고, 사람의 발화와 닮은 메시지는 무시될 확률이 적음
>> 사회적 요인으로 작용해 감정적 인터렉션을 불러일으키는 디바이스 interruptibility 연구 필요
집안의 일상적 맥락 활용 기회
•맥락적 상황을 활용 : Interruptibility 높았던 세가지 상황
(1) just returned (95%), (2) Internet/smartphone use (92%), and (3) doing chores (85%)
•스마트 스피커 기능 활용 스마트 스피커의 블루투스/와이파이 활용 / Internal microphone 센서 (문소리) ex. 출입 인원 파악 후 personalize
•그 외 디바이스 연동 활용 Iot 디바이스, 스마트폰, 출입센서, 열카메라 등…

15. 15
6. 한계
집과 다른 기숙사의 환경
• 부엌, 화장실, 세탁실 등의 in-home 활동이 제외됨
• 룸메이트와 가족, 친밀함의 차이
실제 대화 테스크를 고려하지 않음
• “지금 대화하기 좋은가요?”
• 테스크 수행 위주로 이루어지는 스마트 스피커의 선제 (물건 떨어짐, 일정 변경)

16. 7. Take-away
영감을 받아, 모의 미니 실험_ 모바일 PA에서의 선제 타이밍 탐색 (in home)
📣 “ 지금 대화하기 좋은가요?” (20분 간격, 잠자는 시간 제외)
집 안 환경에서 맥락적 상황 파악에 따른 선제 타이밍 탐색 + 활용
16
🏠
귀가 외출
1
2 3
지금 대화하기 좋은가요?
지금 대화하기 좋은가요?
네
아니요
리포트
(가구 형태별 비교, 공간상황별 비교)

17. B
A
B
A
A
B
17
7. Take-away
기술적으로 어떻게? : 아이폰 단축어와 자동화 기능 활용
귀가(위치 트리거) > B에게 메일&상태 리포트 전송
A에게 메일 받음 > 20분 후, 메일 전송
B에게 메일 받음 > 메일 & 상태 리포트 전송
A에게 메일 받음 > 20분 후, 메일 전송
외출 (위치 트리거) > ‘외출’ 메일 전송
‘외출’ 메일 받음 > 자동화 종료
자동화 1 : 위치 > 단축어 : 메일 (> 리포트)
자동화 2 : 메일 > 대기 > 메일
자동화 3 : 메일 > 단축어 : 메일 (> 리포트)
자동화 4 : 위치 > 메일
외출
귀가
자동화 2 : 메일 > 대기 > 메일
반복
자동화 2 : 메일 > 대기 > 메일
자는 시간은?
실행 시간 조건 & 기상 시간 메일 전송 자동화 > 자동화 3이 트리거 됨
참가자
연구원