MobileHCI 2020 Gabriel Haas, Jan Gugenheimer, Jan Ole Rixen, Florian Schaub, Enrico Rukzio

1. “They Like to Hear My Voice”:
Exploring Usage Behavior in Speech-
Based Mobile Instant Messaging
+ MobileHCI 2020
- Gabriel Haas, Jan Gugenheimer, Jan Ole Rixen, Florian
Schaub, Enrico Rukzio
/ 박상아

2. Why
This Paper
Background Method Result Takeaway
>> >> >> >> >>
- 텍스트 정보와 구별되는 음성 정보의 구조와 특징을 탐구하고자 함
- 연구실에서 경험적으로 축적했던, 음성 서비스의 유즈 케이스와 특장점 …
우리 프로젝트 너머에는 무엇이 더 있을까?
- (개인적으로) 메시지에 한해서는 음성보다 텍스트를 선호
보이스 기반 메시지를 사용자들의 의도와 평가가 궁금하다
여기서 새로운 음성 정보의 특징을 발견할 수 있지 않을까?
“ ”
Voice User eXperience
Discussion
& Conclusion

3. Why
This Paper
Background Method Result Takeaway
>> >> >> >> >>
- Voice Messages(VMs)의 사용률이 지속적으로 증가하는 추세
- VM은 다음과 같은 특징을 지님:
(1) 사용자의 상황 맥락에 따라 언제든 보내거나 답할 수 있다는 자유
(2) 텍스트 기반 메시지와 유사하게, 대화 플로우를 생성해낼 수 있음
(3) 빠른 반응과 자연스러움, 감정 전달 등이 가능하지만 수정이 어려움
(4) 본래 공공적 특성을 띠기 때문에 프라이버시 문제를 가짐
- 이런 VM이라는 새로운 소통 채널을 사람들이 왜, 얼마나 잘 사용하는지 정확히 알고 있지 못함
VM 사용자 특성과 동기에 대한 인사이트를 얻고자 online survey & field study 진행
Discussion
& Conclusion

4. Why
This Paper
Background Method Result Takeaway
>> >> >> >> >>
1,003명의 open text responses로부터 VM 사용자 특성과 사용 동기를 수집
1. Online Survey
2. Field Study (2 weeks)
6명의 VM 사용자로부터 로그 데이터와 인터뷰 응답을 수집
Discussion
& Conclusion

5. Why
This Paper
Background Method 1 Result 1 Takeaway
>> >> >> >> >>
- 스마트폰 사용자 중 VM 사용자가 얼마나 분포되어 있는지 이해하기 위함
MTurk를 통해 1,003명의 참가자 모집
- 질문 구성은 다음과 같음:
(1) 앱을 통한 TM과 VM 사용 빈도를 묻는 질문
(2) TIPI(tem-item personality measure) - Big 5 성격 특성을 평가할 수 있는 척도
(3) 인구통계학적 정보에 대한 질문
1. Online Survey
목표
수집 내용
Discussion
& Conclusion

6. Why
This Paper
Background Method 1 Result 1 Takeaway
>> >> >> >> >>
1. Online Survey
- 사용자 분류: Daily Users, Weekly Users, Monthly Users, Yearly Users, Less-frequent Users.
- TM은 daily users가 제일 많은 데 반해, VM은 weekly users가 가장 많았음
- Big 5 성격 분석 결과, 외향성과 VM 사용 빈도의 유의미한 상관성을 보임 (정서 안정성과는 약한)
- 나이에 따른 VM 사용 빈도는 별다른 차이가 없었음
- Daily Users 중 남자가 61.2%, 여자가 38.8%로 나타남
VM 전송/일, VM 수신/일 모두 남자가 높았으며, 평균 사용 연령이 남자가 더 어렸음 (30 vs 37)
Findings 1. Voice Messaging Behavior
Discussion
& Conclusion

7. Why
This Paper
Background Method 1 Result 1 Takeaway
>> >> >> >> >>
1. Online Survey
1. Convenience (n=359)
(1) 사용하기가 쉬우며 녹음을 빠르게 진행할 수 있음
↔︎
TM은 가상 키보드라는 허들 존재
(2) 특히 내용이 많은 메시지를 보낼 때 VM 사용
“Sometimes I don’t feel like typing or want to add more detail to a message…”
(3) 생각을 더 거쳐 작성해야 하는 텍스트와 달리, 하고 싶은 말을 비교적 쉽게 표현할 수 있음
“Rather than taking the time to write it all about…”
Findings 2. Motivation
Discussion
& Conclusion

8. Why
This Paper
Background Method 1 Result 1 Takeaway
>> >> >> >> >>
1. Online Survey
2. Para-linguistics (n=229)
(1) 억양, 높낮이, 목소리 크기 등을 통해 메시지를 더욱 명확하게 전달할 수 있음
↔︎
TM은 포맷이 제한적이기 때문에 잘못 소통되거나 잘못 읽힐 가능성이 있음
(2) 일화, 농담 등을 전달할 때 감정을 담아 구현할 수 있음
“say something in a certain silly voice…”
Findings 2. Motivation
Discussion
& Conclusion

9. Why
This Paper
Background Method 1 Result 1 Takeaway
>> >> >> >> >>
1. Online Survey
3. Situational Context (n=203)
(1) 운전, 멀티태스킹 등의 상황에서 유용하게 사용됨
↔︎
TM은 포맷이 제한적이기 때문에 잘못 소통되거나 잘못 읽힐 가능성이 있음
(2) 특수한 상황, 기분: 전화가 불가능한 사람의 목소리를 듣고 싶을 때, 아이의 웃긴 소리를 담고 싶을 때…
“wanted to hear their voices but not be on a phone call…”
Findings 2. Motivation
Discussion
& Conclusion

10. Why
This Paper
Background Method 1 Result 1 Takeaway
>> >> >> >> >>
1. Online Survey
4. Receiver (n=34)
(1) 수신자의 선호에 의해 사용: 부모님이 나의 목소리를 듣고 싶어 해서…
“My friends and family like to hear my voice…”
(2) 수신자의 불편함을 고려해 사용: 읽는 것을 싫어하거나, 어려워 하는
“someone doesn’t like reading, or has bad eyes…”
Findings 2. Motivation
Discussion
& Conclusion

11. 2. Field Study (2 weeks)
- VM Daily Users를 탐구하는 것이 연구의 목표
Online survey는 self-reporting에 의지했다는 한계, 이를 극복하기 위해 필드 스터디 진행
- VM 로그를 자동적으로 수집하기 위해, 안드로이드에서 작동하는 앱 개발:
새 메시지가 녹음되거나, 생성되거나, 재생되거나, 삭제되는 순간을 저장함
메시지 전송·재생 시 노티를 통해 사용자에게 질문을 전달
- 1. 앱을 통해 자동적으로 수집되는 로그
- 2. 앱 노티를 통해 전달한 질문의 답변:
(1) 발/수신자와의 관계(동료, 친구, 룸메이트, …) & IOS scale을 이용한 사회적 거리
(2) 사용자의 위치와 맥락 (집에서, 회사에서, …)
(3) 메시지의 내용 (대화, 음악, 배경 사운드, 노래, 농담, …)
(4) SAM 질문지를 이용한, 메시지에 대한 사용자의 감정
- 3. VM 사용 중 휴대폰의 물리적 활동을 인식한 데이터를 수집함
- 다음 기준을 충족하는 6명의 참가자를 snowballing으로 모집:
VM을 자주 사용하는, 왓츠앱을 이용하는, 안드로이드 스마트폰을 사용하는
목표
도구
참가자
수집 내용
Why
This Paper
Background Method 2 Result 2 Takeaway
>> >> >> >> >>
Discussion
& Conclusion

12. 2. Field Study (2 weeks)
- VM Daily Users를 탐구하는 것이 연구의 목표
Online survey는 self-reporting에 의지했다는 한계, 이를 극복하기 위해 필드 스터디 진행
- VM 로그를 자동적으로 수집하기 위해, 안드로이드에서 작동하는 앱 개발:
새 메시지가 녹음되거나, 생성되거나, 재생되거나, 삭제되는 순간을 저장함
메시지 전송·재생 시 노티를 통해 사용자에게 질문을 전달
- 1. 앱 노티를 통해 전달한 질문의 답변:
(1) 발/수신자와의 관계(동료, 친구, 룸메이트, …) & IOS scale을 이용한 사회적 거리
(2) 사용자의 위치와 맥락 (집에서, 회사에서, …)
(3) 메시지의 내용 (대화, 음악, 배경 사운드, 노래, 농담, …)
(4) SAM 질문지를 이용한, 메시지에 대한 사용자의 감정
- 2. VM 사용 중 휴대폰의 물리적 활동을 인식한 데이터를 수집함
- 다음 기준을 충족하는 6명의 참가자를 snowballing으로 모집:
VM을 자주 사용하는, 왓츠앱을 이용하는, 안드로이드 스마트폰을 사용하는
목표
도구
참가자
수집 내용
Why
This Paper
Background Method 2 Result 2 Takeaway
>> >> >> >> >>
IOS 척도 SAM Questionnaire
Discussion
& Conclusion

13. 2. Field Study (2 weeks)
Why
This Paper
Background Method 2 Result 2 Takeaway
>> >> >> >> >>
SAM Questionnaire
앱 로그를 분석한 결과,
- 총 846개의 인터랙션 이벤트와 438개의 VM 수집
- 평균적으로 메시지 길이는 17.54초 (1.46초 ~ 7.12분)
- 평균적으로 메시지 내 단어는 29.23개 (텍스트의 경우 14.3개)
- 438개 중 12개의 메시지가 삭제됨: 실언(n=5), 변심(n=4), 실수(n=2) 등이 그 이유
앱 노티의 질문에 대한 답변을 분석한 결과,
- VM을 통한 인터랙션은 ‘즐거운’ 것으로 인식됨
- VM 수신자와의 심적 거리를 가깝게 느낌:
VM을 주로 친한 친구나 가족과 주고받기 때문?
VM 사용 중 휴대폰의 움직임 데이터를 분석한 결과,
- general state가 56%로 가장 많았음
- 기울어짐 24.6% (움직이는 순간을 나타냄)
- 걷는 중 11%, 자동차 5.7%, 자전거 2.7% …
Discussion
& Conclusion

14. 2. Field Study (2 weeks)
Why
This Paper
Background Method 2 Result 2 Takeaway
>> >> >> >> >>
SAM Questionnaire
인터뷰를 진행한 결과,
1. 사용 동기
: 한번 시도해 봤는데 편리함, 특히 무언가를 하고 있을 때 (n=5)
2. 연락 범위
: 자주 연락하는 사람은 3-6명 사이로, 매우 친한 친구, 가족 구성원, 연인 등의 소수 인원
비공식적이고 편안한 수단이므로, 업무적 소통을 원하지 않았음
3. 사용 상황
: 운전, 이동 중, 손이 많을 때, 멀티태스킹, …
에 더해, 중요한 정보를 하나하나 짚어가며 전달해야 하는 경우도 발견함
하지만 노이즈 사운드가 많은 공공장소에서는 사용이 어렵다는 한계
4. 소통 양식의 선택
메시지 특성 수신자 특성 비고
Text 짧은 낯선이와 연락 시에는 텍스트 선호
Voice 복잡한, 디테일이 필요한 가까운 개인, 가족 구성원과
Call 즉각적 피드백이 필요하거나 긴급한 손윗사람과 특히 더 시간과 노력이 더 든다고 느낌
Discussion
& Conclusion

15. Why
This Paper
Background Method Result
Discussion
& Conclusion
Takeaway
>> >> >> >> >>
- 나이에 따른 VM 사용 빈도에 차이 X : 인터넷을 자주 사용하는 유저들을 표집하였으므로 편향 가능성
- 앱 사용 중 in-situ questionnaires 역시 self-reporting이며, 자연스러운 데이터 수집을 방해할 가능성
Limitation
Discussion & Conclusion
- 현대 미디어 이론에는 ‘Interaction’과 ‘Outeraction’이라는 개념이 존재
Interaction: 소통의 기술적 측면
Outeration: 소통의 사회적 측면
- VM의 interaction
: 사용의 편리함 & 반언어적 특성을 통한 의미 착오 방지
- VM의 outeration
: 어투와 감정 전달을 통한 연결감 및 유희성
가까운 사람들과 주로 주고받는 이유도 이것 때문
- 본 연구는 VM 사용자 집단을 들여다 보고 사용 동기를 탐구하였음
Online Survey를 통해 VM 사용자 층을 살피고, Field Study를 통해 실제 행동 데이터와 답변 수집
주제 분석을 통해 사용 동기의 네 가지 테마 도출: convenience, paralinguistic, situational, receiver.
VM 사용을 즐겁게 느끼고 가까운 집단과 상호작용하는 경향이 있으며, 행동 변화의 맥락에서 주로 사용

16. Why
This Paper
Background Method Result Takeaway
>> >> >> >> >>
Discussion
& Conclusion
- 새로 발견하게 된, 텍스트 대신 보이스를 선호하는 상황:
정보의 양이 많을 때, 글로 구조화하기 어려울(귀찮을) 때, 모든 내용을 차근차근 전달해야 할 때
- 텍스트는 생각을 한 번 더 정리해야 하지만, 음성은 그럴 필요 없이 의식의 흐름대로 표현 가능:
양날의 검. ‘실언’ 때문에 VM 삭제했다는 내용처럼 … 소통에 있어 새로운 문제 양상이 나타날지도
- VM은 Weekly Users가 가장 많았던 이유:
편리성에도 불구하고, 온보딩이 비교적 어렵고 사용 상황이 특수하기 때문은 아닐까?
- VM 사용이 증가함에 따라, 기존의 ‘통화’ 방식은 비교적 격식 있거나 부담스러운 활동이 될지도 …
- 새로운 척도의 발견
IOS(the Inclusion of Other in the Self) scale:
자신과 대상과의 심리적 거리감 측정
SAM(Self Assessment Manikin) questionnaire:
그림을 통해 정서 분석