.

1. EmpathicGPS: Exploring the Role of Voice Tonality
in Navigation Systems during Simulated Driving
+ CHI 2020 LBW
Sebastian Zepf, Neska El Haouij, Wolfgang Minker, Javier Hernandez,
Rosalind W. Picard
+ CHI 2019 Paper
- Michael Braun, Anja Mainz, Ronde Chadowitz, Bastian Pfleging, Florian Alt
At Your Service: Designing Voice Assistant
Personalities to Improve Automotive User Interfaces

2. Background
논문 1. 차량 어시스턴트의 개인화된 ‘보이스 톤’
- 운전자의 각성, 주의, 집중을 유지하는 것은 중요함
- 정서적 각성 정도와 운전자의 퍼포먼스는 역 U자 관계를 가짐 (Yerkes-Dodson law)
따라서 운전자의 실시간 생리적 변화를 바탕으로 내비게이션의 보이스 톤을 조절하는 시스템을 개발

3. Method
논문 1. 차량 어시스턴트의 개인화된 ‘보이스 톤’
“Empathic GPS” : 운전자의 생리적 변화(각성 정도)를 바탕으로 내비게이션의 보이스 톤을 조절
- 내비게이션에 사용될 voice set(침착한, 각성된) 준비: 사용자 입장에서 느껴지는 감정이 다르게끔
- AWS의 목소리를 기반으로, rate, pitch, volume, breathing이 조절됨
- 이후 pilot study를 통해 perceived arousal level을 검증함
Pilot Study
System/Platform
Design
User Study

4. Method
논문 1. 차량 어시스턴트의 개인화된 ‘보이스 톤’
“Empathic GPS” : 운전자의 생리적 변화(각성 정도)를 바탕으로 내비게이션의 보이스 톤을 조절
Pilot Study
System/Platform
Design
User Study
- 내비게이션: 쉽고 간단하게 느껴질 수 있도록 메인 코맨드는 세 개
- 플랫폼: Q-sensor를 통해 EDA(피부 전도도)를 측정함으로써 운전자의 각성 상태를 수집
센서 데이터는 안드로이드 앱 — 매트랩 서버로 전송, 실시간으로 분석됨
current EDA가 베이스라인에 비해 높은지 낮은지에 따라 각성 신호의 증감 판단
이를 바탕으로 서로 다른 보이스 톤을 선택해 SoundLink 스피커로 출력

5. Method
논문 1. 차량 어시스턴트의 개인화된 ‘보이스 톤’
“Empathic GPS” : 운전자의 생리적 변화(각성 정도)를 바탕으로 내비게이션의 보이스 톤을 조절
Pilot Study
System/Platform
Design
User Study
- 참가자: 19명, 22-58세(평균 28.6세). 1명은 멀미로 관둬서 18명의 데이터 기반으로 함
- 실험 설계: (1) neutral condition - 지속적으로 차분한 목소리를 제공
(2) congruent matching condition - 사용자의 감지된 상태와 동일한 목소리를 제공
(3) Incongruent matching condition - 사용자의 감지된 상태에 반대되는 목소리를 제공
- 실험 단계: 왼쪽과 같음.
- 수집 데이터: (1) 운전 데이터 - telemetry information(스피드&가속), driving mistakes(위반&충돌)
(2) 설문 데이터 - 인구통계학적 정보
감정가, 각성, 스트레스, 멀미, 커맨드 팔로잉 어려움, 보이스의 유쾌함 (7점 척도)
참가자가 지각한 보이스 톤 개수, 알아차리기 쉬운 정도

6. 논문 1. 차량 어시스턴트의 개인화된 ‘보이스 톤’
- voice change가 부자연스럽다고 느낌. 커맨드 팔로잉의 어려움에는 차이가 없었음
- 18명 중 13명이 보이스 톤의 세 종류를 모두 지각했음
- 두 명은 초반에 aroused voice를 ‘anxious’ or ‘panic’을 준다고 느꼈으며, 한 명은 aroused voice가 Annnoying하다고 언급
- aroused voice는 복잡한 운전 시나리오에서 preffered되기도 — 빠르게 정보 말하기 때문이라고 추측
2. self-ratings 데이터
1. driving parameters 데이터
- 충돌과 위반 횟수를 수합. 또한 유저 컨트롤 지표로서
속도, 브레이크 페달 발동 수, steering acceleration 수집
- 보이스 톤은 driving behavior에 영향을 미침
incongruent는 lower arousal - high stress level과, congruent는 positive valence와 연관.
즉 calm voice는 각성된 운전자를 차분하게 할 수 있지만 aroused voice는 activate 불가능.
Result & Discussion

7. Background
논문 2. 차량 어시스턴트의 개인화된 ‘성격(퍼르소나)’
- 지금까지, 대개 차량 어시스턴트는 사용자와의 social interaction에 대한 기대를 충족시키지 못함.
- 개인화된 보이스 특성이 신뢰, UX, 수용도, 작업 부하에 어떤 영향을 주는지 real world에서 아직 탐구되지 않음.
운전자의 성격에 기반해 개인화된 보이스 어시트턴트를 설계하고, real-world 주행 연구(N=55)를 통해 검증함
기반 연구 및 이론
- 운전자의 성격 판단: OCEAN으로 분류되는 Big Five 모델 사용 (신경성, 외향성, 개방성, 우호성, 성실성)
- 유사성-매력 가설: 유사한 성격을 가진 타인과 상호작용하기를 선호한다는 가설
- 사회적/정서적 인터랙션이 가능할 때 신뢰와 선호도가 높게 평가되는 경향

8. Method
- 선행 연구에서 제시한 기준(‘권위적-순종적’, ‘적대적-친근한’…)을 차용해, 서로 다른 성격의 어시스턴트 8개 설계
- 19명을 대상으로, 구체적인 태스크가 주어져 어시스턴트와 인터랙션을 해야 하는 시나리오를 6개 제시
각각의 시나리오에서 8개의 어시스턴트를 사용하게 한 후, 설문과 인터뷰 진행
- 그 결과, 사용자와 어시스턴트 간의 거리, 어시스턴트의 전문성, 권력의 균형 등의 이견이 있어 퍼르소나 수정
- 최종적으로 결정된 보이스 어시스턴트 퍼르소나는 4개 - 시나리오 작가와 협업하여 배우가 녹음함
논문 2. 차량 어시스턴트의 개인화된 ‘성격(퍼르소나)’
Pre Study
Assigning
Assistants
Real-World
Driving Study
friend의 경우: 사용자 눈높이에 맞춘 캐쥬얼한 대화 톤,
재밌고 위트 있는, 분위기를 띄우는.
admirer: 캐쥬얼한 톤이지만 유저에게 순종적임. 사용
자의 결정에 동의하고 대부분 칭찬하는.
aunt: 사용자에게 친근하며 톤은 포멀함. 사용자의 웰빙
을 깊이 걱정하며, 심각하게 바당들이는.
butler: 순종적이고 다소 neutral함. 사실을 전하며 순
서에 따르는.
그리고 이것에 더해 5번째 캐릭터 - Default 버전을 설
계함. 비교하기 위한 표준 어시스턴트. 동일 능력 수행하
지만 personality features는 거의 없음

9. Method
- 이제, 사용자의 성격에 따라 각 캐릭터를 매칭해야 함. (일종의 정답셋 필요)
- 이전 연구에 참여하지 않았던 31명을 대상으로, Big Five 성격 설문을 받음
- 4개의 캐릭터 존재를 알리며, 그들의 안내를 직접 들려주기도 함
- 마지막으로 그들이 선호하는 캐릭터에 투표하도록 함
- Decision tree analysis를 통해, 유저 성격 특성에 따른 어시스턴트 분포를 분석함
결과는 엄청 복잡해서 언급하기 어렵지만 … 이 결과(정답셋)를 다음 연구에 적용함
Character
Design
논문 2. 차량 어시스턴트의 개인화된 ‘성격(퍼르소나)’
Pre Study
Assigning
Assistants
Real-World
Driving Study

10. Method
- 이전 연구에 참여하지 않았던 55명을 대상으로, 도시 내 주행 상황에서 개인화된 보이스 어시스턴트를 제공함
- 실험 단계:
(1) 사전 설문: 주행 전 Big Five 설문을 받아 성격 파악 후, 개인화된 어시스턴트를 매칭함 (정답셋을 기반으로)
(2) 예비 주행: familiarization ride를 5분 진행함. 어시스턴트는 제공되지 않음
(3) 메인 주행: 도로에서 개인화된 어시스턴트가 있는 Ride + 디폴트(controlled) 어시스턴트가 제공되는 Ride 두 번 진행
- Between-subject로 설계되었으며, 연구자가 뒷자리에 앉아 WoZ 방식으로 음성 출력
- 연구자는 관찰을 통해 3개의 Use Case 중 하나를 트리거: Drive Related, Proactive Assistant, Connected Car.
(4) 사후 설문: 실험 후 사용자로부터 응답 수집
- 구두 평가: 인터랙션이 어땠는지 good-neutral-bad로 평가
- 설문 응답: UX, 수용도, 신뢰도, 작업 부하에 대해 self-report
- 인터뷰: 각 캐릭터 특성이 어떤 것 같은지, 어떤 캐릭터가 나을지 평가
Character
Design
논문 2. 차량 어시스턴트의 개인화된 ‘성격(퍼르소나)’
Pre Study
Assigning
Assistants
Real-World
Driving Study

11. Result & Discussion
논문 2. 차량 어시스턴트의 개인화된 ‘성격(퍼르소나)’
- 제안된 개인화 캐릭터(정답셋 기반) — 선호하는 캐릭터(사후 인터뷰 기반)이 같은지 다른지에 따라 두 그룹으로 나눠 분석
- 55명 중 16명은 제안된 캐릭터 선호, 27명은 default 캐릭터 선호, 12명은 제안 이외의 캐릭터 선호
설문 결과
- Workload는 어떠한 유의미한 결과가 없었음 : 4개의 퍼르소나가 기존의 것(default 어시스턴트)만큼 적합하다

12. Result & Discussion
논문 2. 차량 어시스턴트의 개인화된 ‘성격(퍼르소나)’
- (왼쪽) 최종 인터뷰에서 4개의 퍼르소나 특성을 평가해 보라고 했는데, 설계한 바와 비슷하게 잘 인식됨 (butler는 더 지배적 평가)
- (오른쪽) 선호하는 어시스턴트 퍼르소나에 따라 사용자들의 성격을 그루핑한 것. Friend를 선호한 사람—외향성만이 유의미함
인터뷰 결과

13. Result & Discussion
논문 2. 차량 어시스턴트의 개인화된 ‘성격(퍼르소나)’
- 인터뷰에서, 선호하는 어시스턴트가 미래에 각 유즈 케이스에서 어떻게 작동해야 하는지를 물었음.
- 온보딩 & 오프보딩:
디폴트와 각 캐릭터들 모두에서 긍정적 평가를 받음. 움직이지 않을 때 더 개성 표현 가능함 시사.
- Driving Related Tasks - 안전과 밀접한 순간. 많은 참가자가 ‘Friend’를 가장 적절치 않은 것으로 평가했음.
만장일치로 진지하고 짧은 발화를 선호하였음. 주행에 덜 중요한 상황에선 aunt의 지지하는 발화들을 선호하였음.
이때 피드백은 단언적, 짧게 유지돼야 함. (ex. “스포츠 모드를 해제합니다”보다는 “OK.”)
- Connected Car tasks - 이 상황에서는 개인화된 캐릭터를 잘 수용함. 많은 참가자가 ‘friend’를 선호함.
실용적 질문에 대해서는 밝고 co-driver 느낌이 나는 게 좋음. 온보딩&오프보딩처럼, 성격을 드러내도 되는 순간임.
- Proactive Assistant Tasks - 긍정적 얘기와 부정적 얘기가 혼합됨. 많은 참가자가 원치 않는 선제를 반대함.
개입이 적절하게 됐을 땐 개인화된 어시스턴트 선호함. ‘어시스턴트는 정말 인간 Co-driver처럼 행동해야 한다’고 언급함.
인터뷰 결과

14. Result & Discussion
논문 2. 차량 어시스턴트의 개인화된 ‘성격(퍼르소나)’
Discussion
- 비서 캐릭터와 사용자의 성격을 일치시키는 것이 개인화의 긍정적 효과를 위한 조건
- 어시스턴트가 사용자 성격과 일치하지 않으면, default 어시스턴트보다도 수용성이 낮음.
어시스턴트는 co-driver처럼 작동하기 때문에, 쉽게 실망시키기도 쉬움.
따라서 이런 불일치를 조절하는 것이 앞으로의 연구 대상.
시스템의 암묵적인 조절도 방법이지만, 사용자의 직접 명령 “hey assistant, 그렇게 착하게 굴지 마.”로도 조절될 수 있음.
- 이런 개인화 어시스턴트의 성격은, 운전자가 중요한 주행 태스크에 몰두하는 상황이 아닐 때 적절하다고 평가됨.
따라서 비운전 상황(인포테인먼트, 커넥티드 카)에서 맞춤형 인터랙션이 적절함.