What Can I say? Addressing User Experience Challenges of a Mobile Voice User Interface for Accessibility

1. What Can I say? Addressing User
Experience Challenges of a
Mobile Voice User Interface for
Accessibility
+ MobileHCI 2016
- Eric Corbett, Astrid Weber
/강슬기
x 2017 Fall

2. Table of Contents
01 Why This Paper
02 Authors
03 Introduction
04 Related Work
05 VoiceNavigator Description
06 Preliminary User Evaluation
07 Improvement Focus
08 Prototype User Evaluation
09 Implications for M-VUI Design
10 Conclusion
*

3. Why This Paper01
음칠시삼
시각의 보조적인 역할이 어떻게 ‘보여져야’할까?

4. Why This Paper01
막상 무엇을 물어봐야할지 잘 모르겠다
친절하게 무엇을 도와드릴까 하지만…
모바일에서도
음성이 주요 인터랙션으로 자리잡는다면,
말문을 틀 수 있도록 어떻게 도와줄 수 있을까
시각적 cue는 어떻게 제공되어야할까
T map VUI에서 참여한 UT에서도 각기 다른 명령어를 사용
저번 청소년 스쿨에서도 “궁금한거 물어봐~”하면 몇초간 정적이..
추천하는 요청 목록을 보면, ‘기능자랑만하는것인가?’ 하는 생각
S8을 처음 접한 지인과 빅스비를 탐방해도
결국 “시리 짱~” 하거나 신기한 기능 탐방하다 끝나게 되는..
여름방학의 경험에서…

5. Authors02
‣ Astrid Weber, 구글 UX researcher
안드로이드(모바일)의 accessibility를 높이는 연구를 진행하는 것 같음 (구글 캘린더)
publication을 살펴보면,
(손떨림 등에 의한) 부정확한 선택에 대한 접근성도 연구개발하는 듯

6. Introduction03
일반적으로 HCI와 인터랙션 디자인에서 음성은 부수적인 요소로,
물리적 인터랙션이 더 효과적이라고 여겨짐
‣ 손의 움직임이 부자연스러운 사람들(limited hand dexterity)에게는 음성은 가장 효과적인 주요 인터랙션
‣ 하지만, 음성이 모바일에서 주요 인터랙션이 되는 것은 사용자들에게 아직 새롭고 익숙지 않음
‣ 일반적인 음성 인터랙션 사용에 있어 Discoverability 와 Learnability 는 오랜 이슈
‣ 사용자들은 시스템과 음성으로 인터랙션하며 무엇을 말하고,
말하지말아야할지 부정확하고 일관성 없는 멘탈 모델을 갖고있음
case study를 통해
Discoverability 와 Learnability를 증진시킬 수 있는 모바일 음성 인터랙션 디자인 탐구
- 미출시된 M-VUI 앱 VoiceNavigator를 이용하여

7. Related Work04
‣ VUI에서 Learnability 와 Discoverability
Learnability Discoverability
사용자가 새로운 기기/서비스와 효과적으로 인터랙
션하기 시작하고 이를 최대치로 활용할 때
사용자가 사용이 숙달되었다고 말할 수
있는 레벨까지 걸리는 시간… 으로 측정
보이지 않기 때문에 음성 인터랙션에서
특히 어려움
멘탈 모델을 형성하는데 중요한 요소, 기술의 유용성(usability)과 서로 깊은 관계
affordances 와 metaphors 를 통해 증진
✓ 튜토리얼/트레이닝의 효율성
✓ 사용자가 능숙해질 수 있도록 돕는 시스템의 능력
✓ 사용자의 과거 경험과 능력의 정도
✓ 효과적인 피드백과 시스템의 affordances
✓ 시스템의 기능을 알아가는 과정에서 사용자가 겪는
어려움의 정도
learnability에 영향을 주는 요소들
1. 사용자는 시스템이 실제로 가능한 것 이상을 이해할 수 있다고 가정
2. 사용자는 사용 가능한 기능을 알지 못함
도전적인 이유 :
** Yankelovich [32]

8. VoiceNavigator Description05
‣ 일반 모바일에서 터치로 사용하는 행동을 음성으로 가능하게 만듦
voice commands action
“go home” 홈스크린으로
“turn on Wi-Fi” 와이파이 켜기
“open recent applications” 시스템윈도우 보기
“Help”, “What Can I Say?”
음성 명령 목록을 보거나
튜토리얼로 접근하기
앱 실행, 네비게이션, 메시지 작성과 전송, 전화 걸기 등…
‣ 현재의 화면에서 인터랙션이 가능하도록 operating system레벨 제작
‣ 각 기능(앱)에 숫자 라벨을 붙임
“phone”으로 말하거나 “2”로 말할 수 있도록
< 음성 명령과 액션 예시> < VoiceNavigator 와이어프레임>

9. Preliminary User Evaluation06
‣ 참가자들이 VoiceNavigator을 처음 접하며 보이는 인터랙션 관찰
Methods and Participants l Results l Discussion
Study Questions :
✓VoiceNavigator의 usability가 어떻게 나아질 수 있을까?
✓사용자들이 VoiceNavigator로 탐색할 때 무엇을 말할지 알고있는가?
✓사용자들이 VoiceNavigator의 핵심 기능을 파악하고있는가?
✓튜토리얼이 사용자가 스스로 VoiceNavigator를 사용할 수 있게 역할했는가?
limited hand dexterity 증상이 각기 다른 다양한 종류의 참가자 모집
limited hand dexterity로 인해 스마트폰의 터치스크린 사용이 어려운 motor impairment
9명의 참가자(24~60세, 여5 남4), 10번의 usability study 진행 (90분)
녹음과 녹화 수집
처음 앱 실행 시 나타나는 튜토리얼 완료 후, use case에 대한 설명 전까지 참가자들이 자유로이 탐방
* use cases : 와이파이 네트워크 변경, 이메일 작성, 자세한 일정 추가
과제 완료 후, 피드백과 과제 회상, 제안에 대한 인터뷰 진행

10. Preliminary User Evaluation06 Methods and Participants l Results l Discussion
✓VoiceNavigator의 usability가 어떻게 나아질 수 있을까?
✓사용자들이 VoiceNavigator로 탐색할 때 무엇을 말할지 알고있는가?
✓사용자들이 VoiceNavigator의 핵심 기능을 파악하고있는가?
✓튜토리얼이 사용자가 스스로 VoiceNavigator를 사용할 수 있게 역할했는가?
명백한 라벨이나 이름이 없을 때 특히 더 어려워함
터치 타겟에 숫자라벨은 시각적으로 불편, 발화의 어떤부분이 텍스트로 나타나는
특정 행동을 하려할 때 무엇을 말할지 고민하며 시간을 가장 많이 소요
가이드를 통해 파악, 다른 기능 시도
앱 사용 맥락에서의 안전한 연습과 탐방모드
WCIS? 메뉴가 사용맥락과 좀더 연관되기 바람
시스템 사용하는데 항상 접근 가능하기 원함

11. Preliminary User Evaluation06 Methods and Participants l Results l Discussion
‣ additional clue가 필요 : 복잡한 과제를 수행하는 맥락에서 VoiceNavigator를 사용할 수 있도록
특히 초반 인터랙션에서 사용자들이 ‘명령’을 어떻게 만들지 고민
‣ 초반의 경험이 이후 가능한 인터랙션과 선호하는 인터랙션에 대한 멘탈 모델을 설정하는데 매우 중요
새로운 인터랙션을 사용하는 사용자에게 튜토리얼은 필수적인 요소
‣ VoiceNavigator의 사용성 증진을 위해서는 discoverability 와 learnability 매커니즘이 필요…

12. Improvement Focus07
‣ Learn “as-you-go”
Learnability
튜토리얼과 트레이닝 요소가
얼마나 효율적이고 유용한지가 중요
interactive 한 튜터를 통해 트레이닝한 경우
시스템에 대해 보다 더 호의적인 멘탈 모델을 가짐
** Hakuline et al [16] 연구에서
VUI email application을 사용하기 전,
실제 사용하는 환경의 맥락 속에서 배울 때
더 효과적으로 배운다!
▼
소개 튜토리얼의 스크린 수를 줄이고
직접 사용 중에 배울 수 있도록 만듦
** Krilsler et al [22]
홈스크린에서만 나타남
사용자의 ‘사용 기미’가 사라지면 없어짐
< tutor message >
>>>

13. Improvement Focus07
‣ Discovery Based Learning
Learnability
Guessability를 통해 증진
Guessability는 환경을 둘러보고
인터랙션하는 과정속에서 배움을 돕는 것
** Dong et al [10]
“Discovery prompts” 를 통해
피드백과 둘러보기 가이드를 준다!
▼
>>>
좀 더 구조적으로
시스템을 둘러보고 인터랙션할 수 있도록 도모
처음 사용되는 음성 명령이 등장할 경우
화면 하단부에서 등장하여 설명

14. Improvement Focus07
‣ Contextualized Help (맥락 내에서의 도움)
일반적으로 사용할 수 있는 고정된 명령 메뉴가 아닌,
사용 맥락에 맞춰 제공되는 음성 명령 리스트를 원함
+
What Can I Say? 가 음성명령메뉴를 부르는 명령이 아니라,
말 그대로 시스템에게 물어보는 것으로 잘못 사용되기도
맥락을 고려한, 사용자와 연관된
도움을 주는 것이 매우 중요
** Carroll et al [6]
시스템 전반이 아닌, 사용자와 연관된 과제를
‘즉시’ 해결하는 도움을 제공한다!
▼
현재 상황 속에서
사용할 수 있는 메뉴(음성 명령)를 제공

15. Prototype User Evaluation08
‣ 디자인과 기능에 대한 피드백을 보고자 (특히 learnability와 discoverability 특징이 드러나는지)
Methods and Participants l Results l Discussion
Study Questions :
✓앱 내의 튜토리얼 메시지가 ‘명령어’를 알도록 도와주었는가?
✓디스커버리 메시지가 ‘명령어’를 알도록 도와주었는가?
✓특정한 사용 맥락 내에서 “What Can I Say”메뉴가 ‘명령어’를 알도록 도와주었는가?
✓인트로에서의 경험이 어플리케이션을 처음 배우는데 영향을 주었는가?
5명의 참가자(24~60세, 여2 남3), 5번의 usability study 진행 (90분)
손떨림 증상이 각기 다른 다양한 종류의 참가자
이전의 VoiceNavigator의 인터랙션 경험이 없는 새로운 참가자 모집
튜토리얼 완료 후, 몇분간 스스로 앱을 탐방하는 시간 제공
이전 관찰과 같은 과제 제공
관찰 종료 후 피드백과 회상에 대한 인터뷰 진행

16. Prototype User Evaluation08 Methods and Participants l Results l Discussion
✓인트로에서의 경험이 어플리케이션을 처음 배우는데 영향을 주었는가?
✓앱 내의 튜토리얼 메시지가 ‘명령어’를 알도록 도와주었는가?
✓디스커버리 메시지가 ‘명령어’를 알도록 도와주었는가?
✓특정한 사용 맥락 내에서 “What Can I Say”메뉴가 ‘명령어’를 알도록 도와주었는가?
실제 명령어를 기억하는데 도움, 시각적으로 불편 x
사용자 시선 뺏기고 촉박한 정서를 제공하기도
현재의 과제에서 좋은 힌트가 됨, 실행 가능한 명령어를 기대
보다 명확하고 능률적인 경험 제공, 실제 앱에서 사용하는 모습을 예시로 보여준
현대적이고 프로페셔널해보이는 앱을 사용하고 있다는 것에 대해 긍정적 반응

17. Prototype User Evaluation08 Methods and Participants l Results l Discussion
‣ 적정한 튜토리얼의 길이 측정 필요 :
새로운 튜토리얼은 첫 인터랙션을 준비할 수 있는 능률적인 경험이 될 것
‣ What Can I Say? 메뉴는 필요할 때 빨리 접근할 수 있는 곳에 위치해야함
‣ 사용자가 주의(attention)를 유지하도록하고,
필요한 특정 상황에서만 인터랙션할 수 있도록 명령 시 적정한 명령어에 대한 고민 필요

18. Implications for M-VUI Design09
‣ Contextualized Help
‣ Assimilation Bias (동화현상)
‣ Designing M-VUIs for Limited Visual Attention
‣ Training in Context
‣ Complete Mobile Accessibility
연관된 사용 맥락 안에서 (또한 페이지 안에서) ‘바로’ 실행할 수 있는 액션들로 디자인
다른 대화형 에이전트(Google Now, SIri)의 경험이 사용자의 기대,
행동 및 새로운 응용 프로그램에 대한 만족도에 어떤 영향을 미치는지 고려해야 함
제한된 화면 공간을 고려, 최소한의 설계 접근 방식을 취해야 함
처음 사용 시에는 인터랙션에 대한 간단한 설명 이후 바로 직접 사용하면서 배우도록 함
Accessibility 연구자는 limited hand dexterity들을 고려할 때 상호작용을 총체적으로 고

19. Conclusion10
‣ 모바일 기기와 음성 인터랙션이 계속 확산됨에 따라,
learnability 와 discoverability에 대한 도전적 연구가 필요
‣ 모바일 공간을 특별히 목표로 한 음성 인터랙션 설계 이론의 발전이 필요
‣ 음성 인터랙션은 모바일 HCI에 대한 미래의 모습이지만 다방면에서 여전히 새로운 영역

20. Own Conclusion++
‣ 첫인상이 시스템의 이후 사용과 기대에 매우 중요하다..
하지만 결국에는 사용하면서 맥락 속에서 배우는 것이 효과적이다?
결국 다 중요한 것인가.. 첫 인상에서의 튜토리얼은 어떻게 제공되어야하는지, trial에 대한 구체적인 구성,
내용과 변화 내용이 없어서 아쉬움
‣ 사용 중의 맥락에서 도움을 줄 때, 시각 정보 요소를 어떤 내용으로 어떻게 나타내는 것이 효과적일까?
사용 중에 재빠르게 접근할 수 있고 사용 흐름에 중단된 느낌을 최소화하는 것이 중요할 듯
‣ ‘음성’이 주요 인터랙션 요소가 되는 다른 상황 (ex. 손이 자유롭지 못할 때, 운전중일 때…) 에서의
첫 인터랙션에 대해 응용도 가능할듯
‣ 모바일에서 음성이 주요 인터랙션 요소가될 때 ‘시각’을 부수적인 요소로 사용된다면,
Alexa와 같은 디스플레이가 없는 음성 개인 비서 시스템은 어떤 방식으로
부수적인 정보를 제공할 수 있을까?

21. End of the Document!!