Finding Use-case for Voice Service using Wizard of Oz and Amazon Skill

1. Wizard of Oz와
Amazon Skill을 이용한
보이스 서비스의 Use-case 발굴
서울대학교
융합대학원
유우엑스랩
HCIK 2018
튜토리얼
채굴!
Use-case

2. HCI / UX 연구를 돕는 Tool 기반 연구 방법론 공유
< 2016 > < 2017 >
UX 프로젝트는 매년 새롭다. 눈부신 기술의 발전으로...
우리도 마찬가지이다.
새로운 문제에는 새로운 해법이 필요했다.
바쁘게 연구를 끝내고나서 그 해 적용했던 연구방법을 정리하여 HCIK에서 공유하고자 한다.

3. 일상에 많이 퍼진 음성인식 서비스
Voice 서비스

4. VUI 서비스들
스마트
스피커
인공지능
에이전트
ambient
computing
communal stationary
배경활동
어떤 공간에 있는가?
반복적 질문
요청 히스토리
proxy
intelligence
mobile personal
주활동
어떤 상황인가?
새로운 질문
대화 히스토리
Vs.
보이스 디바이스와 서비스가 많이 시장에 출시되었다.
크게 두 가지로 나눠볼 수 있다.
1. 공간에 고정되어 있는 스마트스피커와
2. 들고 다니며 쓰는 인공지능 비서.
둘은 비슷한 엔진을 사용하지만 사용양태는 상당히 다르다.

5. VUI 메커니즘
ASR
NLU NLG
TTS
DM
Knowledge Base
Speech
Words
Intentions
“양하대ㄱ 트러저”
양화대교 틀어줘
Play or Locate ‘양화대교’
Play Music 양화대교
보이스 서비스의 내부는 아래의 컴포넌트로 구성된다.
각 요소가 얼마나 고도화 되었는가에 따라 서비스 퀄리티의 차이가 생긴다.
여기서 중요한 건, 보이스 인터액션 엔진이,
대화에서 ‘의도’를 뽑아내려 한다는 것.

6. 인텐트 중심의 인터액션
Intent

7. Word 에서 Intent로
Rule - base method Data-driven method
“엄마에게 문자 보라고 문자해줘”
“문자 좀 봐 엄마, 문자!”
엄마에게 문자 보라고 문자해줘
n
s
vp
pp
언어학적 이해를 바탕으로 분석
의 틀을 만듬
대량의 데이터에서 학습된
발화패턴에 의도 레이블을 매김
의도를 뽑는 방법은 언어학적 개념을 사용하는 방법과
다량의 데이터를 딥러닝을 학습시켜 패턴-매칭하는 방법이 있다.
문장의 의미: 문자 보내기
의도벡터그룹: 문자 보내기
Vs.

8. 인터액션도 Intent 중심
전통적 인터페이스에서는
목표를 객체와 명령으로 분해
보이스 인터액션에서는
목표 또는 문제나 상황을 말함
버튼 스트림: 엄마에게 문자 보라고 문자해줘
문자 좀 봐 엄마, 문자!
문자 읽어!
보이스 인터액션이 표현이나 문법보다 ‘의도’ 중심으로 진행된다면,
사용자의 인터액션에도 근본적 변화가 생긴다.
사람들은 작동을 위해, 아이콘, 타이핑, 명령을 일일이 분해해 입력할 필요가 없어진다.
즉 더 이상 ‘목표’를 수행 절차로 분해할 필요가 없어진 것이다.
대신, 사람들은 목표를 담은 느슨하고 자연스런 구어 중심의 발화나 대화를 통해 명령을 실행할 수 있
목표: 엄마에게 문자 보냄 ‘문자 읽어’

9. 상황의나 문제를 제시
나 출출한데?
스매싱 마지막회 봤나?
분위기 띄우는 음악 틀어줘
양념반후라이드반 시켜줘!
스매싱 5화 다시보기!
마이크드랍 틀어줘!
객체와 조작을 제시
커맨드 컨트롤이 아닌 상황이나 문제 제시
이런 변화는 어떤 현상을 가져오는가?
우리는 구체적인 객체(곡명, 제품명..)를 제시하기 보다,
구체적인 명령(다시보기, 1회 구매…)을 제시하기 보다,
문제나 상황을 제시할 때 ‘찰떡같이’ 더 나은 서비스를 받을 수 있다.
우리는 이미 다양한 상황서술을 통한 추천 서비스(음악, 쇼핑…)를 통해 의도기반 인터액
션에 익숙해지고 있다.

10. ?
표현이 아닌 의도에 집중
남친들은 흔히 표현에 집착해 여친의 질문에 틀린 대응을 할지 모른다.
하지만 기계는 귀신같이 여친의 ‘의도’를 파악하고 답이나 서비스를 제시한다.

11. intent = shop
slot = water
물 떨어졌는데?
생수 채워야겠다
삼다수 큰거 다섯병
인텐트와 슬롯
이마트 쇼핑 서비스
발화 utterance 의도 intent 파악 서비스 연계
다양한 표현을 해도 보이스인터액션은 숨어 있는 의도를 파악해
서비스와 연결한다.
해석의 중심은 ‘인텐트’와 ‘슬롯’이다.

12. 쓸모 주변에서 벌어지는 것들
Use case

13. 보이스 콘트롤 제품
스마트
스피커
스마트폰
에이전트
보이스
콘트롤
디바이스
Domain
Specific
최근 기존 제품에 보이스콘트롤을 탑재하는 시도가 벌어진다.
과연 보이스 콘트롤은 만능일까?
기존 메뉴를 보이스가 대체할 수 있는 부분은 어디이고,
보이스로 조작해서 나아지는 것들은 무엇일까?

14. Use Case
기술 쓸모
유즈케이스
< 이미지 인식 >
이런 질문의 답은 Use-case조사를 통해 알아볼 수 있다.
보이스 콘트롤 제품 개발처럼
도메인 특화된 서비스 개발을 위해 정교한 ‘유즈케이스’ 조사가 필요하다.
Use case는 쓸모 주변에 벌어지는
니즈, 참여자, 이벤트, 맥락의 정리를 포함한다.
< 얼굴 인식 >
< 보행자 인식 >
< 제품 인식 >
reciprocal

15. 인공지능 시대, 더 중요해진 Use-case
보이스 인터액션에선 유즈케이스 조사가 훨씬 더 중요하다
왜냐하면 데이터가 시스템을 디자인하기 때문이다.
Use-case 조사에는 학습할 데이터의 확보가 포함된다.
아주 많은 데이터를 확보해야 한다.
좋은 데이터를 모아야 성능이 좋아진다.

16. Use-case driven 디자인
< 보이스 콘트롤 세탁기 >
표준코스
헹굼 두번
온수 3단
탈수 약하게...
땀에 쩔은 운동복과
내복 다섯장이야
면은 빨면 왜 줄지?
보이스 콘트롤을 쉽게 만드는 방법은
기존의 기능과 메뉴를 보이스로 매핑하는 것이다.
하지만, 제대로 개발한다면,
메뉴를 가리고 보이스로만 작동시켜 본다.
사용자는 세탁기 앞에서 전에 없는 대화를 할 것이다.
이를 분석하면
새로운 니즈, 사라질 기능 등을 파악할 수 있다.
이 과정을 통해 발화데이터를 포함한
Use-case조사가 이뤄진다.

17. 인텐트 기반 프로토타입
기존 기능 중심의 요청들
인텐트 기반 요청들
마술이 필요한 요청들
{ 수집하고 싶은
Use-case 범위
문제는 보이스 콘트롤 Use-case를 어떻게 발견할 것인가?
사용자가 보이스 인터액션 프로토타입을 놓고 사용을 해야 하는데,
프로토 타입은 어떻게, 어느 수준으로 만들어야 하는가?

18. WoZ Skill
Wizard of OZ Amazon
VUI 서비스의 Use-case를 발굴하는 방법
전통적인
빠르고 유연한
프로그래밍이 필요없는
In-situ
자동화된
프로그래밍이 약간 필요한
설문, 관찰, 녹음, 녹화의 방법들이 있겠지만…
상황을 제시하고 답을 요청하는
설문, 관찰, 녹음, 녹화의 방법은 큰 도움이 안 될 것이다.
WoZ와 Amazon Skill 등의
Hi-fidelity 프로토타입을 이용한 Use-case 발굴 방법이 유용하다.

19. 윤종묵 김준한 이정복 구진선
WOZ로
VUI(Voice User Interface) 서비스
Use-case 발굴하기
2018 HCIK 튜토리얼
첫 번째 방법
서울대학교 융합과학기술대학원

20. 다이어리 스터디? 관찰? 인터뷰?
그룹 디스커션? 워크샵?
주방 가전에 VUI(Voice User Interface)가 들어간다면?

21. 우리는 이렇게 Use-case를 수집했습니다!

22. 눈치 채신 분도 계시겠지만 사실은....
답변제공
CCTV

23. Wizard Of oZ
WOZ

24. https://www.google.co.kr/search?q=wizard+of+oz&source=lnms&tbm=isch&sa=X&ved=0ahUKEwjtpsHGtP_YAhUDppQKHae2CTYQ_AUICigB&
WOZ는 그 ‘오즈의 마법사’ 맞습니다!

25. https://www.google.co.kr/search?q=wizard+of+oz&source=lnms&tbm=isch&sa=X&ved=0ahUKEwjtpsHGtP_YAhUDppQKHae2CTYQ_AUICigB&
소원을 이루기 위해 대마법사 OZ를 찾아 나선 도로시 일행

26. 하지만 OZ의 정체는 평범한 인간

27. Wizard
<Listening typewriter, 1985>
OZ
참가자는 실제로 작동하는 시스템을 사용한다고 생각하지만
실제로는 연구자가 시스템 역할을 수행하는 조사 방법
이처럼 WOZ는

28. 존재하지 않는 기술을 가지고,
미래의 상품 디자인을 하기 위해 사용되는 WOZ
최근에 WOZ가 다시 주목 받고 있습니다. 왜일까요?
<Interactive human communication, 1975>
<Listening typewriter, 1985>

29. Language Model
Perception
Algorithms C++, Java
요즘 구현하기 힘든 기술, ML
높은 수준의 ML 프로토타이핑이 매우 어렵기 때문입니다.

30. 걱정마세요. 우리에겐 WOZ가 있습니다
걱정되시나요?
WOZ

31. 그래서
무엇을 보여주고,
어떻게 보여줘야 할까요?
WOZ를 쓴다고 결정했지만

32. 테스크 중심 WOZ 상황 중심 WOZ
“A의 전원을 모두 꺼보세요.”
“B에게 메시지를 보내세요.”
“요리하기에 재료가 부족해요.”
“생소한 레시피로 요리할거에요.”
기능 수행의 테스크를 주고
특정 기능을 수행하는 발화를
얻는 방법
문제 상황을 주고
상황을 해결하는 발화를 얻는 방법
현재 시스템 기능 중심의 발화 상황과 관련된 다양한 발화
ML와 같은 대표 Use-case를
모르는 서비스 조사에 적합!
WOZ는 크게 2가지가 있습니다
ML 서비스에는 상황 중심 WOZ가 더 적합합니다

33. 글 사진 영상
상상의 여지 Good Good Bad
상상의 통제 가능성 Bad Good Good
시각 보조 Bad Good Good
A
상황을 보여줄 때 적합한 매체는?
특정 상황에 자신을 대입하여 상상할 수 있게 하는 Visual Cue가 필요!

34. 엄마..
‘밥솥’과 함께 WOZ로 Use-case를 찾아 볼께요!

35. 상황 사진 제작
•사진 촬영
•중맥락 사진 선택
•저니맵에 따라 사진 배치
1 2
응답 제작
•전반적 니즈 수집
•구체적인 응답 작성
4
조사 및 분석
3
응답 방식 정하기
•응답 녹음
•Flow chart
WOZ 조사는 크게 4가지로 나뉩니다.

36. 사진은 어떻게 찍을까?
1인칭 시선으로, 시간의 흐름이 드러나게, 주변 맥락이 나타나게!
•일상 속에서 촬영해야 주변의 다양한 상황, 맥락이 포함될 수 있음
•몰입도를 위하여 1인칭으로 시간의 흐름이 끊기지 않게 촬영
•상황에 익숙한 사람 3명을 대상으로 진행하며 최대한 많이 촬영

37. 어떤 사진을 선택해야할까?
사람들이 열린 마음으로 자유롭게 말할 수 있도록
중간 맥락의 사진을 선택해주세요!
•사진의 맥락에 따라 니즈 종류의 개수가 차이남
•고맥락 사진은 구체적 행위, 객체를 파악해 특정 답변을 유도
•저맥락 사진은 몰입을 깨뜨림
물 얼마나 넣어?
고맥락

38. 어떤 사진을 선택해야할까?
사람들이 열린 마음으로 자유롭게 말할 수 있도록
중간 맥락의 사진을 선택해주세요!
•사진의 맥락에 따라 니즈 종류의 개수가 차이남
•고맥락 사진은 구체적 행위, 객체를 파악해 특정 답변을 유도
•저맥락 사진은 몰입을 깨뜨림
이 사진이 왜 나왔지?
고맥락 저맥락

39. 어떤 사진을 선택해야할까?
사람들이 열린 마음으로 자유롭게 말할 수 있도록
중간 맥락의 사진을 선택해주세요!
•사진의 맥락에 따라 니즈 종류의 개수가 차이남
•고맥락 사진은 구체적 행위, 객체를 파악해 특정 답변을 유도
•저맥락 사진은 몰입을 깨뜨림
고맥락 중맥락 저맥락
쌀 유통기한은?
물은 얼마나 넣어야해?
쌀은 몇 번 씻어?

40. 사진 배치는 어떻게 할까?
저니맵에 따라 사진을 배치 해봅시다!
물 조절 취사 뜸 들이기 마무리준비 단계
•3명이 가져온 사진을 기반으로 저니맵 도출
•저니맵의 각 과정에 맞춰 사진을 배치

41. 조사를 해보니..
실제로 사람들은 ‘밥’만 짓지 않아요!
•상황이 너무 드러나니 저니맵 과정에 해당되는 발화만 수집
•저니맵의 각 과정 사이에 ‘샛길’ 사진을 추가
•실제 사용에서 일어나는 시선의 이동에 근거하여 다양한 상황을 추가
•샛길 사진의 추가로 전체 발화 종류가 다양해짐
샛길샛길
물 조절 취사 뜸 들이기 마무리준비 단계

42. 상황 사진 제작
•사진 촬영
•중맥락 사진 선택
•저니맵에 따라 사진 배치
1 2
응답 제작
•전반적 니즈 수집
•구체적인 응답 작성
4
조사 및 분석
3
응답 방식 정하기
•응답 녹음
•Flow Chart

43. 고들밥으로 해줘다음엔 뭐해?
명이 나물 레시피
알려줘
심심해
음악 틀어줘
사
진
어떤 응답들이 필요할까?
사람들에게 사진을 보여주고, 어떤 말을 하는지 알아본다
•제작한 상황 사진 Set을 WOZ 답변 없이 발화 수집하는 방식으로 데이터 수집
•Agent와 말하기 때문에 생기는 새로운 니즈 파악이 중요

44. 자유롭게 수집된 발화를 기반으로 니즈 도출
대분류 소분류
확인
잔량
작동 여부
재료
양
리스트
추천
반찬
국
요리
위치 재료
안전
위생
온도
엔터테인먼트
음악
라디오
정보 검색 요리 외
PIMS 스케줄
대분류 소분류
조작 취사
보온
예약
취소
알람
모드 변환
자동 세척
레시피 검색
세부 레시피
실행
온도 보온 온도
현재 온도
시간 소요 시간
남은 시간
•밥솥 기능과 관련된 니즈 •새로운 니즈
새롭게 생기는 니즈에 집중하면서

45. 그리고 열심히 응답을 작성합니다
대분류 소분류 응답
확인
잔량 “네, 밥이 2인분 남아있어요.”
작동 여부 “네, 현재 취사 중 이에요.”
재료
양 “330ml 컵으로 2컵 필요해요.”
전체 재료 “현미 100g, 백미 400g, 물 320ml가 필요해요.”
추천
반찬 “제철 나물 무침은 어떠세요?”
국 “냉이 된장 찌개는 어떠세요?”
요리 “제육 볶음은 어떠세요?”
위치 재료 “찾으시는 물품은 아래 찬장에 있어요.”
안전
위생 “현재 밥솥은 깨끗한 상태에요.”
온도 “밥솥을 만져도 되어요.”
엔터테인먼트
음악 “요청하신 음악을 틀께요.”
라디오 “요청하신 방송을 틀께요.”
정보 검색 요리 외 “찾아서 스마트폰으로 보내드릴게요.”
PIMS 스케줄 “오늘 오후 8시에 동창 모임이 있어요.”

46. 응답은 어떻게 작성하나요?
구체적으로 알려주는 것은 좋지만 꼭 맞을 필요는 없어요
“네, 밥이 2인분 남아있습니다.”
“330ml 컵으로 2컵 필요합니다”
“찾아서 스마트폰으로 보내드릴께요.” “오케이~”
Dummy 답변 에둘러 말하는 방식 잡담 응대는 No
실제로 구동 된 것같은 답변하기 어려운 질문에는 모두가 걱정하는
•지속적인 발화 수집을 위해서 높은 기대 수준을 유지하는 것이 중요
•못한다고 말하는 것보다는 맞지 않더라도 최선을 다해 답변을 주는 것이 나음
x

47. 상황 사진 제작
•사진 촬영
•중맥락 사진 선택
•저니맵에 따라 사진 배치
1 2
응답 제작
•전반적 니즈 수집
•구체적인 응답 작성
4
조사 및 분석
3
응답 방식 정하기
•응답 녹음
•Flow chart

48. 응답은 어떻게 제공하나요?
실시간으로 답변을 줄 수 없어요! 답변을 미리 만들어야 해요.
•생각보다 답변을 줄 수 있는 시간이 짧음
•실시간으로 제공시, 답변 제공 시간이 들쭉날쭉해짐
•응답을 미리 녹음하여 바로 제공해야 함

49. 애매한 질문은 어떻게 해요?
Flow Chart로 누구라도 고민 없이 WOZ를 할 수 있게!
•일정한 VUI 경험을 제공하기 위하여 Flow Chart를 제공하여 연구자 간 편차를 제거
•어느 정도 영역까지 커버할 것인지를 생각하고, 이를 기반으로 제작

50. 여기까지 잘 하셨다면
WOZ로 데이터를 어마무시하게 모을 수 있습니다!
“바나나 껍질은 왜 음식물 쓰레기에 못넣어?”
“잡곡밥 만들 때, 현미 얼마나 넣어야해”
“이 정도 된 밥이 딱 좋아, 기억해”
“쌀 유통 기한 얼마나 남았어?”

51. 3
응답 방식 정하기
•응답 녹음
•Flow Chart
상황 사진 제작
•사진 촬영
•중맥락 사진 선택
•저니맵에 따라 사진 배치
1 2
응답 제작
•전반적 니즈 수집
•구체적인 응답 작성
4
조사 및 분석

52. 기능적 표현 상황적 표현
기존 기능
“취사 모드 시작”
30%
“이제 슬슬 밥 시작하자”
10%
새로운 기능
“이 정도면 몇 명이
먹을 수 있어?”
40%
“물이 부족한 것 같은데?”
20%
기존 인터페이스와 대비되는 VUI의 새로운 영역을 확인할 수 있습니다!
결과가 어떻게 나오는데?
•먼저, 데이터를 기능의 새로움과 표현 방식으로 분류한다.
•지능 있는 대화 상대가 있다고 생각하기 때문에 새로운 기능에 대한 니즈가 나타남
•VUI와의 대화는 문제 상황을 제시하는 방식이기 때문에 상황적 표현이 등장
기능의
새로움
표현 방식

53. 현재 VUI! 기존의 기능을 직접적으로 표현
•전체 발화 중 21%를 차지
•전통적이고, 현재 VUI가 많이 하고 있는 영역!
•딱히 조사를 하지 않아도, 지금의 기능과 기술로 만들 수 있는 영역
“취사 모드 시작”
“보온 모드로 해줘”
“취사 시작해줘”
“밥솥 전원 꺼줘”
“돌솥밥 모드”

54. 기능 구현! 표현은 직접적이지만 기능은 새로운
•전체 발화 중 34%를 차지
•우선 순위가 높고, 구현이 쉽게 가능한 영역!
•의도 분석 및 NLU가 크게 필요 없는 영역
“지금 밥 남아있어?”
“오늘 스케줄 어때?”
“고구마밥 레시피 알려줘”
“밥솥으로 할 수 있는 요리 알려줘”
“이거 완성된건가?”

55. 트레이닝 set! 기존의 기능을 상황적으로 말하는
•전체 발화 중 18%를 차지
•기존의 기능에 대한 의도 분석이 필요
•VUI에게 의도를 학습시킬 수 있는 데이터 셋으로 활용 가능
“이제 슬슬 배가 고프다”
“색 다른 밥 없어?”
“지금쯤이면 끝나지 않았을까?”

56. 장기적으로 해결! 상황적으로 말하며 기능은 새롭게
•전체 발화 중 27%를 차지
•의도 분석이 필요하고, 새로운 기능을 구축해야 하는
“물이 부족한 것 같은데?”
“어디서 타는 냄새가 나는 것 같은데?”
“감자깎기엔 칼이 너무 뾰족한데?”
“쌀 살 때 됐나?”
“환기해야 할 것 같은데?”

57. Agent와 대화하기 때문에 생기는 니즈의 유형이 존재
데이터를 찬찬히 뜯어보니
•Agent를 항상 함께 요리를 하는 대상으로 생각하며 질문 및 요구
•Agent를 지능이 있다고 생각하고, 사람에게 할 법한 방식으로 질문 및 요구
https://goo.gl/images/rVeUwp

58. Agent를 주방에서 함께 요리하는 대상이라 생각하여 새로운 니즈가 발생!
이전 발화, 행동을 기억하는 시스템
“방금 말한 거 다시 말해줘"
"저번에 먹은 잡곡밥 비율이 어떻게 되지?”
"저번에 물 어느 정도 넣었지?”
나의 시야를 공유하는 시스템
“이 만큼이면 5명이서 먹기 충분한가?"
“물은 이 정도면 돼?”
"지금 쌀 충분히 불었어?”

59. 기계에게 말하는 것이 아니라 사람에게 말하는 방식으로 질문, 요구
상황을 제시하여 다수의 기능을 명령
“밥이 질어지기 시작하면 알려줘”
(음식 상태 확인 + 알람)
“밥하는 동안 할 수 있는 반찬 알려줘”
(소요 시간 + 추천)
질문에 질문을 던지기 시작
1: “1인분은 쌀 얼만큼 필요해?”
2: “집에 그만큼 쌀 있어?”
1: “밥 시작해줘”
2: “얼마나 걸려?”
3: “그럼 끝나고 알려줘”
X 2

60. 정리하자면...
방법
1
2
3
•저니맵으로 사진 Set 제작
•샛길 사진 추가
•중맥락 사진 선택
•전반적 니즈 수집
•구체적으로
•답변 녹음
•Flow Chart 작성
사진 제작
응답 제작
응답 제공
4
•새로운 기능
•상황적 의사 표현
•Design implication
조사 및 분석
Tip!
1. 몰입도를 위해 커다란 스크린!
2. 대화는 3턴 이상을 넘기지
않아야 한다!
3. 응답할 때 잠시 기다려달라는
말은 필수!

61. HCIK 2018 Tutorial Session
아마존 스킬 제작을 통한
음성 인터액션 Use-case 채굴
키친 어플라이언스를 중심으로
20180131
서울대학교 융합과학기술대학원 사용자경험연구실
김병준 강슬기 고병휘 이지훈 최하은

62. 62
스킬(skill) 들어보셨나요?
아마존 스킬은 스마트폰의 앱처럼 설치해서 자유롭게 사용할 수 있다
스킬을 호출하는 이름(Invocation name)을 부른 후 음성으로 조작하여 사용한다
Alexa, ask 마스터 밥
https://mysmahome.com/news/33876/amazon-reaches-new-
milestone-collecting-10000-alexa-skills/

63. 63
저도 한번 스킬 사용해봤는데요…
노래도 틀어줄 수 있고
뉴스도 읽어줄 수 있고
동화책도 읽어줄 수 있고
오늘 환율도 알려줄 수 있고
무엇을 할 수 있어?
https://mysmahome.com/news/33876/amazon-reaches-new-
milestone-collecting-10000-alexa-skills/
기존 알렉사가 제공하지 않는 특화된 기능을 써드파티가 개발해 채워주고 있다.

64. 64
노래도 틀어줄 수 있고뉴스도 읽어줄 수 있고
동화책도 읽어줄 수 있고
오늘 환율도 알려줄 수 있고
저도 한번 스킬 사용해봤는데요…
오! 너 그럼 자동 주문도 되니?
스킬을 설치하면, 여러 발화를 통해 되는 것, 안되는 것을 확인하는 탐색과정을 거치게 됨.
이 과정에서 보이스 디바이스의 가능성을 파악하고 새로운 기능을 상상하게 된다.
아니 그건 안돼…
아 이런건 안되는구나…
https://mysmahome.com/news/33876/amazon-reaches-new-
milestone-collecting-10000-alexa-skills/

65. 스킬이 새로운 니즈를 모으는
또다른 도구가 될 수 있지 않을까?

66. 사용자 측면
66
왜 굳이 스킬이 필요한걸까?
Real machine experience
In-the-wild
Simultaneous
Long-term
“진짜 기계와 대면하는”
“실험실이 아닌 실제상황에서”
“기계 동작이므로 동시에 여러명이”
“한 두시간이 아닌 장시간에 걸쳐”
연구 측면
이런 장점도 있어요!

67. 그러면 skill로 한번
voice interaction에서의 use case를 채굴해보자!
67

68. 근데… 어디서부터 시작해야하는거지?
현장에서 사람들이 기기와 voice interaction하면서 나타나는 말을 모을 수 있도록
실제로 생활하는 환경과 기기 주변에 ML기기를 침투시킨다
68

69. 근데… 뭐부터 시작해야하는거지?
사람들이 현장에서 voice interaction하는데 나타나는 말을 모을 수 있도록
실제로 생활하는 환경에 ML기기를 침투시켜보자!
그래서 우리는… 에코닷10개, 6일, 주방설치, 성공적
그런데 그것이 실제로 일어났습니다…
발화 수집을 유지하기 위한
리마인더

70. 천리길도 한걸음부터… 환경을 만들어줬으니
이 다음부터는 마법의 레시피를 따라하기만하면 된다!
70
1
‘자동응답기’ 스킬 만들기
2
발화(Utterance) 수 늘리기
3
‘니즈채집기’ 스킬 만들기
4 ‘니즈채집기’ 스킬 업그레이드
재료를 모으기 위한
스킬을 똑똑하게 만들기 위한
대화를 이해할 수 있도록
발화의 변화 양상을 보기 위한

71. 밥솥을 쓰면서 나타나는 인텐트를 모으기 위해
‘자동응답기’ 스킬을 만든다
71
자동응답기 스킬 만들기 발화 수 늘리기
사람들의 요구사항에 동일하게 응답하는 자동응답기 스킬을 만든다
밥솥 근처에서 사람들의 요구사항을 모으는 역할을 한다
간단히 녹음 되었다는 확인 대답을 해준다
What would you
like to say?
Alexa, Ask 마스터밥
고두밥으로 만들어줘
Your answer is
collected.
‘니즈채집기’ 스킬 만들기 ‘니즈채집기’ 스킬 업그레이드

72. 스킬을 만든다는건…
iPhone App을 위해 Xcode가 있듯이, Skill 제작을 위한 ‘Alexa skills kit’이 있다
Alexa skills kit을 이용하면, 인텐트(intent)와 발화(utterance)만 넣으면 된다
I want to buy…
Buy
I have no …

73. 인텐트도, 발화도 없는 상황에서는 어떻게…?
아니 근데…
모든 대화를 하나의 인텐트로 인식되게 만드는 마법의 주문!
알렉사에 내장된 Unhandled 인텐트를 사용하면 만들 수 있다
Unhandled
Unhandled

74. 자동응답기 스킬에 남겨진 발화를
인텐트 중심으로 분류한다
74
자동응답기 스킬 만들기 발화 수 늘리기
3일 동안 10명을 대상으로 대략 600개의 발화가 모인다
대략, 특정 기계 주변에서 발생되는 인텐트를 5-8개 사이로 정리해 본다
control
search
check device
recipe
인텐트로 분류
3일
10명
약 600개의 발화
‘니즈채집기’ 스킬 만들기 ‘니즈채집기’ 스킬 업그레이드

75. Control
control
recipe
인텐트 파악이 가능한 스킬을 만들려면
인텐트별 발화(Utterance)수를 늘려야 한다
75
자동응답기 스킬 만들기 발화 수 늘리기
인텐트당 10개 정도의 발화로는 의도를 이해할만큼 충분히 스킬을 똑똑하게 만들 수 없다
인텐트당 최소 50-100개는 있어야 한다 (*alexa의 자체 corpus도 사용할 수 있다)
채워 넣어야하는데…
발화 데이터가 부족하다 ㅠ_ㅠ
‘니즈채집기’ 스킬 만들기 ‘니즈채집기’ 스킬 업그레이드

76. 발화의 종류와 양을 늘리기 위해
사람들의 지성을 활용한다
76
사람들에게 상황과 예시 문장을 주고 패러프레이징을 요청한다
우리가 선택한 크라우드 소싱 툴은! 바로 Amazon mTurk!!
(*구글 폼과 설문으로 다수에게 배포하는 것도 매우 빠르고 쉬운 방법)
풍부한 표현을 만들어 주세요
밥솥에 보이스콘트롤이 있다고 할때,
당신이 취사 타이머를 설정하고 싶다면?
ex. “5시까지 된밥 해줘”
다양한 표현을 5개 적어 주세요
나 다섯시까지
밥먹고 나가야해 ~.~
자동응답기 스킬 만들기 발화 수 늘리기 ‘니즈채집기’ 스킬 만들기 ‘니즈채집기’ 스킬 업그레이드

77. 사람들의 의도를 잘 이해해서
니즈를 더 잘 말하도록 하는 니즈채집기 만들기
77
Alexa skills kit에 미리 정의한 인텐트와 수집한 발화를 추가한다
발화는 인텐트 별로 구분하여 Alexa Skills Kit에 추가한 후 스킬을 학습시킨다
해당 발화가 들어오면 인텐트를 구분하게 된다
자동응답기 스킬 만들기 발화 수 늘리기 ‘니즈채집기’ 스킬 만들기 ‘니즈채집기’ 스킬 업그레이드
인텐트별로 추가확장된 발화
나 다섯시까지 밥먹고 나가야해
다섯시에 된밥 예약
다섯시까지 된밥 해놔
된밥은 다섯시에 되려나?
다섯시에 밥먹고 나갈꺼야!

78. 실제 서비스와 같은 응답을 주기 위해
DB 혹은 컨트롤러를 연동하거나 더미 응답을 만든다
78
기본적으로는 응답에 필요한 DB 정보, 컨트롤 기능 등을 붙인다
부족한 DB 정보나 컨트롤 기능 등의 더미 응답을 제공한다
(*실제 수행할 수 있다는 능력을 보여주는 게 중요하다!)
자동응답기 스킬 만들기 발화 수 늘리기 ‘니즈채집기’ 스킬 만들기 ‘니즈채집기’ 스킬 업그레이드
더미 응답 제공
DB 정보
컨트롤러 기능
control
search
check device
recipe

79. check device
recipe
실제 서비스와 같은 응답을 주기 위해
DB 혹은 컨트롤러를 연동하거나 더미 응답을 만든다
79
기본적으로는 응답에 필요한 DB 정보, 컨트롤 기능 등을 붙인다
부족한 DB 정보나 컨트롤 기능 등은 더미 응답을 제공한다
(*실제 수행할 수 있다는 능력을 보여주는 게 중요하다)
자동응답기 스킬 만들기 발화 수 늘리기
더미 응답 제공
DB 정보
컨트롤러 기능
control
search
‘니즈채집기’ 스킬 만들기 ‘니즈채집기’ 스킬 업그레이드
스킬 완성!!!

80. 인텐트를 점점 더 잘 이해할 수 있도록
완성된 스킬을 주기적으로 업그레이드한다
80
사람들의 실제 생활 환경에 완성된 스킬을 투입한다
사람들과 인터액션하며 수집한 대화를 주기적으로 인텐트로 세분화하고 Alexa Skills
Kit에 추가하며 업그레이드한다
자동응답기 스킬 만들기 발화 수 늘리기 ‘니즈채집기’ 스킬 만들기 ‘니즈채집기’ 스킬 업그레이드
현미밥 세팅해줘
5분 타이머 작동 실시
고두밥 세팅으로 전환
가지밥 하는 방법 알려줘
된밥 만드려면 어떻게해야해
콩나물밥에 뭐 들어가지?
콩밥에 들어가는 콩 종류가 뭐야?
내가 지금 만든거 맛있을것같아?
나 감자수프 잘하는데 너도 먹어볼래?
너 요리 잘해?
chat
새롭게 생겨난 인텐트
search
recipe
매칭되는 기존의 인텐트
Control
control
recipe
Alexa Skills Kit
새로운 인텐트를
학습해서 업그레이드-★

81. 81
자동응답기 스킬 만들기 발화 수 늘리기 ‘니즈채집기’ 스킬 만들기 ‘니즈채집기’ 스킬 업그레이드
control
search
recipe
‘자동응답기’ 스킬에서
얻은 인텐트
‘니즈채집기’ 스킬에서
얻은 인텐트
control
search - 관련정보
recipe
구체적이고 세분화되는
인텐트
없어지고 흡수되는
인텐트
사용자가 밥솥으로 할수 있는
요리를 찾고자할 때
요리에 필요한 재료를찾고자할 때
실제 수집한 결과!!
search - 재료
search - 레시피

82. Skill을 이용한 Use-case 채굴 Recipe & tip
82
1 ‘자동응답기’ 스킬 만들기
2 발화(Utterance) 수 늘리기
3 ‘니즈채집기’ 스킬 만들기
4 ‘니즈채집기’ 스킬 업그레이드
✓ 다다익선
✓ 인텐트 중심 분류
✓ 1 인텐트 100 발화
✓ ‘희소한 표현’을 얻어내기
✓ 약간의 프로그래밍 능력이 필요
✓ 더미응답 : 못해도 할 수 있는 척
✓ 데이터로 끊임없이 학습
✓ 분석의 관점은 인텐트의 변화
tip!easy easy recipe

83. 우리의 Findings✌
사람들의 니즈는 완성된 상태가 아니다!
ML 디바이스와 실제로 인터액션하면서
구체화되기도 만들어지기도 한다!!
83
tell me before the
potato is done.
cook the bake
potatoes at four o'clock
control
skill 사용 5일째skill 사용 2일째

84. WoZ
Skill
Wizard of OZ
Amazon
VUI 서비스의 Use-case를 발굴하는 방법
. 서비스 포지셔닝을 돕는다
. 보이스 특화된 요구를 발견한다
. 인터액션의 디테일을 알 수 있다
. 데이터를 얻는다.
소개한 두 가지 방법은 보이스 콘트롤 제품 개발의 앞 단에서 다음의 가치를 갖는다.
데이터가 서비스를
스스로 개발하는 방법룰베이스이기에
정교한 대처가 가능
전통적인
빠르고 유연한
프로그래밍이 필요없는
In-situ
자동화된
프로그래밍이 약간 필요한

85. 기존 제품과 결합된 보이스콘트롤이 많이 시도될 것이다.
현장의 데이터가 서비스를 디자인할 것이다
의도 중심의 인터액션으로의 전환이 벌어질 것이다.
Use-case 발굴이 UX가 인게이지되는 중요한/유일한 포인트가 된다
정리하면…

86. 첨언.
아마존이 보이스 엔진 알렉사가 에코를 비롯한 다수의 제품에 탑재되는 이유는
‘보이스 콘트롤’의 혁신성 때문이 아니라,
수많은 사용자의 행동 데이터를 모아 분석하여
‘행동 예측behavior prediction’을 하려는 큰 그림 때문이다.
음성과 대화는 생활 속에서 유저의 요청과 목표를 모으기 위한 좋은 모드이기에
선택되었다는 점. 잊지 말기 바랍니다.

87. 감사합니다
ux.snu.ac.kr