Uploaded byMyuserable
PDF, PPTX203 views

AI 유저리서치를 할 수 있을까?

HCI Korea 2017 튜토리얼 발표 내용을 재구성한 것입니다.

Embed presentation

Download as PDF, PPTX
0인트로 한 번 써볼까?
포스트잇을 넘어서 3 https://www.slideshare.net/joonyale/beyond-post-it-snuux 사용자 조사 분석 단계에서 해석적 독창성(analytical originality)을 위해 사용할 수 있는, ‘방법론이 녹아 있는(process-embeded) 도구’를 소개했다
리프레이머 4 지난 1년을 돌이켜보자. 우리는 정말 ‘포스트잇’을 넘어섰을까? 리프레이머는 현장에서 정말 많이 사용했다. 질적 분석 시간은 20% 정도 줄어들었을까? 줄어든 시간보다 더 중요한 건 의미 도출 향상과 두려움의 사라짐.
2016, 인공지능이 우리 곁으로 5 2016년은 인공지능 충격의 해, “텐서플로우를 엑셀처럼 쓰는 시대”가 되었다고도 한다. 인공지능을 어떻게 만들고, 다루고, 대비하고… 다양한 논의가 이어진다. 회사도, 학교도, 정부도, 연구소도 ‘인공지능’을 중심으로 연일 화두가 쏟아지고 있다.
HCI & 인공지능: 제품 인공지능 6 UX/HCI 분야도 다르지 않다. 화면이 사라지고 에이전트가 강해진 초기 제품들이 등장한다. 우리는 ‘인공지능’을 탑재한 기기와 사용자 사이의 새로운 인터랙션을 어떻게 설계해야 할까?
#인공지능 #사용자경험을 #도울수있을까 하지만, 우리는 조금 다른 관점: “인공지능이 우리의 일을 덜어줄 수 있지 않을까? 몇 가지 도구들을 중심으로 그 가능성을 찾아보면 어떨까. 7 관찰 맥락질의 퍼르소나 저니맵 정보설계 화면설계 프로토 타이핑 참여디자인 인터뷰 멘탈모델 평가 메타포 패턴 분석 설계 language Speech Vision Data Insights Emb. Cognition
#인공지능 #사용자경험을 #도울수있을까 하지만, 우리는 조금 다른 관점: “인공지능이 우리의 일을 덜어줄 수 있지 않을까? 몇 가지 도구들을 중심으로 그 가능성을 찾아보면 어떨까. 8 인공지능을 조수처럼 챗봇을 구글폼처럼 Watson Alchemy Language를 활용한 Document Analysis Chatfuel을 이용한 설문조사 왓슨을 동료처럼 Watson Conversation을 활용한 인터뷰 분석
Sample Case: TV 시청 경험은 어떻게 변하고 있는가? 9 융합전자에선 빅스크린 TV 판매를 위해 최근 시청경험 변화를 조사하고자 한다. 나홀로족도 많아지고 TV 시청 중 스마트폰을 보는 등 과거와는 시청경험이 확연히 달라졌다. 그리하여, TV 앞 사용자 경험을 제대로 조사해보고자 한다.
1Watson Alchemy Language를 활용한 Document Analysis 인공지능을 조수처럼 이현정 나누리 고유미 한수교 정재원
나도 조교가 있었으면… 11 우리가 하는 대부분의 데스크 리서치는 일종의 문서 분석(Document Analysis). 대신 읽고, 요점을 말해주는 ‘조수’를 공짜로 고용할 수는 없겠지?
이제는, 누구나, Document Analysis를 자동화 12 시대가 시대인만큼 이제는 적은 노력으로 지능적인 소프트웨어의 힘을 빌릴 수 있다 content analysis statistical analysis manual automatic manual coding QDAS Text Mining Intelligent Software 수동 분석은.. Watson, can you help me? 자동화 가능하지만… 이현정. “오프 더 셸프(Off-the-shelf) 인공지능 서비스를 활용한 질적분석 작업의 사용자 경험 연구 : 자동 키워드 추출의 사용성 · 수용성 평가를 중심으로” 서울대학교 융합과학기술대학원 석사학위 논문. 2017.
Body of Text URL Keywords Concepts Output Input https://alchemy-language-demo.mybluemix.net/
Body of Text URL Keywords Concepts Output Input #Keywords #본문에등장한 #감정적뉘앙스 #본문복붙 #URL복붙
Body of Text URL Keywords Concepts Output Input #본문복붙 #URL복붙 #Concept #본문에없는 #위키피디아 #시멘틱계층고려 #Evidence
TV 관련 서비스, 트렌드… 어떻게 찾을까? 16 어디서부터 어떻게 찾아야할지 너무 막막한 경험, 다들 한 번쯤은 있으시죠?
RECIPE 17 정보원 선별하기 1 퀄리티 아티클 수집하기 2 왓슨으로 키워드 추출하기 3 키워드 골라내기 4
정보원 선별하기 18 Document Analysis의 핵심은, 좋은 정보를 골라내서 왓슨에게 던지는 것 두 가지 기준에 따라 정보원을 선택해본다: “나는 어떤 정보를 찾고 싶은 걸까?” 1 time-critical time-neutral opinion-driven fact-driven 블로그 칼럼 소설 인터뷰 수필 기사 특허 기준 정보 판단 관점 필요 vs. 사실 필요 최신 정보 vs. 다양한 정보 1 2
특허 정보원 선별하기 19 Document Analysis의 핵심은, 좋은 정보를 골라내서 왓슨에게 던지는 것 두 가지 기준에 따라 정보원을 선택해본다: “나는 어떤 정보를 찾고 싶은 걸까?” 1 time-critical time-neutral opinion-driven fact-driven 블로그 칼럼 소설 인터뷰 수필 기사 정보원 선별 기준 공신력 (e.g. Forbes, Guardian, NYtimes) 전문성 (e.g. Techtimes, TV technology) 1 2
20 구글에서의 ‘메타 검색’은 정보원의 특성을 사라지게 하므로 선별한 사이트에서 직접 쿼리를 검색하여 URL을 수집하는 것이 좋다 퀄리티 아티클 수집하기 2 아티클의 URL을 수집 http://www.tvtechnology.com/ thewire/smpte-partners-in- producing-2017-nab-shows- future-of-cinema-conference-the- intersection-of-technology-art-- commerce-in-cinema/7555/view >
21 수집한 URL을 Watson에 넣고, https://alchemy-language-demo.mybluemix.net/ 왓슨으로 키워드 추출하기 3 #URL복붙
22 왓슨으로 키워드 추출하기 3 #대신읽어줘! 수집한 URL을 Watson에 넣고, https://alchemy-language-demo.mybluemix.net/
23 왓슨으로 키워드 추출하기 3 #Display technology #Blue-ray Disc … 수집한 URL을 Watson에 넣고, https://alchemy-language-demo.mybluemix.net/
24 한 번에 키워드를 조망하기 위해, 분석한 키워드들을 시트에 옮겨본다. 왓슨으로 키워드 추출하기 3 #읽기대신 #복붙
25 이 과정(URL 복붙 > Analysis > 키워드 복붙)을 자동화! 아티클 20개 (400개 키워드) 분석, 커피 반 잔쯤…? Git Hub: https://github.com/YM-Go/SNU_AIAM 왓슨으로 키워드 추출하기 3
26 왓슨으로 키워드 추출하기 3 키워드의 바다에 빠진다 인공지능이 정말로 우리의 노고를 줄이는가?
27 왓슨으로 키워드 추출하기 3 성실하지만 우둔한 AI 조수 왓슨
28 키워드 골라내기 4 Watson만의 문제가 아니다. 앞으로, AI를 tool로 이용하고 싶다면 고려해야 할 문제. “deep”, 의미를 찾고 선별하는 일은 사람에게 쥐어진다. Manovich, Lev. "Trending: The Promises and the Challenges of Big Social Data." Debates in the Digital Humanities, edited by Matthew K. Gold. The University of Minnesota Press, forthcoming 2012. http://www.manovich.net/DOCS/ Manovich_trending_paper.pdf …actually only ethnographers have the “deep” data, 
 while computer scientists have only “shallow” data. — Lev Manovich, 2012 “ ”
29 키워드 골라내기 4 이제 우리의 일은 과거와는 달라진다. 수많은 AI 키워드를 선별하는 거름망을 만드는 것이다. A.I. 나 #나라도 “낯설지만 새로운” 검색하고 싶은 #특이한 #식상한 “나라도 선택할” 사전지식에 부합하는 “엄마도 알만한” 상식에 가까운
30 키워드 골라내기 4 이제 우리의 일은 과거와는 달라진다. 수많은 AI 키워드를 선별하는 거름망을 만드는 것이다. A.I. 나 #나라도 “낯설지만 새로운” 검색하고 싶은 #특이한 #식상한 “나라도 선택할” 사전지식에 부합하는 “엄마도 알만한” 상식에 가까운 #나라도 #특이한 #식상한
31 키워드 골라내기 4 거름망도 준비되었으니, 이제 고르는 일만 남았다
32 키워드 골라내기 4 #특이한 #식상한 #나라도
33 키워드 골라내기 4 #특이한 #식상한 #나라도 빅스크린 TV의 요즘 추세는 Quantom Dot 요즘 밀레니얼 세대는 Zero TV 경향이 짙다
정보원 선별하기 1 퀄리티 아티클 수집하기 2 왓슨으로 키워드 추출하기 3 키워드 골라내기 4 RECIPE + TIPS! •목적이 무엇인지 명료하게; 팩트, 의견, 상상… •얕고 넓게 찾는 건 기계의 일, 인간의 일은 좋은 키워드를 고르는 일 •돋보기를 쥐고 해석으로 나아가는 것 34 •성실하지만 우둔한… •기계의 능력이 무엇인지 이해하기 •‘좋은 재료’여야 ‘좋은 요리’를 만들 수 있다 •메타검색보다 소스 머티리얼은 직접 검색
35 3 실전 UX 프로젝트 40 659 10590 다양한 분야 다양한 토픽 뉴스 아티클, 칼럼 퀄리티 문서 쉽게 헤아리기 어려운 수많은 키워드
2Chatfuel을 이용한 설문조사 챗봇을 구글폼처럼 김진영 송지은 윤수경 김병준 고유미 박주영 김유정
챗봇에 대한 과장된 기대(hype) 요즘 챗봇, 마치 모든 것을 다 해줄 것 같지만, 정말 그럴까? 37
챗봇에 대한 과장된 기대(hype) 요즘 챗봇, 마치 모든 것을 다 해줄 것 같지만, 정말 그럴까? 아직 지능이 담보되지 않은 챗봇의 역할은 한정적이다 38
그럼에도 불구하고… 일반 설문보다 낫다고? 설문이 줄 수 없는 몇 가지 장점들과 가능성도 있다 39
그럼에도 불구하고… 일반 설문보다 낫다고? 설문이 줄 수 없는 몇 가지 장점들과 가능성도 있다 40 귀여운 설문봇; 높은 접근성 •메신저 대화가 보편적인 시대 •‘귀여운’ 채팅봇이 낮추는 장벽
그럼에도 불구하고… 일반 설문보다 낫다고? 설문이 줄 수 없는 몇 가지 장점들과 가능성도 있다 41 귀여운 설문봇; 높은 접근성 사진, 위치, 영상; 답변 모달리티 •메신저 대화가 보편적인 시대 •‘귀여운’ 채팅봇이 낮추는 장벽 • GPS, 이미지, 영상…등 다양한 양식 • 기존 설문 폼과는 다른 ‘답변’ 유도
그럼에도 불구하고… 일반 설문보다 낫다고? 설문이 줄 수 없는 몇 가지 장점들과 가능성도 있다 42 귀여운 설문봇; 높은 접근성 사진, 위치, 영상; 답변 모달리티 •메신저 대화가 보편적인 시대 •‘귀여운’ 채팅봇이 낮추는 장벽 • GPS, 이미지, 영상…등 다양한 양식 • 기존 설문 폼과는 다른 ‘답변’ 유도 바로 그때; In-situ •현장의 경험을 바로 채집 •“채팅”의 침투 용이성
그럼에도 불구하고… 일반 설문보다 낫다고? 설문이 줄 수 없는 몇 가지 장점들과 가능성도 있다 43 귀여운 설문봇; 높은 접근성 사진, 위치, 영상; 답변 모달리티 •메신저 대화가 보편적인 시대 •‘귀여운’ 채팅봇이 낮추는 장벽 • GPS, 이미지, 영상…등 다양한 양식 • 기존 설문 폼과는 다른 ‘답변’ 유도 바로 그때; In-situ •현장의 경험을 바로 채집 •“채팅”의 침투 용이성 관심 집중; 지능화 가능성 •유연하게 대응 가능 •AI 엔진은 지속적으로 발전
챗봇을 만드는 두 가지 방향 왓슨 같은 인공지능 플랫폼의 지능을 빌리는 방법과 룰베이스로 저작도구를 사용하는 방식 44 인공지능 엔진 사용 Q. 어떤 챗봇을, 누가, 어떻게, 얼마만에 만들어야 하나? 기존 챗봇 저작도구 사용 vs •유연하게, 상대적으로 지능적인 대응 가능 •기존 플랫폼 API 연결 등 작업자 숙련도 필요 •특화된 조사 위해서는 특화된 데이터 필요 •아직은 활용가능한 엔진이 제한적 •직관적으로 별다른 스킬없이 저작 가능 •1시간만에도 완성할만큼 빠른 저작 가능 •다양한 저작툴, 선택지 많음 •룰베이스로 제한적인 대응
챗봇을 만드는 두 가지 방향 왓슨 같은 인공지능 플랫폼의 지능을 빌리는 방법과 룰베이스로 저작도구를 사용하는 방식 45 인공지능 엔진 사용 Q. 어떤 챗봇을, 누가, 어떻게, 얼마만에 만들어야 하나? 기존 챗봇 저작도구 사용 vs •유연하게, 상대적으로 지능적인 대응 가능 •기존 플랫폼 API 연결 등 작업자 숙련도 필요 •특화된 조사 위해서는 특화된 데이터 필요 •아직은 활용가능한 엔진이 제한적 •직관적으로 별다른 스킬없이 저작 가능 •1시간만에도 완성할만큼 빠른 저작 가능 •다양한 저작툴, 선택지 많음 •룰베이스로 제한적인 대응
챗봇을 저작하는 여러 플랫폼 여러 기준이 있지만 작업자 능숙도와 저작 용이성이 가장 크리티컬 46 선정기준 api.ai flow XO motion.ai text.it sequel chatfuel 작업자 능숙도 코딩이 필요없는가? x △ ○ ○ ○ ○ 인터뷰이의 메신저 접근성 지원 메신저 다양한가? ○ ○ ○ ○ ○ 페이스북 메신저 특화 답변 양식 다양한 답변 형식이 제공되는가? ○ x ○ x ○ ○ 저작 용이성 저작 과정이 간단한가? x ○ x ○ △ ○ 결과 정리 응답자별 데이터 추출이 가능한가? ○ ○ ○ ○ ○ ○ 2017.2.8. 기준 <저작툴별 특징>
Chatfuel로 TV 시청행태를 조사하는 챗봇 만들기 47 빅스크린 TV 시청행태 Chatfuel Chatbot Chatfuel로 코딩할 필요 없이, 쉽고 빠르게 챗봇을 만들 수 있다!
Chatfuel로 TV 시청행태를 조사하는 챗봇 만들기 48
RECIPE 49 챗봇 설계도 만들기 1 챗봇 저작툴로 ‘대화’ 만들기 2 챗봇을 현장에 투입하기 3 결과 추출하고 분석하기 4
챗봇 설계도 만들기 50 1 시청 동기 시청 대상 시청 맥락 감정반응 잠재니즈 시청여부 시청자 정보 안내 및 인사 하나씩 스크립트를 쓰는 bottom-up 방식보다, 서브토픽을 먼저 정하고, 관계를 정의하는 top-down 방식이 더 적합하다 챗봇 설계도 고려사항 두 가지 서브토픽 고민하기: 시청자 정보, 시간, 맥락… 1
챗봇 설계도 만들기 51 하나씩 스크립트를 쓰는 bottom-up 방식보다, 서브토픽을 먼저 정하고, 관계를 정의하는 top-down 방식이 더 적합하다 1 시청 동기 시청 대상 시청 맥락 감정반응 잠재니즈 시청여부 시청자 정보 안내 및 인사 최초 1회 if. 부정적 if. 특정 목적 없을 경우 if. 특정 목적 있는 경우 최초 1회 챗봇 설계도 고려사항 두 가지 서브토픽 고민하기: 시청자 정보, 시간, 맥락… 관계 설정하기: 질문 순서, 질문 주기, 질문 횟수… 1 2
챗봇 설계도 만들기 52 서브토픽 아래에 세부질문이 될만한 것들을, 답변형태를 고려하며 리스팅한다 중요한 것은 이 단계에서 모든 경우의 수나 스크립트를 꼼꼼히 짤 필요가 없다는 점이다 1
53 Chatfuel의 저작 인터페이스는 나름 직관적이라, 초심자도 쉽게 작업이 가능하다 설계도를 Chatfuel의 인터페이스에 적합하게 만들었기에, 작업도 효율적으로 가능하다 챗봇 저작툴로 ‘대화’ 만들기 2
54 Chatfuel의 저작 인터페이스는 나름 직관적이라, 초심자도 쉽게 작업이 가능하다 설계도를 Chatfuel의 인터페이스에 적합하게 만들었기에, 작업도 효율적으로 가능하다 챗봇 저작툴로 ‘대화’ 만들기 2 설계도에 따라 서브토픽을 입력!
55 Chatfuel의 저작 인터페이스는 나름 직관적이라, 초심자도 쉽게 작업이 가능하다 설계도를 Chatfuel의 인터페이스에 적합하게 만들었기에, 작업도 효율적으로 가능하다 챗봇 저작툴로 ‘대화’ 만들기 2 세부 내용을 ‘대화’로 만들며 챗봇화한다
56 챗봇으로 하는 조사도 결국 ‘대화’다 자연스러운 대화를 되새기며 끊임없이 반복 테스트한다 챗봇 저작툴로 ‘대화’ 만들기 2 • 장문의 카톡은 왠지 센스가 없다: 적당히 끊어주고, 중간중간 쉬어주는 센스를 발휘해보자 • 끊임없는 실시간 테스트: 시퀀스를 나중에 한 번에 확인하기는 매우 어렵다 한 번에 장문으로 묻기보다 조금씩 끊어서 인터액션하며 반응을 살펴본다 끊임없는 테스트가 필요하다
57 챗봇을 시험하고자 하는 욕구, 더욱 친절하게 답변하려는 태도도 때로는 에러를 유발한다 중요한 건, 에러 상황에서 어떻게 대처할 수 있는가에 대한 부분 챗봇 저작툴로 ‘대화’ 만들기 2
58 충분히 테스트를 끝낸 챗봇을 현장에 투입한다 챗봇을 현장에 투입하기 3
59 ‘장기간’ 사용할 경우에는 몇 가지 유용한 기능들이 있다; 브로드캐스트와 실시간 수정 챗봇을 현장에 투입하기 3
60 결과 추출하고 분석하기 4 대부분의 챗봇 저작툴들은 CS 대응을 목적. 따라서 단순 통계 화면만 보여주는 경향이 있다. 심층적인 분석을 위해서는 크로스 플랫폼 API를 연동해 사용자별 데이터를 확인해야 한다.
61 결과 추출하고 분석하기 4 대부분의 챗봇 저작툴들은 CS 대응을 목적. 따라서 단순 통계 화면만 보여주는 경향이 있다. 심층적인 분석을 위해서는 크로스 플랫폼 API를 연동해 사용자별 데이터를 확인해야 한다.
62 결과 추출하고 분석하기 4 크로스 플랫폼 API인 Flow XO를 활용해 구글 스프레드 시트에서 데이터를 모아볼 수 있다. Flow XO API 사용하기 구글 스프레스 시트 만들고 데이터 속성을 순서대로 행에 기입한다 Webhook&HTTP 블록과 구글 시트 블록 을 추가한다 Flow를 On 상태로 바꾼다 Json API 플러그인을 추가한다 1 2 3 4
63 결과 추출하고 분석하기 4 FlowXO와 연동되어 있는 구글스프레드시트에서 기술 통계를 확인할 수 있다
RECIPE + TIPS! 64 챗봇 설계도 만들기 1 챗봇 저작툴로 ‘대화’ 만들기 2 챗봇을 현장에 투입하기 3 결과 추출하고 분석하기 4 •개별스크립트보다 top-down 방식으로 •설계도를 잘 만들어야 저작도 쉽다 •챗봇 조사는 “대화”다; 단문, 포지셔닝… •에러대응이 핵심 •용도에 따라 크로스플랫폼 활용(flowXO) •in-situ 조사를 위해 브로드캐스트 활용 •같은 질문을 다른 상황에 하고 싶을 때
마치며: 챗봇 인터뷰의 미래는…? 65 현재의 저작툴로 만든 챗봇은 “많이 기대하지 않는다면” 가성비가 있는 조사 도구다 지능을 빌린 챗봇을 만들기 위해서 재료를 모으는 단계, 당분간 쓸모있는 솔루션일지도? https://developer.ibm.com/kr/cloud/bluemix/2016/11/09/chatbot_reference_watson_blx/?cm_mmc=PSocial_Facebook-_-IBM+Cloud_Bluemix+Program-_-KR_KR-_- PSocial+FB+For+Bluemix+Chatbot&cm_mmca1=000005CN&cm_mmca2=10000964
3Watson Conversation을 활용한 인터뷰 분석 왓슨을 동료처럼 김민준 김유정 윤종묵
질적 데이터 분석은 사금을 골라내는 일 67 우리는 많은 양에 압도당하고, 반복적인 분류 작업에 지치고, 심지어 결과에 대해서는 의심당하기도 한다 망망대해 같은 인터뷰 데이터 속에서 분석을 해내는 것은 사금을 골라내는 작업 만큼이나 지난한 과정이다
인공지능, 기성제품화 되다 68 전통적으로 질적 분석은 데이터를 늘어놓고 인간의 예리한 눈으로 하나씩 골라내는 작업 오랜 시간이 걸리고, 많은 노고가 필요하다 하지만 이제는 AI가 Off-the-shelf 서비스로 제공되는 시대 인터뷰 분석에 기계의 빠른 손을 빌려, 우리의 눈을 대체해본다 원두를 볶고, 커피를 고르고, 끓이는 과정의 패키지화 이제는 마트 선반에서 커피믹스를 손쉽게 고르고 꺼내 쓸 수 있다
발화 반응 “나 심심해” 영화 볼래? “뭐 할 거 없나?” 놀이공원 갈래? “이거 다 썼다” 마트에서 쇼핑할래? “아, 나 살 거 있는데” 백화점 둘러볼래? 69 우리는 말 속에 자연스럽게 ‘의도(intent)’를 숨겨놓는다 때로는 사람-사람 사이에서도 의도를 알아내기 어려울 때가 있는데, AI가 이제는 훈련을 통해 우리의 의도를 읽어낼 수 있다 숨겨진 의도Intent를 찾아내는 것
숨겨진 의도Intent를 찾아내는 것 70 발화 숨겨진 의도(intent) 반응 “나 심심해” 할 것 좀 추천해줘 영화 볼래? “뭐 할 거 없나?” 놀이공원 갈래? “이거 다 썼다” 쇼핑하러 가야해 마트에서 쇼핑할래? “아, 나 살 거 있는데” 백화점 둘러볼래? 우리는 말 속에 자연스럽게 ‘의도(intent)’를 숨겨놓는다 때로는 사람-사람 사이에서도 의도를 알아내기 어려울 때가 있는데, AI가 이제는 훈련을 통해 우리의 의도를 읽어낼 수 있다
의도Intent를 읽어내는 Watson Conversation 71 Watson Conversation은 발화에 대해 숨겨진 의도를 훈련하면, 비슷한 의도를 가진 다른 말을 골라낼 수 있다 따라서, 왓슨으로 인터뷰를 분석하려면 ’의도가 담긴 사용자의 말’을 획득하는 게 필수적이다 발화 숨겨진 의도(intent) 반응 “나 심심해” 할 것 좀 추천해줘 영화 볼래? “뭐 할 거 없나?” 놀이공원 갈래? “이거 다 썼다” 쇼핑하러 가야해 마트에서 쇼핑할래? “아, 나 살 거 있는데” 백화점 둘러볼래? 왓슨에게 트레이닝 시킨다
발화 숨겨진 의도(intent) 반응 “나 심심해” 할 것 좀 추천해줘 영화 볼래? “뭐 할 거 없나?” 놀이공원 갈래? “이제 뭐하지?” “이거 다 썼다” 쇼핑하러 가야해 마트에서 쇼핑할래? “아, 나 살 거 있는데” 백화점 둘러볼래? “이거 살 때 됐어” 의도Intent를 읽어내는 Watson Conversation 72 Watson Conversation은 발화에 대해 숨겨진 의도를 훈련하면, 비슷한 의도를 가진 다른 말을 골라낼 수 있다 따라서, 왓슨으로 인터뷰를 분석하려면 ’의도가 담긴 사용자의 말’을 획득하는 게 필수적이다 왓슨이 자동 분류 왓슨이 자동 분류
RECIPE 73 의도가 담긴 발화 수집하기 1 왓슨 훈련 준비하기(Training Set) 2 왓슨을 훈련시키기(Training) 3 왓슨 솎아주기(On-the-fly Adjusting) 4 결과 분석하기 5
의도가 담긴 발화 수집하기 74 분석에 용이한 표현을 수집하기 위해서는 의도가 잘 드러나야 한다 데이터 수집 시 질문을 잘 디자인할 필요가 있다 1
의도가 담긴 발화 수집하기 75 구글 번역기를 사용합니다 tip: 구글 번역기를 직접 이용하거나 구글 시트의 =GOOGLETRANSLATE() 함수 이용 1 임시방편이지만 그래도 쓸만해요
76 전체 코드의 10%만 코딩하자! 인텐트를 뽑기위한 중간 단계로서, 발화에 대한 일종의 ‘인수분해’ 왓슨 훈련 준비하기(Training Set) 2 #여러분의_인스타를_떠올리며 #해시태그_실력발휘 #요즘_이정도도_못하면_안되잖아요
77 왓슨 훈련 준비하기(Training Set) 2 인수분해 후에는 비슷한 것끼리 그루핑한다 1개의 의도(intent)에 적어도 5개 이상의 발화가 포함되는 게 좋다 다다익선 vs. 시간/노력, 밸런싱은 여러분의 몫 #remind_me #context_aware #improve #realistic #recommend #skip #tailored 6 8 6 9 12 9 10
78 왓슨을 훈련시키기(Training) 3 인터뷰 데이터를 [utterance,intent] 형식의 csv 파일로 만들어서 import
79 왓슨 솎아주기(On-the-fly Adjusting) 4 2 1 왓슨은 아직 “배우는 중”이라는 걸 잊어선 안 된다 믿을 수 있을 때까지 합을 맞춰보자
80 왓슨 솎아주기(On-the-fly Adjusting) 4 왓슨이 “모르겠어요” 라고 할 때가 있다 (1) 다시 가르쳐준다: “왓슨아, 그거 #context_aware야” (2) 새롭게 가르쳐준다: “새로 #summarize 인텐트를 만들어서 알려줘야겠다”
81 결과 분석하기 5 인텐트 분류 컨피던스 분석 센티멘트 분석 60개로 600개를 분류 결과에 대한 왓슨의 자신감 어떤 의도에 어떤 감정
82 결과 분석하기 5 왓슨, 이건 잘못했다 왓슨, 잘했어! 트레이닝을 위한 ‘나’의 코딩/분류 “광고나 소음 지나치게 큰 음악소리 등을 알아서 걸러주고 듣고 싶은 소리만 명확하게 들을수 있게해주면 좋겠다" “TV로 카톡 내용을 보고싶어"
83 결과 분석하기 5 인텐트 분류 전체 중에 10% 정도 되는구나 맞춤형에 대한 요구사항 눈여겨봐야겠네 컨피던스 분석 67.2%: ’명료한 의도’를 가지고 있는 발화가 대부분이라면, 굉장히 강하고 뚜렷한 요구사항일 가능성이 있네 도메인, 지식, 경험, 현장에서의 느낌을 바탕으로 해석하기 해석이야말로 가장 중요한 “인간의 일” 컨피던스 분석 1위: 기쁨 / 2위: 슬픔 이렇게 되면 좋겠다 + 이런 게 안돼서 짜증 양방향 감정이 있는 건가보다
84 RECIPE + TIPS! 의도가 담긴 발화 수집하기 1 왓슨 훈련 준비하기 2 왓슨을 훈련시키기 3 왓슨 솎아주기 4 결과 분석하기 5 •인공지능이 잘하는 분석에 맞는 재료를 모으자 •왓슨 한글서비스까지… 구글 번역기를 쓴다 •confidence 값은 참고용: 낮다고 무조건 틀린 것은 아니다 • 높은 것들은 그만큼 ‘명확한 의도’ •전체의 10% 정도, 인수분해! •발화에서 행동과 의도를 파악하기 (광고가 싫다 vs. 스킵하기) •인텐트는 서로 겹치지 않도록 •최소 5개 이상; 다다익선 •분석 불가 예시에 대해 리뷰할 필요 (빠진 코드가 있을 수 있음) •유목별 중요도, 감정의 파악
어떤 상황, 어떤 태도, 어떤 범위에서? 85 왓슨이 도울 수 있는 것: 반복적인 대량의 인터뷰 데이터 코딩 하지만 만능 툴은 아니고, 어떤 상황에서나 쓸 수 있는 것도 아니다 아래의 이슈들을 통해 상황, 태도, 범위를 결정하자 유용함 1. 영어 번역 •시간이 해결해준다(왓슨이 한국어 서비스 준비) •기계번역이 점점 나아지고 있음 •실제로 테스트 했을 때 어느 정도의 결과를 보임 2. 인터뷰 데이터 자체의 문제 •비문(번역과도 연결) -> 인터뷰 전사 시의 이슈 •맞춤법, 비문 등에 대해 약간은 가공할 필요 기술적 이슈 문화적/윤리적 이슈 1. 결과 신뢰의 믿음의 문제 •믿을 것인가 말 것인가 •어디까지 믿을 것인가, 언제 믿을 수 있는가 •왓슨은 무엇인가(?)에 대한 이슈: 조수? 동료? 2. 인터뷰 분석의 의미에 대한 재고찰 •과정의 투명성이 없음 •인터뷰를 분석하는 과정에서 생기는 인사이트 간과 •인터뷰 분석은 때론 단하나로부터 나오기도 하는 특수성
4OUTRO AI와 “협업”하려면
인공지능과의 협업이란건… 87 1. 레시피는 ‘인간이 할 일’과 ‘인공 지능 이 할 일’로 나뉘어져 있다. 인공지능이 모든 걸 다 해결해 줄 수는 없다. 2. 인공지능을 쓴다는 건 기존의 도구들 을 쓰는 것과 크게 다르다. 과정과 단계를 조절할 수 없는 대신, 좋은 재료 넣기와 기계를 얼마나 돌릴지만 정의할 수 있다. 3. 인공지능은 과정을 은닉(hidden) 한 다. 과정에서 소외되면 사람은 결과에 대 해 판단하기 어렵다. 연구자들은 짧은 의 심 후 근거 없는 맹신의 상태에 들어가게 된다. HCI 연구자로서 우리는 그 모멘트 를 어떻게 디자인 할 것인가? 짧은 의심 후 긴 맹신 그 pivoting moment 재료 결과
사용자경험 연구실 김유정 D-409, 145, Gwanggyo-ro, Suwon-si, Gyeonggi-do +82 10 - 3830 - 1297 tendtoyj@snu.ac.kr THANK YOU End of the document

More Related Content

PDF
새로운 기술로 '장애'를 재해석하는 기회를 만들 수 있을까?
byMyuserable
 
PDF
스마트안경 및 음성인식 기술을 활용한 청각장애인의 다가잔 대화 지원 시스템 연구
byYoojung Kim
 
PDF
어쩌다가 유엑스를 하다보니
byYoojung Kim
 
PDF
Data Prescription: 데이터로 처방하라!
byMyuserable
 
PDF
hcik 2017 튜토리얼; 인공지능으로 사용자 리서치
bySeoul National University
 
PDF
Finding Use-case for Voice Service
bySeoul National University
 
PDF
Know Your Patient through Data!
byYoojung Kim
 
PPTX
1911 keracorn
byWarNik Chow
 
새로운 기술로 '장애'를 재해석하는 기회를 만들 수 있을까?
byMyuserable
 
스마트안경 및 음성인식 기술을 활용한 청각장애인의 다가잔 대화 지원 시스템 연구
byYoojung Kim
 
어쩌다가 유엑스를 하다보니
byYoojung Kim
 
Data Prescription: 데이터로 처방하라!
byMyuserable
 
hcik 2017 튜토리얼; 인공지능으로 사용자 리서치
bySeoul National University
 
Finding Use-case for Voice Service
bySeoul National University
 
Know Your Patient through Data!
byYoojung Kim
 
1911 keracorn
byWarNik Chow
 

What's hot

PDF
Voice service design tips
bySeoul National University
 
PDF
의료 정보에 UX 도입 사례 @2012 춘계 대한의료정보학회 학술대회
bySeoul National University
 
PDF
응용서비스에 따른 인공지능기술 연구이슈
byHELENA LEE
 
PDF
Algorithm Experience Design
bySeoul National University
 
PDF
Getting User's Attention in Web Apps in Likable, Minimally Annoying Ways
byHyesoo Yoo
 
PDF
Beyond post it
byYoojung Kim
 
Voice service design tips
bySeoul National University
 
의료 정보에 UX 도입 사례 @2012 춘계 대한의료정보학회 학술대회
bySeoul National University
 
응용서비스에 따른 인공지능기술 연구이슈
byHELENA LEE
 
Algorithm Experience Design
bySeoul National University
 
Getting User's Attention in Web Apps in Likable, Minimally Annoying Ways
byHyesoo Yoo
 
Beyond post it
byYoojung Kim
 

Similar to AI 유저리서치를 할 수 있을까?

PDF
챗봇, 그것이 알고싶다
bydeepseaswjh
 
PDF
1시간만에 만드는 음성인식 인공지능 챗봇
by정명훈 Jerry Jeong
 
PDF
Ipa approach
byssuser9a50211
 
PDF
20170227 파이썬으로 챗봇_만들기
byKim Sungdong
 
PDF
인공지능(AI)과 사용자 경험(UX)
byBilly Choi
 
PDF
챗봇의 활용, 어디에서 도입하면 좋은가? - 와이즈넛 장정훈 이사
byeungjin cho
 
PDF
챗GPT 활용팁
by훈주 윤
 
PDF
인터렉 1주차 과제
by지수 정
 
PDF
인터렉 170418(요약본)
by윤소 최
 
PDF
Ipa definition
byssuser9a50211
 
PDF
Response Quality & BlahBlahbot
by박 상아
 
PPTX
Python과 Tensorflow를 활용한 AI Chatbot 개발 및 실무 적용
bySusang Kim
 
PDF
Trend report 인공지능(ai)과 디지털 미디어의 첫 번째 접점 '챗봇(chat bot)'
byNasmedia
 
PDF
Definition of ipa
byssuser9a50211
 
PPTX
[코세나, kosena] 생성AI 프로젝트와 사례
bykosena
 
PDF
Python을 활용한 챗봇 서비스 개발 1일차
byTaekyung Han
 
PDF
[Partner TechForum] 딥러닝 기반의 챗봇 기술을 활용한 구축 사례
byAmazon Web Services Korea
 
PDF
인공지능을 HCI/UX에 접목할 때 알아야 할 변화와 방향성
byBilly Choi
 
PDF
UX Discovery 6th Rightbrain_part1
byRightBrain inc.
 
PDF
인공지능으로 본 2017년 UX/인터랙션 디자인 트렌드 및 인사이트
byUnbong Kang
 
챗봇, 그것이 알고싶다
bydeepseaswjh
 
1시간만에 만드는 음성인식 인공지능 챗봇
by정명훈 Jerry Jeong
 
Ipa approach
byssuser9a50211
 
20170227 파이썬으로 챗봇_만들기
byKim Sungdong
 
인공지능(AI)과 사용자 경험(UX)
byBilly Choi
 
챗봇의 활용, 어디에서 도입하면 좋은가? - 와이즈넛 장정훈 이사
byeungjin cho
 
챗GPT 활용팁
by훈주 윤
 
인터렉 1주차 과제
by지수 정
 
인터렉 170418(요약본)
by윤소 최
 
Ipa definition
byssuser9a50211
 
Response Quality & BlahBlahbot
by박 상아
 
Python과 Tensorflow를 활용한 AI Chatbot 개발 및 실무 적용
bySusang Kim
 
Trend report 인공지능(ai)과 디지털 미디어의 첫 번째 접점 '챗봇(chat bot)'
byNasmedia
 
Definition of ipa
byssuser9a50211
 
[코세나, kosena] 생성AI 프로젝트와 사례
bykosena
 
Python을 활용한 챗봇 서비스 개발 1일차
byTaekyung Han
 
[Partner TechForum] 딥러닝 기반의 챗봇 기술을 활용한 구축 사례
byAmazon Web Services Korea
 
인공지능을 HCI/UX에 접목할 때 알아야 할 변화와 방향성
byBilly Choi
 
UX Discovery 6th Rightbrain_part1
byRightBrain inc.
 
인공지능으로 본 2017년 UX/인터랙션 디자인 트렌드 및 인사이트
byUnbong Kang
 

More from Myuserable

PDF
Prescribing 10,000 Steps Like Aspirin: Designing a Novel Interface for Data-D...
byMyuserable
 
PDF
“My Doctor is Keeping an Eye on Me!”: Exploring the Clinical Applicability of...
byMyuserable
 
PDF
라이프스타일 개선을 돕는 건강스스로지킴이
byMyuserable
 
PDF
Exploring the Clinical Applicability of Lifestyle Data
byMyuserable
 
PDF
Prescribing Lifestyle Data: Exploring the Clinical Applicability of a Mobile ...
byMyuserable
 
PDF
Quantified-Patient: 데이터가 매개하는 환자-의사 커뮤니케이션
byMyuserable
 
PDF
대학원에 다니는 마음가짐
byMyuserable
 
PDF
Towards the Design of a Ring Sensor-based mHealth System to Achieve Optimal M...
byMyuserable
 
PDF
선물펀딩: 축의경험 재구성하기
byMyuserable
 
PDF
효과가 가장 좋은 챗봇 에이전트를 찾아보기
byMyuserable
 
Prescribing 10,000 Steps Like Aspirin: Designing a Novel Interface for Data-D...
byMyuserable
 
“My Doctor is Keeping an Eye on Me!”: Exploring the Clinical Applicability of...
byMyuserable
 
라이프스타일 개선을 돕는 건강스스로지킴이
byMyuserable
 
Exploring the Clinical Applicability of Lifestyle Data
byMyuserable
 
Prescribing Lifestyle Data: Exploring the Clinical Applicability of a Mobile ...
byMyuserable
 
Quantified-Patient: 데이터가 매개하는 환자-의사 커뮤니케이션
byMyuserable
 
대학원에 다니는 마음가짐
byMyuserable
 
Towards the Design of a Ring Sensor-based mHealth System to Achieve Optimal M...
byMyuserable
 
선물펀딩: 축의경험 재구성하기
byMyuserable
 
효과가 가장 좋은 챗봇 에이전트를 찾아보기
byMyuserable
 

AI 유저리서치를 할 수 있을까?

  • 2.
  • 3.
    포스트잇을 넘어서 3 https://www.slideshare.net/joonyale/beyond-post-it-snuux 사용자 조사분석 단계에서 해석적 독창성(analytical originality)을 위해 사용할 수 있는, ‘방법론이 녹아 있는(process-embeded) 도구’를 소개했다
  • 4.
    리프레이머 4 지난 1년을 돌이켜보자.우리는 정말 ‘포스트잇’을 넘어섰을까? 리프레이머는 현장에서 정말 많이 사용했다. 질적 분석 시간은 20% 정도 줄어들었을까? 줄어든 시간보다 더 중요한 건 의미 도출 향상과 두려움의 사라짐.
  • 5.
    2016, 인공지능이 우리곁으로 5 2016년은 인공지능 충격의 해, “텐서플로우를 엑셀처럼 쓰는 시대”가 되었다고도 한다. 인공지능을 어떻게 만들고, 다루고, 대비하고… 다양한 논의가 이어진다. 회사도, 학교도, 정부도, 연구소도 ‘인공지능’을 중심으로 연일 화두가 쏟아지고 있다.
  • 6.
    HCI & 인공지능:제품 인공지능 6 UX/HCI 분야도 다르지 않다. 화면이 사라지고 에이전트가 강해진 초기 제품들이 등장한다. 우리는 ‘인공지능’을 탑재한 기기와 사용자 사이의 새로운 인터랙션을 어떻게 설계해야 할까?
  • 7.
    #인공지능 #사용자경험을 #도울수있을까 하지만,우리는 조금 다른 관점: “인공지능이 우리의 일을 덜어줄 수 있지 않을까? 몇 가지 도구들을 중심으로 그 가능성을 찾아보면 어떨까. 7 관찰 맥락질의 퍼르소나 저니맵 정보설계 화면설계 프로토 타이핑 참여디자인 인터뷰 멘탈모델 평가 메타포 패턴 분석 설계 language Speech Vision Data Insights Emb. Cognition
  • 8.
    #인공지능 #사용자경험을 #도울수있을까 하지만,우리는 조금 다른 관점: “인공지능이 우리의 일을 덜어줄 수 있지 않을까? 몇 가지 도구들을 중심으로 그 가능성을 찾아보면 어떨까. 8 인공지능을 조수처럼 챗봇을 구글폼처럼 Watson Alchemy Language를 활용한 Document Analysis Chatfuel을 이용한 설문조사 왓슨을 동료처럼 Watson Conversation을 활용한 인터뷰 분석
  • 9.
    Sample Case: TV시청 경험은 어떻게 변하고 있는가? 9 융합전자에선 빅스크린 TV 판매를 위해 최근 시청경험 변화를 조사하고자 한다. 나홀로족도 많아지고 TV 시청 중 스마트폰을 보는 등 과거와는 시청경험이 확연히 달라졌다. 그리하여, TV 앞 사용자 경험을 제대로 조사해보고자 한다.
  • 10.
    1Watson Alchemy Language를활용한 Document Analysis 인공지능을 조수처럼 이현정 나누리 고유미 한수교 정재원
  • 11.
    나도 조교가 있었으면… 11 우리가하는 대부분의 데스크 리서치는 일종의 문서 분석(Document Analysis). 대신 읽고, 요점을 말해주는 ‘조수’를 공짜로 고용할 수는 없겠지?
  • 12.
    이제는, 누구나, DocumentAnalysis를 자동화 12 시대가 시대인만큼 이제는 적은 노력으로 지능적인 소프트웨어의 힘을 빌릴 수 있다 content analysis statistical analysis manual automatic manual coding QDAS Text Mining Intelligent Software 수동 분석은.. Watson, can you help me? 자동화 가능하지만… 이현정. “오프 더 셸프(Off-the-shelf) 인공지능 서비스를 활용한 질적분석 작업의 사용자 경험 연구 : 자동 키워드 추출의 사용성 · 수용성 평가를 중심으로” 서울대학교 융합과학기술대학원 석사학위 논문. 2017.
  • 13.
  • 14.
    Body of Text URL Keywords Concepts Output Input #Keywords#본문에등장한 #감정적뉘앙스 #본문복붙 #URL복붙
  • 15.
    Body of Text URL Keywords Concepts Output Input #본문복붙#URL복붙 #Concept #본문에없는 #위키피디아 #시멘틱계층고려 #Evidence
  • 16.
    TV 관련 서비스,트렌드… 어떻게 찾을까? 16 어디서부터 어떻게 찾아야할지 너무 막막한 경험, 다들 한 번쯤은 있으시죠?
  • 17.
    RECIPE 17 정보원 선별하기 1 퀄리티 아티클수집하기 2 왓슨으로 키워드 추출하기 3 키워드 골라내기 4
  • 18.
    정보원 선별하기 18 Document Analysis의핵심은, 좋은 정보를 골라내서 왓슨에게 던지는 것 두 가지 기준에 따라 정보원을 선택해본다: “나는 어떤 정보를 찾고 싶은 걸까?” 1 time-critical time-neutral opinion-driven fact-driven 블로그 칼럼 소설 인터뷰 수필 기사 특허 기준 정보 판단 관점 필요 vs. 사실 필요 최신 정보 vs. 다양한 정보 1 2
  • 19.
    특허 정보원 선별하기 19 Document Analysis의핵심은, 좋은 정보를 골라내서 왓슨에게 던지는 것 두 가지 기준에 따라 정보원을 선택해본다: “나는 어떤 정보를 찾고 싶은 걸까?” 1 time-critical time-neutral opinion-driven fact-driven 블로그 칼럼 소설 인터뷰 수필 기사 정보원 선별 기준 공신력 (e.g. Forbes, Guardian, NYtimes) 전문성 (e.g. Techtimes, TV technology) 1 2
  • 20.
    20 구글에서의 ‘메타 검색’은정보원의 특성을 사라지게 하므로 선별한 사이트에서 직접 쿼리를 검색하여 URL을 수집하는 것이 좋다 퀄리티 아티클 수집하기 2 아티클의 URL을 수집 http://www.tvtechnology.com/ thewire/smpte-partners-in- producing-2017-nab-shows- future-of-cinema-conference-the- intersection-of-technology-art-- commerce-in-cinema/7555/view >
  • 21.
    21 수집한 URL을 Watson에넣고, https://alchemy-language-demo.mybluemix.net/ 왓슨으로 키워드 추출하기 3 #URL복붙
  • 22.
    22 왓슨으로 키워드 추출하기 3 #대신읽어줘! 수집한URL을 Watson에 넣고, https://alchemy-language-demo.mybluemix.net/
  • 23.
    23 왓슨으로 키워드 추출하기 3 #Displaytechnology #Blue-ray Disc … 수집한 URL을 Watson에 넣고, https://alchemy-language-demo.mybluemix.net/
  • 24.
    24 한 번에 키워드를조망하기 위해, 분석한 키워드들을 시트에 옮겨본다. 왓슨으로 키워드 추출하기 3 #읽기대신 #복붙
  • 25.
    25 이 과정(URL 복붙> Analysis > 키워드 복붙)을 자동화! 아티클 20개 (400개 키워드) 분석, 커피 반 잔쯤…? Git Hub: https://github.com/YM-Go/SNU_AIAM 왓슨으로 키워드 추출하기 3
  • 26.
    26 왓슨으로 키워드 추출하기 3 키워드의바다에 빠진다 인공지능이 정말로 우리의 노고를 줄이는가?
  • 27.
  • 28.
    28 키워드 골라내기 4 Watson만의 문제가아니다. 앞으로, AI를 tool로 이용하고 싶다면 고려해야 할 문제. “deep”, 의미를 찾고 선별하는 일은 사람에게 쥐어진다. Manovich, Lev. "Trending: The Promises and the Challenges of Big Social Data." Debates in the Digital Humanities, edited by Matthew K. Gold. The University of Minnesota Press, forthcoming 2012. http://www.manovich.net/DOCS/ Manovich_trending_paper.pdf …actually only ethnographers have the “deep” data, 
 while computer scientists have only “shallow” data. — Lev Manovich, 2012 “ ”
  • 29.
    29 키워드 골라내기 4 이제 우리의일은 과거와는 달라진다. 수많은 AI 키워드를 선별하는 거름망을 만드는 것이다. A.I. 나 #나라도 “낯설지만 새로운” 검색하고 싶은 #특이한 #식상한 “나라도 선택할” 사전지식에 부합하는 “엄마도 알만한” 상식에 가까운
  • 30.
    30 키워드 골라내기 4 이제 우리의일은 과거와는 달라진다. 수많은 AI 키워드를 선별하는 거름망을 만드는 것이다. A.I. 나 #나라도 “낯설지만 새로운” 검색하고 싶은 #특이한 #식상한 “나라도 선택할” 사전지식에 부합하는 “엄마도 알만한” 상식에 가까운 #나라도 #특이한 #식상한
  • 31.
  • 32.
  • 33.
    33 키워드 골라내기 4 #특이한 #식상한 #나라도 빅스크린 TV의요즘 추세는 Quantom Dot 요즘 밀레니얼 세대는 Zero TV 경향이 짙다
  • 34.
    정보원 선별하기 1 퀄리티 아티클수집하기 2 왓슨으로 키워드 추출하기 3 키워드 골라내기 4 RECIPE + TIPS! •목적이 무엇인지 명료하게; 팩트, 의견, 상상… •얕고 넓게 찾는 건 기계의 일, 인간의 일은 좋은 키워드를 고르는 일 •돋보기를 쥐고 해석으로 나아가는 것 34 •성실하지만 우둔한… •기계의 능력이 무엇인지 이해하기 •‘좋은 재료’여야 ‘좋은 요리’를 만들 수 있다 •메타검색보다 소스 머티리얼은 직접 검색
  • 35.
    35 3 실전 UX 프로젝트 40 65910590 다양한 분야 다양한 토픽 뉴스 아티클, 칼럼 퀄리티 문서 쉽게 헤아리기 어려운 수많은 키워드
  • 36.
    2Chatfuel을 이용한 설문조사 챗봇을구글폼처럼 김진영 송지은 윤수경 김병준 고유미 박주영 김유정
  • 37.
    챗봇에 대한 과장된기대(hype) 요즘 챗봇, 마치 모든 것을 다 해줄 것 같지만, 정말 그럴까? 37
  • 38.
    챗봇에 대한 과장된기대(hype) 요즘 챗봇, 마치 모든 것을 다 해줄 것 같지만, 정말 그럴까? 아직 지능이 담보되지 않은 챗봇의 역할은 한정적이다 38
  • 39.
    그럼에도 불구하고… 일반설문보다 낫다고? 설문이 줄 수 없는 몇 가지 장점들과 가능성도 있다 39
  • 40.
    그럼에도 불구하고… 일반설문보다 낫다고? 설문이 줄 수 없는 몇 가지 장점들과 가능성도 있다 40 귀여운 설문봇; 높은 접근성 •메신저 대화가 보편적인 시대 •‘귀여운’ 채팅봇이 낮추는 장벽
  • 41.
    그럼에도 불구하고… 일반설문보다 낫다고? 설문이 줄 수 없는 몇 가지 장점들과 가능성도 있다 41 귀여운 설문봇; 높은 접근성 사진, 위치, 영상; 답변 모달리티 •메신저 대화가 보편적인 시대 •‘귀여운’ 채팅봇이 낮추는 장벽 • GPS, 이미지, 영상…등 다양한 양식 • 기존 설문 폼과는 다른 ‘답변’ 유도
  • 42.
    그럼에도 불구하고… 일반설문보다 낫다고? 설문이 줄 수 없는 몇 가지 장점들과 가능성도 있다 42 귀여운 설문봇; 높은 접근성 사진, 위치, 영상; 답변 모달리티 •메신저 대화가 보편적인 시대 •‘귀여운’ 채팅봇이 낮추는 장벽 • GPS, 이미지, 영상…등 다양한 양식 • 기존 설문 폼과는 다른 ‘답변’ 유도 바로 그때; In-situ •현장의 경험을 바로 채집 •“채팅”의 침투 용이성
  • 43.
    그럼에도 불구하고… 일반설문보다 낫다고? 설문이 줄 수 없는 몇 가지 장점들과 가능성도 있다 43 귀여운 설문봇; 높은 접근성 사진, 위치, 영상; 답변 모달리티 •메신저 대화가 보편적인 시대 •‘귀여운’ 채팅봇이 낮추는 장벽 • GPS, 이미지, 영상…등 다양한 양식 • 기존 설문 폼과는 다른 ‘답변’ 유도 바로 그때; In-situ •현장의 경험을 바로 채집 •“채팅”의 침투 용이성 관심 집중; 지능화 가능성 •유연하게 대응 가능 •AI 엔진은 지속적으로 발전
  • 44.
    챗봇을 만드는 두가지 방향 왓슨 같은 인공지능 플랫폼의 지능을 빌리는 방법과 룰베이스로 저작도구를 사용하는 방식 44 인공지능 엔진 사용 Q. 어떤 챗봇을, 누가, 어떻게, 얼마만에 만들어야 하나? 기존 챗봇 저작도구 사용 vs •유연하게, 상대적으로 지능적인 대응 가능 •기존 플랫폼 API 연결 등 작업자 숙련도 필요 •특화된 조사 위해서는 특화된 데이터 필요 •아직은 활용가능한 엔진이 제한적 •직관적으로 별다른 스킬없이 저작 가능 •1시간만에도 완성할만큼 빠른 저작 가능 •다양한 저작툴, 선택지 많음 •룰베이스로 제한적인 대응
  • 45.
    챗봇을 만드는 두가지 방향 왓슨 같은 인공지능 플랫폼의 지능을 빌리는 방법과 룰베이스로 저작도구를 사용하는 방식 45 인공지능 엔진 사용 Q. 어떤 챗봇을, 누가, 어떻게, 얼마만에 만들어야 하나? 기존 챗봇 저작도구 사용 vs •유연하게, 상대적으로 지능적인 대응 가능 •기존 플랫폼 API 연결 등 작업자 숙련도 필요 •특화된 조사 위해서는 특화된 데이터 필요 •아직은 활용가능한 엔진이 제한적 •직관적으로 별다른 스킬없이 저작 가능 •1시간만에도 완성할만큼 빠른 저작 가능 •다양한 저작툴, 선택지 많음 •룰베이스로 제한적인 대응
  • 46.
    챗봇을 저작하는 여러플랫폼 여러 기준이 있지만 작업자 능숙도와 저작 용이성이 가장 크리티컬 46 선정기준 api.ai flow XO motion.ai text.it sequel chatfuel 작업자 능숙도 코딩이 필요없는가? x △ ○ ○ ○ ○ 인터뷰이의 메신저 접근성 지원 메신저 다양한가? ○ ○ ○ ○ ○ 페이스북 메신저 특화 답변 양식 다양한 답변 형식이 제공되는가? ○ x ○ x ○ ○ 저작 용이성 저작 과정이 간단한가? x ○ x ○ △ ○ 결과 정리 응답자별 데이터 추출이 가능한가? ○ ○ ○ ○ ○ ○ 2017.2.8. 기준 <저작툴별 특징>
  • 47.
    Chatfuel로 TV 시청행태를조사하는 챗봇 만들기 47 빅스크린 TV 시청행태 Chatfuel Chatbot Chatfuel로 코딩할 필요 없이, 쉽고 빠르게 챗봇을 만들 수 있다!
  • 48.
    Chatfuel로 TV 시청행태를조사하는 챗봇 만들기 48
  • 49.
    RECIPE 49 챗봇 설계도 만들기 1 챗봇저작툴로 ‘대화’ 만들기 2 챗봇을 현장에 투입하기 3 결과 추출하고 분석하기 4
  • 50.
    챗봇 설계도 만들기 50 1 시청동기 시청 대상 시청 맥락 감정반응 잠재니즈 시청여부 시청자 정보 안내 및 인사 하나씩 스크립트를 쓰는 bottom-up 방식보다, 서브토픽을 먼저 정하고, 관계를 정의하는 top-down 방식이 더 적합하다 챗봇 설계도 고려사항 두 가지 서브토픽 고민하기: 시청자 정보, 시간, 맥락… 1
  • 51.
    챗봇 설계도 만들기 51 하나씩스크립트를 쓰는 bottom-up 방식보다, 서브토픽을 먼저 정하고, 관계를 정의하는 top-down 방식이 더 적합하다 1 시청 동기 시청 대상 시청 맥락 감정반응 잠재니즈 시청여부 시청자 정보 안내 및 인사 최초 1회 if. 부정적 if. 특정 목적 없을 경우 if. 특정 목적 있는 경우 최초 1회 챗봇 설계도 고려사항 두 가지 서브토픽 고민하기: 시청자 정보, 시간, 맥락… 관계 설정하기: 질문 순서, 질문 주기, 질문 횟수… 1 2
  • 52.
    챗봇 설계도 만들기 52 서브토픽아래에 세부질문이 될만한 것들을, 답변형태를 고려하며 리스팅한다 중요한 것은 이 단계에서 모든 경우의 수나 스크립트를 꼼꼼히 짤 필요가 없다는 점이다 1
  • 53.
    53 Chatfuel의 저작 인터페이스는나름 직관적이라, 초심자도 쉽게 작업이 가능하다 설계도를 Chatfuel의 인터페이스에 적합하게 만들었기에, 작업도 효율적으로 가능하다 챗봇 저작툴로 ‘대화’ 만들기 2
  • 54.
    54 Chatfuel의 저작 인터페이스는나름 직관적이라, 초심자도 쉽게 작업이 가능하다 설계도를 Chatfuel의 인터페이스에 적합하게 만들었기에, 작업도 효율적으로 가능하다 챗봇 저작툴로 ‘대화’ 만들기 2 설계도에 따라 서브토픽을 입력!
  • 55.
    55 Chatfuel의 저작 인터페이스는나름 직관적이라, 초심자도 쉽게 작업이 가능하다 설계도를 Chatfuel의 인터페이스에 적합하게 만들었기에, 작업도 효율적으로 가능하다 챗봇 저작툴로 ‘대화’ 만들기 2 세부 내용을 ‘대화’로 만들며 챗봇화한다
  • 56.
    56 챗봇으로 하는 조사도결국 ‘대화’다 자연스러운 대화를 되새기며 끊임없이 반복 테스트한다 챗봇 저작툴로 ‘대화’ 만들기 2 • 장문의 카톡은 왠지 센스가 없다: 적당히 끊어주고, 중간중간 쉬어주는 센스를 발휘해보자 • 끊임없는 실시간 테스트: 시퀀스를 나중에 한 번에 확인하기는 매우 어렵다 한 번에 장문으로 묻기보다 조금씩 끊어서 인터액션하며 반응을 살펴본다 끊임없는 테스트가 필요하다
  • 57.
    57 챗봇을 시험하고자 하는욕구, 더욱 친절하게 답변하려는 태도도 때로는 에러를 유발한다 중요한 건, 에러 상황에서 어떻게 대처할 수 있는가에 대한 부분 챗봇 저작툴로 ‘대화’ 만들기 2
  • 58.
    58 충분히 테스트를 끝낸챗봇을 현장에 투입한다 챗봇을 현장에 투입하기 3
  • 59.
    59 ‘장기간’ 사용할 경우에는몇 가지 유용한 기능들이 있다; 브로드캐스트와 실시간 수정 챗봇을 현장에 투입하기 3
  • 60.
    60 결과 추출하고 분석하기 4 대부분의챗봇 저작툴들은 CS 대응을 목적. 따라서 단순 통계 화면만 보여주는 경향이 있다. 심층적인 분석을 위해서는 크로스 플랫폼 API를 연동해 사용자별 데이터를 확인해야 한다.
  • 61.
    61 결과 추출하고 분석하기 4 대부분의챗봇 저작툴들은 CS 대응을 목적. 따라서 단순 통계 화면만 보여주는 경향이 있다. 심층적인 분석을 위해서는 크로스 플랫폼 API를 연동해 사용자별 데이터를 확인해야 한다.
  • 62.
    62 결과 추출하고 분석하기 4 크로스플랫폼 API인 Flow XO를 활용해 구글 스프레드 시트에서 데이터를 모아볼 수 있다. Flow XO API 사용하기 구글 스프레스 시트 만들고 데이터 속성을 순서대로 행에 기입한다 Webhook&HTTP 블록과 구글 시트 블록 을 추가한다 Flow를 On 상태로 바꾼다 Json API 플러그인을 추가한다 1 2 3 4
  • 63.
    63 결과 추출하고 분석하기 4 FlowXO와연동되어 있는 구글스프레드시트에서 기술 통계를 확인할 수 있다
  • 64.
    RECIPE + TIPS! 64 챗봇설계도 만들기 1 챗봇 저작툴로 ‘대화’ 만들기 2 챗봇을 현장에 투입하기 3 결과 추출하고 분석하기 4 •개별스크립트보다 top-down 방식으로 •설계도를 잘 만들어야 저작도 쉽다 •챗봇 조사는 “대화”다; 단문, 포지셔닝… •에러대응이 핵심 •용도에 따라 크로스플랫폼 활용(flowXO) •in-situ 조사를 위해 브로드캐스트 활용 •같은 질문을 다른 상황에 하고 싶을 때
  • 65.
    마치며: 챗봇 인터뷰의미래는…? 65 현재의 저작툴로 만든 챗봇은 “많이 기대하지 않는다면” 가성비가 있는 조사 도구다 지능을 빌린 챗봇을 만들기 위해서 재료를 모으는 단계, 당분간 쓸모있는 솔루션일지도? https://developer.ibm.com/kr/cloud/bluemix/2016/11/09/chatbot_reference_watson_blx/?cm_mmc=PSocial_Facebook-_-IBM+Cloud_Bluemix+Program-_-KR_KR-_- PSocial+FB+For+Bluemix+Chatbot&cm_mmca1=000005CN&cm_mmca2=10000964
  • 66.
    3Watson Conversation을 활용한인터뷰 분석 왓슨을 동료처럼 김민준 김유정 윤종묵
  • 67.
    질적 데이터 분석은사금을 골라내는 일 67 우리는 많은 양에 압도당하고, 반복적인 분류 작업에 지치고, 심지어 결과에 대해서는 의심당하기도 한다 망망대해 같은 인터뷰 데이터 속에서 분석을 해내는 것은 사금을 골라내는 작업 만큼이나 지난한 과정이다
  • 68.
    인공지능, 기성제품화 되다 68 전통적으로질적 분석은 데이터를 늘어놓고 인간의 예리한 눈으로 하나씩 골라내는 작업 오랜 시간이 걸리고, 많은 노고가 필요하다 하지만 이제는 AI가 Off-the-shelf 서비스로 제공되는 시대 인터뷰 분석에 기계의 빠른 손을 빌려, 우리의 눈을 대체해본다 원두를 볶고, 커피를 고르고, 끓이는 과정의 패키지화 이제는 마트 선반에서 커피믹스를 손쉽게 고르고 꺼내 쓸 수 있다
  • 69.
    발화 반응 “나 심심해”영화 볼래? “뭐 할 거 없나?” 놀이공원 갈래? “이거 다 썼다” 마트에서 쇼핑할래? “아, 나 살 거 있는데” 백화점 둘러볼래? 69 우리는 말 속에 자연스럽게 ‘의도(intent)’를 숨겨놓는다 때로는 사람-사람 사이에서도 의도를 알아내기 어려울 때가 있는데, AI가 이제는 훈련을 통해 우리의 의도를 읽어낼 수 있다 숨겨진 의도Intent를 찾아내는 것
  • 70.
    숨겨진 의도Intent를 찾아내는것 70 발화 숨겨진 의도(intent) 반응 “나 심심해” 할 것 좀 추천해줘 영화 볼래? “뭐 할 거 없나?” 놀이공원 갈래? “이거 다 썼다” 쇼핑하러 가야해 마트에서 쇼핑할래? “아, 나 살 거 있는데” 백화점 둘러볼래? 우리는 말 속에 자연스럽게 ‘의도(intent)’를 숨겨놓는다 때로는 사람-사람 사이에서도 의도를 알아내기 어려울 때가 있는데, AI가 이제는 훈련을 통해 우리의 의도를 읽어낼 수 있다
  • 71.
    의도Intent를 읽어내는 WatsonConversation 71 Watson Conversation은 발화에 대해 숨겨진 의도를 훈련하면, 비슷한 의도를 가진 다른 말을 골라낼 수 있다 따라서, 왓슨으로 인터뷰를 분석하려면 ’의도가 담긴 사용자의 말’을 획득하는 게 필수적이다 발화 숨겨진 의도(intent) 반응 “나 심심해” 할 것 좀 추천해줘 영화 볼래? “뭐 할 거 없나?” 놀이공원 갈래? “이거 다 썼다” 쇼핑하러 가야해 마트에서 쇼핑할래? “아, 나 살 거 있는데” 백화점 둘러볼래? 왓슨에게 트레이닝 시킨다
  • 72.
    발화 숨겨진 의도(intent)반응 “나 심심해” 할 것 좀 추천해줘 영화 볼래? “뭐 할 거 없나?” 놀이공원 갈래? “이제 뭐하지?” “이거 다 썼다” 쇼핑하러 가야해 마트에서 쇼핑할래? “아, 나 살 거 있는데” 백화점 둘러볼래? “이거 살 때 됐어” 의도Intent를 읽어내는 Watson Conversation 72 Watson Conversation은 발화에 대해 숨겨진 의도를 훈련하면, 비슷한 의도를 가진 다른 말을 골라낼 수 있다 따라서, 왓슨으로 인터뷰를 분석하려면 ’의도가 담긴 사용자의 말’을 획득하는 게 필수적이다 왓슨이 자동 분류 왓슨이 자동 분류
  • 73.
    RECIPE 73 의도가 담긴 발화수집하기 1 왓슨 훈련 준비하기(Training Set) 2 왓슨을 훈련시키기(Training) 3 왓슨 솎아주기(On-the-fly Adjusting) 4 결과 분석하기 5
  • 74.
    의도가 담긴 발화수집하기 74 분석에 용이한 표현을 수집하기 위해서는 의도가 잘 드러나야 한다 데이터 수집 시 질문을 잘 디자인할 필요가 있다 1
  • 75.
    의도가 담긴 발화수집하기 75 구글 번역기를 사용합니다 tip: 구글 번역기를 직접 이용하거나 구글 시트의 =GOOGLETRANSLATE() 함수 이용 1 임시방편이지만 그래도 쓸만해요
  • 76.
    76 전체 코드의 10%만코딩하자! 인텐트를 뽑기위한 중간 단계로서, 발화에 대한 일종의 ‘인수분해’ 왓슨 훈련 준비하기(Training Set) 2 #여러분의_인스타를_떠올리며 #해시태그_실력발휘 #요즘_이정도도_못하면_안되잖아요
  • 77.
    77 왓슨 훈련 준비하기(TrainingSet) 2 인수분해 후에는 비슷한 것끼리 그루핑한다 1개의 의도(intent)에 적어도 5개 이상의 발화가 포함되는 게 좋다 다다익선 vs. 시간/노력, 밸런싱은 여러분의 몫 #remind_me #context_aware #improve #realistic #recommend #skip #tailored 6 8 6 9 12 9 10
  • 78.
  • 79.
    79 왓슨 솎아주기(On-the-fly Adjusting) 4 2 1 왓슨은아직 “배우는 중”이라는 걸 잊어선 안 된다 믿을 수 있을 때까지 합을 맞춰보자
  • 80.
    80 왓슨 솎아주기(On-the-fly Adjusting) 4 왓슨이“모르겠어요” 라고 할 때가 있다 (1) 다시 가르쳐준다: “왓슨아, 그거 #context_aware야” (2) 새롭게 가르쳐준다: “새로 #summarize 인텐트를 만들어서 알려줘야겠다”
  • 81.
    81 결과 분석하기 5 인텐트 분류컨피던스 분석 센티멘트 분석 60개로 600개를 분류 결과에 대한 왓슨의 자신감 어떤 의도에 어떤 감정
  • 82.
    82 결과 분석하기 5 왓슨, 이건잘못했다 왓슨, 잘했어! 트레이닝을 위한 ‘나’의 코딩/분류 “광고나 소음 지나치게 큰 음악소리 등을 알아서 걸러주고 듣고 싶은 소리만 명확하게 들을수 있게해주면 좋겠다" “TV로 카톡 내용을 보고싶어"
  • 83.
    83 결과 분석하기 5 인텐트 분류 전체중에 10% 정도 되는구나 맞춤형에 대한 요구사항 눈여겨봐야겠네 컨피던스 분석 67.2%: ’명료한 의도’를 가지고 있는 발화가 대부분이라면, 굉장히 강하고 뚜렷한 요구사항일 가능성이 있네 도메인, 지식, 경험, 현장에서의 느낌을 바탕으로 해석하기 해석이야말로 가장 중요한 “인간의 일” 컨피던스 분석 1위: 기쁨 / 2위: 슬픔 이렇게 되면 좋겠다 + 이런 게 안돼서 짜증 양방향 감정이 있는 건가보다
  • 84.
    84 RECIPE + TIPS! 의도가담긴 발화 수집하기 1 왓슨 훈련 준비하기 2 왓슨을 훈련시키기 3 왓슨 솎아주기 4 결과 분석하기 5 •인공지능이 잘하는 분석에 맞는 재료를 모으자 •왓슨 한글서비스까지… 구글 번역기를 쓴다 •confidence 값은 참고용: 낮다고 무조건 틀린 것은 아니다 • 높은 것들은 그만큼 ‘명확한 의도’ •전체의 10% 정도, 인수분해! •발화에서 행동과 의도를 파악하기 (광고가 싫다 vs. 스킵하기) •인텐트는 서로 겹치지 않도록 •최소 5개 이상; 다다익선 •분석 불가 예시에 대해 리뷰할 필요 (빠진 코드가 있을 수 있음) •유목별 중요도, 감정의 파악
  • 85.
    어떤 상황, 어떤태도, 어떤 범위에서? 85 왓슨이 도울 수 있는 것: 반복적인 대량의 인터뷰 데이터 코딩 하지만 만능 툴은 아니고, 어떤 상황에서나 쓸 수 있는 것도 아니다 아래의 이슈들을 통해 상황, 태도, 범위를 결정하자 유용함 1. 영어 번역 •시간이 해결해준다(왓슨이 한국어 서비스 준비) •기계번역이 점점 나아지고 있음 •실제로 테스트 했을 때 어느 정도의 결과를 보임 2. 인터뷰 데이터 자체의 문제 •비문(번역과도 연결) -> 인터뷰 전사 시의 이슈 •맞춤법, 비문 등에 대해 약간은 가공할 필요 기술적 이슈 문화적/윤리적 이슈 1. 결과 신뢰의 믿음의 문제 •믿을 것인가 말 것인가 •어디까지 믿을 것인가, 언제 믿을 수 있는가 •왓슨은 무엇인가(?)에 대한 이슈: 조수? 동료? 2. 인터뷰 분석의 의미에 대한 재고찰 •과정의 투명성이 없음 •인터뷰를 분석하는 과정에서 생기는 인사이트 간과 •인터뷰 분석은 때론 단하나로부터 나오기도 하는 특수성
  • 86.
  • 87.
    인공지능과의 협업이란건… 87 1. 레시피는‘인간이 할 일’과 ‘인공 지능 이 할 일’로 나뉘어져 있다. 인공지능이 모든 걸 다 해결해 줄 수는 없다. 2. 인공지능을 쓴다는 건 기존의 도구들 을 쓰는 것과 크게 다르다. 과정과 단계를 조절할 수 없는 대신, 좋은 재료 넣기와 기계를 얼마나 돌릴지만 정의할 수 있다. 3. 인공지능은 과정을 은닉(hidden) 한 다. 과정에서 소외되면 사람은 결과에 대 해 판단하기 어렵다. 연구자들은 짧은 의 심 후 근거 없는 맹신의 상태에 들어가게 된다. HCI 연구자로서 우리는 그 모멘트 를 어떻게 디자인 할 것인가? 짧은 의심 후 긴 맹신 그 pivoting moment 재료 결과
  • 88.
    사용자경험 연구실 김유정 D-409,145, Gwanggyo-ro, Suwon-si, Gyeonggi-do +82 10 - 3830 - 1297 tendtoyj@snu.ac.kr THANK YOU End of the document