이제 우리는 스마트폰과 웨어러블을 통해
매일매일의 생활을 데이터로 추적할 수 있습니다.
이 데이터를 진료실에서 활용할 수 있다면 어떨까요?
매일 먹는 약처럼, 의사가 “일주일간 매일 만 보 이상 걸으세요”라는
데이터 목표를 처방한다면 생활습관을 효과적으로 개선할 수 있지 않을까요?
환자와 의사 모두에게 새로운 경험이 될 데이터 처방을 현실화하려면,
데이터를 수집하고, 공유하고, 검토할 수 있도록 돕는 시스템이 필요합니다.
이 프로젝트는 3년 동안 데이터 처방을 위한 시스템을
사용자 중심적으로 설계/개발/평가함으로써,
궁극적으로 진료실 경험을 혁신하는 것을 목표로 진행되었습니다.
이제 우리는 스마트폰과 웨어러블을 통해
매일매일의 생활을 데이터로 추적할 수 있습니다.
이 데이터를 진료실에서 활용할 수 있다면 어떨까요?
매일 먹는 약처럼, 의사가 “일주일간 매일 만 보 이상 걸으세요”라는
데이터 목표를 처방한다면 생활습관을 효과적으로 개선할 수 있지 않을까요?
환자와 의사 모두에게 새로운 경험이 될 데이터 처방을 현실화하려면,
데이터를 수집하고, 공유하고, 검토할 수 있도록 돕는 시스템이 필요합니다.
이 프로젝트는 3년 동안 데이터 처방을 위한 시스템을
사용자 중심적으로 설계/개발/평가함으로써,
궁극적으로 진료실 경험을 혁신하는 것을 목표로 진행되었습니다.
Getting User's Attention in Web Apps in Likable, Minimally Annoying WaysHyesoo Yoo
웹 애플리케이션에서 어떤 프레젠테이션 스타일이 효과적으로 사용자의 주의를 끄는가?
선행 연구를 기반으로 15가지 프젠 스타일을 추출한 후, 유저 스터디를 통해 user’s attention, their likability, recall of information을 알아봄으로써 효과적인 프젠 스타일을 비교해본 연구
2020년 서울시에서 주최한 강소기업탐방 프로그램에서 발표한 자료 입니다.
학교를 졸업하고 software engineer로 취직을 하기까지의 여정을 다뤘습니다
1. 개발자가 나에게 맞을지 고민하기 위한 방법
2. 개발자로 취직하기 (이력서/면접 준비 팁)
3. 개발자로 취직한 후 우리가 하는 일
Social AI ‘핑퐁’의 개발 과정과 각 단계에서 AI 디자이너가 하는 일에 대해 소개합니다.
--------------------------------
<목차>
1. AI 디자이너의 일
1) 기술 디자인
2) 제품 디자인
2. 핑퐁의 사례로 알아보는 AI 디자이너의 일
1) 제품 디자인: 드림이봇
2) 기술 디자인: Multi-turn Reaction model
Getting User's Attention in Web Apps in Likable, Minimally Annoying WaysHyesoo Yoo
웹 애플리케이션에서 어떤 프레젠테이션 스타일이 효과적으로 사용자의 주의를 끄는가?
선행 연구를 기반으로 15가지 프젠 스타일을 추출한 후, 유저 스터디를 통해 user’s attention, their likability, recall of information을 알아봄으로써 효과적인 프젠 스타일을 비교해본 연구
2020년 서울시에서 주최한 강소기업탐방 프로그램에서 발표한 자료 입니다.
학교를 졸업하고 software engineer로 취직을 하기까지의 여정을 다뤘습니다
1. 개발자가 나에게 맞을지 고민하기 위한 방법
2. 개발자로 취직하기 (이력서/면접 준비 팁)
3. 개발자로 취직한 후 우리가 하는 일
Social AI ‘핑퐁’의 개발 과정과 각 단계에서 AI 디자이너가 하는 일에 대해 소개합니다.
--------------------------------
<목차>
1. AI 디자이너의 일
1) 기술 디자인
2) 제품 디자인
2. 핑퐁의 사례로 알아보는 AI 디자이너의 일
1) 제품 디자인: 드림이봇
2) 기술 디자인: Multi-turn Reaction model
- 소개
2018년 11월 2일, Tech Meets Startup 발표자료
http://tech-startup.kr/
- 발표 제목: 님아 제발 그 강을 건너지 마오 - 기술 스타트업과 돈의 강
- 발표자: Lablup 신정규 대표
- 내용: Backend.AI를 만드는 래블업이 '기술 스타트업을 하면서도 어떻게 (아직) 망하지 않았는가?'에 대해, 제품개발과 투자유치, 시장진입의 연동 관점에서 경험을 소개합니다.
SK Planet에서 주최한 TechPlanet 2012에서 발표했던 자료입니다. 소셜 큐레이션 서비스에 대한 간략한 소개와 관련 기술, 향후 전망 등을 담고 있습니다.
! 정정합니다. 32페이지의 pypi install ... 은 pip install 이 올바른 코드입니다.
Prescribing 10,000 Steps Like Aspirin: Designing a Novel Interface for Data-D...Myuserable
Due to the prevalence of personal health tracking, cases of self-logged data being utilized in the clinic are gradually increasing. However, obstacles to clinicians' ability to further adopt such data-driven medical consultations in the existing workflow remain, such as lack of time and poor interoperability. In this paper, we conducted a workshop to design a clinician interface supporting the integration of data-driven consultation into the existing workflow and investigate the role of the interface in situ. After implementing the clinician interface designed based on the workshop results, we observed 32 cases of actual use within the clinical context. We found that our interface, DataMD, helped the clinician construct a new workflow, enhanced the clinician's counseling skills, and facilitated more in-depth conversation. This paper contributes to empirically identifying the role of a clinician interface through a user-centered design approach.
“My Doctor is Keeping an Eye on Me!”: Exploring the Clinical Applicability of...Myuserable
By enabling people to track their lifestyles, including activity level, sleeping, and diet, technology helps clinicians to treat patients suffering from "lifestyle diseases." However, despite its importance compared to other lifestyle factors, it is not easy to record food intake consistently. Although researchers have attempted to solve this problem, most have not considered its applicability in the clinical context. In this paper, we aim to (1) understand food-journaling practices and (2) explore the applicability of lifestyle data in the clinical context. By observing 20 patients who recorded data including food logs, steps, and sleeping time, we found that patients recorded their food logs diligently, as they were conscious of clinicians. Clinicians were surprised by the high adherence rate of journaling and tried to overlap food data with other data, such as steps, sleeping time, etc. This paper contributes by providing qualitative insights for designing applicable strategies utilizing lifestyle data in the clinical context.
Exploring the Clinical Applicability of Lifestyle DataMyuserable
This study explored using patient-logged food data in clinical contexts. Researchers developed a mobile food logging app and conducted a field study with 6 clinicians and 20 patients over 60 days. They found that (1) clinicians encouraged patients' food journaling but lacked confidence in using the data, (2) patients provided detailed logs when they knew clinicians would view them, and (3) overlapping food and activity/sleep data gave clinicians a more holistic view of patients' lifestyles. The study demonstrated the potential for patient-generated lifestyle data to inform care if presented to clinicians in a usable way. Future work aims to further integrate such data into clinical workflows and decision-making.
Towards the Design of a Ring Sensor-based mHealth System to Achieve Optimal M...Myuserable
This document discusses the design of a ring sensor-based mobile health system to improve motor function in stroke survivors. Key points:
- Over 800,000 people in the US have strokes each year, more than the population of Seattle. Outpatient rehabilitation is important but functional improvements often do not last without continued use of the affected limb at home.
- The proposed system uses ring sensors with accelerometers to quantitatively measure motor tasks and finger/wrist movement. A study of 25 stroke survivors found finger-worn sensors captured more clinically relevant information than wrist-worn sensors.
- Qualitative interviews with stroke survivors and therapists provided requirements for an mHealth system to encourage affected limb use through goal setting,
스마트폰을 넘어 이제 인공지능 이야기가 나오는 시대인데도
여전히 축의 경험은 전통적입니다. 현금을 인출하고 봉투에 넣고…
위시리스트가 있다면 직접 선물을 사주면 되지 않을까요?
하지만 한 사람이 선물할 수 있는 물품의 액수는 대체로 비슷하기에,
이 방식을 택한다면 신랑신부는 중저가의 물품만을
위시리스트에 올려야 할테지요.
그렇다면, 신랑신부가 어떤 물품이든 구매할 수 있도록
선물에 자유롭게 펀딩해볼 수 있다면 어떨까요?
신랑신부는 가격과 상관없이 원하는 물품을 리스트에 올릴 수 있으며
하객들은 축의금에 대한 컨트롤 권한—어디에 얼마를 쓸지—을 갖게 됩니다.
이 서비스는 이처럼 새로운 축의경험을 만들기 위해 기획 및 개발되었고
2개월 가량 실제로 운영되며 사용자들에게 전에없던 경험을 제공하였습니다.
누가 메시지를 보내느냐에 따라 효과와 느낌이 달라질까?
많은 서비스에서 챗봇 기술을 도입하려는 시도가 늘고 있습니다. 챗봇의 퍼소나(Persona)를 어떻게 설정해야 하는지에 대해서는 많은 고민이 있지만, 여전히 답은 모호합니다. 챗봇 서비스가 도입될 서비스의 종류에 따라, 예상 사용자에 따라 선호도나 효과에 큰 차이가 있기 때문이죠. 예를 들면, 쇼핑과 같은 서비스에서는 가벼운 말투나 즐거움이 강조되어야 하는 반면, 교육이나 금융, 건강 분야에서는 신뢰도를 높이는 것이 중요할 수 있습니다. 이 연구에서는 헬스케어 분야에서 어떤 챗봇 에이전트가 메시지를 보내는 것이 사용자에게 선호되는지, 에이전트 종류에 따라 메시지 효과가 달라지는지를 실험 방법을 통해 확인해봅니다.
4. 리프레이머
4
지난 1년을 돌이켜보자. 우리는 정말 ‘포스트잇’을 넘어섰을까?
리프레이머는 현장에서 정말 많이 사용했다. 질적 분석 시간은 20% 정도 줄어들었을까?
줄어든 시간보다 더 중요한 건 의미 도출 향상과 두려움의 사라짐.
5. 2016, 인공지능이 우리 곁으로
5
2016년은 인공지능 충격의 해, “텐서플로우를 엑셀처럼 쓰는 시대”가 되었다고도 한다.
인공지능을 어떻게 만들고, 다루고, 대비하고… 다양한 논의가 이어진다.
회사도, 학교도, 정부도, 연구소도 ‘인공지능’을 중심으로 연일 화두가 쏟아지고 있다.
6. HCI & 인공지능: 제품 인공지능
6
UX/HCI 분야도 다르지 않다. 화면이 사라지고 에이전트가 강해진 초기 제품들이 등장한다.
우리는 ‘인공지능’을 탑재한 기기와 사용자 사이의 새로운 인터랙션을 어떻게 설계해야 할까?
7. #인공지능 #사용자경험을 #도울수있을까
하지만, 우리는 조금 다른 관점: “인공지능이 우리의 일을 덜어줄 수 있지 않을까?
몇 가지 도구들을 중심으로 그 가능성을 찾아보면 어떨까.
7
관찰
맥락질의
퍼르소나
저니맵
정보설계
화면설계
프로토
타이핑
참여디자인
인터뷰 멘탈모델 평가
메타포
패턴
분석 설계
language Speech Vision
Data
Insights
Emb.
Cognition
8. #인공지능 #사용자경험을 #도울수있을까
하지만, 우리는 조금 다른 관점: “인공지능이 우리의 일을 덜어줄 수 있지 않을까?
몇 가지 도구들을 중심으로 그 가능성을 찾아보면 어떨까.
8
인공지능을 조수처럼 챗봇을 구글폼처럼
Watson Alchemy Language를
활용한 Document Analysis
Chatfuel을 이용한 설문조사
왓슨을 동료처럼
Watson Conversation을
활용한 인터뷰 분석
9. Sample Case: TV 시청 경험은 어떻게 변하고 있는가?
9
융합전자에선 빅스크린 TV 판매를 위해 최근 시청경험 변화를 조사하고자 한다.
나홀로족도 많아지고 TV 시청 중 스마트폰을 보는 등 과거와는 시청경험이 확연히 달라졌다.
그리하여, TV 앞 사용자 경험을 제대로 조사해보고자 한다.
11. 나도 조교가 있었으면…
11
우리가 하는 대부분의 데스크 리서치는 일종의 문서 분석(Document Analysis).
대신 읽고, 요점을 말해주는 ‘조수’를 공짜로 고용할 수는 없겠지?
12. 이제는, 누구나, Document Analysis를 자동화
12
시대가 시대인만큼 이제는 적은 노력으로 지능적인 소프트웨어의 힘을 빌릴 수 있다
content
analysis
statistical
analysis
manual automatic
manual
coding
QDAS
Text Mining
Intelligent
Software
수동 분석은..
Watson,
can you help me?
자동화 가능하지만…
이현정. “오프 더 셸프(Off-the-shelf) 인공지능 서비스를 활용한 질적분석 작업의 사용자 경험 연구 : 자동 키워드 추출의 사용성 · 수용성 평가를 중심으로” 서울대학교 융합과학기술대학원 석사학위 논문. 2017.
18. 정보원 선별하기
18
Document Analysis의 핵심은, 좋은 정보를 골라내서 왓슨에게 던지는 것
두 가지 기준에 따라 정보원을 선택해본다: “나는 어떤 정보를 찾고 싶은 걸까?”
1
time-critical
time-neutral
opinion-driven fact-driven
블로그
칼럼
소설
인터뷰
수필
기사
특허
기준 정보 판단
관점 필요 vs. 사실 필요
최신 정보 vs. 다양한 정보
1
2
19. 특허
정보원 선별하기
19
Document Analysis의 핵심은, 좋은 정보를 골라내서 왓슨에게 던지는 것
두 가지 기준에 따라 정보원을 선택해본다: “나는 어떤 정보를 찾고 싶은 걸까?”
1
time-critical
time-neutral
opinion-driven fact-driven
블로그
칼럼
소설
인터뷰
수필
기사
정보원 선별 기준
공신력 (e.g. Forbes, Guardian, NYtimes)
전문성 (e.g. Techtimes, TV technology)
1
2
20. 20
구글에서의 ‘메타 검색’은 정보원의 특성을 사라지게 하므로
선별한 사이트에서 직접 쿼리를 검색하여 URL을 수집하는 것이 좋다
퀄리티 아티클 수집하기
2
아티클의 URL을 수집
http://www.tvtechnology.com/
thewire/smpte-partners-in-
producing-2017-nab-shows-
future-of-cinema-conference-the-
intersection-of-technology-art--
commerce-in-cinema/7555/view
>
28. 28
키워드 골라내기
4
Watson만의 문제가 아니다.
앞으로, AI를 tool로 이용하고 싶다면 고려해야 할 문제.
“deep”, 의미를 찾고 선별하는 일은 사람에게 쥐어진다.
Manovich, Lev. "Trending: The Promises and the Challenges of Big Social Data." Debates in the Digital Humanities, edited by Matthew K. Gold. The
University of Minnesota Press, forthcoming 2012. http://www.manovich.net/DOCS/ Manovich_trending_paper.pdf
…actually only ethnographers have the “deep” data,
while computer scientists have only “shallow” data.
— Lev Manovich, 2012
“
”
29. 29
키워드 골라내기
4
이제 우리의 일은 과거와는 달라진다.
수많은 AI 키워드를 선별하는 거름망을 만드는 것이다.
A.I. 나
#나라도
“낯설지만 새로운”
검색하고 싶은
#특이한
#식상한
“나라도 선택할”
사전지식에 부합하는
“엄마도 알만한”
상식에 가까운
30. 30
키워드 골라내기
4
이제 우리의 일은 과거와는 달라진다.
수많은 AI 키워드를 선별하는 거름망을 만드는 것이다.
A.I. 나
#나라도
“낯설지만 새로운”
검색하고 싶은
#특이한
#식상한
“나라도 선택할”
사전지식에 부합하는
“엄마도 알만한”
상식에 가까운
#나라도
#특이한
#식상한
34. 정보원 선별하기
1
퀄리티 아티클 수집하기
2
왓슨으로 키워드 추출하기
3
키워드 골라내기
4
RECIPE + TIPS!
•목적이 무엇인지 명료하게; 팩트, 의견, 상상…
•얕고 넓게 찾는 건 기계의 일, 인간의 일은
좋은 키워드를 고르는 일
•돋보기를 쥐고 해석으로 나아가는 것
34
•성실하지만 우둔한…
•기계의 능력이 무엇인지 이해하기
•‘좋은 재료’여야 ‘좋은 요리’를 만들 수 있다
•메타검색보다 소스 머티리얼은 직접 검색
37. 챗봇에 대한 과장된 기대(hype)
요즘 챗봇, 마치 모든 것을 다 해줄 것 같지만, 정말 그럴까?
37
38. 챗봇에 대한 과장된 기대(hype)
요즘 챗봇, 마치 모든 것을 다 해줄 것 같지만, 정말 그럴까?
아직 지능이 담보되지 않은 챗봇의 역할은 한정적이다
38
39. 그럼에도 불구하고… 일반 설문보다 낫다고?
설문이 줄 수 없는 몇 가지 장점들과 가능성도 있다
39
40. 그럼에도 불구하고… 일반 설문보다 낫다고?
설문이 줄 수 없는 몇 가지 장점들과 가능성도 있다
40
귀여운 설문봇; 높은 접근성
•메신저 대화가 보편적인 시대
•‘귀여운’ 채팅봇이 낮추는 장벽
41. 그럼에도 불구하고… 일반 설문보다 낫다고?
설문이 줄 수 없는 몇 가지 장점들과 가능성도 있다
41
귀여운 설문봇; 높은 접근성 사진, 위치, 영상; 답변 모달리티
•메신저 대화가 보편적인 시대
•‘귀여운’ 채팅봇이 낮추는 장벽
• GPS, 이미지, 영상…등 다양한 양식
• 기존 설문 폼과는 다른 ‘답변’ 유도
42. 그럼에도 불구하고… 일반 설문보다 낫다고?
설문이 줄 수 없는 몇 가지 장점들과 가능성도 있다
42
귀여운 설문봇; 높은 접근성 사진, 위치, 영상; 답변 모달리티
•메신저 대화가 보편적인 시대
•‘귀여운’ 채팅봇이 낮추는 장벽
• GPS, 이미지, 영상…등 다양한 양식
• 기존 설문 폼과는 다른 ‘답변’ 유도
바로 그때; In-situ
•현장의 경험을 바로 채집
•“채팅”의 침투 용이성
43. 그럼에도 불구하고… 일반 설문보다 낫다고?
설문이 줄 수 없는 몇 가지 장점들과 가능성도 있다
43
귀여운 설문봇; 높은 접근성 사진, 위치, 영상; 답변 모달리티
•메신저 대화가 보편적인 시대
•‘귀여운’ 채팅봇이 낮추는 장벽
• GPS, 이미지, 영상…등 다양한 양식
• 기존 설문 폼과는 다른 ‘답변’ 유도
바로 그때; In-situ
•현장의 경험을 바로 채집
•“채팅”의 침투 용이성
관심 집중; 지능화 가능성
•유연하게 대응 가능
•AI 엔진은 지속적으로 발전
44. 챗봇을 만드는 두 가지 방향
왓슨 같은 인공지능 플랫폼의 지능을 빌리는 방법과 룰베이스로 저작도구를 사용하는 방식
44
인공지능 엔진 사용
Q. 어떤 챗봇을, 누가, 어떻게, 얼마만에 만들어야 하나?
기존 챗봇 저작도구 사용
vs
•유연하게, 상대적으로 지능적인 대응 가능
•기존 플랫폼 API 연결 등 작업자 숙련도 필요
•특화된 조사 위해서는 특화된 데이터 필요
•아직은 활용가능한 엔진이 제한적
•직관적으로 별다른 스킬없이 저작 가능
•1시간만에도 완성할만큼 빠른 저작 가능
•다양한 저작툴, 선택지 많음
•룰베이스로 제한적인 대응
45. 챗봇을 만드는 두 가지 방향
왓슨 같은 인공지능 플랫폼의 지능을 빌리는 방법과 룰베이스로 저작도구를 사용하는 방식
45
인공지능 엔진 사용
Q. 어떤 챗봇을, 누가, 어떻게, 얼마만에 만들어야 하나?
기존 챗봇 저작도구 사용
vs
•유연하게, 상대적으로 지능적인 대응 가능
•기존 플랫폼 API 연결 등 작업자 숙련도 필요
•특화된 조사 위해서는 특화된 데이터 필요
•아직은 활용가능한 엔진이 제한적
•직관적으로 별다른 스킬없이 저작 가능
•1시간만에도 완성할만큼 빠른 저작 가능
•다양한 저작툴, 선택지 많음
•룰베이스로 제한적인 대응
46. 챗봇을 저작하는 여러 플랫폼
여러 기준이 있지만 작업자 능숙도와 저작 용이성이 가장 크리티컬
46
선정기준
api.ai flow XO motion.ai text.it sequel chatfuel
작업자 능숙도
코딩이
필요없는가? x △ ○ ○ ○ ○
인터뷰이의
메신저 접근성
지원 메신저
다양한가? ○ ○ ○ ○ ○ 페이스북 메신저
특화
답변 양식
다양한
답변 형식이
제공되는가?
○ x ○ x ○ ○
저작 용이성
저작 과정이
간단한가? x ○ x ○ △ ○
결과 정리
응답자별 데이터
추출이 가능한가? ○ ○ ○ ○ ○ ○
2017.2.8. 기준
<저작툴별 특징>
47. Chatfuel로 TV 시청행태를 조사하는 챗봇 만들기
47
빅스크린 TV 시청행태
Chatfuel Chatbot
Chatfuel로 코딩할 필요 없이, 쉽고 빠르게 챗봇을 만들 수 있다!
50. 챗봇 설계도 만들기
50
1
시청 동기 시청 대상 시청 맥락 감정반응 잠재니즈
시청여부
시청자 정보
안내 및 인사
하나씩 스크립트를 쓰는 bottom-up 방식보다,
서브토픽을 먼저 정하고, 관계를 정의하는 top-down 방식이 더 적합하다
챗봇 설계도 고려사항 두 가지
서브토픽 고민하기: 시청자 정보, 시간, 맥락…
1
51. 챗봇 설계도 만들기
51
하나씩 스크립트를 쓰는 bottom-up 방식보다,
서브토픽을 먼저 정하고, 관계를 정의하는 top-down 방식이 더 적합하다
1
시청 동기 시청 대상 시청 맥락 감정반응 잠재니즈
시청여부
시청자 정보
안내 및 인사
최초 1회
if. 부정적
if. 특정 목적 없을 경우
if. 특정 목적
있는 경우
최초 1회
챗봇 설계도 고려사항 두 가지
서브토픽 고민하기: 시청자 정보, 시간, 맥락…
관계 설정하기: 질문 순서, 질문 주기, 질문 횟수…
1
2
52. 챗봇 설계도 만들기
52
서브토픽 아래에 세부질문이 될만한 것들을, 답변형태를 고려하며 리스팅한다
중요한 것은 이 단계에서 모든 경우의 수나 스크립트를 꼼꼼히 짤 필요가 없다는 점이다
1
53. 53
Chatfuel의 저작 인터페이스는 나름 직관적이라, 초심자도 쉽게 작업이 가능하다
설계도를 Chatfuel의 인터페이스에 적합하게 만들었기에, 작업도 효율적으로 가능하다
챗봇 저작툴로 ‘대화’ 만들기
2
54. 54
Chatfuel의 저작 인터페이스는 나름 직관적이라, 초심자도 쉽게 작업이 가능하다
설계도를 Chatfuel의 인터페이스에 적합하게 만들었기에, 작업도 효율적으로 가능하다
챗봇 저작툴로 ‘대화’ 만들기
2
설계도에 따라 서브토픽을 입력!
55. 55
Chatfuel의 저작 인터페이스는 나름 직관적이라, 초심자도 쉽게 작업이 가능하다
설계도를 Chatfuel의 인터페이스에 적합하게 만들었기에, 작업도 효율적으로 가능하다
챗봇 저작툴로 ‘대화’ 만들기
2
세부 내용을 ‘대화’로 만들며 챗봇화한다
56. 56
챗봇으로 하는 조사도 결국 ‘대화’다
자연스러운 대화를 되새기며 끊임없이 반복 테스트한다
챗봇 저작툴로 ‘대화’ 만들기
2
• 장문의 카톡은 왠지 센스가 없다: 적당히 끊어주고, 중간중간 쉬어주는 센스를 발휘해보자
• 끊임없는 실시간 테스트: 시퀀스를 나중에 한 번에 확인하기는 매우 어렵다
한 번에 장문으로 묻기보다
조금씩 끊어서 인터액션하며
반응을 살펴본다
끊임없는 테스트가 필요하다
57. 57
챗봇을 시험하고자 하는 욕구, 더욱 친절하게 답변하려는 태도도 때로는 에러를 유발한다
중요한 건, 에러 상황에서 어떻게 대처할 수 있는가에 대한 부분
챗봇 저작툴로 ‘대화’ 만들기
2
60. 60
결과 추출하고 분석하기
4
대부분의 챗봇 저작툴들은 CS 대응을 목적. 따라서 단순 통계 화면만 보여주는 경향이 있다.
심층적인 분석을 위해서는 크로스 플랫폼 API를 연동해 사용자별 데이터를 확인해야 한다.
61. 61
결과 추출하고 분석하기
4
대부분의 챗봇 저작툴들은 CS 대응을 목적. 따라서 단순 통계 화면만 보여주는 경향이 있다.
심층적인 분석을 위해서는 크로스 플랫폼 API를 연동해 사용자별 데이터를 확인해야 한다.
62. 62
결과 추출하고 분석하기
4
크로스 플랫폼 API인 Flow XO를 활용해
구글 스프레드 시트에서 데이터를 모아볼 수 있다.
Flow XO API 사용하기
구글 스프레스 시트 만들고 데이터 속성을
순서대로 행에 기입한다
Webhook&HTTP 블록과 구글 시트 블록
을 추가한다
Flow를 On 상태로 바꾼다
Json API 플러그인을 추가한다
1
2
3
4
64. RECIPE + TIPS!
64
챗봇 설계도 만들기
1
챗봇 저작툴로 ‘대화’ 만들기
2
챗봇을 현장에 투입하기
3
결과 추출하고 분석하기
4
•개별스크립트보다 top-down 방식으로
•설계도를 잘 만들어야 저작도 쉽다
•챗봇 조사는 “대화”다; 단문, 포지셔닝…
•에러대응이 핵심
•용도에 따라 크로스플랫폼 활용(flowXO)
•in-situ 조사를 위해 브로드캐스트 활용
•같은 질문을 다른 상황에 하고 싶을 때
65. 마치며: 챗봇 인터뷰의 미래는…?
65
현재의 저작툴로 만든 챗봇은 “많이 기대하지 않는다면” 가성비가 있는 조사 도구다
지능을 빌린 챗봇을 만들기 위해서 재료를 모으는 단계, 당분간 쓸모있는 솔루션일지도?
https://developer.ibm.com/kr/cloud/bluemix/2016/11/09/chatbot_reference_watson_blx/?cm_mmc=PSocial_Facebook-_-IBM+Cloud_Bluemix+Program-_-KR_KR-_-
PSocial+FB+For+Bluemix+Chatbot&cm_mmca1=000005CN&cm_mmca2=10000964
67. 질적 데이터 분석은 사금을 골라내는 일
67
우리는 많은 양에 압도당하고, 반복적인 분류 작업에 지치고,
심지어 결과에 대해서는 의심당하기도 한다
망망대해 같은 인터뷰 데이터 속에서 분석을 해내는 것은
사금을 골라내는 작업 만큼이나 지난한 과정이다
68. 인공지능, 기성제품화 되다
68
전통적으로 질적 분석은 데이터를 늘어놓고 인간의 예리한 눈으로 하나씩 골라내는 작업
오랜 시간이 걸리고, 많은 노고가 필요하다
하지만 이제는 AI가 Off-the-shelf 서비스로 제공되는 시대
인터뷰 분석에 기계의 빠른 손을 빌려, 우리의 눈을 대체해본다
원두를 볶고, 커피를 고르고, 끓이는 과정의 패키지화
이제는 마트 선반에서 커피믹스를 손쉽게 고르고 꺼내 쓸 수 있다
69. 발화 반응
“나 심심해” 영화 볼래?
“뭐 할 거 없나?” 놀이공원 갈래?
“이거 다 썼다” 마트에서 쇼핑할래?
“아, 나 살 거 있는데” 백화점 둘러볼래?
69
우리는 말 속에 자연스럽게 ‘의도(intent)’를 숨겨놓는다
때로는 사람-사람 사이에서도 의도를 알아내기 어려울 때가 있는데,
AI가 이제는 훈련을 통해 우리의 의도를 읽어낼 수 있다
숨겨진 의도Intent를 찾아내는 것
70. 숨겨진 의도Intent를 찾아내는 것
70
발화 숨겨진 의도(intent) 반응
“나 심심해”
할 것 좀 추천해줘
영화 볼래?
“뭐 할 거 없나?” 놀이공원 갈래?
“이거 다 썼다”
쇼핑하러 가야해
마트에서 쇼핑할래?
“아, 나 살 거 있는데” 백화점 둘러볼래?
우리는 말 속에 자연스럽게 ‘의도(intent)’를 숨겨놓는다
때로는 사람-사람 사이에서도 의도를 알아내기 어려울 때가 있는데,
AI가 이제는 훈련을 통해 우리의 의도를 읽어낼 수 있다
71. 의도Intent를 읽어내는 Watson Conversation
71
Watson Conversation은 발화에 대해 숨겨진 의도를 훈련하면,
비슷한 의도를 가진 다른 말을 골라낼 수 있다
따라서, 왓슨으로 인터뷰를 분석하려면 ’의도가 담긴 사용자의 말’을 획득하는 게 필수적이다
발화 숨겨진 의도(intent) 반응
“나 심심해”
할 것 좀 추천해줘
영화 볼래?
“뭐 할 거 없나?” 놀이공원 갈래?
“이거 다 썼다”
쇼핑하러 가야해
마트에서 쇼핑할래?
“아, 나 살 거 있는데” 백화점 둘러볼래?
왓슨에게 트레이닝 시킨다
72. 발화 숨겨진 의도(intent) 반응
“나 심심해”
할 것 좀 추천해줘
영화 볼래?
“뭐 할 거 없나?” 놀이공원 갈래?
“이제 뭐하지?”
“이거 다 썼다”
쇼핑하러 가야해
마트에서 쇼핑할래?
“아, 나 살 거 있는데” 백화점 둘러볼래?
“이거 살 때 됐어”
의도Intent를 읽어내는 Watson Conversation
72
Watson Conversation은 발화에 대해 숨겨진 의도를 훈련하면,
비슷한 의도를 가진 다른 말을 골라낼 수 있다
따라서, 왓슨으로 인터뷰를 분석하려면 ’의도가 담긴 사용자의 말’을 획득하는 게 필수적이다
왓슨이 자동 분류
왓슨이 자동 분류
73. RECIPE
73
의도가 담긴 발화 수집하기
1
왓슨 훈련 준비하기(Training Set)
2
왓슨을 훈련시키기(Training)
3
왓슨 솎아주기(On-the-fly Adjusting)
4
결과 분석하기
5
74. 의도가 담긴 발화 수집하기
74
분석에 용이한 표현을 수집하기 위해서는 의도가 잘 드러나야 한다
데이터 수집 시 질문을 잘 디자인할 필요가 있다
1
75. 의도가 담긴 발화 수집하기
75
구글 번역기를 사용합니다
tip: 구글 번역기를 직접 이용하거나 구글 시트의 =GOOGLETRANSLATE() 함수 이용
1
임시방편이지만
그래도 쓸만해요
76. 76
전체 코드의 10%만 코딩하자!
인텐트를 뽑기위한 중간 단계로서, 발화에 대한 일종의 ‘인수분해’
왓슨 훈련 준비하기(Training Set)
2
#여러분의_인스타를_떠올리며
#해시태그_실력발휘
#요즘_이정도도_못하면_안되잖아요
77. 77
왓슨 훈련 준비하기(Training Set)
2
인수분해 후에는 비슷한 것끼리 그루핑한다
1개의 의도(intent)에 적어도 5개 이상의 발화가 포함되는 게 좋다
다다익선 vs. 시간/노력, 밸런싱은 여러분의 몫
#remind_me
#context_aware
#improve
#realistic
#recommend
#skip
#tailored
6
8
6
9
12
9
10
81. 81
결과 분석하기
5
인텐트 분류 컨피던스 분석 센티멘트 분석
60개로 600개를 분류 결과에 대한 왓슨의 자신감 어떤 의도에 어떤 감정
82. 82
결과 분석하기
5
왓슨, 이건 잘못했다
왓슨, 잘했어!
트레이닝을 위한 ‘나’의 코딩/분류
“광고나 소음 지나치게 큰 음악소리 등을 알아서 걸러주고
듣고 싶은 소리만 명확하게 들을수 있게해주면 좋겠다"
“TV로 카톡 내용을 보고싶어"
83. 83
결과 분석하기
5
인텐트 분류
전체 중에 10% 정도 되는구나
맞춤형에 대한 요구사항 눈여겨봐야겠네
컨피던스 분석
67.2%: ’명료한 의도’를 가지고 있는
발화가 대부분이라면, 굉장히 강하고
뚜렷한 요구사항일 가능성이 있네
도메인, 지식, 경험, 현장에서의 느낌을 바탕으로 해석하기
해석이야말로 가장 중요한 “인간의 일”
컨피던스 분석
1위: 기쁨 / 2위: 슬픔
이렇게 되면 좋겠다 + 이런 게 안돼서 짜증
양방향 감정이 있는 건가보다
84. 84
RECIPE + TIPS!
의도가 담긴 발화 수집하기
1
왓슨 훈련 준비하기
2
왓슨을 훈련시키기
3
왓슨 솎아주기
4
결과 분석하기
5
•인공지능이 잘하는 분석에 맞는 재료를 모으자
•왓슨 한글서비스까지… 구글 번역기를 쓴다
•confidence 값은 참고용: 낮다고 무조건 틀린 것은 아니다
• 높은 것들은 그만큼 ‘명확한 의도’
•전체의 10% 정도, 인수분해!
•발화에서 행동과 의도를 파악하기 (광고가 싫다 vs. 스킵하기)
•인텐트는 서로 겹치지 않도록
•최소 5개 이상; 다다익선
•분석 불가 예시에 대해 리뷰할 필요 (빠진 코드가 있을 수 있음)
•유목별 중요도, 감정의 파악
85. 어떤 상황, 어떤 태도, 어떤 범위에서?
85
왓슨이 도울 수 있는 것: 반복적인 대량의 인터뷰 데이터 코딩
하지만 만능 툴은 아니고, 어떤 상황에서나 쓸 수 있는 것도 아니다
아래의 이슈들을 통해 상황, 태도, 범위를 결정하자
유용함
1. 영어 번역
•시간이 해결해준다(왓슨이 한국어 서비스 준비)
•기계번역이 점점 나아지고 있음
•실제로 테스트 했을 때 어느 정도의 결과를 보임
2. 인터뷰 데이터 자체의 문제
•비문(번역과도 연결) -> 인터뷰 전사 시의 이슈
•맞춤법, 비문 등에 대해 약간은 가공할 필요
기술적 이슈 문화적/윤리적 이슈
1. 결과 신뢰의 믿음의 문제
•믿을 것인가 말 것인가
•어디까지 믿을 것인가, 언제 믿을 수 있는가
•왓슨은 무엇인가(?)에 대한 이슈: 조수? 동료?
2. 인터뷰 분석의 의미에 대한 재고찰
•과정의 투명성이 없음
•인터뷰를 분석하는 과정에서 생기는 인사이트 간과
•인터뷰 분석은 때론 단하나로부터 나오기도 하는 특수성
87. 인공지능과의 협업이란건…
87
1. 레시피는 ‘인간이 할 일’과 ‘인공 지능
이 할 일’로 나뉘어져 있다. 인공지능이
모든 걸 다 해결해 줄 수는 없다.
2. 인공지능을 쓴다는 건 기존의 도구들
을 쓰는 것과 크게 다르다. 과정과 단계를
조절할 수 없는 대신, 좋은 재료 넣기와
기계를 얼마나 돌릴지만 정의할 수 있다.
3. 인공지능은 과정을 은닉(hidden) 한
다. 과정에서 소외되면 사람은 결과에 대
해 판단하기 어렵다. 연구자들은 짧은 의
심 후 근거 없는 맹신의 상태에 들어가게
된다. HCI 연구자로서 우리는 그 모멘트
를 어떻게 디자인 할 것인가?
짧은 의심 후 긴 맹신
그 pivoting moment
재료
결과
88. 사용자경험 연구실 김유정
D-409, 145, Gwanggyo-ro, Suwon-si, Gyeonggi-do
+82 10 - 3830 - 1297
tendtoyj@snu.ac.kr
THANK YOU
End of the document