인공지능(AI)과 사용자 경험(UX)

인공지능(AI)과
사용자 경험(UX)
2019
Billy(최병호)
고려대학교 Human-inspired AI & Computing 연구소
Assistant Professor
Facebook: ILOVEHCI, Kakaotalk: INNOUX
Research Data: http://www.slideshare.net/BillyChoi/
AI-Social Innovation-BM Trends: https://www.facebook.com/billynewtrends
BillyChoi@Gmail.com , ILOVEHCI@korea.ac.kr

© 2019 Billy All rights reserved.인공지능(AI)과 사용자 경험(UX)
Table of Contents
1. 담론 I. 드라마로 본 AI & UX
2. 담론 II. 도전과제로 본 AI & UX
3. 담론 III. 변방성 질문으로 본 AI & UX
4. 사례연구 #1-1. 지능형 패션 프로파일링 및 UX
5. 사례연구 #1-2. 지능형 패션 추천 시스템 및 UX
6. 사례연구 #2. 지능형 시니어 맞춤 UX
1

2
담론 I. 드라마로 본 AI & UX

“이제 네가 사는 세상으로 내가 들어온 거야!”
Source: 드라마 <나의 나라> 8회

“이제 네가 사는 세상으로 내가 들어온 거야!”
Source:
• 드라마 <나의 나라> 8회
• People Need Fewer Choices, Weinschenk, Susan, 2016, 100 MORE Things Every Designer Needs to Know About People, Pearson Education)
우리의 나라 → 나의 나라
AI ⇒ UX
ATTENTION ECONOMY →
PULL ECONOMY
ANTICIPATORY DESIGN
(About making and implementing
decisions for the user—automatically,
and without user input. The goal is not
to help the user make a decision, but to
anticipate what the user needs and just
do it.)

Source: 드라마 <우아한 가> 13부
“내가 빼 준다고 그랬지!”

Source: 드라마 <우아한 가> 13부
“내가 빼 준다고 그랬지!”
USE-VALUE +
SIGN-VALUE +
RELATION-VALUE
≒ LOVE
AI ⇒ UX
MOTIVATION
HABIT
SUSTAINABILITY

7
담론 II. 도전과제로 본 AI & UX

사회적 난제를 AI 기술로 도전하여 새로운 삶(세계) 디자인(UX)
8
사회적 난제 AI UX
무인 자동화 기기와 노인 인구
증가에 따른 디지털 소외
AI 기반 음성인식 및 자연어 처리(지능형 맥락 기반 사용자
인터페이스 포함)
반려견으로 유발되는 층간 소음과
놀이터 소음
AI 기반으로 반려견 보이스 제거(또는 완화)
중도입국 청소년 및 청소년
학부모의 한국어 습득 문제
AI 기반 한국어 수준 자동 분석(지능형 학습 프로파일링) 및
한국어 수준에 적합한 학습 콘텐츠 자동 추천, AI와 실시간 채팅
악성 댓글로 인한 인격 모독 및 인권
침해
AI 기반 인신 공격 목적의 악의적인 댓글 자동 필터링 및 유통
관제
Fake image 유통
AI 기반 여성 얼굴을 인위적으로 합성시킨 이미지 필터링 및
유통 차단
지하철에서 여성 신체 불법 촬영 AI 기반 불법 촬영 패턴 트랙킹으로, 범죄 예측 및 예방
쓰레기 무단 투기
AI 기반으로 쓰레기 무단 투기 예측 및 투기 트랙킹을 위한
디지털트윈 시스템 운영

지능형 노이즈 완화 기술
반려동물의 짖음을 노이즈로 간주하고, 해당 노이즈를 완화시키는 기술
노이즈 수집
특정 공간 내의
노이즈 수집
ANNOTATION
기계가 식별할 수
있는 레이블 부여
노이즈 분류
레이블 부여한 노이즈를
클러스터링하고, 완화할 타깃
노이즈 클러스터 선정
노이즈 생성
완화할 타깃 노이즈 클러스터
대상으로, 새로운 노이즈(화이트
노이즈)를 자동으로 생성
노이즈 제거
화이트 노이즈를 제공하여
타깃 노이즈를 완화함
노이즈 예측
완화시켜야할 새로운 노이즈가 등장했을 경우,
자동으로 타깃 노이즈를 완화시킴

지능형 주종 매핑 기술
반려견과 반려견의 주인을 지능적으로 매핑시키는 기술
GATHERING
특정 공간 내에서 사람의 안면 데이터와 반려견의 안면 데이터
그리고 반려견의 주인과 반려견의 관계를 규정할 수 있는 데이터
수집
ANNOTATION
수집한 안면 데이터 및 관계 관련 데이터에 기계가 식별할 수 있는
코드 부여
CLUSTERING
반려견의 주인과 반려견을 클러스터링할 수 있는 기준을 적용하여
자동으로 클러스터링 수행
PRECDICTION
특정 공간 내에서 새로운 반려견의 주인과 반려견이 등장할 경우,
자동으로 반려견의 주인과 반려견을 매핑시킴

지능형 상해 예측 기술
반려견이 사람에게 상해를 입히지 못하도록 예방하는 기술
ANNOTATION
수집한 행동 데이터에 기계가 식별할 수 있는 코드 부여
CLUSTERING
코드를 부여한 행동 데이터를 클러스터링하고, 상해가 예측되는
클러스터 선정
GATHERING
특정 공간 내에서 매핑된 반려견의 주인과 반려견 외에 등장한
사람의 안면 데이터와 행동 데이터 수집
PRECDICTION
특정 공간 내에서 반려견의 주인이 아닌 사람이 반려견에게 접근하여
상해가 예측되는 행동을 하려고 했을 경우, ‘상해 리스크가 예측되는
상황’이라고 가이드 및 시스템에 통보

지능형 배변 배설물 방치 예측 기술
배변 배설물의 방치로 인한 환경오염을 방지하는 기술
ANNOTATION
수집한 배변 행동 데이터와 배변 배설물을 치우는 행동 데이터에
기계가 식별할 수 있는 코드 부여
CLUSTERING
코드를 부여한 행동 데이터를 클러스터링하고, 배변 배설물 방치의
기준을 적용하여 자동으로 클러스터링 수행
GATHERING
특정 공간 내에서 반려견의 배변 행동 데이터와 반려견의 주인이
배변 배설물을 치우는 행동 데이터 수집
PRECDICTION
특정 공간 내에서 배변 배설물의 방치가 예측될 때, ‘배변 리스크가
예측되는 상황’이라고 가이드 및 시스템에 통보

13
담론 III. 변방성 질문으로 본 AI & UX

© 2019 Billy All rights reserved.인공지능(AI)과 사용자 경험(UX) 14
New Interaction Paradigms in the
Age of Artificial Intelligence
AI = “Human-inspired AI” &
“Humanising AI”
“Human AI Interaction”
“Intelligent User Interface”
“Usable AI”
“UX of AI & ML”

New Interaction Paradigms = Human AI System Interaction?!
15
SOURCE: Human-centered design of complex systems: An experience-based approach(2017)
Human Factors and Ergonomics
Human Systems Integration

Human AI System Interaction = (Intentional & Reactive) Behavior design with AI System
16
Cognitive and physical functions: The NAIR Model (Boy 2016) 변형.

Human AI System Interaction = FOUR FORCE WITH AI SYSTEM
17
The AUTOS pyramid 변형.
AI
SYSTEM
AI
SYSTEM
AI
SYSTEM
AI
SYSTEM
1
2
3
4

SOURCE: https://www.springboard.com/blog/improve-ux-with-ai-machine-learning/
How AI Improves UX
AI and UX share the same end goal.
Both are designed to interpret human
behavior and anticipate what someone
will do next.
Predictive analytics is at the foundation
of both, and it’s this intersection that
creates an opportunity for both
companies and customers.

SOURCE: https://www.springboard.com/blog/improve-ux-with-ai-machine-learning/
What makes it possible for AI to enhance
the UX?

SOURCE: https://thefinancialbrand.com/75433/digital-ai-cx-humanized-banking-experience/
우리는 AI에게 무엇을 기대하고 있는가?

AI와 함께 만들어가고
있는 (커머스) UX란?
Everywhere but
Nowhere

AI 시대의 (커머스) UX에서 여전히
유효한 가이드라인이란?
“좋은 도구는 보이지 않는 도구이다.
보이지 않는다는 말은 도구가 우리의
의식에 침범하지 않는다는 뜻이다.
사용자가 도구 자체가 아니라 과제에
집중한다는 말이다.”(하이데거); 망치,
펜, 안경, 지팡이 등

SOURCE: https://knowledge.wharton.upenn.edu/article/the-user-experience-why-data-not-just-design-hits-the-sweet-spot/
AI 기반의 UX 방법론?

SOURCE: Tapan Kumar , Dr. Monica Trakru. (2019). THE COLOSSAL IMPACT OF ARTIFICIAL INTELLIGENCE IN E-COMMERCE : STATISTICS AND FACTS. International Research Journal of
Engineering and Technology (IRJET). Volume: 06 Issue: 05. Page 570~572
AI In Ecommerce: Benefits
Customer-centric visual search
approach.
Chatbots and virtual assistants.
Improve recommendations for
customers.
Filter fake reviews.
New level of personalization.
Retarget potential customers and
improve the sales process.

SOURCE: https://www.iflexion.com/blog/ecommerce-ux , https://youtu.be/TBukLWxiyXs
Netflix: Harnessing the Power of Machine Learning
for Next-Level UX Personalization

SOURCE: https://www.cognilytica.com/2019/03/07/infographic-ai-in-advertising/
Personalized Advertising

27
사례연구 #1-1. 지능형 패션 프로파일링 및 UX

이번에 다룰 화두는 ‘지능형
HCI/UX 담론 중 지능형
프로파일링’ 입니다.
HCI/UX의 시작과 끝은
HUMAN이자 USER입니다.
그러므로 이 부분을
지능형으로 접근했다는 것은
역사적 전환을 시사합니다.

넷플릭스의 고객 분류 비밀 & 지능형 프로파일링?
29
넷플릭스는
고객을 7만 8천
가지로 분류
사용자의 취향에
적합한 차별적
제공이 우선
목표
SOURCE: 고려대학교 Human-Inspired AI & Computing 연구소
DEMO: http://nlplab.iptime.org:32280/fashion_demo/; 데모 영상: https://drive.google.com/file/d/1NccHDRAr_yM6XHTyPLdF1oBAVxLGjIjv/view?usp=sharing
&

지능형 패션 프로파일링
“옷 사기가 생각보다 늘 쉽지 않지요? 저 같이 패션감각이
결핍된 사람은 옷을 고를 기회도 사라집니다.^^”
Q1) WYSIWYG(WHAT YOU SEE IS WHAT YOU
GET) UI의 지혜를 도입할 필요가 있지 않을까요?
Q2) 찰시(察施, 굳이 묻지 않고 상대의 마음을 헤아려
알아서 도와주는 것)의 지혜를 알고리즘으로 적용할
때가 지금일까요?

WYSIWYG(WHAT YOU SEE IS WHAT YOU GET) UI의 지혜: IMPLICIT(암묵적)
31
SOURCE: 고려대학교 Human-inspired AI & Computing 연구소

벡터 기반의 지능형 사용자 선호패션 프로파일링(벡터 기반의
신경망을 이용한 암묵적 프로파일링 모델)
사용자가 선택할 랜덤으로 제시되는 비주얼 이미지 중
상의/하의의 조화가 미흡한 케이스 등 추천하기에 적합하지
않은 케이스를 자동적으로 필터링 처리하여(가중치 적용)
추천되지 않도록 기계학습 시킴
선호패션 관련 개인정보를 입력하거나 카테고리 선택 및
텍스트 검색이 아닌 오직 선호하는 패션 이미지 선택
선택된 개인 선호 패션스타일은 선호/비선호로 라벨링된
학습 데이터로 적용되어 가중치 값이 계속 업데이트됨. 이런
학습 방식은 상의와 하의에 대한 선호 스타일 쌍에 대해
pairwise ranking loss function으로 최적화 되도록
학습시켜 softmax를 통해 확률값으로 도출된 선호도
예측값 중 가장 최적의 스타일(One-best)을 결정하는 것임
SOURCE: ① 고려대학교 Human-inspired AI & Computing 연구소, ② 지능형 패션 상품 검색 및 추천을 위한 사용자 암묵적 프로파일링 기법(2017), ③ Yan, R., Y. Song, and H. Wu. "Learning to respond with
deep neural networks for retrieval-based human-computer conversation system". in Proceedings of the 39th International ACM SIGIR conference on Research and Development in(2016)

벡터 기반의 지능형 사용자 선호패션 프로파일링:
HCI/UX 전문가의 역할(1/3)
프로파일링 정책 수립: ① 설문조사형식의 정적인
프로파일링(예: 스티치 픽스(stitch fix); 사용자의
사이즈, 체형, 선호 가격, 선호 스타일(보헤미안, 엣지
스타일 등) 등 총 5단계의 온라인 설문조사 통해 수집된
데이터 대상으로 logistic regression, support
vector machine 등의 기계학습 방법과 패션 전문가의
자문 통해 최종 선호 패션 제안), ② 플랫폼 내의
로그/이전 구매내역/별점 행동이력 중심의 동적인
프로파일링(예: 아마존), ③ 벡터 기반의 지능형
프로파일링 중 결정
상품 정책 수립: 사용자/패션전문가 대상의 리서치로,
상품(복종/패션아이템) 결정 (예) 남성 상의/하의
SOURCE: ① 고려대학교 Human-inspired AI & Computing 연구소, ② 지능형 패션 상품 검색 및 추천을 위한 사용자 암묵적 프로파일링 기법(2017), ③ Colson, E. "Using human and machine processing in recommendation systems". in First AAAI Conference on Human
Computation and Crowdsourcing.(2013), ④ Linden, G., B. Smith, and J. York, "Amazon. com recommendations: Item-to-item collaborative filtering". IEEE Internet computing,7(1): p.76-80.(2003)

기계학습 범주 정의: AI 전문가 대상의 리서치로, 패션
상품 이미지의 자질(이미지 패턴, 형태, 색 등) 결정
전처리 정책 수립 I. 데이터/분류체계: ① AI/패션전문가
대상의 리서치로, 사용자에게 랜덤으로 제시할 패션
스타일(상의/하의) 데이터 소스 및 카테고리 결정 (예)
33개의 상품카테고리로 이루어진 약 6만6천 개의
아마존 데이터 활용하여 패션 상품 이미지 분류 통한
학습(32층의 Deep Residual Network 모델에 적용),
② 정형/비정형 패션데이터 크롤링 대상 선정(구글 등
포털의 패션 기사, 패션 전문 사이트의 상품 데이터,
소셜미디어 패션데이터 등)
SOURCE: 고려대학교 Human-inspired AI & Computing 연구소, 지능형 패션 상품 검색 및 추천을 위한 사용자 암묵적 프로파일링 기법(2017)

전처리 정책 수립 II. 데이터 필터링: 사용자/패션전문가
대상의 리서치로, 사용자에게 랜덤으로 제시할 데이터
중 품질이 좋지 않은 배제 정책 수립
직관적 UI 정책 수립 및 UI 디자인: Usage process
design, 사용자가 선택할 정보 개수 결정, 페이지 당
화면 구성 요소 및 화면 구조 결정, GUI design, 사용성
테스트 수행
지능형 프로파일링 시스템 디자인 가이드라인 작성
최적화된 지능형 프로파일링 시스템 디자인 구현 및
운용이 가능한 협업생태계 구조와 실행방안 계획 수립
SOURCE: 고려대학교 Human-inspired AI & Computing 연구소, 지능형 패션 상품 검색 및 추천을 위한 사용자 암묵적 프로파일링 기법(2017)

“지능형 프로파일링” 연구 과제
지능형 프로파일링을 위한 HCI/UX 방법론 연구
스마트 하우스/홈 내에서의 지능형 프로파일링을 위한
HCI/UX 연구
타임커머스 플랫폼 내에서의 지능형 프로파일링을 위한
HCI/UX 연구
스마트 앵커 내에서의 지능형 프로파일링을 위한
HCI/UX 연구
기타 산업 도메인 내에서의 지능형 프로파일링을 위한
HCI/UX 연구

37
사례연구 #1-2. 지능형 패션 추천 시스템 및 UX

이번에 다룰 화두는 ‘지능형
HCI/UX 담론 중 지능형 추천
시스템’ 입니다.
지능형 추천 시스템은 지능형
프로파일링과 동전의 앞뒤면
관계이며, 추천을 지능적으로
수행한다는 것은 개인별로
선제적 접근이 가능함을
의미하므로 파괴적 혁신을
시사하는 것입니다.

지능형 패션 프로파일링 기반 지능형 추천 시스템
“옷 사기가 생각보다 늘 쉽지 않지요? 저 같이 패션감각이
결핍된 사람은 옷을 고를 기회도 사라집니다.^^”
Q1) 찰시(察施, 굳이 묻지 않고 상대의 마음을 헤아려
알아서 도와주는 것)의 지혜를 알고리즘으로 적용할
때가 지금일까요?
A1) PRECISION SYSTEM
A2) ANTICIPATORY SERVICE SYSTEM
A3) PULL ECONOMY

ITEM2VEC 사용자 선호 코디/매칭 기술
40

지능형 패션 프로파일링 기반 지능형 추천 시스템(벡터 기반
사용자 선호 맞춤 코디네이션/매칭 시스템; 벡터 기반 이미지
검색 모델)
패션 아이템을 설명하는 텍스트 메타데이터 없이도
이미지(또는 스케치)로 검색 할 수 있는 지능형 검색 기술
패션 이미지에서 자질을 추출하여 벡터 값으로 변환 후
벡터공간에 위치시켜 벡터 값의 거리를 통한 유사 이미지
검색 모델

지능형 패션 프로파일링 기반 지능형 추천 시스템(벡터
기반 사용자 선호 맞춤 코디네이션/매칭 시스템; 벡터 기반
이미지 검색 모델): HCI/UX 전문가의 역할
CONTEXT 정책 수립: 사용자의 복잡한 CONTEXT를
끊임없이 (재)정의하고, 기존 알고리즘에 새로운
CONTEXT를 포함하여 성능을 강화할 수 있도록 정책
수립
ANTICIPATORY SERVICE 정책 수립: 사용자의
주기적인 패션 스타일 변화에 대한 니즈를 선제적으로
정의하여 서비스를 제공할 수 있는 정책 수립 (예)
OUTSIDE-IN MODEL, INSIDE-OUT MODEL,
SHARE MODEL

“지능형 HCI/UX 담론: 지능형 추천 시스템”
새로운 차원의 인터랙션 담론: 지능형 패션 프로파일링
기반 지능형 추천 시스템(벡터 기반 사용자 선호 맞춤
코디네이션/매칭 시스템; 벡터 기반 이미지 검색 모델
새로운 차원의 HCI/UX 전문가 역할들과 협업:
① CONTEXT 정책 수립 ② ANTICIPATORY SERVICE
정책 수립

44
사례연구 #2. 지능형 시니어 맞춤 UX

Source: http://health.chosun.com/site/data/html_dir/2015/11/12/2015111201608.html

Source: 고려대학교 Human-inspired AI & Computing 연구소

경청해주셔서
고맙습니다!

인공지능(AI)과 사용자 경험(UX)

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Similar to 인공지능(AI)과 사용자 경험(UX)

Similar to 인공지능(AI)과 사용자 경험(UX) (20)

More from Billy Choi

More from Billy Choi (20)

인공지능(AI)과 사용자 경험(UX)