인공지능을 HCI/UX에 접목할 때 알아야 할 변화와 방향성

인공지능을
HCI/UX에
접목할 때 알아야
할 변화와 방향성
2019
Billy(최병호)
고려대학교 Human-Inspired AI & Computing 연구소
Assistant Professor
Facebook: ILOVEHCI, Kakaotalk: INNOUX
Research Data: http://www.slideshare.net/BillyChoi/
BillyChoi@Gmail.com , ILOVEHCI@korea.ac.kr

© 2019 Billy All rights reserved.인공지능을 HCI/UX에 접목할 때 알아야 할 변화와 방향성
Table of Contents
1. 지능형 HCI/UX 담론
2. 유형연구 #1. 지능형 프로파일링 사례 분석 및 통찰
3. 유형연구 #2. 지능형 추천 시스템 사례 분석 및 통찰
1

AI Sheep Song & HCI/UX 담론?
3
SOURCE: https://youtu.be/UKF_eDyq-B8
※ AI Source/LYRICS: GPT-2 https://github.com/openai/gpt-2
※ AI Source/COMPOSITION: Google Magenta의 Music VAE https://github.com/tensorflow/magenta/tree/master/magenta/models/music_vae
※ AI Source/VOCALS: Synthesizer V https://synthesizerv.com
※ AI Source/VISUALS: Google Magenta's sheep sketch RNN https://github.com/tensorflow/magenta/tree/master/magenta/models/sketch_rnn
AI가 가사 쓰고(GPT-2)
AI가 작곡 하고(Google
Magenta의 Music VAE)
AI가 노래
부르고(Synthesizer V)
AI가 영상 제작(Google
Magenta's sketch RNN)

NEW ALGORITHMIC IDENTITY & HCI/UX 담론?(1/3)
4
SOURCE:
• THE FORMULA(2014), P123~132
• 만물의 공식(2014), P182~195
다가오는 AI FIRST 시대, 우리는 사회서비스로부터 제외되고,
테러범으로 체포되며, 어느새 유죄로 결정될지 모릅니다. 이럴
때 HCI/UX 담론은?
#1. 성실한 운전자는 갑작스런 운전면허 취소 통보 받음
← 안면인식 알고리즘이 범죄자 자동 식별?
#2. 저소득 노년층과 장애인 수천 명이 예고 없이 의료 보장 취소 및
거액의 의료비 청구 받음 ← 신규 도입된 자동화된 시스템 오류?
법률적 훈련을 받지 못한 프로그래머의 잘못된 해석으로 잘못된 규칙
900개 이상 집행? (= 사실상 법률이 바뀐 것임)

5
#3. 선거인 명부에서 예고 없이 유권자 삭제?
#4. 중소기업의 정부 계약 부적격 판정?
#5. 양육비 미지급 부모 오인되어 거액의 양육비 청구?
#6. 공항에서 테러범으로 오인되어 한 해에 80번 구금?
왜 이런 사례들이 HCI/UX 담론과 관련이 있는 것일까요?
SOURCE:
• THE FORMULA(2014), P123~132
• 만물의 공식(2014), P182~195

6
AI FIRST 시기에 우리의 정체성은 우리가 정하는 것이 아니라
알고리즘이 정하는 것일지? 그것도 우리가 알지 못한 채?
알고리즘이 정해준 정체성과 차별공식
남성이지만 온라인에서는 여성으로 자동 분류? 왜? 온라인 행태로
알고리즘이 추론함
그런데 이러한 유형의 차별적 행위는 조치가 매우 힘듦. 왜냐하면
차별이 눈에 잘 띄지 않으며, 대부분의 경우 당사자가 어떻게
분류되지는 결코 알지 못하기 때문. 또한, 각 데이터 간 상호참조하기
때문에 결정적인 요인 추출이 힘듦
SOURCE:
• THE FORMULA(2014), P52~53
• 만물의 공식(2014), P72~74

AMBIENT LAW(포괄법) & HCI/UX 담론?
7
AI FIRST 시기에 법은 법전에 명시된 법의 적용이 아니라
인텔리전트 환경과 인텔리전트 장비에서 인공지능이 ‘판단’하는
법의 적용으로 흘러가는가?
Ambient Law refers to the idea that instead of requiring
lawyers to call attention to items of legal significance
around us, laws can be both embedded within and
enforced by our devices and environment.
자율적인 인텔리전트 환경이 실시간으로 끊임없이 전례 없이 많은
결정을 내리는 미래상, 이럴 때 HCI/UX 담론은?
SOURCE:
• THE FORMULA(2014), P109
• 만물의 공식(2014), P167
• Hildebrandt, Mireille. “A Vision of Ambient Law,” in Regulating Technologies(Oxford, UK: Hart,2008).
• LinkedOn: Concerns About Data Linkability https://slideplayer.com/slide/7539763/

© 2019 Billy All rights reserved.인공지능을 HCI/UX에 접목할 때 알아야 할 변화와 방향성 8
이번에 다룰 화두는 ‘지능형
HCI/UX 담론’ 입니다.
2019년 HCI/UX 담론에
인공지능을 담을 때, 우리는
어떤 변방성 질문을 해야
하고, 어떤 혁신적 통찰을
해야 할까요?

불금 때 뭐하셨어요?
저는 저녁 11시 즈음에
아시는 분에게 다음과 같은
질문을 받고 있었습니다.
“치매환자를 위해서 인공지능이
무엇을 할 수 있을까요?”
New Interaction Paradigms in the
Age of Artificial Intelligence
AI = “Human-Inspired AI” &
“Humanising AI”
“Human AI Interaction”
“Intelligent User Interface”
“Usable AI”
“UX of AI & ML”

New Interaction Paradigms = Human AI System Interaction?!
10
SOURCE: Human-centered design of complex systems: An experience-based approach(2017)
Human Factors and Ergonomics
Human Systems Integration

Human AI System Interaction = (Intentional & Reactive) Behavior design with AI System
11
Cognitive and physical functions: The NAIR Model (Boy 2016) 변형.

Human AI System Interaction = FOUR FORCE WITH AI SYSTEM
12
The AUTOS pyramid 변형.
AI
SYSTEM
AI
SYSTEM
AI
SYSTEM
AI
SYSTEM
1
2
3
4

이번에 다룬 화두는 ‘지능형
HCI/UX 담론’ 입니다.
변방성 질문의 힘을 느끼셨나요?
어떤 혁신적 통찰을 하셨나요?

“지능형 HCI/UX 담론”
핵심은 새로운 차원의 인터랙션 담론
사람에게 영감을 얻는 AI이자 인간화되어 가는 AI의
특징을 충분히 반영한 인터랙션 담론이어야 함
인터랙션 대상이 인터랙티브한 제품/서비스에 국한되는
것이 아니라 시스템으로 전환되는 트렌드를 반영하여,
AI가 적용된 시스템이어야 함; 지능형 인터랙션 시스템
디자인 가이드라인 필요
해당 가이드라인에는 행동 의도를 조성할 수 있는 AI 특징
기반의 환경 변화와 자동화되면서 선제적인 접근으로
유발되는 고도화된 사용편의성 기반의 행동 디자인을
중점적으로 기술해야 함. 더불어 이러한 모든 것이 가능한
협업생태계의 구조와 실행방안을 포함해야 함

15
유형연구 #1. 지능형 프로파일링 사례 분석 및 통찰

HCI/UX 담론 중 지능형
프로파일링’ 입니다.
HCI/UX의 시작과 끝은
HUMAN이자 USER입니다.
그러므로 이 부분을
지능형으로 접근했다는 것은
역사적 전환을 시사합니다.

넷플릭스의 고객 분류 비밀 & 지능형 프로파일링?
17
넷플릭스는
고객을 7만 8천
가지로 분류
사용자의 취향에
적합한 차별적
제공이 우선
목표
SOURCE: 고려대학교 Human-Inspired AI & Computing 연구소
DEMO: http://nlplab.iptime.org:32280/fashion_demo/; 데모 영상: https://drive.google.com/file/d/1NccHDRAr_yM6XHTyPLdF1oBAVxLGjIjv/view?usp=sharing
&

지능형 패션 프로파일링
“옷 사기가 생각보다 늘 쉽지 않지요? 저 같이 패션감각이
결핍된 사람은 옷을 고를 기회도 사라집니다.^^”
Q1) WYSIWYG(WHAT YOU SEE IS WHAT YOU
GET) UI의 지혜를 도입할 필요가 있지 않을까요?
Q2) 찰시(察施, 굳이 묻지 않고 상대의 마음을 헤아려
알아서 도와주는 것)의 지혜를 알고리즘으로 적용할
때가 지금일까요?

WYSIWYG(WHAT YOU SEE IS WHAT YOU GET) UI의 지혜: IMPLICIT(암묵적)
19

벡터 기반의 지능형 사용자 선호패션 프로파일링(벡터 기반의
신경망을 이용한 암묵적 프로파일링 모델)
사용자가 선택할 랜덤으로 제시되는 비주얼 이미지 중
상의/하의의 조화가 미흡한 케이스 등 추천하기에 적합하지
않은 케이스를 자동적으로 필터링 처리하여(가중치 적용)
추천되지 않도록 기계학습 시킴
선호패션 관련 개인정보를 입력하거나 카테고리 선택 및
텍스트 검색이 아닌 오직 선호하는 패션 이미지 선택
선택된 개인 선호 패션스타일은 선호/비선호로 라벨링된
학습 데이터로 적용되어 가중치 값이 계속 업데이트됨. 이런
학습 방식은 상의와 하의에 대한 선호 스타일 쌍에 대해
pairwise ranking loss function으로 최적화 되도록
학습시켜 softmax를 통해 확률값으로 도출된 선호도
예측값 중 가장 최적의 스타일(One-best)을 결정하는 것임
SOURCE: ① 고려대학교 Human-Inspired AI & Computing 연구소, ② 지능형 패션 상품 검색 및 추천을 위한 사용자 암묵적 프로파일링 기법(2017), ③ Yan, R., Y. Song, and H. Wu. "Learning to respond with
deep neural networks for retrieval-based human-computer conversation system". in Proceedings of the 39th International ACM SIGIR conference on Research and Development in(2016)

벡터 기반의 지능형 사용자 선호패션 프로파일링:
HCI/UX 전문가의 역할(1/3)
프로파일링 정책 수립: ① 설문조사형식의 정적인
프로파일링(예: 스티치 픽스(stitch fix); 사용자의
사이즈, 체형, 선호 가격, 선호 스타일(보헤미안, 엣지
스타일 등) 등 총 5단계의 온라인 설문조사 통해 수집된
데이터 대상으로 logistic regression, support
vector machine 등의 기계학습 방법과 패션 전문가의
자문 통해 최종 선호 패션 제안), ② 플랫폼 내의
로그/이전 구매내역/별점 행동이력 중심의 동적인
프로파일링(예: 아마존), ③ 벡터 기반의 지능형
프로파일링 중 결정
상품 정책 수립: 사용자/패션전문가 대상의 리서치로,
상품(복종/패션아이템) 결정 (예) 남성 상의/하의
SOURCE: ① 고려대학교 Human-Inspired AI & Computing 연구소, ② 지능형 패션 상품 검색 및 추천을 위한 사용자 암묵적 프로파일링 기법(2017), ③ Colson, E. "Using human and machine processing in recommendation systems". in First AAAI Conference on Human
Computation and Crowdsourcing.(2013), ④ Linden, G., B. Smith, and J. York, "Amazon. com recommendations: Item-to-item collaborative filtering". IEEE Internet computing,7(1): p.76-80.(2003)

기계학습 범주 정의: AI 전문가 대상의 리서치로, 패션
상품 이미지의 자질(이미지 패턴, 형태, 색 등) 결정
전처리 정책 수립 I. 데이터/분류체계: ① AI/패션전문가
대상의 리서치로, 사용자에게 랜덤으로 제시할 패션
스타일(상의/하의) 데이터 소스 및 카테고리 결정 (예)
33개의 상품카테고리로 이루어진 약 6만6천 개의
아마존 데이터 활용하여 패션 상품 이미지 분류 통한
학습(32층의 Deep Residual Network 모델에 적용),
② 정형/비정형 패션데이터 크롤링 대상 선정(구글 등
포털의 패션 기사, 패션 전문 사이트의 상품 데이터,
소셜미디어 패션데이터 등)
SOURCE: 고려대학교 Human-Inspired AI & Computing 연구소, 지능형 패션 상품 검색 및 추천을 위한 사용자 암묵적 프로파일링 기법(2017)

전처리 정책 수립 II. 데이터 필터링: 사용자/패션전문가
대상의 리서치로, 사용자에게 랜덤으로 제시할 데이터
중 품질이 좋지 않은 배제 정책 수립
직관적 UI 정책 수립 및 UI 디자인: Usage process
design, 사용자가 선택할 정보 개수 결정, 페이지 당
화면 구성 요소 및 화면 구조 결정, GUI design, 사용성
테스트 수행
지능형 프로파일링 시스템 디자인 가이드라인 작성
최적화된 지능형 프로파일링 시스템 디자인 구현 및
운용이 가능한 협업생태계 구조와 실행방안 계획 수립
SOURCE: 고려대학교 Human-Inspired AI & Computing 연구소, 지능형 패션 상품 검색 및 추천을 위한 사용자 암묵적 프로파일링 기법(2017)

HCI/UX 담론 중 지능형
프로파일링’ 입니다.

“지능형 HCI/UX 담론: 지능형 프로파일링”
새로운 차원의 인터랙션 담론: 벡터 기반의 지능형 사용자
선호패션 프로파일링(벡터 기반의 신경망을 이용한
암묵적 프로파일링 모델)
새로운 차원의 HCI/UX 전문가 역할들과 협업:
① 프로파일링 정책 수립, ② 상품 정책 수립, ③ 기계학습
범주 정의, ④ 전처리 정책 수립 I. 데이터/분류체계, ⑤
전처리 정책 수립 II. 데이터 필터링, ⑥ 직관적 UI 정책
수립 및 UI 디자인, ⑦ 지능형 프로파일링 시스템 디자인
가이드라인 작성, ⑧ 최적화된 지능형 프로파일링 시스템
디자인 구현 및 운용이 가능한 협업생태계 구조와
실행방안 계획 수립

“지능형 프로파일링” 연구 과제
지능형 프로파일링을 위한 HCI/UX 방법론 연구
스마트 하우스/홈 내에서의 지능형 프로파일링을 위한
HCI/UX 연구
타임커머스 플랫폼 내에서의 지능형 프로파일링을 위한
HCI/UX 연구
스마트 앵커 내에서의 지능형 프로파일링을 위한
HCI/UX 연구
기타 산업 도메인 내에서의 지능형 프로파일링을 위한
HCI/UX 연구

27
유형연구 #2. 지능형 추천 시스템 사례 분석 및 통찰

HCI/UX 담론 중 지능형 추천
시스템’ 입니다.
지능형 추천 시스템은 지능형
프로파일링과 동전의 앞뒤면
관계이며, 추천을 지능적으로
수행한다는 것은 개인별로
선제적 접근이 가능함을
의미하므로 파괴적 혁신을
시사하는 것입니다.

지능형 패션 프로파일링 기반 지능형 추천 시스템
“옷 사기가 생각보다 늘 쉽지 않지요? 저 같이 패션감각이
결핍된 사람은 옷을 고를 기회도 사라집니다.^^”
Q1) 찰시(察施, 굳이 묻지 않고 상대의 마음을 헤아려
알아서 도와주는 것)의 지혜를 알고리즘으로 적용할
때가 지금일까요?
A1) PRECISION SYSTEM
A2) ANTICIPATORY SERVICE SYSTEM
A3) PULL ECONOMY

ITEM2VEC 사용자 선호 코디/매칭 기술
30

지능형 패션 프로파일링 기반 지능형 추천 시스템(벡터 기반
사용자 선호 맞춤 코디네이션/매칭 시스템; 벡터 기반 이미지
검색 모델)
패션 아이템을 설명하는 텍스트 메타데이터 없이도
이미지(또는 스케치)로 검색 할 수 있는 지능형 검색 기술
패션 이미지에서 자질을 추출하여 벡터 값으로 변환 후
벡터공간에 위치시켜 벡터 값의 거리를 통한 유사 이미지
검색 모델

지능형 패션 프로파일링 기반 지능형 추천 시스템(벡터
기반 사용자 선호 맞춤 코디네이션/매칭 시스템; 벡터 기반
이미지 검색 모델): HCI/UX 전문가의 역할
CONTEXT 정책 수립: 사용자의 복잡한 CONTEXT를
끊임없이 (재)정의하고, 기존 알고리즘에 새로운
CONTEXT를 포함하여 성능을 강화할 수 있도록 정책
수립
ANTICIPATORY SERVICE 정책 수립: 사용자의
주기적인 패션 스타일 변화에 대한 니즈를 선제적으로
정의하여 서비스를 제공할 수 있는 정책 수립 (예)
OUTSIDE-IN MODEL, INSIDE-OUT MODEL,
SHARE MODEL

HCI/UX 담론 중 지능형 추천
시스템’ 입니다.

“지능형 HCI/UX 담론: 지능형 추천 시스템”
새로운 차원의 인터랙션 담론: 지능형 패션 프로파일링
기반 지능형 추천 시스템(벡터 기반 사용자 선호 맞춤
코디네이션/매칭 시스템; 벡터 기반 이미지 검색 모델
새로운 차원의 HCI/UX 전문가 역할들과 협업:
① CONTEXT 정책 수립 ② ANTICIPATORY SERVICE
정책 수립

경청해주셔서
고맙습니다!

혹 칠흑 같은 어둠 속에 혼자 갇혀있다고
생각하시는지요?
그러나 잘 보면 사방에 문이 있습니다.
앞으로 밀면 열리는 문이지요.
그러나 그 문이 문처럼 보이지 않고
벽처럼 보일 때가 많습니다.
그러나 분명 문입니다. 즉 길이지요.
문에는 눈도 있습니다. 그래서 앞을 열어줄 수도
있지요. 다만 문에 있는 눈이 잘 보이지 않을
뿐입니다. 오히려 문 안이 아니라 문 밖에서
여러분의 친구가 문을 열어준다면 더욱 수월하게
어둠 속에서 나올 수도 있을 것입니다. 그래서
우리에게는 손이 있나 봅니다.
그렇지만 문에는 날카로운 상처를 낼 수 있는
뾰족함도 있다는 것을 잊지 않아야 합니다.
즉 문은 늘 눈과 손이 함께 하지만 동시에 칼날도
있다는 것을 상기한다면 우리네 인생을 좀 더
통찰할 수 있을 듯 합니다. 이러한 생각으로 레고를
이용해서 작은 집을 만들어봤습니다.
오늘도 힘 내시지요.

인공지능을 HCI/UX에 접목할 때 알아야 할 변화와 방향성

Recommended

Recommended

More Related Content

Similar to 인공지능을 HCI/UX에 접목할 때 알아야 할 변화와 방향성

Similar to 인공지능을 HCI/UX에 접목할 때 알아야 할 변화와 방향성 (20)

More from Billy Choi

More from Billy Choi (20)

인공지능을 HCI/UX에 접목할 때 알아야 할 변화와 방향성