감성기반 스마트 인터랙션 -Natural User Interface의 관점에서 ▲ 감성과 감성인터랙션 ▲ 감성기반 인터랙션의 현황과 트랜드 ▲ 인지적 관점에서의 감성적 가치의 부상 ▲ 감성기반 스마트 인터랙션의 다양한 기회

1. 감성기반 스마트인터랙션의
부상과 기회
최형욱
Future Business Creator & 대표, 퓨처디자이너스

2. Agenda
▲
▲
▲
▲
감성과 감성인터랙션
감성기반 인터랙션의 현황과 트랜드
인지적 관점에서의 감성적 가치의 부상
감성기반 스마트 인터랙션의 다양한 기회

3. 감성
1. 이성(理性)에 대응되는 개념으로, 외계의 대상을 오관(五官)으
로 감각하고 지각하여 표상을 형성하는 인간의 인식 능력
2. 자극이나 자극의 변화를 느끼는 성질

4. 학문적 측면에서는 인지
(cognition)와 대비되는 개념으
로 등장하였으나, 감성에 인지적
측면이 배제될 수 있는가 ?

5. 감성공학(Aesthetic Engineering)이란, HCI설계에 감성적 차원의
조화성을 도입하는 공학이다. 제품 설계에 인간의 특성과 감성을
최대한 반영하는 공학 기술이다.
인간이 가지고 있는 소망으로서의 이미지나 감성을 구체적인 제품
설계로 실현해 내는 공학적인 접근 방법으로서, 인간의 감성을 정
성, 정량적으로 측정 평가하고, 과학적으로 분석하여 이를 제품이
나 환경설계에 응용하여 보다 편리하고 안락하며 안전하게 하고,
더 나아가 인간의 삶을 쾌적하게 하고자 하는 기술이다.

6. 감성(Sensibility/感性)
이성(Reason/理性)과 함께하는 인간의 인식능력. 감각기간이 외
부로부터 자극을 받아 복잡한 프로세스 이전에 비교적 짧은 순간
에 경험되는 것. 수동성을 내포
감정(Feeling/感情)
어떤 현상이나 사건을 접했을 때 마음에서 일어나는 느낌이나 기
분. 감각은 객관적인 정보라고 한다면 감정은 주관적인 정보
정서(Emotion/情緖)
비교적 강하게 단시간 동안 계속되는 감정.다분히 추상적이고
포괄적인 상태

7. “사람이 결정을 내릴 때는 두가지 이유가 존재한다. 합당한 이유와
진짜 이유가 그것이다.” – J.P. 모건
감정적: 감정은 생각보다 먼저, 대단히 빠른속도로 일어난다.
“감정과 이성의 본질적인 차이는 감정은 행동을 낳고 이성을 결론을 낳는다는 점이다.” – 도널드 칸
(Donald Calne)
“기억은 감정을 토대로 한다. 편도체가 어떤 자극을 받아서 두뇌내에 감정적 회로가 만들어지면 새
로운 기억이 생성된다.”-르두, 1994
“본능적 반응은 3초안에 일어난다.” – 마커스, 2002
이성적: 의식적사고가 정신활동에서 차지하는 비율은 매우낮다.
“두뇌는 1초에 4천억바이트의 정보를 받아들이는데 그 가운데 의식적 뇌가 처리하는 것은 2천바이
트에 불가하다.”-왓, 2004
시각적: 이미지 및 비언어적 커뮤니케이션이 더 강력한 힘을 발휘한
다.
“커뮤니케이션의 55%가 얼굴표정을 통해 35%가 목소리톤에 의해 이루어지며, 단지 7%정도만이
언어적 표현에 의해 이루어진다.”-마라비언,1981

8. 감정모델
행위적 표현(얼굴, 제스쳐, 자세, 억양, 숨소리 등)과 생물학적 각성 상태(심박, 호흡, 땀, 온도, 뇌파, 근육 긴장도)를 통해 측정

9. 생리적 측정 방법: 얼굴의 표정이나 몸짓 그리고 말과 같이 겉으로
드러나는 신체적 반응을 측정하는 방법
1. 기능성 자기공명영상(fMRI)를 이용한 측정방법
사람이 의사결정 과정에서 감정이 중대한 역할을 한다는 사실을 입증하는 강력한 증거 (Helliker,
2006)
2. 피부전기반응(EDA)을 이용한 측정방법
피부전도반응(SCR), 피부저항반응(SRR), 피부잠재반응 (SPR)등. 피부전기반응을 이용한 연구에서,
사람은 주로 부정적인 감정상태에서 피부전기반응의 수치가 감소
3. 동공크기 측정법(Pupillometry)
동공의 크기는 즐거운 감성의 상태에서 확장 (Hess & Polt, 1960)
행위적 측정 방법
1. 표정 부호화 시스템(Facial Action Coding System, FACS)
사람의 43개의 얼굴 근육의 움직임과 그 조합을 바탕으로, 두려움, 화남, 기쁨, 역겨움, 슬픔과 놀람
등의 6가지의 기본 감정을 분류 하는 방법 (Ekman, 1978)
2. 근전도(Electromyography, EMG) 측정법
무의식적인 얼굴 근육의 움직임을 분석하는 얼굴표정 분석방법. 얼굴에 센서를 부착하여 미세한 근
육의 움직임으로부터 전류를 감지. 광대뼈근육의 움직임이 긍정적인 감정상태와 상관관계
(Dimberg, 1990)
3. 말의 특성 분석법
사람의 감성상태와 연관이 있음이 밝혀졌으며, 감성적 반응을 측정하는데 매우 유용 (Banse, 1996)
4. 몸짓 언어 분석법

10. 페이셜코딩의 역사
사람의 표정은 타고나는 것이며, 얼굴이 감정을 타인에게 전달하는데 사용되는 중요한 수단이라는 사실
이 밝혀졌다. -찰스 다윈, 1872
7년동안 모은 얼굴 표정자료를 기초로 사람은 43개의 안면근육과 이러한 근육들이 움직여 다양한 방식
으로 조합되면 23개의 핵심 움직임 단위(Action Unit, AU)가 만들어지고, 이 움직임 단위들은 감정과
관련된 모든 표정의 가장 기본적인 요소가 된다는 것이 밝혀졌다.-캘리포니아 대학의 폴 에크먼과 의과
대학의 윌리프리즌, 2003
에크먼의 FACS 시스템을 이용하여 기업의 행동에 대한 소비자와 직원들의 실제 감정 반응을 파악해주
고 기업이 그에 따라 계획을 수립할 수 있게 도와주는 페이셜 코딩을 비즈니스 세계에 접목하기 시작했
다. -센서리로직, 2007
페이셜코딩의 신뢰성
“인간은 지구상의 어떤 동물보다도 많은 안면 근육을 가지고 있다. 이 사실만으로도 얼굴은 수많은 데이
터를 얻어 낼 수 있는 정보의 보고다.” -애크먼과 프리즌, 2003
“얼굴인 신체에서 근육이 직접 피부에 붙어있는 유일한 부분이다. 이 때문에 얼굴은 대단히 쉽게 움직이
며, 피부는 두뇌에서 오는 자극에 빠르게 반응하여 자신의 모양을 바꾼다. 따라서, 얼굴은 감정을 무의
식적으로 가장 잘 나타내는 창이다.” -맥닐(McNeill), 1998
“얼굴 근육의 풍부한 움직임은 페이셜 코딩의 기본 토대이자 근거다. 두뇌가 감정적인 자극을 발생시킬
때마다, 이 자극은 모든 안면 근육과 표정을 통제하 는 안면 신경을 통해 얼굴로 전달된다.” - 댄 힐
(Dan Hill), 2011
Face Recognition

11. 표정패턴
일반적으로 표정이 지속되는 시간은 0.5초에서 4초 사이이며, 근육 움직임의 지속시간 및 유형, 강도를
모두 종합하여 특정 감정의 강도를 측정하는 기준으로 삼는다.
감정은 하나의 패턴으로 유지되지 않으며, 어떠한 이벤트에도 복합적인 감정의 흐름이 단계적 변화와 혼
재되어 나타난다.
7가지 핵심감정
행복(긍정적), 놀라움(중립적), 두려움, 분노, 슬픔, 협오감, 경멸감(부정적)
동영상기반의 안면인식/추적 기술 필요

12. 감정의 다양성
내향적 감정
해당 감정을 느끼는 사람에 의해서 유발되는 감정 또는 내면으로 향하는 감정을 말한다. 일반적으로 자
존심과 관련되거나, 우리가 갖는 기대치를 토대로 상황변화에 대한 감정을 내면화하는 방식과 관련된
다.
외향적 감정
외부 요인에 의해 유발되거나 또는 감정의 에너지나 그것이 일으키는 행동이 자신이 아닌 다른 누군가를
향한다. 자신의 상태 및 위치에 대한 관심, 다른 사람들의 상황이나 행운등이 외향적인 감정을 일으키는
경향이 있다.

13. 언어와 몸짓은 뇌의 브로카 영역에서 관장하는데, 이곳은 거울신경과 아주 가까이 위치 해 있다. 이
러한 이유로 인해 사람들은 자신의 메세지를 정확하게 전달할 수 있는 보조적인 역할로 언어와 더불
어 몸짓을 사용하게 된다.
대부분의 사람들은 몸짓언어를 애써 숨기려고 노력하지도 않거니와 몸으로 자신의 속마음을 내비치
고 있다는 사실 마저 인식하지 못하므로, 몸짓은 사람의 속마음과 감정을 그대로 볼 수 있는 훌륭한
지표이다.
1. 머리를 중심으로 나타나는 몸짓
2. 몸통을 중심으로 나타나는 몸짓
3. 팔과 다리를 중심으로 나타나는 몸짓
몸짓언어도 얼굴언어와 같이 하나의 순간에서의 의미를 가지기도 하지만 하나의 의미를 표현하기 위
해 다양한 동작이 연쇄적으로 일어나는 경우들이 일반적이다. 한 사람의 몸짓이 다른 사람의 몸짓과
인터랙티브하게 일어나는 경우들이 발생하고 이런 경우 몸짓은 다른 의미를 가지게 된다.

14. 키넥트 구조

15. 키넥트 동작인식 과정

16. 누구나 자기를 중심으로 한 어느 정도의 공간을 자신의 영역으로 생각하는데 전문가들은 이 영역을 개
인공간이라고 부른다. 각 개인이 선호하는 개인 공간을 정의하기까지는 신체 접촉을 좋아하느냐 않느냐
를 포함하여 많은 요소가 영향을 미친다. 처음으로 만난 사람의 경우, 어느 정도의 개인공간을 선호하는
지 알 수 없기 때문에 감성적인 측면에서 CCTV를 이용한 개인공간에 대한 연구가 진행되고 있다.
여러 가지 신체언어 중에서도 공간과 접촉을 이용한 신체언어는 새로운 관계를 형성하고, 또 그 관계를
정의하는데 가장 큰 영향을 끼친다. 가장 가까운 측근은 누구이며, 그렇지 않은 사람은 누구인가, 또 가
까이 다가와도 좋은 사람은 누구이고, 어느 정도 거리를 허락할 것인가를 결정짓는 것이 공간과 접촉의
신체언어이기 때문이다.
공간과 접촉의 규칙은 때와 장소, 그리고 상호관계등 여러가지 복잡한 요소에 따라 달라진다.
공간과 접촉의 핵심적인 원칙은 인간은 자신의 영역을 지키려는 강한 욕구를 가지고 있으면서도 동시에
타인과의 신체적 접촉에 굶주리는 존재라는 사실이다. 사람의 이런 모순적인 욕구 때문에 공간과 접촉
은 땔 수 없는 관계로 하나의 연속체를 이룬다. 사람은 이 연속체 속에서 밀고 당기기를 한다.
4가지 공간의 정의
1. 공적공간의 범위: 이 영역은 쌍방이 서로 바리 볼 수는 있지만 서로 신체적 접촉을 할 수 없을 만큼의
거리
2. 사회적공간의 범위: 사회적 영역의 범위는 다른 사람과의 사이에 유지되는 대략 120-360cm 정도의
거리
3. 개인적 공간의 범위: 60-120cm의 거리로 가족을 비롯하여 가장 가깝고 친근한 사람들에게만 허용하
는 팔을 뻗어 닿을 수 있을 만큼 가까운 거리
4. 친밀공간의 범위: 약 60cm 정도 친밀공간은 신체접촉이 가능한 거리. 내면을 보여줄 수 있는 사람들
만을 위한 공간

17. 공간언어의 응용 – 트래픽 측정

18. 사람의 감정이 얼굴언어에서 7가지 기본감정 요소로 나타나는 것과 같이 소리언어에 있어서도 7가지 감
정이 목소리에서 그대로 드러난다.
사람의 목소리는 자신에 대한 정보를 놀라울 정도로 많이 담고 있다. 목소리의 톤과 크기,말의 속도,유
창성,언어 그 자체를 뺀 나머지 목소리 신호로 구성된 준언어는 전달되는 메시지의 약 40%를 차지한다.
비언어적 단서를 사용하는 또 다른 방식은 말을 할 때 전문가들이 ‘메타메시지(Metamessage)’라고 이
름 붙인 방법을 활용하는 것이다. ‘메타메시지’란 언어속에 숨겨져 있는 메시지를 말한다. 사람은 어떤
말을 하면서 특정 단어만을 강조함으로써 같은 말이라도 완전히 다른 내용을 전달할 수 있다.
말을 제외하고도 웃음이나, 한숨, 투덜거림, 그리고 말이 아닌 다른 여러가지 소리등 상대의 감정을 나
눌 수 있는 비언어적 수단은 많다. 또한, 이러한 비언어적 표현은 거울 체계를 통해 의사소통의 한 수단
으로서 작용하게 된다.
7가지 감정에 따라 변하는 목소리 (소리로 느끼는 감정의 변화)
1. 슬픔: 목소리의 톤의 평소보다 낮아지고 말하는 속도 또한 느려진다.
2. 놀람: 목소리 톤과 목소리 크기도 높아지고 말의 속도도 빨라진다.
3. 두려움: 목소리의 크기는 낮아지지만 톤은 높아지고 말하는 속도도 빨라진다.
4. 분노: 톤이 높아지고 목소리의 크기가 커진다. 말의 속도 역시 빨라진다.
5. 혐오: 목소리의 톤, 크기는 낮아지고, 속도는 느려진다.
6. 행복: 목소리의 톤, 크기, 말하는 속도 모두 빨라진다.
7. 경멸: 목소리의 톤, 크기, 말의 속도가 모두 낮아진다.

19. 스마트인터랙션: 차세대 HCI기술, NUI
유비퀴터스 환경에서 컴퓨터를 비롯한 정보기기를 이용할 때 사람
과 디바이스사이의 상호작용을 더 자연스럽고 편리하게 하기위한
SW/HW 인터페이스 기술. 인간중심의 사용자 친화적인 상호작용
이 핵심
감성인식기술
실감인터랙션!
감성UI기술!
감성기반 인터랙
션!
감성표현기술!
스마트인터랙션!
혼합현실 기반 인
터랙션!
혼합현실 영상렌
더링 및 시뮬레이
션!
자연어정보처리기
반 인터랙션!
감성정보DB기술!

20. 감성인터랙션을 위한 NUI

21. 감성기반 스마트인터랙션 요소기술

22. TV에서의 감성 인터랙션

23. 감성기반 스마트 인터랙션
사용자의 마음/감성을 읽어서 능동적으로 반응할수 있는 인터랙션 기술
(마인드 콘트롤, 뇌파 바이오피드백, 뇌-컴퓨터 인터페이스, 감성 공학)

24. Benz Attention Assist

25. 자동차 감성구조

26. Sensatex Smart Shirt

27. Think Bear
BMI(Brain Machine Interface)를 이용,
뇌파헤드셋(마인드셋)을 통해 사람의 감성을 읽어내고 눈으로
기쁨, 슬픔, 행복, 놀라움, 보통 등 여러 표정을 지을 수 있다.

28. MIT Kismet

30. BSI Toyota Collaboration Center

32. Philips Vibe & Rationalizer

33. MIT AIDA

34. 감성 ICT 진화 방향
현재
5년후

35. 인지적 관점에서의 감성적 가치의 부상
두뇌인지의 3단계 : 본능 → 행동 → 반성
감정 = 본능적, 비논리적
인지 = 이성적, 논리적
하지만 감정은 인지와 분리 할 수 없음
1. 본능적 (감성) : 자동적, 무의식적, 겉모습(오감)
본능적 디자인
2. 행동적 (감정) : 본능강화억제(두뇌활동)
제품사용경험, 기능, 성능,
행동적디자인(사용성)
3. 반성적 (감정+의식적+인지) - 행동에 대한 생각, 의식적,
감정/인지가 함께 존재, 반성적 디자인,공감

36. 향후 방향: 인간 vs. 기계관계 변화
1. 인간의 다양한 커뮤니케이션 해석
(1) 목소리 떨림, 성조, 감정
(2) 얼굴근육, 눈동자, 관심, 집중도
(3) 홍채, 놀라움, 감정의 세기
(4) 심박, 혈압, 땀, 피로도, 각성도
2. 기기가 인간이 잘 이해 할 수 있는 방식으로 의지와 감정상
태 표현
(1) 감성피드백: 질감, 오감
(2) 감성 표현 기술
3. 서로의 언어적, 비언어적 커뮤니케이션을 모두 이해하는 것
을 넘어 다양한 문화와 사회규범 이해
(1) 소셜인터페이스
(2) 인지/인공지능/공감력

37. 감성기반 스마트 인터랙션의
다양한 기회
인간을 이해하는 인간 중심의 제품, 서비스가 시장을 주도
1. 성숙된 기술 생태계를 활용하는 플랫폼기반의 감성 인터랙
션기술들이 새로운 기회 획득
2. 감성화/지능화/실감화를 통한 기존 산업의 스마트화가 대세
3. 인터랙션 → 멀티모달기반의 감성인지기술 → 감성증강 UI
→ 감성교감 네트워크 → 감성융합서비스로 지속적으로 진화

38. Thank you.
최형욱
huchoi@gmail.com
http://facebook.com/huchoi