터치 중심의 게임에서 터치의 물리적 성분 데이터(압력, 속도, 방향, 시간적길이)를 분석하여 그를 바탕으로 4가지 감정으로 구분을 하여 머신러닝으로 정확성을 알아본 논문입니다.

1. Artificial Psychology: The
Psychology of AI +
What Does Touch Tell Us
about Emotions in
Touchscreen-Based
Gameplay?
+ Transactions on HCI 2012
-Yuan Gao et al.
/나누리
x 2016 Spring

2. 목차 1. ’기계의 마음’을 찾아서
Artificial Psychology 얼개
2. 기계용 ‘인간 감정 독해법’
What Does Touch Tell Us about Emotions in
Touchscreen-Based Gamplay?
3. 기계 감정에 관한 생각

3. Artificial Psychology
구성
그 중 이모셔널
분야 소개
Artificial Psychology
‘기계의 마음’을 찾아서

4. Artificial Psychology 분야 소개
• Keywords : Artificial Psychology, Artificial Cognition, HRI(Human-Robot Interaction)
• 관련 문헌들을 살펴보니, 분야 구성의 얼개를 파악할 수 있었음.
Mind Design, MITArtificial cognition architectures, Springer (그닥 많지 않은) 기타 등등.

5. Artificial Psychology 분야 소개
AI 가
인지하다(알다)
판단하다
느끼다
관계맺다
<Artificial cognition architectures>의 목차.
인지
사회
• 개괄적인 연구의 focus들 (인간 심리학 측면에서 분류)

6. Artificial Psychology 분야 소개
AI 가
인지하다(알다)
판단하다
느끼다
관계맺다
<Artificial cognition architectures>의 목차.
AI-인간(주로 HRI):
임상(헬스케어)
발달(교육)
사회(신뢰감, 친밀감)
인지
사회
• 개괄적인 연구의 focus들 (인간 심리학 측면에서 분류)

7. Artificial Psychology 분야 소개
AI 가
인지하다(알다)
판단하다
느끼다
관계맺다
스탠리 큐브릭의 2001:스페이스 오디세이와 아톰 작가의 플루토.
AI-인간(주로 HRI):
임상(헬스케어)
발달(교육)
사회(신뢰감, 친밀감)
인지
사회
• 그 중, AI가 갖지 못한다는(?) 감정(Emotion)에 포커스하여

8. Artificial Psychology
구성
그 중 이모셔널
분야 소개
What Does Touch Tell Us about Emotions in
Touchscreen-Based game
기계용 ‘인간 감정 독해법’

9. Intro
What Does Touch Tell Us about Emotions in Touchscreen-Based game
Transactions on Computer-Human Interaction (SCI)
Yuan Gao (University College London)
Nadia Bianchi-Berthouze (University College London)
Hongying Meng (Brunel University)
2012

10. 연구 개요
Human Factor 측정 기계화(수치화)
Emotion Recognition System
검증
Human
Computer
머신러닝
• 터치-자가보고를 통해 인간의 감정의도(Excited, Relaxed, Frustrated, Board)를 수집하고,
• 수집된 터치의 성격으로(길이, 압력, 속도, 방향) 터치를 정량화하여 터치의 감정의도를 구분하고,
• 이를 바탕으로 머신러닝으로 감정 인식 시스템을 구축하여, 정확성을 검증함.

11. Study Design
Study1 - Data Collection Study 2 - Building System
머신러닝 모델으로
EMOTION RECOGNITION SYSTEM을 구축하여
15명의 참가자 데이터로 감정 매칭의 정확도 검증.
- 15명 참가자가 아이팟 터치를 통해 2회씩 20레벨
의 Fuit Ninja 게임을 하도록 하여,
- 수집된 터치의 물리적 데이터와
- 게임 후, 본인의 플레이 비디오를 보며 자가보고
한 터치 시의 감정을 바탕으로
- ‘터치-감정’을 분석&분류.

12. Study Design
18~40세의 15명 (남 9, 여 6)
사전에 게임에 관한 설명과 트레이닝을 실시.
참가자
도구 아이팟 / 비디오카메라 / 랩탑
자기 보고설문
감정 단어가 나타나있어, 단어의 선택으로 감정상태 보고할 수 있도록 구성.
(파일럿 스터디를 통한 7가지의 감정을
Russell의 Valence-Arousal 감정 사분면 기준에 따라 비슷한 것을 묶어,
Excited, Relaxed, Frustrated, Board 로)
Samurai Fruits (Fruits Ninja를 연구에 맞게 각색.)
과일을 슬래쉬 하여 1포인트를 획득하는 게임.
20개의 레벨로 구성, > 레벨에 따라 과일의 속력과 폭탄의 빈도가 달라짐.

13. 절차
Study Design
0. 실험 및 게임 설명
0. 모티베이션을 주기 위해 25파운드 지급
1. 20레벨의 Fruit Ninja 실시.
2. 각 레벨이 끝날 때 마다 자기보고설문으로 감정을 라벨링하도록 함.
3. 비디오 녹화분을 보고 감정을 재라벨링 시킴.
(Cued Recall Brief aprroach, 게임 결과에 의한 판단의 영향 지우기 위함.
이를 통해 불일치 하는 것 제함.)
4. 같은 과정을 2번 실시.

14. 수집한 데이터
Study Design
자기 보고설문
개인의 레벨 별 감정 상태 ( Excited, Relaxed, Frustrated, Board )
Samurai Fruits 터치
레벨별, 개인별 터치의
길이(Length)
압력(Pressure)
속력(Speed)
Direction Index

15. Findings
• 길이 Positive State에서 긴 터치가 나타남.
지루할 때 가장 짧다.
좌절은 터치 길이의 스펙트럼이 넓다.
길이
속력
압력
방향(Direction Index)
신남 편안 좌절 지루
평균값
중앙값
median
average
• 압력에서는 좌절(Frustrated)이 가장 두드러진다.
• 속도는
Arousal(-Valence) 수준과 연관됨.
> 각성수준이 낮은 편안(relaxed), 지루(Boared)에서는 연관이 낮음.
• 신남(Excited)과 좌절(Frustrated)은 적은 방향성을 가짐.

16. • 조정 평균값을 통해, 레벨의 영향을 받는 것은 아닌지를 검증. (레벨과 독립적인지.)
• 레벨별로 보아도 감정마다 비슷한 추이를 나타냄.
• (But, 길이의 L1-5는 Frustrated에서 정점. 아웃라이어로 보임.)
길이
속력
압력
방향
L1-5
L6-10
L10-15
L15-20
신남 편안 좌절 지루
조정 평균값
Findings

17. Findings
• Eigenvalues and Wilk’s Lambda 통계로 3차원 나타냄
• 3차원에서 4가지 감정 구분이 가능했음!!
신남
편안 좌절
지루

18. Modeling
• 4가지 감정 데이터를 바탕으로 감정 분석 시스템 빌딩.
• 세가지 모델링 알고리즘이 사용됨 : Discriminant Analysis(DA), Artificial Neural Network(ANN),
Support Vector Machine(SVM)
• 15명 참가자 데이터로 감정 매칭의 정확성 검증
• 네 가지 감정에 관해 69%~77%의 정확성
• arousal (H/L), valence (H/L) 감정 분류에 관해 ~89%의 정확성

19. Contribution & Limitation
감정 의도 데이터
감정을 아는
(것같은) AI
감정
인간
기계
자연지능
인공지능
터치-흔
• 감정을 모으는 방법. > 게임에서의 터치 로그.
• 감정을 아는 것 같은 기계.
• 자기 보고의 한계: 생체-신경적으로 검증 및 데이터 수집한다면 더 인간 감정에 정확할 것.
• 일반화의 한계
• AI 관점의 어포던스…?
• 감정의도파악
• 행동단서들로부터 구분의 기준점

20. Artificial Psychology
구성
그 중 이모셔널
분야 소개
기계 감정에 관한 생각

21. 기계감정의 한계?
감정 의도 데이터
감정을 아는
(것같은) AI
감정
인간
기계
자연지능
인공지능
터치-흔 감정의 왜곡?
• 역시, 기계는 인간 감정을 십분 헤아리지 못하는 것일까?
정확도 70%

22. 감정 의도 데이터
B의 감정을 아는
(것같은) A
감정
B 인간
A 인간
자연지능 B
자연지능 A
말소리/몸소리
기계감정의 한계?
• 사실은, “우리는 우리를 모르고..”
감정의 왜곡?

23. 감정 의도 데이터
감정을 아는
(것같은) AI
감정
인간
기계
자연지능
인공지능
터치-흔
그냥 내 생각:
그래서, AI의 “마음”이 될 수 있는 것 같다.
마음에의 잣대 =/ 연산에의 잣대
기계감정의 한계?
• 기계 마음에 대해서는 ‘정확성’외의 다른 잣대가 필요하지 않을까?
감정의 왜곡?

24. 인공지능이 쓴 소설
기계의 고독을 공감.
나는 기계가 느끼지 못한다고 할 수 있을까?
인간 감정 기계 감각 기계 감정
독해 표현
나의 경험
공감
=

25. Artificial Psychology
구성
그 중 이모셔널
분야 소개
감사합니다.