CHI 2020 Paper

1. Developing a Personality Model for
Speech-based Conversational Agents
Using the Psycholexical Approach
+ CHI 2020 Paper
-Sarah Theres Völkel et al.
/ 박상아

2. Background
- 보이스 에이전트는 직접 ‘말(speech)’로 상호작용하기 때문에, 전통적인 GUI보다 더욱 ‘인성’과 이야기하는 느낌이 듦
> 따라서 Human bahavioral 특성을 모방하고, human-like한 성격을 체계적으로 구현하는 것이 중요해짐
-하지만 에이전트 성격을 위한 정해진 모델이 없음.
인간의 Big Five 모델이 에이전트에게 적절한가? (ex. openness는 불필요, robotic 같은 새로운 묘사 필요)
- Big five 모델이 그랬던 것처럼, 에이전트 성격 모델에 대해서도 Psycholexical approach로 개발 가능
psycholexical approach: “사람들이 중요하게 여기는 성격 특성은, 그들이 사용하는 언어에 내재될 것이다!”
1) 귀납적으로 성격 묘사 단어를 모은 후, 2) 탐색적으로 요인을 분석함 - 즉 잠재적인 구조를 끄집어 냄

3. Background
- 보이스 에이전트는 직접 ‘말(speech)’로 상호작용하기 때문에, 전통적인 GUI보다 더욱 ‘인성’과 이야기하는 느낌이 듦
> 따라서 Human bahavioral 특성을 모방하고, human-like한 성격을 체계적으로 구현하는 것이 중요해짐
-하지만 에이전트 성격을 위한 정해진 모델이 없음.
인간의 Big Five 모델이 에이전트에게 적절한가? (ex. openness는 불필요, robotic 같은 새로운 묘사 필요)
- Big five 모델이 그랬던 것처럼, 에이전트 성격 모델에 대해서도 Psycholexical approach로 개발 가능
psycholexical approach: “사람들이 중요하게 여기는 성격 특성은, 그들이 사용하는 언어에 내재될 것이다!”
1) 귀납적으로 성격 묘사 단어를 모은 후, 2) 탐색적으로 요인을 분석함 - 즉 잠재적인 구조를 끄집어 냄
이를 위해 psycholexical approach 기반의 보이스 에이전트 성격 모델 개발 시도:
온라인 서베이 free description task (228개의 descriptors) +
랩 스터디 interaction task(176 descriptors) +
앱스토어 리뷰 text analysis (383)를 통해 349개의 성격 descriptors 정리
>> 요인 분석을 통해 열 개의 성격 차원 도출

4. Method
1) 귀납적으로 성격 묘사 단어 모으기 ➔ 2) 탐색적 요인 분석하기
- ‘Descriptors’ 수집: 대상(에이전트)을 묘사하는 형용사에 한정
- 빈도 수와 관계 없이, 나타나는 모든 단일한 descriptor를 수집함
어디서 수집?
1
온라인 서베이 (N=135).
(구글 어시스턴트/ 시리/ 알렉사 중) 사용해 본 한 어시스턴트에 대해 대표적 descriptors 5개를 묘사
정제 후 228개의 단일 descriptors 수집함. 68.7%는 한 번씩만 언급됨. 전반적인 initial overview
2
랩 실험 (N=30).
3개 에이전트와 각각 대화(메시지 전송, 노래 재생, 농담)한 다음, 인터뷰를 바로 진행하여 성격 묘사
전사 후 176개의 단일 descriptors 수집함. 그중 110개는 1에서 나오지 않은 단어
3
텍스트 마이닝.
플레이 스토어의 (알렉사/ 구글 어시스턴트/ Cortana) 리뷰 30,000개 중 성격 묘사 단어를 수집
자동 분석과 수동 분석 결합: 특정 기능/기술에 대한 인식과 사용자 설명이 포함될 수 있으므로
두 명의 수동 분류 후 383개의 단일 descriptors 수집함. 그중 288개는 1,2에서 나오지 않은 단어

5. Method
1) 귀납적으로 성격 묘사 단어 모으기 ➔ 2) 탐색적 요인 분석하기
- 온라인 서베이, 랩 실험, 텍스트 마이닝을 통해 수집된 결과는 이렇다 …
1) 인간 성격에 대한 전통적 descriptors가 에이전트에 적절할 가능성을 고려해 Big Five 모델의 339개 형용사를 통합
2) 어려운 단어, 모호한 단어, 성별/인구 통계 관련 단어, 과잉된 단어, 사용자 감정 표현 단어 등을 제외
3) 동의어를 클러스터링(동의어 정보 제공하는 웹 Merriam Webster the-saurus2)하고, 익숙한 표현이 앞에 나오게끔 빈도 별로 정렬
4) 모호함을 피하고 명확하게 하기 위해, 각 클러스터에서는 가장 자주 사용되는 단어 하나를 선택함
>> 349개의 descriptors 도출!
최종 descriptors 셋 구하기

6. Method
1) 귀납적으로 성격 묘사 단어 모으기 ➔ 2) 탐색적 요인 분석하기
- 이제, 귀납적으로 모인 349개의 단어에 내재되어 있는 잠재적인 구조를 탐색해 보아야 한다.
- Amazon MTurk 온라인 설문(N=744)을 통해:
가장 많이 사용하는 에이전트(구글/시리/알렉사 중 하나)에 대해 평가하게 함
349개 형용사를 랜덤으로 주고 4점 척도로 응답 (typical — untypical)
- 이후 descriptors 간 상관 매트릭스 & 카이사르 기준에 따라 10개의 요인을 도출해냄

7. - 그래서 나온 열 가지 요인과, Top descriptors는 다음과 같다.
Confrontational (대립적인)
actively negative 스탠스. abusive, combative, offensive, manipulative. 사용자나 태스크에 대해 원하는 대로 안 해줄 수 있
는 경우.
Dysfunctional
passive negative 스탠스. confusion, inactivity, lazy, irritated, fearful, ignorant, dead, .. 정서/사회적 차원이나 실용/기능
적 차원에서 모두 나타날 수 있음. 유저에게 반응 안 하거나 피드백 안 줄때. 버그 걸리거나 하드웨어 문제 생기거나..
Serviceable
인지적 기능과 관련해, informative, functional, capable, accurate, knowledgeable. / 역할을 잘 충족하는 convenient,
useful, user-friendly, interactive, helpful. 기능성과 사용성 측면을 얘기함. 적절한 피드백을 주거나 태스크를 믿음직하게 수
행했을 때.
Unstable
적극적 대립이나 소극적 무능이 아니라, 전반적인 불안전함의 측면. nervous, anxious, temperamental신경질적인, 정서적으
론 sloppy 엉성한, faultfinding잔소리하는, dangerous. 항상 사용자의 기대대로 일하지 않는.
Approachable
calm, welcoming, peaceful, gentle. relaxed, respectful. 태스크를 수행하는 잘 측면보다는, 요청 시 그렇게 해줄 거라는 기
대에서 나오는 사회적 경험. 요청을 성공적으로 수행했는지 여부와 상관 없이 사회적으로 적절한 톤으로 피드백을 제공하는.
Result

8. Social-Entertaining
유머 등 사회적 행동과 엔터테인먼트. humorous, playful, funny, joyful, charming, cheerful.
Social-Inclined
사용자를 도우려 하는 성격. agreeable, willing, interested, flexible, conversational, patient. friendly, kind, … 전반적으로
친숙하며, 언제나 유저의 시그널을 들을 준비가 되어 있으며(불 켜진 상태로), 더 디테일을 원하는지 물어보고, …
Social-Assisting
숙련된 어시스턴트에게 기대되는 사회적 스킬과 태도. pragmatic, conscientious, diplomatic, vigilant(방심하지 않는),
foresighted,.. 사용 가능한 기능(serviceable)과 환영하려는 성향(approachable)과 달리, 어시스턴트가 태스크를 수행하는 태
도와 연관. 요청을 잘 처리함. 사용자가 원하는 요청을 예상하고 서비스를 제공하는 것이 자신의 일임을 명확히 전달함.
Self-Conscious
독립적인 사고를 할 수 있는 실체. independent, creative, artistic, deep, ambitious, introspective, magical. 실제로 자의식
을 존재하게 만들진 못해도, ‘환상’을 만들 순 있음. 의견, 인상, 감정에 대한 설득력 있는 응답을 제공하는. 추상적인 대화에서 독
립적이고 창의적인 사고를 하는.
Artificial
‘사물’의 특성을 강조하는 용어. robotic, artificial, superficial, fake, electronic, mechanic. 혹은 intrusive, odd, simple-
minded, passionless, monitoring. 정보 등에 대한 과신을 피하기 위해 의도적으로 객체임을 드러내며 소통하거나, 존재 환상
을 깨기 위해 자신이 객체임을 명확하게 제시하거나.
Result

9. -인간 성격의 Big Five 모델과 비교했을 때, 겹치는 차원도 많음: Approachable, Social-Inclined, Social-Assisting.
Unstable 차원은 빅파이브의 신경성 차원과 비슷할지도.
Serviceable 차원도 인간의 성실성 차원과 유사. 다만 더 기술적인 용어를 사용할 뿐.
-현재 에이전트는 주로 어시스턴트의 역할을 하며, 인간 대화와 실제로 유사하지 않는 경향.
미래에 자연스러운 대화 진행되면 또 에이전트의 성격 다르게 인식할 듯
-세 가지 방법론을 통해 얻은 각각의 descriptors 집합은 약간의 겹침만 보여줌.
따라서 일반화되고 더 강력한 집합 도출을 위해서는 더 많은 데이터가 필요함.
-한편으로는 여러 방법의 조합이 다양한 사례를 포괄하는 데 필요함을 보여줌
-사람들의 다양한 답변 분산의 많은 부분(51%)이 이 차원에서 설명되지 못함. 앞으로 해결해야 할 부분.
Discussion
인간 성격 모델과 비교하자면 …
방법론적인 측면에서 …