Understanding Users’ Perception Towards Automated Personality Detection with Group-specific Behavioral Data [CHI 2021] - Seoyoung Kim, Arti Thakur, JuhoKim

1. + CHI 2020
/류명균
Understanding Users’ Perception
Towards Automated Personality
Detection with Group-specific
Behavioral Data
- Seoyoung Kim, Arti Thakur, JuhoKim

2. 01
02
03
04
05
06
WHY THIS PAPER
INTRODUCTION
METHODS
SURVEY
INTERVIEW
DISCUSSION

3. 01 WHY THIS PAPER
프라이버시 관점에서 로그 데이터에 대한 사용자 인식을 다룬 논문
어떤 로그 데이터를 봐야 행동이 보일까?
그 데이터는 안줄 것 같지 않아…?
어떻게 하면 그 데이터를 줄까…?
이렇게 하면 줄까…?
로그 데이터를 찾을 때 하는 고민
이 로그 데이터 보면 좋을 것 같은데..

4. • 개인의 성격 특성은 업무력, 유능함, 팀 내 사회적 관계에 영향을 미치기 때문에,같은 공간에서 일하는 멤버들의
성격을 측정하고자 하는 시도가 많이 있음
• 전통적으로 자가평가의 방식이 있지만, 시간이 소요된다는 단점을 보완하기 위해 자동화 방식이 도입되는 추세
개인의 성격을 파악하기 위해 자동화 성격 측정 방법에 대한 연구가 필요함
02 INTRODUCTION
• 간단한 업무가 주어졌을 때 반응 (reactivity)
• 매일의 행동 데이터 (behavioral data)
새로운 성격 측정 방법
APA(Automatic Personality Assessment)
현재 성격 측정 방법
자가 평가
• 장점 : 비용이 낮고,
수용성(acceptability)이 높음
• 단점 : 사용자의 시간이 소요됨

5. • 간단한 업무가 주어졌을 때 반응 (reactivity)
• 매일의 행동 데이터 (behavioral data)
새로운 성격 측정 방법
APA(Automatic Personality Assessment)
행동 데이터 분석을 통해 성격을 유추하는 것은 프라이버시 침해의 문제가 있음
02 INTRODUCTION
- Mobile phone logs
- Social media profiles
- Wearable device logs
시간에 따라 변하는 성격을 포착하지는 못함
새로운 연구가 많이 이루어지고 있으나,
프라이버시 침해 문제 때문에 실제로 적용하기는 어려움
• 새로운 성격 측정 방법은 1) 간단한 업무가 주어졌을 때 반응을 살피거나, 2) 매일의 행동 데이터를 통해 유추하
는 방법이 있음
• 두 번째 방법은 변하는 성격을 포착한다는 장점이 있지만, 프라이버시 침해의 문제로 실생활에 적용되기 어려움

6. 03 METHODS
SURVEY INTERVIEWS
APA SYSTEM
서베이 결과에 기반하여 시스템 제작
시스템 사용자 인터뷰
서베이와 인터뷰를 통해,
행동 데이터를 사용하는 APA에 대한 사용자 인식을 알아보고자 함

7. 03 METHODS
APA SYSTEM의 데이터 수집 요약

8. 03 SURVEY
SURVEY
온라인 서베이 진행 (n=89, 총 50문항)
회사나 조직 내에서 데이터 공유 수용성에 대한 서베이
오프라인 근무하는 풀타임 근무자
43.8% 여성,
18~29세 33.7%, 30~44세 28.0%, 45~60세 13.5%
1. 온라인과 오프라인에서의 사회적 행동 패턴 차이
- 온라인과 오프라인에서 사회적 인터랙션에 얼마나 시간을 보내는지?
•온라인 : 메신저, 소셜 미디어를 통한 동료 또는 친구와의 채팅
•오프라인 : 동료 또는 친구와의 일상적인 대면 대화 (공식 미팅 제외)
- 온라인과 오프라인에서 얼마나 자주 사회적 활동을 하는지?
2. 특정 데이터 배제 옵션과 그룹 내/외에서 발생한 데이터에 따른 공유에 대한 수용성
- 아래 3가지 조건에 따라, 7-point 리커트 척도로 측정
•그룹 내, 그룹 외 발생 데이터 공유 + 데이터 배제 옵션 없음
•그룹 내 발생 데이터 공유 + 데이터 배제 옵션 없음
•그룹 내 발생 데이터 공유 + 데이터 배제 옵션 있음

9. 03 SURVEY
SURVEY
3. 데이터 종류에 따른 공유에 대한 수용성
- 특정 조건 (그룹 발생 데이터 공유 + 데이터 배제 옵션 있음)
•온라인 챗 로그
•온라인 웹/웹 사용 로그
•오프라인 위치 로그
•오프라인 움직임 로그
+ 오디오와 비디오 레코딩 공유
++ 오디오 피처만 공유 (피치, 템포, 크기)
4. 데이터 정보량에 따른 공유에 대한 수용성
- 특정 조건 (그룹 발생 데이터 공유 + 데이터 배제 옵션 있음)
•내용 없는 온라인 챗 로그 공유를 더 수용하는가?
•슬랙에서 ‘DM/비밀 채널’보다 ‘공개 채널’의 챗 로그 공유를 더 수용하는가?
•요약 형태의 웹/앱 사용 로그 공유를 더 수용하는가?
(URLs vs. domain information vs. categories of web/app)
•‘움직임 데이터’보다 ‘걸음 수’ 데이터 공유를 더 수용하는가?

10. 03 SURVEY-RESULT
1. 온라인 그룹과 오프라인 그룹 내에서의 사회적 행동 패턴 차이가 있다.
시간 빈도
SURVEY
2. 데이터 배제 옵션이 있는 그룹 내에서 발생한 데이터의 공유 수용성이 높다
cond.(1) 그룹 내, 그룹 외 발생 데이터 공유 + 데이터 배제 옵션 없음
cond.(2) 그룹 내 발생 데이터 공유 + 데이터 배제 옵션 없음
cond.(3) 그룹 내 발생 데이터 공유 + 데이터 배제 옵션 있음
데이터 배제 옵션의 경우 통계적으로는
유의미한 결과가 나타나지는 않았지만,
인터뷰에서는 긍정적인 반응

11. 03 SURVEY
3. 데이터 종류에 따라 공유 수용성이 다르다.
Chat logs Web/app Location Movement Audio rec. Video rec.
Audio
features
4.10 3.49 4.07 3.54 2.82 2.75 3.0
SURVEY
우회적인 방법의 오디오 데이터 수집은
유의미한 차이를 나타내지는 않음
4. 데이터의 정보량이 낮을수록 공유에 대한 수용성이 높을지도 모른다.
- 온라인 챗 로그 수집에서 내용 포함과 포함하지 않음은 공유 수용성에 영향을 준다고 말
할 수 없다. (P = 0.52)
- 슬랙에서 ‘DM/비밀 채널’보다 ‘공개 채널’의 챗 로그 공유를 더 수용한다(p<0.01)
- 요약 형태의 웹/앱 사용 로그 공유를 더 수용한다고 말할 수 없다 (p=0.65)
- ‘움직임 데이터’보다 ‘걸음 수’ 데이터 공유를 더 수용한다. (p=0.02)
/w content /wo content
3.58 3.40
Public Private DM
4.41 2.86 2.71
URLs
Domain
inforamtio
n
Categories
3.18 3.29 3.26
Movement Step
3.07 3.45

12. 04 INTERVIEW
APA SYSTEM 사용 후 인터뷰
- 인원 9명
- 반구조화 인터뷰, 30분, $10
- 수집한 데이터를 보여주고 데이터가 그룹 내에서 공유되는 것에 대해 물음
- 행동 데이터로 성격 결과에 대한 공유 (시스템 예측값과 자가 평가 결과 값 보여줌)
- Thematic analysis
Theme 1. 참가자들은 프라이버시에 걱정하는가?
INTERVIEWS
1) 명확한 근거 없이 데이터 오남용에 대한 걱정
- 감시, 규제, 데이터에 더 큰 의미 부여함 (상상속의 걱정)
2) 명확한 근거가 있는 프라이버시 걱정
“웹과 앱이 다른 데이터보다 더 침해하죠. 더 개인적이기 때문이에요.”
“웹/앱 사용의 시간 기록을 수집하지 않는 것은 프라이버시 이슈를 많이 줄여줘요.
사용 시간을 수집하는 것이 나아요”
3) 프라이버시를 걱정하지 않는 경우
- 데이터의 내용이 제한적이라서,
- 데이터 처리 과정의 투명성 (원하지 않는 정보에 대해 삭제 후 데이터 제공)
- 공유 대상(연구자)을 믿음, 완벽하지 않은 데이터, 데이터 수집에 대한 사전 동의

13. 04 INTERVIEW
1) 시스템이 데이터 기반이라는 점은 복합적인 영향을 줌
- 몇몇 참가자는 자가 평가 결과와 시스템의 결과가 다를 때, 시스템을 더 신뢰함
“그 결과가 3주 데이터에 기반하기 때문에, 시스템이 정확할 것이다.”
- 데이터 수집 범위의 한계 때문에 신뢰하지 않음
“페이스북을 사용하는데, 페이스북 트래킹을 못하게 했어요..
시스템이 내 행동을 충분히 포착한지 모르겠어요”
2) 성격에 대해 자기 인식을 더 신뢰함
- 실제 정확도 외에 자기가 인식하는 성격도 믿음에 영향을 미침
“랩에서는 조용한 것 같다. 근데 시스템이 외향적이라고 해서 놀랐다. 이해가 안된다.”
3) 몇몇은 시스템이 어떻게 작동하는지에 대한 부족한 투명성을 지적함
INTERVIEWS
Theme 2. 데이터 수집 기간 동안 시스템은 참가자의 행동 변화를 유도하는가?
1) 관찰자 효과에 의한 행동 변화
“누가 나를 지켜보는 느낌이 들어요. 그것 때문에 행동이 변한 것 같아요”
2) 셀프 모니터링에 의한 행동 변화
“웹/앱 트래커를 사용해서, 평소보다 낭비하는 시간이 줄었어요”
Theme 3. 어떠한 점이 성격 결과에 대한 참여자의 신뢰에 영향을 주는가?

14. 05 DISCUSSION
- 명확하지 않은 이유로 프라이버시를 걱정하는 경우
→ raw data를 공개하고, 데이터 제공자의 신뢰를 얻어야함.
- 데이터 수집에 대해 합리적인 이유가 있어 프라이버시를 걱정하는 경우
→ 명확하게 행동이 보이는 데이터는 삼가고, 데이터 수집 범위를 고려
→ 데이터 배제 권한을 주는 것은 효과적이다.
→ 데이터 수집 기술의 선택도 영향을 미친다.
(예를 들어, 오프라인 포지션 데이터의 부정확함은 프라이버시 걱정을 지움.
또한 웨어러블 기계는 1m의 오차가 있는데, 이것이 효과적)
2)시스템에 의한 사용자의 행동 변화를 고려해야 한다
- 사용자가 자신의 행동 변화를 지각 하면, 시스템에 대한 신뢰에 영향을 받는다.
- 시스템에 의한 사용자의 행동 변화는 불가피하다.
- 인터뷰 결과에 따르면, 사용자 행동 변화는 1) 관찰자 효과, 2) 셀프모니터링 때문에 나타난다.
→ 관찰자 효과에 의해 행동 변화가 나타난 참가자는 영향을 벗어나지 못했다
→ 셀프모니터링 떄문에 행동 변화가 나타난 참가자는 시스템에 적응하면서 원래 행동으로 되돌아갔다.
3)정확도와 사용자 인식의 복잡한 관계
- 정확도를 높이기 위해 사용자 데이터를 철저하게 수집하는 것은 추천하지 않는다.
- 사용자의 결과에 대한 신뢰는 예측 정확도 + 자가 인식 + 예측 메커니즘의 투명성에 영향을 받는다.
1)사용자의 프라이버시 걱정을 고려해야 한다

15. 06 TAKEAWAY
로그 데이터에 대해 사용자가 느끼는 프라이버시에 대한 이해
- 같은 데이터도 언제, 어디서 발생하는 지에 따라 프라이버시 인식이 달라진다.
(업무 중에는 상대적으로 덜 민감해진다. 업무 중 위치 공개는 OK)
- 개인을 추적할 수 없는 데이터 (타임 스탬프보다는 사용 시간, 움직임보다는 걸음 수)
- 비디오, 오디오는 우회적인 방법이라 할 지라도 프라이버시에 민감하다.
- 데이터 사용자에 대한 신뢰를 높이기 위해 데이터를 어떻게 처리되는지, 무슨 연구에 활용되는 지
더 자세히 고지할 필요가 있다.
얻고자 하는 로그 데이터가 프라이버시 침해가 심하다면, 정보량을 조절하거나 시간이나 장소의 제한을 두거나,
행동이 많이 드러나는 로그 데이터일수록 프라이버시가 침해될 확률이 높다.
이런 경우에는 로그 데이터가 가지고 있는 정보량을 조절하거나,
로그 데이터 수집 기간이나 장소를 제한하거나,
데이터 처리 과정을 공개하거나, 데이터 처리 프로그램을 배포하여 사용자가 직접 처리한 후 제공 받거나,
등 다양한 방법을 고민해 볼 필요가 있다
머신러닝 서비스에서 사용자가 결과를 신뢰하기 위해서는 정확도 + 인식 + 투명성이 중요하다
머신러닝 서비스에서 정확도는 머신러닝 전문가의 영역이라면, 인식과 투명성을 개선하는 건 우리의 몫이 아닐까..?