Designing the HCI Technology for Flexible, Semi-Automated Personal Tracking Experience

Young-Ho Kim (Ph.D candidate)
Human-Computer Interaction Laboratory
Department of Computer Science & Engineering
Seoul National University
Designing the HCI Technology for
Flexible, Semi-Automated  
Personal Tracking Experience

발표자 소개
2
김 영 호
2012 - 현재 서울대학교 컴퓨터공학부 HCI 연구실 박사과정  
(지도교수: 서진욱)
2011 - 2012 (주) 이음소시어스 브랜드경험 디자이너
2007 - 2011 서울대학교 미술대학 디자인학부 학사 (BFA)
http://younghokim.net

발표 개요
1. HCI, Self-Tracking, and Personal Informatics
2. TimeAware: Promoting Behavior Change through Visual Feedback Design
3. OmniTrack: Designing Flexible Self-tracking Technology
3
CHI 2016 UbiComp 2017

오늘의 발표
4
ImplementationUnderstanding PeopleDesign

HUMAN-COMPUTER INTERACTION
기술을 통해 인간을 이해하는 학문
삶에 이로운 기술을 디자인하는 분야
5
인간 기술상호작용

HCI를 다루는 분야들
6
아트&디자인 공학 심리학
경영학 교육학인류학 인지과학 …
의학

SELF-TRACKING
People's recording, analyzing, and reﬂecting
on data about themselves
7
The practice of systematically recording information
about one's diet, health, or activities, typically by means of a
smartphone, so as to discover behavioral patterns that may then be
adjusted to help improve one's physical or mental well-being.
The Oxford English Dictionary
Gina Neff and Dawn Nafus,
Self-Tracking. 2016. THE MIT Press
자신의 행동패턴을 알아내어 신체적/정신적 웰빙을 증진하기 위한 목적으로
식이, 건강, 활동 등의 지표를 체계적으로 기록하는 활동
자신에 대한 데이터를 기록하고, 분석하고, 숙고하는 과정

자신에 대한 데이터 자신에 대한 지식 삶의 긍정적 변화

THE RISE OF SELF-TRACKING
325,000 mHealth apps listed on major app stores (2017)1
21% of American adults use wearable devices (2015)2
9
1 Research 2 Guidance 2017, mHealth App Economics: Current Status and Future Trends in Mobile Health. 2017.
2 Fleming 2015, Data Digest: Announcing Our Annual Benchmark On The State Of US Consumers And Technology In 2015

EARLY SELF-TRACKING
Daily tracking of the 13 virtues
10
Benjamin Franklin
1706-1790
One of the Founding Fathers
Temperance
Silence
Order
Resolution
Frugality
Industry
Sincerity
Justice
Moderation
Cleanliness
Tranquility
Chastity
Humility

THE QUANTIFIED SELF MOVEMENT (MID 2000)
열정적인 셀프기록자들의 모임
11
Understanding quantified-selfers’ practices in
collecting and exploring personal data 
Choe et al, ACM CHI ’14

헬스 데이터를 통한 디지털 커뮤니케이션
12

OPEN QUESTIONS OF SELF-TRACKING
13
Design Problems Technical Problems Analytical Problems
어떤 지표를 어떻게 기록해야  
하는가?
예) 수면 트래킹 앱에서는 어떤 지표를
기록해야 하는가? 자동인가 수동인가?
기록한 데이터에 대한 피드백은
어떤 식으로 줄 것인가?
예) 시각화 위젯, 노티피케이션, 이메일
등
어떻게 대상 지표를 효과적으로
측정할 것인가? (적은 센서로,
최소한의 배터리로)
예) 수면, 혈압, 심박 등
기록한 데이터를 통해 어떤 식으로
인사이트를 도출할 것인가?
예) 딥 러닝, 데이터 마이닝

SEMI-AUTOMATED TRACKING
Understanding self-tracking
as a combination of the automated + manual capture methods
14
Choe et al., 2016, Semi-Automated Tracking: A Balanced Approach for Self-Monitoring Applications, IEEE Pervasive Computing
Fully manual
tracking
Fully automated
tracking
Paper Diary
Wearable
Monitoring
SESAME
MoodRhythm
MONARCA
M-Psychiatry
MoodTracker
Semi-automated Tracking Spectrum for Mood

SEMI-AUTOMATED TRACKING
15
Choe et al., 2016, Semi-Automated Tracking: A Balanced Approach for Self-Monitoring Applications, IEEE Pervasive Computing
기록에 대한 부담 낮음
(데이터의 종류에 따라) 정확성 높음
웨어러블을 착용해야 하는 부담
데이터에 대한 몰입도 떨어짐 (Disengagement)
+
+
-
-
자신에 대한 인지 증대
데이터에 대한 몰입도 높음  
기록 대상 활동에 대한 선택의 폭 높음 
수동 기록만 가능한 데이터들이 있음
직접 기록해야 하는 부담
기록의 주관성으로 인한 데이터의 정확도 타협
+
+
+
+
-
-
Fully manual
tracking
Fully automated
tracking

TIMEAWARE
16
Fully manual
tracking
Fully automated
tracking
사람이 신경쓰지 않아도 데이터가 자동으로 모이므로
적절한 피드백의 디자인을 통해 사용자를 데이터로 이끌어야
시각화 위젯 Chatbot …

Leveraging Framing Effects to Enhance Personal Productivity
Young-Ho Kim 1 Jae Ho Jeon 1, 2 Eun Kyoung Choe 3
Bongshin Lee 4 KwonHyun Kim 5 Jinwook Seo 1
ACM CHI 2016

FREQUENT CONTEXT SWITCHING
딴짓(self-interruption)에 빠지기 쉬운
현대 컴퓨터의 멀티태스킹 환경
18
TimeAware
Leveraging Framing Effects
to Enhance Personal Productivity

Automated computer usage
tracking on a background process
RescueTime
www.rescuetime.com
COMMERCIAL TOOLS
19
TimeAware
RescueTime’s Daily View

POWER OF PRODUCTIVITY MONITORING
20
TimeAware
“어플리케이션 사용 히스토리 시각화를 통해 시간관리에 대한 인사이트를 줄 수 있다”
KnowSelf (Pammer et al., 2012, 2013, 2015)

PRIOR STUDIES WITH RESCUETIME
21
TimeAware
Estimating Usage Can Reduce
the Stress of Social Networking (CHI ’13)
Y.Zhou, J. Bird, A. L. Cox, and D. Brumby
자신의 SNS 사용량을 제대로 파악하게 되자
본인이 SNS를 과용할지 모른다는 스트레스가
줄어들었다.
Social networking use and RescueTime: the
issue of engagement (UbiComp ’14 Adjunct)
E. I. M. Collins, A. L. Cox, J. Bird, and D. Harrison
웹을 통해 대시보드를 접속해야 하는 번거로움이
데이터에 대한 몰입과 트래킹의 효과를 떨어지게
만들었다.
4.68 seconds/day of
RescueTime dashboard use

RESEARCH AIM
How can we design
effective feedback
for productivity tracking systems?
22
TimeAware

TIMEAWARE
23
TimeAware
Ambient
Widget
Framing
EffectsA self-monitoring system for capturing and
reflecting on personal computer usage behavior

FRAMING EFFECTS
24
TimeAware
Positive Framing
The water is
half full!
Negative Framing
The water is
half empty!
Amos Tversky and Daniel E Kahneman., 1981
The framing of decisions and the psychology of choice

NUDGING BY FRAMING
25
TimeAware
Positive Framing Negative Framing
E. K. Choe, B. Lee, S. Munson, W. Pratt, J. A. Kientz., 2013
Persuasive performance feedback: the effect of framing on self-efficacy
2500 Steps achieved 7500 Steps remaining
More desirable in improving the self-efﬁcacy

TIMEAWARE DESIGN
26
TimeAware

RESCUETIME ⇨ TIMEAWARE
27
TimeAware
RescueTime
API
New
Visualization
New
Productivity
Metric
Menubar
Widget

TIMEAWARE SYSTEM
28
TimeAware

RescueTime의 자동화된 레이블링 + TimeAware만의 부분 레이블링 컨셉
LOGGING PRODUCTIVITY
29
TimeAware
Finished UsingStarted Using

초기의 생산성 레이블은 각 어플리케이션의 기본 생산성으로 매겨짐
30
TimeAware
Distracting
Neutral
Productive
Productivity Levels

TimeAware에서는 사용 컨텍스트에 따라 일시적 생산성을 부여 가능
31
TimeAware
While Skype is used for
business meeting,
It is productive.

각각의 생산성 점수별 사용시간의 합 계산
32
TimeAware

1055
THE PRODUCTIVITY METRIC
Neutral 활동은 50% 확률로 생산적이거나 비생산적일 수 있다고 간주
TimeAware
Productive Duration Distractive Duration
70 20
Productive Rate (%) Distractive Rate (%)
= 25= 75

FRAMING PRODUCTIVITY FEEDBACK
34
TimeAware
Positive Framing
Productivity-emphasized
Productive elements are encoded blue.
Distracting elements are desaturated.
Productive Rate is used.
“You were 75% productive today.
75%

FRAMING PRODUCTIVITY FEEDBACK
35
TimeAware
Negative Framing
Distraction-emphasized
Productive elements are desaturated.
Distracting elements are encoded red.
Distractive Rate is used.
“You were 25% distracted today.
25%

Information Dashboard
FEEDBACK EXPERIENCE FLOW
36
TimeAware
Widget (Expanded)
Click!
Click!
Ambient Widget  
(Always-on Feedback)

FIELD DEPLOYMENT STUDY
37
TimeAware

PARTICIPANTS
38
TimeAware
Productivity-emphasized Distraction-emphasized
Positive Framing | PF, 12 People Negative Framing | NF, 12 People

PROCEDURE | DEPLOYMENT
ABA Experimental Design
39
TimeAware
PF
NF
Intervention
2 weeks 4 weeks 2 weeks
WithdrawalBaseline
TimeAware allowed
Pre-study Questionnaire Post-study Questionnaire

부정적인 피드백을 받은 참가자들만이
Intervention 기간 동안 생산성 증대
EFFECTS ON PRODUCTIVITY
40
TimeAware
●
● ●
● ● ●
● ● ● ●
●
● ● ●
● ●
● ● ●
● ●
● ● ●
● ●
● ● ●
●
●
● ●
●
●
● ● ●
● ●
60
70
80
90
0 10 20 30 40
Day
ProductiveRate(%)
● ● ● ●
●
●
● ●
●
●
● ● ●
● ●
● ●
●
●
●
●
● ●
● ●
● ● ●
● ●
●
● ●
● ●
●
● ●
●
●
60
70
80
90
0 10 20 30 40
Day
PF Productivity Progress NF Productivity Progress
InterventionBaseline Withdrawal
p = 0.0000*** p = 0.003***
Framing ✕ Period interaction : p < 0.0001
InterventionBaseline Withdrawal InterventionBaseline
p = 0.0000***
Intervention Withdrawal
p = 0.003***

STRESS OF NEGATIVE FRAMING
Negatively-framed participants actively reported
much more stress of receiving Productivity Feedback.
41
TimeAware
“비생산적인 시간을 줄여야 한다는 무언의 압박을 받았
습니다.
“생산성을 늘려야 한다는 스트레스 때문에 계속 제 생산성을 체크하
게 되더군요.

ENGAGEMENT TO TIMEAWARE
No difference between groups
Higher engagement compared to prior work Collins et al., 2013
Promising effect of ambient widget on the engagement
42
TimeAware
Widget Expansion Count
more than 2.5 times a day
Dashboard Access Count
more than 1.6 times a day
Dashboard Page Duration
longer than 1 minute a day
Collins et al., 2014.
4.65 seconds a day

SELF-REFLECTION FEEDBACK
43
TimeAware
Associating productivity pattern to the
corresponding events to find factors
that were not captured by TimeAware
Factors Affecting Productivity
여러 장소에서 일해본 결과, 나의 생산성이 장소
에 따라 달라진다는 것을 알게 되었습니다.“

DISCUSSION
44
TimeAware

TRADEOFF OF NEGATIVE FRAMING
45
TimeAware
Distraction-emphasized representation
Enhancing productivity
Imposing stress and suppression
but

EFFECT OF FRAMING
Two framings established different level of personal threshold?
46
TimeAware
30%
Distracted
70%
Productive
Which state is worse?

STRESSFUL FEEDBACK
47
TimeAware
생산적인 삶에 대한 보상 비생산적 삶에 대한 체벌

IMPLICATION FOR LOWERING STRESS
Reduce frequency of feedback
exposure
• Push notification
• Notify the productivity drops
• Let the feedback disappear
automatically
48
TimeAware
30%
Distracted
Warning
You have been distracted
for more than 5 minutes!

IMPLICATION FOR LONG-TERM EFFECT
Distraction feedback could be:
초기에는 효과가 있으나
장기적 행동변화를 일으키기에는 충분치 않다
49
TimeAware
30%
Distracted
생산성을 어떻게 증진시킬 수 있는가에 대한  
실행 가능한 가이드 필요
예: 이상적인 업무환경을 조성하는 방법

INTEGRATING MULTIPLE DEVICES
컴퓨터에 생산적인 프로그램을 켜둔
채로 스마트폰으로 딴짓을 했다
자동화된 생산성 트래킹은  
cheating에 대한 대비 필요
TimeAware
50

OMNITRACK
51
Fully manual
tracking
Fully automated
tracking
사용자가 직접 트래킹 툴을 만들어서  
본인의 니즈에 맞게 쓰도록 할 수 있을까?

Young-Ho Kim
Jinwook Seo
A Flexible Self-Tracking Approach
Leveraging Semi-Automated Tracking
Jae Ho Jeon Bongshin Lee Eun Kyoung Choe
ACM UbiComp 2017

낮은 자유도, 미리 디자인된 트래킹 앱들
사람들의 트래킹 능력은
그들이 쓰는 툴의 디자인을 벗어날 수 없다
기록 가능한 목표 행동들,
기록 가능한 정보들,
…
53
iOS Health App
생리주기 기록 불가

Q. 당신의 독서를 기록할 수 있는 트래킹 앱을 구상해 보세요.
다양한 기록의 니즈
Challenging to find an existing app that perfectly suits one’s tracking needs
54
text
text
star
Book Reviews
Title
Author
Rating
Book Reviews
text
text
number
text
Title
Author
Pages
Review
Reading Logs
Title
Page From
Page To
Date
text
number
number
date

RESEARCH AIM
자유도 높은 Self-Tracking 시스템을 통해 
사람들의 다양한 트래킹 니즈에 대응하기
55

THE OMNITRACK SYSTEM
56
Daily Diary Coffee Counter Physical Activity Anything You Want

BALANCING BURDEN WITH OMNITRACK
57
SleepTight (Choe et al. 2015)
Mostly Manual
Fully manual
tracking
Fully automated
tracking
SleepTight++
Semi-Automated
잠잔 시간은 웨어러블을 통해 
자동으로 측정
주관적인 수면의 질은  
수동으로 입력

OTHER EXTREME CASES
59
Fully manual Fully automated
Beer Tracker Step Sensor Comparison
VS VS

CORE COMPONENTS OF OMNITRACK
60
OmniTrack

TRACKER = DATA TABLE
61
Trackers:
트래킹의 기본 단위.
하나의 데이터 테이블에 대응

데이터 스키마를 구성하는 각각의 필드를 디자인.
나중에 스키마를 수정해도 기존에 기록한 데이터에 정보
손실없이 반영
DESIGNING & REVISING DATA SCHEMA
62
Text Number Time Point Time Range
Choices Ratings Photo Audio Rec. Location
Supported Field Types:

LEVERAGING THE EXISTING SERVICES
각 필드의 값에 기존의 웨어러블 디바이스와 앱으로부터  
측정값을 불러와 입력하도록 설정 가능
63
Google Fit

TRACKING AUTOMATION BY TRIGGERS
Triggers:
미리 설정한 조건이 만족되면 자동으로 로그의 값을
채워서 기록
64
Time-based trigger:
Fired either at the preset time or
at periodic intervals
Data-driven trigger:
Log daily step count at every midnight
Log the time when my productivity drops  
under 50%.

VISUALIZATION
데이터 스키마를 통한 휴리스틱 추천으로 기
록한 로그에 대한 시각화 대시보드 제공
65

REVIEWING ITEMS AND EXPORT
66
각각의 필드값은 기록 후에도 수정 가능
기록한 데이터 테이블 및 미디어 파일(사진, 녹음)을  
익스포트하여 더 정밀한 분석에 활용 가능
Item List Page:
기록된 아이템을 열람하고 수정하는 페이지

FIELD DEPLOYMENT STUDY
67
OmniTrack

GOALS OF THE DEPLOYMENT STUDY
1. 사람들이 OmniTrack을 잘 활용할 수 있는지 알아보기
2. 사람들이 OmniTrack 앱을 어떻게 이용하는지 알아보기
3. OmniTrack이 제공하는 다양성을 알아보기
68

PARTICIPANTS
N = 21 (11 Females) 11 Undergrads / 6 Grads / 4 Workers Ages 22 ~ 34
Screener
1. 안드로이드 사용자
2. 기존에 트래킹을 수행하던 경험이 있고,
3. Self-Tracking에 관심이 있는 사람
69

EXPERIMENT DESIGN
70
3 weeks
Play store beta 링크 발송 종료 인터뷰
면대면 튜토리얼 없음, 4종의 예제 트래커만 앱 최초실행시 제공

RESULTS
71
OmniTrack

RETAINED TRACKERS
72
84 Example Seed  
Trackers
90Created
1 Edited
7
1
3 40 수정하지 않은 예제
9 수정된 예제
46 새롭게 추가
-33
-2
-44
21 Participants
✕
4 example trackers
Customized
Trackers
9
46
Retained Trackers

TRACKER STYLES
73
Timestamper
타임스탬프를 간편하게  
기록하는 원버튼 트래커
Archive
단순 기록용 아카이빙
Daily Summary
하루 전체의 요약 내용을  
기록하는 일지 형식
In-Situ Experience Tracker
특정 사건이 일어날 때마다 
그 정보를 기록
MOOD
When Mood
Emotion
On Shortcut Panel
ALERGY PILL
On Shortcut Panel
Taken At
HEALTH
Date
Trigger at 1:00 AM
Distance
Steps
Sleep
RESTAURANT-WANNA-GO
On Shortcut Panel
Memo
2.52 styles per participant

TRACKER DIVERSITY
74
ShortTxt:1
Time:1
Num:1
LongTxt:1
No field
TimeSpan:1
Num:1 Time:1
LongTxt:1 Time:1
Num:2 TimeSpan:1 Time:1
Num:2
Rating:1 Choice:1
ShortTxt:1 Time:1
Num:2 Time:1
TimeSpan:1 Time:1
Num:2 TimeSpan:1
Choice:1 LongTxt:1 TimeSpan:1
Img:1 Loc:1 ShortTxt:1 Time:1
Num:5 TimeSpan:2 Time:1
Rating:1 Loc:1 ShortTxt:1 TimeSpan:1
Num:2 ShortTxt:1 Time:1
Audio:1 Img:1 ShortTxt:1 Time:1
Img:1 Rating:1 Loc:1 LongTxt:1 Time:1
Num:2 Loc:1 TimeSpan:2 Time:1
Img:4 Choice:1 LongTxt:1
Rating:1 LongTxt:4 ShortTxt:2
Img:1 Rating:1 ShortTxt:1
0 1 2 3 4 5 6 7 8
Tracker schema distribution
0 1 2 3 4 5 6 7
# of Fields
0
5
10
15
20
25
30
Field count distribution
롱테일 분포
길고 복잡한 디자인의 트래커가 꼬리에 다수 분포

TRACKER DIVERSITY
참가자들이 사용한 Mood 트래커의 5가지 다른 디자인
75
CURRENT MOOD
When
Mood
Emotion
CRYING
On Shortcut Panel
No Fields (Timestamp)
D19 Male, Undergrad
HAPPINESS:)
What happened
When
Remember Me
Voice
SADNESS:(
Why
When
ENCOURAGE!
On Shortcut Panel
When
D8 Female, Undergrad
In-Situ Experience Logger
Timestamper

TRACKER REFINEMENT
33%의 실험 참가자들이 기록 도중에 데이터 스키마를 수정
76
CURRENT MOOD
When
Mood
Emotion
CRYING
On Shortcut Panel
No Fields (Timestamp)
D19 Male, Undergrad
CURRENT MOOD
When
Mood
“처음에는 내 감정점수 그래프를 보고 싶어서 감정 점수만 기록을 했어
요.하다 보니까 단순 점수만이 아니라 어떤 종류의 감정을 느낀 것인지
도 궁금해지더라고요. 그래서 체크박스를 붙여서 당시의 감정도 함께
기록했습니다.

DISCUSSION & FUTURE WORK
77
OmniTrack

DIVERSE AND DYNAMIC NEEDS
사람들의 트래킹 니즈는 다양하며 시간에 따라 역동적으로 변한다.
트래커의 “중도 수정” 컨셉 - 개인화되고 복잡한 트래킹 니즈에 대응하는
하나의 방안
78

트래킹 디자인 공간의 확장
트래커의 라이프사이클 — Self-tracking의 단계에 대응
빅데이터를 통한 인사이트 도출
79
Creation Modification Deletion

UTILIZING THE EXTERNAL CONTEXT
이미 성숙한 생태계를 갖춘 외부 시스템과의 연동
80
AWARE
www.awareframework.com
ifttt.com
맥락 정보를 활용한 센싱
복잡하고 정교한 트리거

OmniTrack is an Approach
Logging long-schemed tracker by low-burden Q&A with digital assistants
82
What are you drinking now?
Coffee.
How strong is it?
Very mild.Logged. This is your second cup of
coﬀee today.

RESEARCHER SUPPORT
Data collection tool without programming
Maximizing data capture space by combining manual + automatic fields
83
OmniTrack Research Toolkit
Researcher Participants
Experiment Design
Tracker Design 1
Tracker Design 2
Group A
Group B
Deploy
Data Management
Progress Monitoring Intervention
Sync Data
Analyze

OMNITRACK RESEARCH KIT
Node.js based OmniTrack backend server
+
Date collection management system
84
Will be open-sourced soon!
https://omnitrack.github.io

THANK YOU!
TimeAware: Leveraging Framing Effects to Enhance Personal Productivity
Young-Ho Kim, Jae Ho Jeon, Eun Kyoung Choe, Bongshin Lee, KwonHyun Kim, and Jinwook Seo
ACM CHI 2016
85
Young-Ho Kim yhkim@hcil.snu.ac.kr http://younghokim.net
OmniTrack: A Flexible Self-Tracking Approach Leveraging Leveraging  
Semi-Automated Tracking
Young-Ho Kim, Jae Ho Jeon, Bongshin Lee, Eun Kyoung Choe, and Jinwook Seo
PACM IMWUT 1(3), 2017
ACM UbiComp 2017

SYSTEM ARCHITECTURE
87
TimeAware
TimeAware
Client
•컴퓨터 사용량을 백그라운드에서 측정
•각 활동에 자동으로 생산성 레이블 부여
•RescueTime 로그를 TimeAware
서버로 전송
•Ambient widget을 데스크톱에 표시
Sync
•수정된 생산성 레이블
관리
•Information
Dashboard 웹사이트
표시
Web Server

Designing the HCI Technology for Flexible, Semi-Automated Personal Tracking Experience

Recommended

Recommended

More Related Content

Similar to Designing the HCI Technology for Flexible, Semi-Automated Personal Tracking Experience

Similar to Designing the HCI Technology for Flexible, Semi-Automated Personal Tracking Experience (20)

More from NAVER Engineering

More from NAVER Engineering (20)

Recently uploaded

Recently uploaded (6)

Designing the HCI Technology for Flexible, Semi-Automated Personal Tracking Experience