Feeling aware: investigating the use of a mobile variable-friction tactile display for awareness information

1. Feeling Aware: Investigating
the Use of a Mobile
Variable- Friction Tactile
Display for Awareness
Information
+Mobile HCI 2015
-Jeremy Birnholtz et al.
/유현진
x 2015 Fall

2. Feeling Aware: Investigating the Use of a Mobile Variable- Friction
Tactile Display for Awareness Information
- Mobile HCI 2015, Copenhagen, Denmark
Jeremy Birnholtz | Northwestern University Evanston, IL USA
Darren Gergle | Northw estern University Evanston, IL USA
Noah Liebman | Northwestern University Evanston, IL USA
Sarah Sinclair | Cornell University Ithaca, NY USA
요약 협업시 상대방이 노티를 받을 수 있는 적절한 상황인지 아닌지(available or not)를
tactile display vs. visual display 로 제시한 후 information awareness를 하는 데
어떤 디스플레이가 유용한지 알아본 논문

3. Author
Jeremy Birnholtz | assistant professor of Northwestern University
Do you see that I see?: effects of perceived visibility on awareness
checking behavior. Proceedings of CHI 2012, ACM Press (2012),
1765–1774.
Awareness Beyond the Desktop: Exploring Attention and Distraction
with a Projected Peripheral-vision Display. Proceedings of Graphics
Interface 2010, Canadian Information Processing Society (2010),
55–62.
“Everyone Has to Do It:” A joint action approach to managing social
inattention. Computers in Human Behavior 29, (2013), 2230–2238.
A Framework for Supporting Joint Interpersonal Attention in
Distributed Groups. Proceedings of Human-Computer Interaction –
INTERACT 2011. Springer Berlin Heidelberg, 2011, 295–312.
Affiliation history
・ University Michigan Ann Arbor
・ University of Michigan
・ University of Toronto
・ Cornell University
・ Northwestern University
Bibliometrics: publication history
Publication years 2003-2015
Publication count 59
Citation Count 352
Available for download 47
Downloads (6 Weeks) 435
Downloads (12 Months) 2,725
Downloads (cumulative) 22,549
Average downloads per article 479.77
Average citations per article5.97
Publications

4. Author
Jeremy Birnholtz | assistant professor of Northwestern University
Do you see that I see?: effects of perceived visibility on awareness
checking behavior. Proceedings of CHI 2012, ACM Press (2012),
1765–1774.
Awareness Beyond the Desktop: Exploring Attention and Distraction
with a Projected Peripheral-vision Display. Proceedings of Graphics
Interface 2010, Canadian Information Processing Society (2010),
55–62.
“Everyone Has to Do It:” A joint action approach to managing social
inattention. Computers in Human Behavior 29, (2013), 2230–2238.
A Framework for Supporting Joint Interpersonal Attention in
Distributed Groups. Proceedings of Human-Computer Interaction –
INTERACT 2011. Springer Berlin Heidelberg, 2011, 295–312.
Affiliation history
・ University Michigan Ann Arbor
・ University of Michigan
・ University of Toronto
・ Cornell University
・ Northwestern University
Bibliometrics: publication history
Publication years 2003-2015
Publication count 59
Citation Count 352
Available for download 47
Downloads (6 Weeks) 435
Downloads (12 Months) 2,725
Downloads (cumulative) 22,549
Average downloads per article 479.77
Average citations per article5.97
Publications
- joint interaction 상황
- awareness beyond the device

5. Abstract
Awareness displays; availability; interruption; tactile; variable friction; CSCW키워드
배경 always-connected world에서 다양한 인터랙션(노티 포함)이 방해요인으로 작용
Interruption을 줄이는 information awareness 방식에 대한 고려가 필요
-> 타인과의 인터랙션 상황에서, 어떠한 태스크에, 어떠한 방식으로 interrupt를 해야 load를 줄일 수 있는지 알아봄
목표 1) 태스크 종류와 태스크 로드
2) Visual Display vs. Tactile Display
1),2)의 독립변수에 따라서 information awareness가 어떻게 달라지는지 알아봄
방법 1) 실험실 셋팅에서 실험참가자 2명씩 짝을 지음
2) TPad variable-friction display를 활용하여 실험을 위해 제작된 게임을 하게 함
3) 게임 종류(Sorting game , Shuffleboard game, Catching game), 게임의 로드(Low vs. High), 디스플레이 방식(Tactile vs. Visual)을 달리함
4) 게임종류3*2*2개의 경우의 수를 만들어 12번의 실험을 함 -> 실험 도중 notification 제공
-> 게임 점수, interruption적절성, 반응 속도, 각 경우의 수에 대한 점수(10점 척도)에 해당하는 데이터 분석
결과 1) notification을 신경쓰지 않고 게임 스코어를 높일 수 있는 디스플레이는 tactile display
2) notification을 인식하는 정확도나 속도는 visual display보다 tactile display에서 낮게 나타남

6. Introduction
availiability
사회적 관계에서는 인터랙션이 계획되지 않고, 동시적으로 발생함
협업 상황에서는 여러가지 인터랙션 상황을 조율하고 적절한 타이밍에 답을 해야함
따라서, availability에 적합한 interruption이 필요함
모바일 디바이스는 ‘availability’와 ‘information awareness’를
적절한 방식으로 전달하지 못하고 있다
T pad:
손으로 터치하는 부분만
tactile feedback
information awareness
1) 태스크 성격에 따라 2) 정보에 대한 큐 전달 방식(시각, 촉각)을 달리해야함
오늘날의 모바일 디바이스는 ‘터치’ 기반의 인터페이스가 많음에도 불구하고, tactile 특성을 잘 활용하지 못하고 있음
-> T pad 활용

7. Related Work
Awareness Display | 방해를 일으키지 않고, 유용한 정보를 제공할 수 있도록 하는 디스플레이
어떻게 개입할 것인지에 대한 3가지 차원의 고려사항
1. ‘availability’에 대해 무슨 정보를, 어떻게 나타낼 것인가?
- 스카이프에서 개인의 상태를 ‘available’이나 ‘busy’ 등으로 나타내는 보편적 방식
- 업무 상황에서 문에 센서를 부착해서, 문이 열려있는지 닫혀있는지에 따라서 availability를 예측
2. 정보를 얼마나 디테일하게 나타낼 것인가?
- 정보를 ‘요약’해서 보여줄 것인지, 모든 정보를 다 보여줘야할 것인지 고려해야함
3. 정보를 어떻게 보여줄 것인가?
- peripheral visual display를 활용해서 덜 침투적인 방식으로 정보를 제공하는 것이 좋음

8. Non-Visual Displays
audible awareness information
- 데스크탑 상황에서는 많은 연구가 진행되어 왔으나, 모바일 맥락에 대한 연구는 미흡함
- 모바일에서는 엄청 시끄럽거나, 조용히 해야하는 상황적 맥락이 존재하기 때문에 audible awareness를
활용하는 데 한계가 있음
haptic or tactile
- 모바일 디바이스에서 tactile을 통한 정보 접근성이 더 높다는 연구 결과
- tactile 방식을 활용한 마우스 사용시의 반응 속도가 더 빠르게 나타났다는 연구 결과가 있음
Related Work

9. Variable Friction Display
variable friction display
- vibrotactile 기술의 경우에는 디바이스 전체가 진동이 울림 (보편적인 스마트폰 진동 알림)
- variable friction display의 경우에는 스크린에 닿는 손가락 면적 부분에만 마찰을 줌
- 스크린에 있는 특정 대상을 인식할 수 있는 확률이 높음
Related Work
information awareness
태스크를 수행할 때의 요구되는 ‘주의’ 정도에 따라 정보를 인지하는 정도가 달라짐
일반적으로 햅틱 interruptions이 ‘주의’를 적게 요함 = 방해 정도가 더 낮다는 연구 결과가 많음
-> variable-friction tactile notification의 경우에는 인지적 요구 정도가 몹시 낮아서
사람들이 정보가 input되었다는 사실을 알아차리지 못한다는 한계점이 있음
- 왼쪽: 키보드를 터치할 때 버튼 간의 경계를 느낄 수 없음
- 오른쪽: 피처폰의 경우 물리적으로 버튼을 누르는 것을 느낄 수 있음

10. 실험 개요
Study
연구문제 : 3 dimensions (퍼포먼스/반응속도/경험)
RQ1: 게임 종류, 게임의 로드, 디스플레이 방식이 game score & interruption timing에 미치는 영향은?
RQ2: 게임 종류, 게임의 로드, 디스플레이 방식이 reaction time에 미치는 영향은?
RQ3: variable friction tactile display가 experience에 어떤 영향을 미쳤나? (10점 척도)
개요
- 통제된 실험실 환경에서 진행됨
- variable friction tactile notification 과 visual notification 방식을 비교함
- 실험참가자끼리 짝을 지어 디스플레이에서 협업 게임을 하도록 요구됨
- 1) primary task: 게임의 점수 획득
- 2) secondary task: tactile 또는 visual notification에 대한 반응을 보여야 함
실험에 사용된 TPad variale friction display
실험참가자
- n = 56 (남자: 26명, 여자: 30명, 평균나이:23)
- Midwestern US university의 학생, 커뮤니티 멤버 등을 모집
- 종이 전단과 구두로 모집함 (리워드:$15)

11. 실험 방법
Study
- 실험 참가자 56명이 2명씩 짝을 지어 28개 그룹을 만들어 협업 게임을 함
- display type (2), task type (3), task workload(2) 종류에 따라 2*3*2=12가지 경우의 수의 실험을 함
- 태스크를 수행하면서, 동시에 partner인 실험참가자가 주는 ‘notification’에 반응해야 함
noti (x):smooth / noti (o): friction
noti (x):not glow / noti (o): glow
스크린에 나타나는 shapes 수를 다르게 해서
workload 조절함
뒤에 설명

12. Task Type
Study
1)
2)
3)
- catching game
- 바스켓을 좌우로 움직여
점수 획득
- shuffleboard game
- 원 밖으로 달아나는 모형을
- 원 안으로 드래그하여 점수획득
- sorting game
- 왼쪽: 검은색
- 오른쪽: 회색
Primary Task: 게임에서 점수획득 Secondary Task: 노티에 반응
- Tactile: 손가락에 texture가 느껴짐
: 상대방이 key를 받을 수 있는 상황
: 오른쪽 상단의 key 버튼을 눌러야 함
- Visual: 스크린의 edge glow
: 상대방이 key를 받을 수 있는 상황
: 오른쪽 상단의 key 버튼을 눌러야 함
| 상대방은 tactile 또는 visual로 notification이 오는 특정 상황에만 key를 받을 수 있음
| Key를 적절한 타이밍에 누르면 추가 점수를 받고, 잘못된 타이밍에 누르면 점수가 깎임
| 서로 적절한 타이밍에 key를 주고 받으면서 높은 점수를 획득해야하는 게임
3.5mins

13. Task Type
Study
1)
2)
3)
- catching game
- 바스켓을 좌우로 움직여
점수 획득
- shuffleboard game
- 원 밖으로 달아나는 모형을
- 원 안으로 드래그하여 점수획득
- sorting game
- 왼쪽: 검은색
- 오른쪽: 회색
Primary Task: 게임에서 점수획득 Secondary Task: 노티에 반응
- Tactile: 손가락에 texture가 느껴짐
: 상대방이 key를 받을 수 있는 상황
: 오른쪽 상단의 key 버튼을 눌러야 함
- Visual: 스크린의 edge glow
: 상대방이 key를 받을 수 있는 상황
: 오른쪽 상단의 key 버튼을 눌러야 함
| 상대방은 tactile 또는 visual로 notification이 오는 특정 상황에만 key를 받을 수 있음
| Key를 적절한 타이밍에 누르면 추가 점수를 받고, 잘못된 타이밍에 누르면 점수가 깎임
| 서로 적절한 타이밍에 key를 주고 받으면서 높은 점수를 획득해야하는 게임
실험에 대한 추가 정보
- tactile texture는 저자가 수행한 다른 연구의 pilot 결과 바탕
적합한 variable - friction 강도를 채택함
- 1분간 3가지 게임타입에 대한 practice round 실행
- 실제 실험 때에는 12가지 게임 타입에 대한 순서를
randomize하여 제공

14. 측정 값
Measures
퍼포먼스
- 1) game score: 12번의 실험에 해당하는 게임의 점수를 서버에 기록
- 2) interrruption timing: partner의 availability state에 따라서 적절했는지(good or bad)를 서버에 기록
인지반응
- 1) reaction time: tactile vs. visual로 notification이 주어졌을 때 해당 노티를 인지하여 key 버튼을 누른 반응 속도
경험
- 1) workload:
- NASA Task Load Index(TLX)를 활용하여 very low(0) 부터 very high(10)까지 점수를 매기게 함
- NASA-TLX에 따라서 perceived mental demand, physical demand, temporal demand, performance,
effort and frustration 값을 분석함
- 2) partner connection:
- “나와 나의 파트너는 효과적으로 협업했다”
- “나는 나의 파트너의 작업에 개입할 적절한 타이밍을 알아차리는 데 문제가 없었다”
- 등등과 같은 내용에 대하여 대해 7점 척도 설문

15. Games Scores
Result
tactile > visual
- tactile로 notification을 줄 경우
방해 정도가 적음
- 게임에 더 집중할 수 있어서
점수가 높게 나타남
tactile display (M=1.85, SE=.04)
visual display (M = 1.80, SE = .04),
F(1, 59.35) = 3.06,
p = .09.

16. Number of Presses
Result
적절한 타이밍에 개입하기에
Visual Display가 적합
Tactile을 활용할 시,
적합하지 않은 개입을 유발하거나
개입 타이밍을 놓치는 경우가 상대적으로
많았음
good: available 할 때 key버튼 누름
bad: not available 일때 key 버튼 누름
missed: available할 때 key 버튼을 누르지 못함

17. Reaction Time
Result
visual 이 tactile 방식보다
반응 속도가 빠름 (758 milliseconds)
상대적으로 high workload일 때
tactile 의 반응 속도가 낮아짐
-> 로드가 큰 작업에 tactile 활용 가능성
visual display (M = .317 seconds (ln), SE = .029)
tactile display (M = .757 seconds (ln), SE = .029)
F(1, 57.5) = 176.29,
p < .0001.

18. Experience with the Tactile Display (7점 척도)
Result
효과적 협업
적절한
개입 타이밍 인지
주의를 요구했음
개입 타이밍 인지에
대한 시간 많이 소요
Visual display가
모든 면에서 우위
visual > tactile이
유의미
태스크 성격, 작업량, 전달 방식 모두 고려:
효과적 협업에 visual > tactile

19. 1) variable friction tactile display가 협업 과제에서 availability에 대한 정보를 제공하는 데 유용한가?
유용한 면이 있다
-> 방해요인을 줄여, Primary task 에 집중하면서 availability를 secondary task로 인지하는 데 유용
-> High Workload에서 상대적으로 variable friction tactile display에 대한 반응 속도가 높음
-> 따라서, availability 정보 제공에 유용한 측면을 가지고 있음
Conclusion& Discussion
본 연구에서 주목한 Two Major Questions
2) availability 정보를 나타낼 때, tactile friction display vs. visual display 중 무엇이 더 유용한가?
확신할 수 없다
-> 연구 결과: availability 정보를 나타낼 때는 tactile friction display <<<<< visual display
-> 결과에 대한 변명1 : 실험이 거듭될수록 visual과 tactile의 인지 반응 속도의 gap이 줄어듦
: 즉, 충분한 학습이 될 경우 tactile friction display가 더 직관적일 것이라 주장
->결과에 대한 변명2 : visual은 햇빛이 비치는 상황에는 잘 보이지 않고, 시각적 noti가 방해요인으로 작용할 수도 있음
: tactile display가 promising하다

20. ?
• 프로포절 주제 <스마트워치 알림에 대한 감각 양식 연구(시각/청각/촉각)> 과 유사한 점이 많음
• 메시지 내용, 알림 전달 방식의 경우의 수를 곱하여 사람들의 반응을 측정하는 점이 유사함
• 실험을 정교하게 설계함 -> 실제 실험을 진행할 때 참고해볼 수 있을 것임
+
• 독립 변수과 종속 변수에 대한 관계를 명확하게 명시
• 변수 관계를 설명할 수 있는 측정 값을 분석하는 방법을 참고해볼 수 있을 것
• 논문 쓸 때, 통계를 어떻게 활용할 수 있을지 참고할 수 있을 것
-
• 실증적 데이터 수집 미흡 (실제 협업시의 개입 상황에 대한 컨텍스트 고려 미흡)
• 정량적 데이터에만 초점, 서베이 위주 -> 인터뷰 등을 통한 질적 데이터 부족함
• 협업 상황에서 availity 인식에 variable friction tactile 을 활용하는 것이 과연 적절한지?
: variable friction tactile 의 강점은 ‘상태’를 나타내기 보다는 ‘위치’를 나타내는 데 적합하다고 생각함
: drawing이나 시각장애인의 터치스크린 사용 등에 활용될 수 있을 것임

21. thank you!