SlideShare a Scribd company logo
1 of 15
Download to read offline
COMPASS: Rotational Keyboard
on Non-Touch Smartwatches
+ CHI 2017
-Xin Yi, Chun Yu, Weijie Xu,
Xiaojun Bi, Yuanchun Shi
/한상규
x 2017 Fall
UX Lab, Graduate School of Convergence Science and Technology, Seoul National Univ.
랩미팅
2017.9.15.금
한상규
COMPASS: Rotational Keyboard on Non-Touch
Smartwatches
UX Lab, Graduate School of Convergence Science and Technology, Seoul National Univ.
Why this paper?
3
스마트워치의 ‘회전’과 ‘비 터치’로 어떻게 새로운 입력을?
- 스마트워치 연구자, CHI ’17에선 어떤 워치 연구가 있을까? + 베스트 페이퍼
- 문제 상황의 특이점, 왜 터치를 배제 했을까?
- ‘새로운 입력’을 제안할 수 있는 평가 방법과 근거를 알고 싶어서
UX Lab, Graduate School of Convergence Science and Technology, Seoul National Univ.
저자
4http://www.henningpohl.net/publications/
안보이는, HMD, 비터치 등 뭔가의 ‘부재’ 상황에서

텍스트 입력에 대한 집요함
UX Lab, Graduate School of Convergence Science and Technology, Seoul National Univ.
Own Conclusion
- 비 터치 상황의 키입력 성능은 터치 방식보다 빠를 수 없고, 필요한 상황에 대해서 더 찾아야..
- 측정단위의 객관화, WPM(Word Per Minute), DPR(Distance Per Rotation) 등 평가 기준을

명확하게 제시해 줌
- 실험 팩터를 밝히기 위한 시뮬레이션 ~ 1차 실험의 결과를 바탕으로 프로타입을 고도화하는

iterative design의 과정을 잘 보여줌
5
UX Lab, Graduate School of Convergence Science and Technology, Seoul National Univ.
Background
- 서두에 스마트 워치의 카테고리 중 하나로 터치 / 비 터치로 분류
- 전력소모가 적고, 구입 비용이 더 저렴 (페블 타임의 경우 1번 충전에 7일도 감)
- 워치의 입력방식에 대한 연구가 많으나 비터치 워치에 대해선 더 챌린징함
- 낮은 사회적 용인(e.g. 음성, 제스쳐) + 높은 에러레이트를 극복하기 위한 접근이 필요
Why 비 터치 스마트 워치?
6
<비터치 스마트워치 - 페블타임> <음성 및 제스쳐 형태의 스마트워치 입력>
UX Lab, Graduate School of Convergence Science and Technology, Seoul National Univ.
- 다양한 입력 방식을 입력속도, WPM(Word Per Minute) 기준으로 나열
- 터치 입력은 입력의 정확도를 위한 화면상 버튼의 크기가 중요 -> 화면가림과 트레이드 오프
- 비 터치 방식의 제스쳐, 베젤을 활용한 입력 방식의 제안 연구는 많으나 실제 텍스트 입력을

시나리오로 하는 실험은 없었음
스마트워치의 다양한 입력 방식
7
Related Work
➡ 비 터치 방식에서 실제 텍스트 입력 가능성과 성능을 밝히고자 함
<터치 - 손의 궤적으로 입력, 버튼확대 이용 입력> <비터치 - 손가락 자기장 활용, 시계줄에 별도 키보드 설치 >
UX Lab, Graduate School of Convergence Science and Technology, Seoul National Univ.
- 베젤 형태의 원형 키 배열은 화면 가림을 최소화
- 키입력의 대부분은 쿼티방식이 보편적이나 원형 배열이 유용한 경우도 있음
* 기성품에서 원형, 회전 방식의 가능성을 볼 수 있음(애플워치, 기어, BMW 등)
원형 키보드 배열
8
Related Work
➡ 원형 키배열 + 멀티커서를 활용한 입력 성능을 더 높이고자 함
- 입력하고자 하는 내용에 도달하기 위한 최소거리를 보장하는 방법으로 멀티 커서 활용
- 멀티 커서의 적당한 통합, 확장 알고리즘을 통해 더 신속, 정확히 입력이 가능함
멀티 커서 활용 입력
- 원형 배열에서 알파벳을 순서대로 나열하는 것이 가장 효과적 -> 속도 높고, 에러 낮고
UX Lab, Graduate School of Convergence Science and Technology, Seoul National Univ.
Prototype Design
9
- 원형의 알파벳 순 키배열 기반 베젤 rotate + 물리 버튼 press 활용한 입력, COMPASS
* 중앙 화면 공간이 보장되고 알파벳은 사용자가 보기 편하도록 위치에 따라 상하 반전을 줌
- 원활한 입력을 위해 멀티 커서를 활용하고 다음 입력 예측, 단어 추천 기능도 구현
- 키 입력을 위해 베젤을 돌려 알파벳을 선택 -> 우측의 물리 버튼을 입력하여 3가지 중 선택
- 선택간 물리 버튼을 250ms 이상 누르고 있으면 단어 추천 풀을 통해 입력 가능
- 커서 위치에 대한 이슈 -> 다음 입력에 대비해 역동적으로 바꿀 것인가, 고정할 것인가
- 커서 갯수에 대한 이슈 -> 빠르고 정확한 입력 위한 멀티 커서의 적당한 갯수는?
기본 디자인
성능 향상 이슈
UX Lab, Graduate School of Convergence Science and Technology, Seoul National Univ.
Simulation
10
- DPR(Distance Per Rotaion), CC(Candidate Coverage)의 평가 척도를 활용하여 커서 

위치의 역동/고정과 커서갯수에 따른 다이얼 횟수, 추천 단어 활용율 등을 평가

*커서 위치가 역동적인 것을 D-COMPASS, 고정적인 것을 S-COMPASS로 명명, N은 커서의 갯수
- 커서수는 D,S 모두 2~4개에서 DPR과 CC가 비슷하고 상대적으로 D모드가 DPR이 더 낮음
실험 변수 확정을 위한 시뮬레이션
➡ 커서 위치 모드(D,S)별 커서수 2~4개 사이에서 성능 평가(양적/질적)를 하고자 함
UX Lab, Graduate School of Convergence Science and Technology, Seoul National Univ.
Study 1
11
1차 실험
- 입력 속도와 정확도를 통해 적정 커서 갯수를 산출하고 D,S 모드에 대한 선호도 도출
- 12명의 피험자에게 2(D,C)x3(커서수 2~4)로 text 입력실험(5 phrases) 6회 + 설문/인터뷰
- 속도는 D-COMPASS가 WPM이 더 높고, DPR이 더 낮게 나옴, 에러레이트는 차이 없음
- 각각에 대한 주관평가는 S-COMPASS는 커서 4개, D-COMPASS는 커서 3개 선호도 높음

*다이나믹 모드에서는 커서가 많아질수록 예측 가능성이 낮아져서 늦어졌을 것으로 추정
<속도 및 에러레이트 측정 결과> <선호도 평가>
➡ D-COMPASS, 커서 3개로 성능을 확정하여 사용성 평가 추가 실시
UX Lab, Graduate School of Convergence Science and Technology, Seoul National Univ.
Study 2
12
2차 실험
- 추천 입력 알고리즘을 강화 +커서 3개의 D-COMPASS를 10명의 피험자 대상으로 시행
- 10개의 구를 입력하는 실험을 8번 시행, 속도와 에러레이트를 측정
- 회차가 거듭할 수록 속도가 높아지며 조작 시간도 줄어듦

*1회차 평균 9.3 WPM(SD=2.2) -> 8회차 평균 12.5 WPM(SD=2.5)
<회차별 입력 속도 변화> <베젤. 버튼 인터랙션 속도>
UX Lab, Graduate School of Convergence Science and Technology, Seoul National Univ. 13
Discussion
한계 및 추후연구
- 시간을 들여 더 사용하게 했으면 속도가 더 빨라질수도 있었을 것임(추세외삽)
- 실제 텍스트를 입력하는 상황에서 사용하게 했으면 더 의미 있는 결과가 나올 것 같음
- 반시계방향으로 돌리는 것이 더 불편했다는 의견 등을 바탕으로 입력의 모호성에 대해 더 깊이

파볼 필요가 있음
UX Lab, Graduate School of Convergence Science and Technology, Seoul National Univ.
Takeaway
14
- 다른 연구와 비교가 가능한 WPM과 제안하고 있는 디자인을 객관적으로 측정 가능한

DPR, SPC 척도를 만들어 결과에 대한 신뢰도와 타당도를 보장
- 성능에 영향을 주는 팩터를 밝히기 위한 시뮬레이션 ~ 1차 실험의 결과를 바탕으로 프로토

타이프를 고도화하는 iterative design의 과정을 잘 보여준 것 같음
- 문제상황은 여전히 연구의 유니크함을 강조한 것 외에 공감되는 바가 떨어지는데, 문제에

대한 현상적, 객관적 근거를 찾기 위한 노력이 많이 필요한 것 같음
감사합니다

More Related Content

Similar to COMPASS: Rotational Keyboard on Non-Touch Smartwatches

Future Command and Control Systems Should Combine Decision Support and Person...
Future Command and Control Systems Should Combine Decision Support and Person...Future Command and Control Systems Should Combine Decision Support and Person...
Future Command and Control Systems Should Combine Decision Support and Person...
Slava Han
 

Similar to COMPASS: Rotational Keyboard on Non-Touch Smartwatches (20)

1012 UXlab labmeeting material_Ajuan
1012 UXlab labmeeting material_Ajuan1012 UXlab labmeeting material_Ajuan
1012 UXlab labmeeting material_Ajuan
 
Beyond qwerty
Beyond qwerty Beyond qwerty
Beyond qwerty
 
Beyond qwerty
Beyond qwertyBeyond qwerty
Beyond qwerty
 
Future Command and Control Systems Should Combine Decision Support and Person...
Future Command and Control Systems Should Combine Decision Support and Person...Future Command and Control Systems Should Combine Decision Support and Person...
Future Command and Control Systems Should Combine Decision Support and Person...
 
[경영혁신] 홍익경영혁신 2015 B331160
[경영혁신] 홍익경영혁신 2015 B331160[경영혁신] 홍익경영혁신 2015 B331160
[경영혁신] 홍익경영혁신 2015 B331160
 
모바일시대의프로토타이핑 (@웹월드컨퍼런스, 2014.11.19)
모바일시대의프로토타이핑 (@웹월드컨퍼런스, 2014.11.19)모바일시대의프로토타이핑 (@웹월드컨퍼런스, 2014.11.19)
모바일시대의프로토타이핑 (@웹월드컨퍼런스, 2014.11.19)
 
건국대학교 2019 SW 경진대회 KUKUZONES
건국대학교 2019 SW 경진대회 KUKUZONES건국대학교 2019 SW 경진대회 KUKUZONES
건국대학교 2019 SW 경진대회 KUKUZONES
 
[2B2]기계 친화성을 중심으로 접근한 최적화 기법
[2B2]기계 친화성을 중심으로 접근한 최적화 기법[2B2]기계 친화성을 중심으로 접근한 최적화 기법
[2B2]기계 친화성을 중심으로 접근한 최적화 기법
 
[Seminar]2nd.lecture.uxui.consulting.20210713
[Seminar]2nd.lecture.uxui.consulting.20210713[Seminar]2nd.lecture.uxui.consulting.20210713
[Seminar]2nd.lecture.uxui.consulting.20210713
 
애자일과 애자일 테스트 소개 (테스트기본교육 3장 2절)
애자일과 애자일 테스트 소개 (테스트기본교육 3장 2절)애자일과 애자일 테스트 소개 (테스트기본교육 3장 2절)
애자일과 애자일 테스트 소개 (테스트기본교육 3장 2절)
 
원격테스트_UX1
원격테스트_UX1원격테스트_UX1
원격테스트_UX1
 
What Can I say? Addressing User Experience Challenges of a Mobile Voice User ...
What Can I say? Addressing User Experience Challenges of a Mobile Voice User ...What Can I say? Addressing User Experience Challenges of a Mobile Voice User ...
What Can I say? Addressing User Experience Challenges of a Mobile Voice User ...
 
IMEN343 인간공학 term presentation
IMEN343 인간공학 term presentationIMEN343 인간공학 term presentation
IMEN343 인간공학 term presentation
 
Chapter 11 Practical Methodology
Chapter 11 Practical MethodologyChapter 11 Practical Methodology
Chapter 11 Practical Methodology
 
Machine translation survey vol2
Machine translation survey   vol2Machine translation survey   vol2
Machine translation survey vol2
 
모바일 인터페이스 기술을 활용한 마케팅 사례와 경험 공유
모바일 인터페이스 기술을 활용한 마케팅 사례와 경험 공유모바일 인터페이스 기술을 활용한 마케팅 사례와 경험 공유
모바일 인터페이스 기술을 활용한 마케팅 사례와 경험 공유
 
앱 아이디어 디벨롭 이서현,김승원,정선지
앱 아이디어 디벨롭 이서현,김승원,정선지앱 아이디어 디벨롭 이서현,김승원,정선지
앱 아이디어 디벨롭 이서현,김승원,정선지
 
No People No Stop Elevator
No People No Stop ElevatorNo People No Stop Elevator
No People No Stop Elevator
 
Algorithm Experience Design
Algorithm Experience DesignAlgorithm Experience Design
Algorithm Experience Design
 
170513 4차 산업 혁명과 미래교육 컴퓨팅 교육의 동향과 해명 @송곡초
170513 4차 산업 혁명과 미래교육   컴퓨팅 교육의 동향과 해명 @송곡초170513 4차 산업 혁명과 미래교육   컴퓨팅 교육의 동향과 해명 @송곡초
170513 4차 산업 혁명과 미래교육 컴퓨팅 교육의 동향과 해명 @송곡초
 

Recently uploaded

Grid Layout (Kitworks Team Study 장현정 발표자료)
Grid Layout (Kitworks Team Study 장현정 발표자료)Grid Layout (Kitworks Team Study 장현정 발표자료)
Grid Layout (Kitworks Team Study 장현정 발표자료)
Wonjun Hwang
 
파일 업로드(Kitworks Team Study 유현주 발표자료 240510)
파일 업로드(Kitworks Team Study 유현주 발표자료 240510)파일 업로드(Kitworks Team Study 유현주 발표자료 240510)
파일 업로드(Kitworks Team Study 유현주 발표자료 240510)
Wonjun Hwang
 

Recently uploaded (6)

Grid Layout (Kitworks Team Study 장현정 발표자료)
Grid Layout (Kitworks Team Study 장현정 발표자료)Grid Layout (Kitworks Team Study 장현정 발표자료)
Grid Layout (Kitworks Team Study 장현정 발표자료)
 
클라우드 애플리케이션 보안 플랫폼 'Checkmarx One' 소개자료
클라우드 애플리케이션 보안 플랫폼 'Checkmarx One' 소개자료클라우드 애플리케이션 보안 플랫폼 'Checkmarx One' 소개자료
클라우드 애플리케이션 보안 플랫폼 'Checkmarx One' 소개자료
 
오픈소스 위험 관리 및 공급망 보안 솔루션 'Checkmarx SCA' 소개자료
오픈소스 위험 관리 및 공급망 보안 솔루션 'Checkmarx SCA' 소개자료오픈소스 위험 관리 및 공급망 보안 솔루션 'Checkmarx SCA' 소개자료
오픈소스 위험 관리 및 공급망 보안 솔루션 'Checkmarx SCA' 소개자료
 
[OpenLAB] AWS reInvent를 통해 바라본 글로벌 Cloud 기술동향.pdf
[OpenLAB] AWS reInvent를 통해 바라본 글로벌 Cloud 기술동향.pdf[OpenLAB] AWS reInvent를 통해 바라본 글로벌 Cloud 기술동향.pdf
[OpenLAB] AWS reInvent를 통해 바라본 글로벌 Cloud 기술동향.pdf
 
파일 업로드(Kitworks Team Study 유현주 발표자료 240510)
파일 업로드(Kitworks Team Study 유현주 발표자료 240510)파일 업로드(Kitworks Team Study 유현주 발표자료 240510)
파일 업로드(Kitworks Team Study 유현주 발표자료 240510)
 
도심 하늘에서 시속 200km로 비행할 수 있는 미래 항공 모빌리티 'S-A2'
도심 하늘에서 시속 200km로 비행할 수 있는 미래 항공 모빌리티 'S-A2'도심 하늘에서 시속 200km로 비행할 수 있는 미래 항공 모빌리티 'S-A2'
도심 하늘에서 시속 200km로 비행할 수 있는 미래 항공 모빌리티 'S-A2'
 

COMPASS: Rotational Keyboard on Non-Touch Smartwatches

  • 1. COMPASS: Rotational Keyboard on Non-Touch Smartwatches + CHI 2017 -Xin Yi, Chun Yu, Weijie Xu, Xiaojun Bi, Yuanchun Shi /한상규 x 2017 Fall
  • 2. UX Lab, Graduate School of Convergence Science and Technology, Seoul National Univ. 랩미팅 2017.9.15.금 한상규 COMPASS: Rotational Keyboard on Non-Touch Smartwatches
  • 3. UX Lab, Graduate School of Convergence Science and Technology, Seoul National Univ. Why this paper? 3 스마트워치의 ‘회전’과 ‘비 터치’로 어떻게 새로운 입력을? - 스마트워치 연구자, CHI ’17에선 어떤 워치 연구가 있을까? + 베스트 페이퍼 - 문제 상황의 특이점, 왜 터치를 배제 했을까? - ‘새로운 입력’을 제안할 수 있는 평가 방법과 근거를 알고 싶어서
  • 4. UX Lab, Graduate School of Convergence Science and Technology, Seoul National Univ. 저자 4http://www.henningpohl.net/publications/ 안보이는, HMD, 비터치 등 뭔가의 ‘부재’ 상황에서
 텍스트 입력에 대한 집요함
  • 5. UX Lab, Graduate School of Convergence Science and Technology, Seoul National Univ. Own Conclusion - 비 터치 상황의 키입력 성능은 터치 방식보다 빠를 수 없고, 필요한 상황에 대해서 더 찾아야.. - 측정단위의 객관화, WPM(Word Per Minute), DPR(Distance Per Rotation) 등 평가 기준을
 명확하게 제시해 줌 - 실험 팩터를 밝히기 위한 시뮬레이션 ~ 1차 실험의 결과를 바탕으로 프로타입을 고도화하는
 iterative design의 과정을 잘 보여줌 5
  • 6. UX Lab, Graduate School of Convergence Science and Technology, Seoul National Univ. Background - 서두에 스마트 워치의 카테고리 중 하나로 터치 / 비 터치로 분류 - 전력소모가 적고, 구입 비용이 더 저렴 (페블 타임의 경우 1번 충전에 7일도 감) - 워치의 입력방식에 대한 연구가 많으나 비터치 워치에 대해선 더 챌린징함 - 낮은 사회적 용인(e.g. 음성, 제스쳐) + 높은 에러레이트를 극복하기 위한 접근이 필요 Why 비 터치 스마트 워치? 6 <비터치 스마트워치 - 페블타임> <음성 및 제스쳐 형태의 스마트워치 입력>
  • 7. UX Lab, Graduate School of Convergence Science and Technology, Seoul National Univ. - 다양한 입력 방식을 입력속도, WPM(Word Per Minute) 기준으로 나열 - 터치 입력은 입력의 정확도를 위한 화면상 버튼의 크기가 중요 -> 화면가림과 트레이드 오프 - 비 터치 방식의 제스쳐, 베젤을 활용한 입력 방식의 제안 연구는 많으나 실제 텍스트 입력을
 시나리오로 하는 실험은 없었음 스마트워치의 다양한 입력 방식 7 Related Work ➡ 비 터치 방식에서 실제 텍스트 입력 가능성과 성능을 밝히고자 함 <터치 - 손의 궤적으로 입력, 버튼확대 이용 입력> <비터치 - 손가락 자기장 활용, 시계줄에 별도 키보드 설치 >
  • 8. UX Lab, Graduate School of Convergence Science and Technology, Seoul National Univ. - 베젤 형태의 원형 키 배열은 화면 가림을 최소화 - 키입력의 대부분은 쿼티방식이 보편적이나 원형 배열이 유용한 경우도 있음 * 기성품에서 원형, 회전 방식의 가능성을 볼 수 있음(애플워치, 기어, BMW 등) 원형 키보드 배열 8 Related Work ➡ 원형 키배열 + 멀티커서를 활용한 입력 성능을 더 높이고자 함 - 입력하고자 하는 내용에 도달하기 위한 최소거리를 보장하는 방법으로 멀티 커서 활용 - 멀티 커서의 적당한 통합, 확장 알고리즘을 통해 더 신속, 정확히 입력이 가능함 멀티 커서 활용 입력 - 원형 배열에서 알파벳을 순서대로 나열하는 것이 가장 효과적 -> 속도 높고, 에러 낮고
  • 9. UX Lab, Graduate School of Convergence Science and Technology, Seoul National Univ. Prototype Design 9 - 원형의 알파벳 순 키배열 기반 베젤 rotate + 물리 버튼 press 활용한 입력, COMPASS * 중앙 화면 공간이 보장되고 알파벳은 사용자가 보기 편하도록 위치에 따라 상하 반전을 줌 - 원활한 입력을 위해 멀티 커서를 활용하고 다음 입력 예측, 단어 추천 기능도 구현 - 키 입력을 위해 베젤을 돌려 알파벳을 선택 -> 우측의 물리 버튼을 입력하여 3가지 중 선택 - 선택간 물리 버튼을 250ms 이상 누르고 있으면 단어 추천 풀을 통해 입력 가능 - 커서 위치에 대한 이슈 -> 다음 입력에 대비해 역동적으로 바꿀 것인가, 고정할 것인가 - 커서 갯수에 대한 이슈 -> 빠르고 정확한 입력 위한 멀티 커서의 적당한 갯수는? 기본 디자인 성능 향상 이슈
  • 10. UX Lab, Graduate School of Convergence Science and Technology, Seoul National Univ. Simulation 10 - DPR(Distance Per Rotaion), CC(Candidate Coverage)의 평가 척도를 활용하여 커서 
 위치의 역동/고정과 커서갯수에 따른 다이얼 횟수, 추천 단어 활용율 등을 평가
 *커서 위치가 역동적인 것을 D-COMPASS, 고정적인 것을 S-COMPASS로 명명, N은 커서의 갯수 - 커서수는 D,S 모두 2~4개에서 DPR과 CC가 비슷하고 상대적으로 D모드가 DPR이 더 낮음 실험 변수 확정을 위한 시뮬레이션 ➡ 커서 위치 모드(D,S)별 커서수 2~4개 사이에서 성능 평가(양적/질적)를 하고자 함
  • 11. UX Lab, Graduate School of Convergence Science and Technology, Seoul National Univ. Study 1 11 1차 실험 - 입력 속도와 정확도를 통해 적정 커서 갯수를 산출하고 D,S 모드에 대한 선호도 도출 - 12명의 피험자에게 2(D,C)x3(커서수 2~4)로 text 입력실험(5 phrases) 6회 + 설문/인터뷰 - 속도는 D-COMPASS가 WPM이 더 높고, DPR이 더 낮게 나옴, 에러레이트는 차이 없음 - 각각에 대한 주관평가는 S-COMPASS는 커서 4개, D-COMPASS는 커서 3개 선호도 높음
 *다이나믹 모드에서는 커서가 많아질수록 예측 가능성이 낮아져서 늦어졌을 것으로 추정 <속도 및 에러레이트 측정 결과> <선호도 평가> ➡ D-COMPASS, 커서 3개로 성능을 확정하여 사용성 평가 추가 실시
  • 12. UX Lab, Graduate School of Convergence Science and Technology, Seoul National Univ. Study 2 12 2차 실험 - 추천 입력 알고리즘을 강화 +커서 3개의 D-COMPASS를 10명의 피험자 대상으로 시행 - 10개의 구를 입력하는 실험을 8번 시행, 속도와 에러레이트를 측정 - 회차가 거듭할 수록 속도가 높아지며 조작 시간도 줄어듦
 *1회차 평균 9.3 WPM(SD=2.2) -> 8회차 평균 12.5 WPM(SD=2.5) <회차별 입력 속도 변화> <베젤. 버튼 인터랙션 속도>
  • 13. UX Lab, Graduate School of Convergence Science and Technology, Seoul National Univ. 13 Discussion 한계 및 추후연구 - 시간을 들여 더 사용하게 했으면 속도가 더 빨라질수도 있었을 것임(추세외삽) - 실제 텍스트를 입력하는 상황에서 사용하게 했으면 더 의미 있는 결과가 나올 것 같음 - 반시계방향으로 돌리는 것이 더 불편했다는 의견 등을 바탕으로 입력의 모호성에 대해 더 깊이
 파볼 필요가 있음
  • 14. UX Lab, Graduate School of Convergence Science and Technology, Seoul National Univ. Takeaway 14 - 다른 연구와 비교가 가능한 WPM과 제안하고 있는 디자인을 객관적으로 측정 가능한
 DPR, SPC 척도를 만들어 결과에 대한 신뢰도와 타당도를 보장 - 성능에 영향을 주는 팩터를 밝히기 위한 시뮬레이션 ~ 1차 실험의 결과를 바탕으로 프로토
 타이프를 고도화하는 iterative design의 과정을 잘 보여준 것 같음 - 문제상황은 여전히 연구의 유니크함을 강조한 것 외에 공감되는 바가 떨어지는데, 문제에
 대한 현상적, 객관적 근거를 찾기 위한 노력이 많이 필요한 것 같음