SlideShare a Scribd company logo
Practical Trigger- Action Programming in the Smart Home + CHI 2014 -Blase Ur /서제환 x 2014 Autumn
Practical Trigger-Action Programming in the Smart Home 2014. 10. 10 UX Lab 서제환
서울대학교 융합과학기술대학원 (Graduate School of Convergence Science and Technology. Seoul National University) 
출처 
CHI '14 Proceedings of the SIGCHI Conference on Human Factors in Computing Systems
AUTHORS 
Blase Ur : PhD, Carnegie Mellon University 
Elyse McManus : Assistant Researcher, Brown University 
Melwyn Pak Yong Ho : Research Assistant, Brown University 
Michael L. Littman : Professor of Computer Science, Brown University 
서울대학교 융합과학기술대학원 (Graduate School of Convergence Science and Technology. Seoul National University)
ABSTRACT 
. 일반 사용자들이 trigger-action (“if, then”) programming을 사용하여 스마트 홈 기기를 조작하는 것에 대한 “실효성”을 조사 함. . trigger-action (“if, then”) programming은 온라인 연구 참가자들이 제출한 원하는 동작을 모두 구현할 수 있다는 것을 찾음. . 수집된 자료의 trigger 분석 시 “머신 러닝이 요구되는 trigger” 종류를 구분할 수 있음. . IFTTT에 공유된 67,169 trigger-action 프로그램의 고유성을 평가 함으로써 실제 사용자들이 많은 수의 고유한 trigger-action interactions를 작성함을 알아 냄. . 226 참가자들의 사용성 테스트를 수행 함으로써 미숙련 사용자들도 복수의 triggers 또는 actions이 포함된 프로그램을 만드는 법을 빨리 배울 수 있음을 알아 냄 
서울대학교 융합과학기술대학원 (Graduate School of Convergence Science and Technology. Seoul National University)
KEYWORDS End-User Programming Home Automation Smart Home Internet of Things Condition-Action Programming 
서울대학교 융합과학기술대학원 (Graduate School of Convergence Science and Technology. Seoul National University)
INTRODUCTION 
. 가정 자동화 및 스마트 홈을 가능하게 만드는 기술들에 대한 연구는 수십 년 동안 진행되어 왔지만 그 기술들을 구현하는데 있어 “비용이 많이 들고 복잡한 것”들 이었음. . 최근 2년 사이에 기업들은 일반 사용자들이 저비용 스마트 기기들을 내놓고,mass-market pervasive computing을 향한 모멘텀을 만들고 있음. 
서울대학교 융합과학기술대학원 (Graduate School of Convergence Science and Technology. Seoul National University)
INTRODUCTION 
. 이 논문에서 저자는 IFTTT = “if trigger, then action” 을 뜻하고 trigger-action programming이라 명명함. . 실험에 사용된 IFTTT 기능은 일반 사용자들이 가정용 장치를 trigger-action programming 할 수 있게 함. 
Philips Hue lights 
Belkin WeMo family of outlets, switches, motion sensors 
Crowd-funded devices : Twine, WigWag 
서울대학교 융합과학기술대학원 (Graduate School of Convergence Science and Technology. Seoul National University)
INTRODUCTION 
. 스마트 홈 프로그래밍 구현 시 사용 편의성과 표현성 사이의 조화를 어떻게 맞출 것인가? 에 대한 연구 진행 필요 . 이 논문에서 활용하는 IFTTT 기능은 사용자들에게 single trigger, single actions 만을 취하게 제한하고 있음. Q1) 일반 사용자들은 더 많은 유연성을 필요로 하지 않을까? Q2) 일반 사용자들은 더 많은 유연성을 다룰 수 있지 않을까? Q3) 추가 프로그래밍 경험이 이 상황을 바꿀 수 있지 않을까? Q4) 모델에서 중요 요소가 누락되지 않았는가? . 다음 3가지 관련 연구를 통해 이 질문들을 조사 함. 
ease of use 
expressibility 
or 
서울대학교 융합과학기술대학원 (Graduate School of Convergence Science and Technology. Seoul National University)
1. trigger-action programming이 사용자가 원하는 스마트 홈 동작(smart-home behavior)을 정확히 담아내는지 알기 위한 가설에 대한 조사가 필요 함. H1: trigger-action programming을 사용하여 사용자가 원하는 스마트 홈 동작을 표현할 수 있다. H2: 몇몇의 스마트 홈 동작들은 복수의 triggers or actions을 필요로 한다. . 실험 방법 
1)Mechanical Turk (MTurk)에서 318명에게 그들이 원하는 가상의 스마트 홈에 대한 것들을 5가지씩 수집 함. . 실험 결과 
1)제출한 내용들은 trigger-action programming으로 구현이 가능해 보였음. 
2)사용자의 이전 프로그래밍 경험은 프로그래밍을 포함하고 있는 그들이 원하는 동작과 크게 연관이 없었음. 
3)IFTTT의 affordances와 달리 프로그래밍 동작의 22% 1개 이상의 trigger와 action이 요구 됨. 
4)참가자들이 사용한 trigger들을 3가지 추상화 단위로 표시하였고, 가장 높은 단위는 machine learning의 natural application임. 
INTRODUCTION 
서울대학교 융합과학기술대학원 (Graduate School of Convergence Science and Technology. Seoul National University)
2. 사용자 맞춤형 스마트 홈 프로그래밍이 필요로 한지에 대한 test 진행 함. H3: 실제로, 사용자들은 다수의 독특한 방식으로 triggers and actions을 결합할 것이다. . 실험 방법 
1)MTturk 사용자들의 원하는 행동들 사이에서 많은 독특한 조합을 발견 함. 
2)최종 사용자 (End User)가 IFTTT에서 공유한 67,170개의 프로그램을 긁어 모음. . 실험 결과 
1)IFTT에서 수집된 프로그램을 분석하여 유사하게 높은 다양성들을 발견 함. 
INTRODUCTION 
서울대학교 융합과학기술대학원 (Graduate School of Convergence Science and Technology. Seoul National University)
INTRODUCTION 
3. trigger-action programming의 사용성에 대한 Test를 진행 함. H4: 참가자들은 simple or complex interface를 사용하는데 동등한 정확도와 스피드를 해 보일 것이다. H5: 이전 프로그래밍 경험과 trigger-action programming을 사용한 경험은 스피드와 정확도를 증가시킨다. . 실험 방법 
1)새로운 IFTTT interaction design을 보여주고, 226명의 MTTurker를 대상으로 10개의 프로그래밍 과제(Task)를 등록 함. 
2)참가자들에게 랜덤으로 single trigger and a single action (simple interface) or multiple triggers and multiple actions (complex interface) 과제가 할당 됨. . 실험 결과 
1)simple and complex interfaces 사이에 참가자들의 수행과 만족도에는 큰 차이가 없음을 발견 함.(supporting H4) 
2)complex interface를 사용한 참가자들은 비슷한 성공률로 complex tasks를 완료할 수 있었음. 
3)H5 가설은 부분적으로 확인이 가능하였음. 
1)프로그래밍 경험은 큰 이점을 제공하지 않았음. 
2)참가자들은 첫 번째 과제 수행 시에는 느렸으나, 2번째 과제 수행 시부터는 정상 상태 성능에 접근하였음. 
서울대학교 융합과학기술대학원 (Graduate School of Convergence Science and Technology. Seoul National University)
INTRODUCTION 
Overall 
1)multiple triggers and multiple actions의 trigger-action programming은 스마트 홈 프로그래밍을 위한 실용적인 접근이 될 수 있는 증거를 발견 함. 2) Trigger를 구성하는 방법뿐만 아니라 Trigger가 상호작용적인 machine learning 접근이 요구되는 것에 대해 논의를 함 
서울대학교 융합과학기술대학원 (Graduate School of Convergence Science and Technology. Seoul National University)
BACKGROUND AND RELATED WORK 
Trigger-action Programming . IFTTT는 69개의 다른 채널을 제공하지만, single trigger -> single action의 프로그래밍 패러다임은 본질적으로 제한 됨. . 저자는 2가지 버전의 prototype interface를 만들어 제공 함. 1) one trigger and one action channel만 허용되는 simple interface 2) multiple trigger and action channels 사용이 허용되는 complex interface ( 모든 trigger들은 접속사 “and” 로 구성되어 짐) 
서울대학교 융합과학기술대학원 (Graduate School of Convergence Science and Technology. Seoul National University)
Related Work . 스마트 홈의 최종 사용자(end-user) 프로그래밍에 대한 이전 연구 조사 Newman: 최종 사용자의 구성 능력은 스마트 홈 애플리케이션의 키라고 주장 하였고, 사용자 커뮤니티를 통해 공유하는 통찰력을 옹호하였음. Newman, M. W. Now we’re cooking: Recipes for end-user service composition in the digital home. Position Paper– CHI 2006 Workshop IT@Home, 2006. Dey et al: 상황 인식 응용 프로그램 관련하여 20명의 참가자들을 인터뷰 함. trigger-action programming과 같은 if-then 규칙 기반이 되는 가장 일반적인 멘탈 모델을 발견 함. Dey, A. K., Sohn, T., Streng, S., and Kodama, J. iCAP: Interactive prototyping of context-aware applications. In Proc. Pervasive (2006) . trigger-action programming의 특성을 공유하는 스마트 홈 인터페이스 제안에 대한 이전 연구 조사 . trigger-action programming의 중요한 세부 요소들을 소개하는 이전 연구 조사 . trigger-action programming 은 문제적 행동이 불가피하게 발생 했을 시 사용자가 디버깅 하는 것이 어렵다라고 주장하는 이전 연구 조사 
BACKGROUND AND RELATED WORK 
서울대학교 융합과학기술대학원 (Graduate School of Convergence Science and Technology. Seoul National University)
STUDY.1 
. 물리적 기기를 컨트롤하는데 있어 trigger-action programming의 실용성 조사 . 수행된 과제가 trigger-action programming으로 구현 가능한지 분석 . 각각 다른 trigger와 action들의 결합 방법의 가짓수를 확인 함(다양성이 높다면 trigger-action programming이 최종 사용자에게 유용하다고 봄) Methodology 
1)스마트 홈과 홈 오토메이션 조사를 위해 MTurk worker들을 모집 함. 
2)MTurk worker들에게 아래의 질문을 던짐. 
3)참가자들의 반은 trigger-action programming 관련 더 이상의 설명이나 방법을 알려주지 않음. “ 특정한 프로그래밍 패러다임이 필요한 아주 독특하고 흥미로운 기능들을 제안하지 않을까 궁금함.” 
4)참가자들의 반은 trigger-action programming 준비가 원할 할 수 있도록 홈 오토메이션에 대한 예제를 보여 줌 “ 매우 미래 지향적인 행동들(날아다니는 로봇 집사)을 제안하지는 않을까 걱정이 듦.” . 예제 (1) 만약 내가 복도를 밤에 걸어간다면 내가 걸어가는 경로에 불이 들어 올 것 이다. (2) 만약 내가 집을 나가면 물건들이 꺼질 것이다. (3) 내가 스프링클러에 다가갈 때 난 물에 젖고 싶지 않다(그리고 내가 지나가면 다시 스프링클러가 켜진다). (4) 우편물이 오면 나에게 알려줘라. 
“ 만약 당신의 집이 인터넷으로 모두 연결돼 있어서 어떤 동작을 할 수 있게 지시를 할 수 있다면, 당신은 집이 했으면 하는 것들 다섯 가지가 뭐니? ” 
서울대학교 융합과학기술대학원 (Graduate School of Convergence Science and Technology. Seoul National University)
STUDY.1 
Methodology 5) 참가자들의 나이, 성별과 프로그래밍 경험치(무 경험자 / 약간의 경험자 / 다 경험자) 정보를 수집함. “ 참가자들의 행동이 인구 통계학 특성에 따라 달라질 것인지에 대해 궁금했기 때문.” 
6)두 명의 독립적인 코더들은 먼저 주체의 의도가 무엇인지 구분 함. 
7)Pilot-study 데이터로 부터 공동으로 개발한 아래 카테고리들 중 하나에 대입을 함. “독립적으로 대입한 결과 89.1% 동의하였고 나머지 동의 안된 것들에 대해서는 논의를 진행하여 모든 아이템들에 대해서 의견 일치를 봄.” Programming : 최종 사용자가 다른 방식들로 조합하는 것을 고려할 수 있는 기본 기능의 조합 (ex: 바깥이 어두워지면 자동으로 실내등을 켜라) Self-regulation : 집은 자동으로 대상자의 선호도를 확인하고 조치를 취함. (ex: 항상 내가 선호하는 집안 온도를 조절해라) Remote control : 최종사용자는 스케줄링 된 것이 아닌 즉시 기기를 컨트롤 하기를 원함. (ex: 내 폰에 버튼을 눌렀을 때 불을 켜라) Specialized functionality : 프로그래밍할 수 있지만 특정한 하드웨어가 필요함. 최종 사용자가 재목적화 할 수 없음. (ex: 아침 식사 만드는 기계) 8) 21개의 trigger 채널과 46개의 action channel로 이뤄진 코드북을 개발 함. 
서울대학교 융합과학기술대학원 (Graduate School of Convergence Science and Technology. Seoul National University)
STUDY.1 
Result . MTturk 설문 대상자들이 바라는 스마트 홈 동작들의 대부분이 프로그래밍이 가능한 것임. . 프로그래밍이 가능한 모든 행동들은 multiple triggers and actions을 지원하기만 한다면 trigger-action programming으로 모두 구현할 수 있음. <각 범주의 행동들의 비율을 나타낸 결과표> 1) Programming(62.6%) : 현재와 가까운 미래에 프로그래밍할 수 있는 동작들 “ I want the fan in my room to turn on when it is hot. ” “ Notify me if my pet gets out of the backyard. ” 2) Remote control(13.5%) : 이 유형은 현재 스마트폰, 컴퓨터, 음성, 제스쳐로 가정용 기기를 컨트롤 하려는 것들임. “ start the coffee pot from my bedroom, ” “ lock and unlock the doors on command with your voice, ” 3) Specialized functionality(10.8%) : 현재 존재하지 않는 것들 “ YouTube on bathroom mirror, ” “ I want my mail to be delivered by a robot. ” 4) self-regulation(10.1%) “ temperatures that adjust automatically to the perfect temperature. “ 5) unclear(2.8%) “ Smart Light “ 
서울대학교 융합과학기술대학원 (Graduate School of Convergence Science and Technology. Seoul National University)
STUDY.1 
Result Trigger-action programming structure . trigger-action programming 에는 multiple triggers and multiple actions이 지원되어야 함. (22% 를 프로그래밍 하기 위해 필요 함) < 프로그래밍 행동(trigger, action) 비율 결과 표> 1) single trigger, single action(1,1): 77.9% “ close the blinds when the sun is too bright ” “ call to let me know when the kids get home. ” 
2)single trigger with multiple actions(1,2+): 5.2% 
3)multiple triggers for a single action(2+,1): 8.5% 
4)multiple triggers and multiple actions(2+,2+): 8.4% “ When I get up at night, I would want my lights to turn on and off as I enter and exit the room. ” 
서울대학교 융합과학기술대학원 (Graduate School of Convergence Science and Technology. Seoul National University)
STUDY.1 
Result Triggers’ level of abstraction . the lowest level of abstraction : engineering sense, 장치의 상태 변화(도어벨 울림, 기기 전원 off), dates/times, moisture, sound, and light : 참가자들이 직접적으로 센서를 언급하지 않는 경향이 있음을 발견 함. . Ex: 누군가 방으로 걸어 들어올 때 모션 센서 동작을 얘기하는 대신 움직임의 발생을 지정 함. . The second category : 사용, 활동, 장소, 물리적 센서 “ I want the sink to turn on when I pick up my toothbrush. ” “ I would like my home to automatically clean the floors on a daily basis while no one is in the room. ” . The third category : 불분명한 trigger : Fuzzy(불분명한) trigger는 machine learning을 포함 함 “ I would like to be notified when my pool chemicals drop lower than normal.” 
서울대학교 융합과학기술대학원 (Graduate School of Convergence Science and Technology. Seoul National University)
STUDY.1 
Result Diversity of behaviors . 다수의 고유한 동작을 정의를 한다면 가정 내 최종 사용자의 프로그래밍에 대해서 주로 이로울 것임. . 프로그래밍으로 분류 된 995가지 행동의 다양성을 * Good-Turing estimation 분석 진행 함. 
1)21개의 Trigger channels(47개의 조합들): 이전 조합들 이외의 Trigger 조합이 발생할 확률 2% 
2)46개의 Action channels(77개의 조합들): 이전 조합들 이외의 Action 조합이 발생할 확률 4% 
3)Trigger channel + Action Channels: 이전 조합들 이외의 Trigger조합+Action 조합이 발생할 확률 13% 
서울대학교 융합과학기술대학원 (Graduate School of Convergence Science and Technology. Seoul National University) 
* Good-Turing frequency estimation: 지금까지 없었던 종의 개체 발생 확률을 추정하는 통계적 기법
STUDY.2 
. 홈 오토메이션을 위한 최종 사용자 프로그래밍은 아직 널리 퍼지진 않았지만, IFTTT 웹사이트에 얼리 어덥터들은 이미 실생활에서 trigger-action programming을 사용하고 있음. . 실제로 trigger-action programming 조합론을 더욱 잘 이해하기 위해서 IFTTT에서 공유된 프로그램들을 스크랩하였음. Methodology 
1)IFTTT 웹사이트에 공개 된 67,169 레시피를 모두 다운 받음 
2)다운 받은 공개 레시피들 중에서 물리적 기기들을 컨트롤하기 위한 6개 채널들에 포커스를 두고자 함. : 물리적 기기들 (blink(1), Philips Hue, Up by Jawbone, WeMo Motion, WeMo Switch, and Withings) 
3)어떤 trigger들이 어떤 action들과 연관이 있는지를 Good-Turing estimation을 사용하여 분석 함. 
서울대학교 융합과학기술대학원 (Graduate School of Convergence Science and Technology. Seoul National University) 
blink(1) 
Up by Jawbone 
Withings
STUDY.2 
Result . 앞서 얘기한 6개의 물리적 기기를 포함하는 레시피들에 포커싱을 함. 1) 물리적 기기들은 16가지의 서로 다른 Trigger 이벤트와 18가지의 서로 다른 Action들을 지원 함. 2) 전체 스크랩 중 513개의 레시피(0.8%)가 물리적 기기의 Trigger로 사용 됨. 3) 전체 스크랩 중 858개의 레시피(1.3%) 물리적 기기의 Action으로 사용 됨. 4) 92 case 만이 물리적 기기의 Trigger + Action 조합으로 사용 됨. . Good-Turing estimation 분석 
1)이전 조합들 이외의 물리적 기기 Trigger의 조합이 발생할 확률 11% 
2)이전 조합들 이외의 물리적 기기 Action의 조합이 발생할 확률 9% 
3)결과는 만약 사용자가 오직 스크랩한 것들에서 레시피 사용이 제한된다면, 검색의 1/10이 비는 일이 생길 수 있음을 의미 함. 
서울대학교 융합과학기술대학원 (Graduate School of Convergence Science and Technology. Seoul National University)
STUDY.3 
. 마지막 연구는 trigger-action programming의 사용성 뿐만 아니라 인구 통계학적 요소를 조사 함. . multiple triggers/actions과 사용성 간의 상관 관계를 알아 봄 Methodology 
1)스마트 홈 기술에 대한 연구 조사를 위해 MTurk worker들을 고용 함. 
2)참가자들에게 30분이 걸리는 연구 참가에 대한 보상으로 인당 $2.00를 지불 함. 
3)각각의 참가자들에게 single trigger and single action (simple interface) 또는 triggers and multiple actions (complex interface) 를 지원하는 인터페이스를 사용하는 것을 랜덤으로 할당 함. 
4)참가자들이 과제를 수행하는데 걸리는 시간과 프로그램 정확도를 측정 함. 
5)인구 통계학적 질문을 답한 참가자들은 Table.1에 나열된 10개의 과제를 시도하기 위해 할당 된 인터페이스를 사용하였고, 마지막으로 *Likert-scale 만족도 조사를 완료 하였음. 
서울대학교 융합과학기술대학원 (Graduate School of Convergence Science and Technology. Seoul National University) 
*Likert-scale (리커트 척도) : 반응자들이 주어진 문장에 얼마나 동의하는지를 척도에 표시하도록 하여 특정 주제에 대한 반응자의 태도를 알아보는 평정 척도.
STUDY.3 
Result Task completion . 전반적으로 프로그램을 만드는데 있어서 simple or complex interface 성공적으로 사용하였음. . Figure 8에서 볼 수 있듯이 대부분의 과제 수행 성공률을 80% 이상을 나타냄. . Task B의 성공률이 낮은 이유는 참가자들이 RSS와 친숙하지 못한 것 때문이라고 가정 됨. “Get all updates from the website www.xkcd.com via email.“ . Task G와 H는 구현 불가능 한 과제였음 따라서 Skip을 하면 성공으로 간주 됨 : Task G의 경우는 점유 센서의 존재 or 들어오고 나가고 각각을 Trigger하는 것을 필요로 함. “The lighting in my bedroom should be on when I am there and off when I am not there.“ . Task H의 경우는 컬러 변화에 대한 옵션이 없음 “If it begins to rain then change the light colors to blue.” . Task I, J에서 Simple Interface 참가자의 성공률이 나타나는 이유는 Skip을 한 것이 성공으로 간주되었기 때문임. 
서울대학교 융합과학기술대학원 (Graduate School of Convergence Science and Technology. Seoul National University)
STUDY.3 
Result Time to complete a task . 참가자들이 연속적인 과제를 완료함으로써 참가자들의 성능이 빠르게 향상되는 학습 효과를 관찰하였음. 1) 참가자들이 과제 A-F 를 풀기 위해 얼마나 많은 시간이 걸리는지를 조사 함. 2) 종속 변수로서 인터페이스 로딩 부터 솔루션을 제출하는데 까지의 시간으로 선형 혼합 모델을 만듦. 3) 할당 된 인터페이스로 수행이 불가능한 과제와 잘못된 솔루션에 대한 데이터는 제외하였음. 
서울대학교 융합과학기술대학원 (Graduate School of Convergence Science and Technology. Seoul National University)
STUDY.3 
Result Satisfaction . 전반적으로 참가자들은 simple interface와 complex interface의 사용성에 대해서 만족감을 나타냈음 . 참가자들은 interface에 대한 3가지 상태에 7-point 리커트 척도로 답하였음. . ¾ 이상이 아래 내용에 동의 하였음. 
1)“ 레시피를 만드는 것은 쉽고 직관적이다. ” 
2)“ 일상 생활에서 이런 종류의 레시피를 만드는 것에 관심을 갖게 될 것이다. “ 
3)“ 더 복잡한 프로그래밍 인터페이스를 다룰 수 있을 것이다. “ 
서울대학교 융합과학기술대학원 (Graduate School of Convergence Science and Technology. Seoul National University)
Discussion 
. 일반 사용자들이 multiple triggers and actions을 가지고 성공적으로 trigger-action programming를 할 수 있는 근거를 제공하였음. . 이 기능은 참가자들의 머리에서 바로 떠오르는 많은 스마트 홈 동작들을 구현할 수 있음. . 실제적인 세팅에서 사용하기 위한 trigger-action programming 범위는 수많은 문제점들을 낳을 것임. . multiple trigger를 서로서로 구성하는 방법의 의미가 복잡하다는 것을 알 수 있었음. . Trigger는 이벤트, 조건 또는 조합을 포함한다. . 문과 같은 객체는 이벤트 (“the moment the door closes”), 조건(“is the door closed?”), 그리고 행동(“close the door”)을 지원하는 것이 필요하다. . 참가자들이 Trigger들을 표현하기 위해 사용한 추상화의 레벨은 상당한 향후 연구를 제안한다. . 추상화의 세 번째 단계(ex: 물이 너무 뜨겁다)는 머신 러닝을 기반으로 사용자의들의 선호도를 그들 스스로 맞출 센서를 만드는 방법에 대한 연구 기회를 제안함. . 스마트 홈에서 잠재적으로 머신 러닝은 충돌을 보다 지능적으로 해결할 수 있을 것임. . 가정에서 최종 사용자 프로그래밍 내에서 trigger-action programming의 장소는 고려될 가치가 있음. 
서울대학교 융합과학기술대학원 (Graduate School of Convergence Science and Technology. Seoul National University)
Limitations 
. trigger-action programming 의 상대적인 강점과 약점을 평가할 수 없었음. . trigger-action programming이 앞으로 가장 좋은 방법이라고 강하게 주장을 할 수 없었음. . . 이 논문의 데이터가 반드시 모든 사용자들을 대표하지 않음 . IFTTT community는 얼리 어답터들의 자기 선택적 풀 임. . IFTTT 와 MTurk 사용자들은 일반 사용자들보다 더욱 기술적 성향을 가지고 있음. . MTurk 설문 대상자들에게 원하는 모든 동작 보다는 갑자기 생각나는 처음 5가지 동작을 작성하라고 요청 함. . trigger-action programming 이 원하는 모든 스마트 홈 동작의 특정 부분을 포착한다고 주장할 수 없음. . 생태학적으로 유효한 설정에서 trigger-action programming을 조사하는 현장 연구(field study) 수행을 계획함. . 머신 러닝에 기반한 Trigger와 센서의 역할은 필드에서 특히 관심이 있을 것임. . 현장 연구는 지금까지 논의해 온 미묘한 이슈들의 영향을 명료하게 할 것임. . 프로그램을 구성하는 방법에 대한 사용자 멘탈 모델은 추가 연구를 할 가치가 있음. 
서울대학교 융합과학기술대학원 (Graduate School of Convergence Science and Technology. Seoul National University)
서울대학교 융합과학기술대학원 (Graduate School of Convergence Science and Technology. Seoul National University) 
Thank you!!

More Related Content

Similar to Practical trigger action programming in the smart home

2012 3 qp_hybrid algorithm optimization with artificial intelligence
2012 3 qp_hybrid algorithm optimization with artificial intelligence 2012 3 qp_hybrid algorithm optimization with artificial intelligence
2012 3 qp_hybrid algorithm optimization with artificial intelligence
Jong MIn Yu
 
Using Context to Reveal Factors that Affect Physical Activity
Using Context to Reveal Factors that Affect Physical Activity Using Context to Reveal Factors that Affect Physical Activity
Using Context to Reveal Factors that Affect Physical Activity
Jinhan Choi
 
Softbox arduino software education, softbox 소프트박스 제품소개서
Softbox arduino software education, softbox 소프트박스 제품소개서 Softbox arduino software education, softbox 소프트박스 제품소개서
Softbox arduino software education, softbox 소프트박스 제품소개서
봉조 김
 
2023-Spring-final.pptx
2023-Spring-final.pptx2023-Spring-final.pptx
2023-Spring-final.pptx
JinuChoi1
 
ScatterWatch: Subtle Notifications
via Indirect Illumination Scattered in the...
ScatterWatch: Subtle Notifications
via Indirect Illumination Scattered in the...ScatterWatch: Subtle Notifications
via Indirect Illumination Scattered in the...
ScatterWatch: Subtle Notifications
via Indirect Illumination Scattered in the...
Slava Han
 
180624 mobile visionnet_baeksucon_jwkang_pub
180624 mobile visionnet_baeksucon_jwkang_pub180624 mobile visionnet_baeksucon_jwkang_pub
180624 mobile visionnet_baeksucon_jwkang_pub
Jaewook. Kang
 
Future Command and Control Systems Should Combine Decision Support and Person...
Future Command and Control Systems Should Combine Decision Support and Person...Future Command and Control Systems Should Combine Decision Support and Person...
Future Command and Control Systems Should Combine Decision Support and Person...
Slava Han
 
05 박승권교수 스마트워크의 활성화 과제와 표준화의 필요성
05 박승권교수 스마트워크의 활성화 과제와 표준화의 필요성05 박승권교수 스마트워크의 활성화 과제와 표준화의 필요성
05 박승권교수 스마트워크의 활성화 과제와 표준화의 필요성Seongtak Oh
 
소프트웨어설계론
소프트웨어설계론소프트웨어설계론
소프트웨어설계론
JeongDong Kim
 
모두의 AI 교육 : 산 ⦁ 학 ⦁ 관 협력으로 모색해 보는 부산 AI 교육
모두의 AI 교육 : 산 ⦁ 학 ⦁ 관 협력으로 모색해 보는 부산 AI 교육모두의 AI 교육 : 산 ⦁ 학 ⦁ 관 협력으로 모색해 보는 부산 AI 교육
모두의 AI 교육 : 산 ⦁ 학 ⦁ 관 협력으로 모색해 보는 부산 AI 교육
Jong-Hyun Kim
 
Keit pd(2013 10) issue 2-원격조종로봇 및 원격제어기술과 응용분야
Keit pd(2013 10) issue 2-원격조종로봇 및 원격제어기술과 응용분야Keit pd(2013 10) issue 2-원격조종로봇 및 원격제어기술과 응용분야
Keit pd(2013 10) issue 2-원격조종로봇 및 원격제어기술과 응용분야atelier t*h
 
머신러닝의 개념과 실습
머신러닝의 개념과 실습머신러닝의 개념과 실습
머신러닝의 개념과 실습
Byoung-Hee Kim
 
AI_introduction and requirements(2024.05.12).pdf
AI_introduction and requirements(2024.05.12).pdfAI_introduction and requirements(2024.05.12).pdf
AI_introduction and requirements(2024.05.12).pdf
Lee Chanwoo
 
스마트폰 위의 딥러닝
스마트폰 위의 딥러닝스마트폰 위의 딥러닝
스마트폰 위의 딥러닝
NAVER Engineering
 
(발제) Mobile Probes : NordiCHI2004-Sami Hulkko / 정영찬 x2013 summer
(발제) Mobile Probes : NordiCHI2004-Sami Hulkko / 정영찬 x2013 summer(발제) Mobile Probes : NordiCHI2004-Sami Hulkko / 정영찬 x2013 summer
(발제) Mobile Probes : NordiCHI2004-Sami Hulkko / 정영찬 x2013 summerycmailcase
 
2024-Spring-OT.pdf
2024-Spring-OT.pdf2024-Spring-OT.pdf
2024-Spring-OT.pdf
JinuChoi1
 
Positioning Glass: Investigating Display Positions of Monocular Optical See-T...
Positioning Glass: Investigating Display Positions of Monocular Optical See-T...Positioning Glass: Investigating Display Positions of Monocular Optical See-T...
Positioning Glass: Investigating Display Positions of Monocular Optical See-T...
Slava Han
 
Android unit testing
Android unit testingAndroid unit testing
Android unit testing
Hyeoungkyu Chang
 
[HYSS 2016] 쉽고 빠르게 시작하는 Volatility Plugin 개발
[HYSS 2016] 쉽고 빠르게 시작하는 Volatility Plugin 개발[HYSS 2016] 쉽고 빠르게 시작하는 Volatility Plugin 개발
[HYSS 2016] 쉽고 빠르게 시작하는 Volatility Plugin 개발
동현 김
 
종합 포트폴리오
종합 포트폴리오종합 포트폴리오
종합 포트폴리오
hogyun yu
 

Similar to Practical trigger action programming in the smart home (20)

2012 3 qp_hybrid algorithm optimization with artificial intelligence
2012 3 qp_hybrid algorithm optimization with artificial intelligence 2012 3 qp_hybrid algorithm optimization with artificial intelligence
2012 3 qp_hybrid algorithm optimization with artificial intelligence
 
Using Context to Reveal Factors that Affect Physical Activity
Using Context to Reveal Factors that Affect Physical Activity Using Context to Reveal Factors that Affect Physical Activity
Using Context to Reveal Factors that Affect Physical Activity
 
Softbox arduino software education, softbox 소프트박스 제품소개서
Softbox arduino software education, softbox 소프트박스 제품소개서 Softbox arduino software education, softbox 소프트박스 제품소개서
Softbox arduino software education, softbox 소프트박스 제품소개서
 
2023-Spring-final.pptx
2023-Spring-final.pptx2023-Spring-final.pptx
2023-Spring-final.pptx
 
ScatterWatch: Subtle Notifications
via Indirect Illumination Scattered in the...
ScatterWatch: Subtle Notifications
via Indirect Illumination Scattered in the...ScatterWatch: Subtle Notifications
via Indirect Illumination Scattered in the...
ScatterWatch: Subtle Notifications
via Indirect Illumination Scattered in the...
 
180624 mobile visionnet_baeksucon_jwkang_pub
180624 mobile visionnet_baeksucon_jwkang_pub180624 mobile visionnet_baeksucon_jwkang_pub
180624 mobile visionnet_baeksucon_jwkang_pub
 
Future Command and Control Systems Should Combine Decision Support and Person...
Future Command and Control Systems Should Combine Decision Support and Person...Future Command and Control Systems Should Combine Decision Support and Person...
Future Command and Control Systems Should Combine Decision Support and Person...
 
05 박승권교수 스마트워크의 활성화 과제와 표준화의 필요성
05 박승권교수 스마트워크의 활성화 과제와 표준화의 필요성05 박승권교수 스마트워크의 활성화 과제와 표준화의 필요성
05 박승권교수 스마트워크의 활성화 과제와 표준화의 필요성
 
소프트웨어설계론
소프트웨어설계론소프트웨어설계론
소프트웨어설계론
 
모두의 AI 교육 : 산 ⦁ 학 ⦁ 관 협력으로 모색해 보는 부산 AI 교육
모두의 AI 교육 : 산 ⦁ 학 ⦁ 관 협력으로 모색해 보는 부산 AI 교육모두의 AI 교육 : 산 ⦁ 학 ⦁ 관 협력으로 모색해 보는 부산 AI 교육
모두의 AI 교육 : 산 ⦁ 학 ⦁ 관 협력으로 모색해 보는 부산 AI 교육
 
Keit pd(2013 10) issue 2-원격조종로봇 및 원격제어기술과 응용분야
Keit pd(2013 10) issue 2-원격조종로봇 및 원격제어기술과 응용분야Keit pd(2013 10) issue 2-원격조종로봇 및 원격제어기술과 응용분야
Keit pd(2013 10) issue 2-원격조종로봇 및 원격제어기술과 응용분야
 
머신러닝의 개념과 실습
머신러닝의 개념과 실습머신러닝의 개념과 실습
머신러닝의 개념과 실습
 
AI_introduction and requirements(2024.05.12).pdf
AI_introduction and requirements(2024.05.12).pdfAI_introduction and requirements(2024.05.12).pdf
AI_introduction and requirements(2024.05.12).pdf
 
스마트폰 위의 딥러닝
스마트폰 위의 딥러닝스마트폰 위의 딥러닝
스마트폰 위의 딥러닝
 
(발제) Mobile Probes : NordiCHI2004-Sami Hulkko / 정영찬 x2013 summer
(발제) Mobile Probes : NordiCHI2004-Sami Hulkko / 정영찬 x2013 summer(발제) Mobile Probes : NordiCHI2004-Sami Hulkko / 정영찬 x2013 summer
(발제) Mobile Probes : NordiCHI2004-Sami Hulkko / 정영찬 x2013 summer
 
2024-Spring-OT.pdf
2024-Spring-OT.pdf2024-Spring-OT.pdf
2024-Spring-OT.pdf
 
Positioning Glass: Investigating Display Positions of Monocular Optical See-T...
Positioning Glass: Investigating Display Positions of Monocular Optical See-T...Positioning Glass: Investigating Display Positions of Monocular Optical See-T...
Positioning Glass: Investigating Display Positions of Monocular Optical See-T...
 
Android unit testing
Android unit testingAndroid unit testing
Android unit testing
 
[HYSS 2016] 쉽고 빠르게 시작하는 Volatility Plugin 개발
[HYSS 2016] 쉽고 빠르게 시작하는 Volatility Plugin 개발[HYSS 2016] 쉽고 빠르게 시작하는 Volatility Plugin 개발
[HYSS 2016] 쉽고 빠르게 시작하는 Volatility Plugin 개발
 
종합 포트폴리오
종합 포트폴리오종합 포트폴리오
종합 포트폴리오
 

Practical trigger action programming in the smart home

  • 1. Practical Trigger- Action Programming in the Smart Home + CHI 2014 -Blase Ur /서제환 x 2014 Autumn
  • 2. Practical Trigger-Action Programming in the Smart Home 2014. 10. 10 UX Lab 서제환
  • 3. 서울대학교 융합과학기술대학원 (Graduate School of Convergence Science and Technology. Seoul National University) 출처 CHI '14 Proceedings of the SIGCHI Conference on Human Factors in Computing Systems
  • 4. AUTHORS Blase Ur : PhD, Carnegie Mellon University Elyse McManus : Assistant Researcher, Brown University Melwyn Pak Yong Ho : Research Assistant, Brown University Michael L. Littman : Professor of Computer Science, Brown University 서울대학교 융합과학기술대학원 (Graduate School of Convergence Science and Technology. Seoul National University)
  • 5. ABSTRACT . 일반 사용자들이 trigger-action (“if, then”) programming을 사용하여 스마트 홈 기기를 조작하는 것에 대한 “실효성”을 조사 함. . trigger-action (“if, then”) programming은 온라인 연구 참가자들이 제출한 원하는 동작을 모두 구현할 수 있다는 것을 찾음. . 수집된 자료의 trigger 분석 시 “머신 러닝이 요구되는 trigger” 종류를 구분할 수 있음. . IFTTT에 공유된 67,169 trigger-action 프로그램의 고유성을 평가 함으로써 실제 사용자들이 많은 수의 고유한 trigger-action interactions를 작성함을 알아 냄. . 226 참가자들의 사용성 테스트를 수행 함으로써 미숙련 사용자들도 복수의 triggers 또는 actions이 포함된 프로그램을 만드는 법을 빨리 배울 수 있음을 알아 냄 서울대학교 융합과학기술대학원 (Graduate School of Convergence Science and Technology. Seoul National University)
  • 6. KEYWORDS End-User Programming Home Automation Smart Home Internet of Things Condition-Action Programming 서울대학교 융합과학기술대학원 (Graduate School of Convergence Science and Technology. Seoul National University)
  • 7. INTRODUCTION . 가정 자동화 및 스마트 홈을 가능하게 만드는 기술들에 대한 연구는 수십 년 동안 진행되어 왔지만 그 기술들을 구현하는데 있어 “비용이 많이 들고 복잡한 것”들 이었음. . 최근 2년 사이에 기업들은 일반 사용자들이 저비용 스마트 기기들을 내놓고,mass-market pervasive computing을 향한 모멘텀을 만들고 있음. 서울대학교 융합과학기술대학원 (Graduate School of Convergence Science and Technology. Seoul National University)
  • 8. INTRODUCTION . 이 논문에서 저자는 IFTTT = “if trigger, then action” 을 뜻하고 trigger-action programming이라 명명함. . 실험에 사용된 IFTTT 기능은 일반 사용자들이 가정용 장치를 trigger-action programming 할 수 있게 함. Philips Hue lights Belkin WeMo family of outlets, switches, motion sensors Crowd-funded devices : Twine, WigWag 서울대학교 융합과학기술대학원 (Graduate School of Convergence Science and Technology. Seoul National University)
  • 9. INTRODUCTION . 스마트 홈 프로그래밍 구현 시 사용 편의성과 표현성 사이의 조화를 어떻게 맞출 것인가? 에 대한 연구 진행 필요 . 이 논문에서 활용하는 IFTTT 기능은 사용자들에게 single trigger, single actions 만을 취하게 제한하고 있음. Q1) 일반 사용자들은 더 많은 유연성을 필요로 하지 않을까? Q2) 일반 사용자들은 더 많은 유연성을 다룰 수 있지 않을까? Q3) 추가 프로그래밍 경험이 이 상황을 바꿀 수 있지 않을까? Q4) 모델에서 중요 요소가 누락되지 않았는가? . 다음 3가지 관련 연구를 통해 이 질문들을 조사 함. ease of use expressibility or 서울대학교 융합과학기술대학원 (Graduate School of Convergence Science and Technology. Seoul National University)
  • 10. 1. trigger-action programming이 사용자가 원하는 스마트 홈 동작(smart-home behavior)을 정확히 담아내는지 알기 위한 가설에 대한 조사가 필요 함. H1: trigger-action programming을 사용하여 사용자가 원하는 스마트 홈 동작을 표현할 수 있다. H2: 몇몇의 스마트 홈 동작들은 복수의 triggers or actions을 필요로 한다. . 실험 방법 1)Mechanical Turk (MTurk)에서 318명에게 그들이 원하는 가상의 스마트 홈에 대한 것들을 5가지씩 수집 함. . 실험 결과 1)제출한 내용들은 trigger-action programming으로 구현이 가능해 보였음. 2)사용자의 이전 프로그래밍 경험은 프로그래밍을 포함하고 있는 그들이 원하는 동작과 크게 연관이 없었음. 3)IFTTT의 affordances와 달리 프로그래밍 동작의 22% 1개 이상의 trigger와 action이 요구 됨. 4)참가자들이 사용한 trigger들을 3가지 추상화 단위로 표시하였고, 가장 높은 단위는 machine learning의 natural application임. INTRODUCTION 서울대학교 융합과학기술대학원 (Graduate School of Convergence Science and Technology. Seoul National University)
  • 11. 2. 사용자 맞춤형 스마트 홈 프로그래밍이 필요로 한지에 대한 test 진행 함. H3: 실제로, 사용자들은 다수의 독특한 방식으로 triggers and actions을 결합할 것이다. . 실험 방법 1)MTturk 사용자들의 원하는 행동들 사이에서 많은 독특한 조합을 발견 함. 2)최종 사용자 (End User)가 IFTTT에서 공유한 67,170개의 프로그램을 긁어 모음. . 실험 결과 1)IFTT에서 수집된 프로그램을 분석하여 유사하게 높은 다양성들을 발견 함. INTRODUCTION 서울대학교 융합과학기술대학원 (Graduate School of Convergence Science and Technology. Seoul National University)
  • 12. INTRODUCTION 3. trigger-action programming의 사용성에 대한 Test를 진행 함. H4: 참가자들은 simple or complex interface를 사용하는데 동등한 정확도와 스피드를 해 보일 것이다. H5: 이전 프로그래밍 경험과 trigger-action programming을 사용한 경험은 스피드와 정확도를 증가시킨다. . 실험 방법 1)새로운 IFTTT interaction design을 보여주고, 226명의 MTTurker를 대상으로 10개의 프로그래밍 과제(Task)를 등록 함. 2)참가자들에게 랜덤으로 single trigger and a single action (simple interface) or multiple triggers and multiple actions (complex interface) 과제가 할당 됨. . 실험 결과 1)simple and complex interfaces 사이에 참가자들의 수행과 만족도에는 큰 차이가 없음을 발견 함.(supporting H4) 2)complex interface를 사용한 참가자들은 비슷한 성공률로 complex tasks를 완료할 수 있었음. 3)H5 가설은 부분적으로 확인이 가능하였음. 1)프로그래밍 경험은 큰 이점을 제공하지 않았음. 2)참가자들은 첫 번째 과제 수행 시에는 느렸으나, 2번째 과제 수행 시부터는 정상 상태 성능에 접근하였음. 서울대학교 융합과학기술대학원 (Graduate School of Convergence Science and Technology. Seoul National University)
  • 13. INTRODUCTION Overall 1)multiple triggers and multiple actions의 trigger-action programming은 스마트 홈 프로그래밍을 위한 실용적인 접근이 될 수 있는 증거를 발견 함. 2) Trigger를 구성하는 방법뿐만 아니라 Trigger가 상호작용적인 machine learning 접근이 요구되는 것에 대해 논의를 함 서울대학교 융합과학기술대학원 (Graduate School of Convergence Science and Technology. Seoul National University)
  • 14. BACKGROUND AND RELATED WORK Trigger-action Programming . IFTTT는 69개의 다른 채널을 제공하지만, single trigger -> single action의 프로그래밍 패러다임은 본질적으로 제한 됨. . 저자는 2가지 버전의 prototype interface를 만들어 제공 함. 1) one trigger and one action channel만 허용되는 simple interface 2) multiple trigger and action channels 사용이 허용되는 complex interface ( 모든 trigger들은 접속사 “and” 로 구성되어 짐) 서울대학교 융합과학기술대학원 (Graduate School of Convergence Science and Technology. Seoul National University)
  • 15. Related Work . 스마트 홈의 최종 사용자(end-user) 프로그래밍에 대한 이전 연구 조사 Newman: 최종 사용자의 구성 능력은 스마트 홈 애플리케이션의 키라고 주장 하였고, 사용자 커뮤니티를 통해 공유하는 통찰력을 옹호하였음. Newman, M. W. Now we’re cooking: Recipes for end-user service composition in the digital home. Position Paper– CHI 2006 Workshop IT@Home, 2006. Dey et al: 상황 인식 응용 프로그램 관련하여 20명의 참가자들을 인터뷰 함. trigger-action programming과 같은 if-then 규칙 기반이 되는 가장 일반적인 멘탈 모델을 발견 함. Dey, A. K., Sohn, T., Streng, S., and Kodama, J. iCAP: Interactive prototyping of context-aware applications. In Proc. Pervasive (2006) . trigger-action programming의 특성을 공유하는 스마트 홈 인터페이스 제안에 대한 이전 연구 조사 . trigger-action programming의 중요한 세부 요소들을 소개하는 이전 연구 조사 . trigger-action programming 은 문제적 행동이 불가피하게 발생 했을 시 사용자가 디버깅 하는 것이 어렵다라고 주장하는 이전 연구 조사 BACKGROUND AND RELATED WORK 서울대학교 융합과학기술대학원 (Graduate School of Convergence Science and Technology. Seoul National University)
  • 16. STUDY.1 . 물리적 기기를 컨트롤하는데 있어 trigger-action programming의 실용성 조사 . 수행된 과제가 trigger-action programming으로 구현 가능한지 분석 . 각각 다른 trigger와 action들의 결합 방법의 가짓수를 확인 함(다양성이 높다면 trigger-action programming이 최종 사용자에게 유용하다고 봄) Methodology 1)스마트 홈과 홈 오토메이션 조사를 위해 MTurk worker들을 모집 함. 2)MTurk worker들에게 아래의 질문을 던짐. 3)참가자들의 반은 trigger-action programming 관련 더 이상의 설명이나 방법을 알려주지 않음. “ 특정한 프로그래밍 패러다임이 필요한 아주 독특하고 흥미로운 기능들을 제안하지 않을까 궁금함.” 4)참가자들의 반은 trigger-action programming 준비가 원할 할 수 있도록 홈 오토메이션에 대한 예제를 보여 줌 “ 매우 미래 지향적인 행동들(날아다니는 로봇 집사)을 제안하지는 않을까 걱정이 듦.” . 예제 (1) 만약 내가 복도를 밤에 걸어간다면 내가 걸어가는 경로에 불이 들어 올 것 이다. (2) 만약 내가 집을 나가면 물건들이 꺼질 것이다. (3) 내가 스프링클러에 다가갈 때 난 물에 젖고 싶지 않다(그리고 내가 지나가면 다시 스프링클러가 켜진다). (4) 우편물이 오면 나에게 알려줘라. “ 만약 당신의 집이 인터넷으로 모두 연결돼 있어서 어떤 동작을 할 수 있게 지시를 할 수 있다면, 당신은 집이 했으면 하는 것들 다섯 가지가 뭐니? ” 서울대학교 융합과학기술대학원 (Graduate School of Convergence Science and Technology. Seoul National University)
  • 17. STUDY.1 Methodology 5) 참가자들의 나이, 성별과 프로그래밍 경험치(무 경험자 / 약간의 경험자 / 다 경험자) 정보를 수집함. “ 참가자들의 행동이 인구 통계학 특성에 따라 달라질 것인지에 대해 궁금했기 때문.” 6)두 명의 독립적인 코더들은 먼저 주체의 의도가 무엇인지 구분 함. 7)Pilot-study 데이터로 부터 공동으로 개발한 아래 카테고리들 중 하나에 대입을 함. “독립적으로 대입한 결과 89.1% 동의하였고 나머지 동의 안된 것들에 대해서는 논의를 진행하여 모든 아이템들에 대해서 의견 일치를 봄.” Programming : 최종 사용자가 다른 방식들로 조합하는 것을 고려할 수 있는 기본 기능의 조합 (ex: 바깥이 어두워지면 자동으로 실내등을 켜라) Self-regulation : 집은 자동으로 대상자의 선호도를 확인하고 조치를 취함. (ex: 항상 내가 선호하는 집안 온도를 조절해라) Remote control : 최종사용자는 스케줄링 된 것이 아닌 즉시 기기를 컨트롤 하기를 원함. (ex: 내 폰에 버튼을 눌렀을 때 불을 켜라) Specialized functionality : 프로그래밍할 수 있지만 특정한 하드웨어가 필요함. 최종 사용자가 재목적화 할 수 없음. (ex: 아침 식사 만드는 기계) 8) 21개의 trigger 채널과 46개의 action channel로 이뤄진 코드북을 개발 함. 서울대학교 융합과학기술대학원 (Graduate School of Convergence Science and Technology. Seoul National University)
  • 18. STUDY.1 Result . MTturk 설문 대상자들이 바라는 스마트 홈 동작들의 대부분이 프로그래밍이 가능한 것임. . 프로그래밍이 가능한 모든 행동들은 multiple triggers and actions을 지원하기만 한다면 trigger-action programming으로 모두 구현할 수 있음. <각 범주의 행동들의 비율을 나타낸 결과표> 1) Programming(62.6%) : 현재와 가까운 미래에 프로그래밍할 수 있는 동작들 “ I want the fan in my room to turn on when it is hot. ” “ Notify me if my pet gets out of the backyard. ” 2) Remote control(13.5%) : 이 유형은 현재 스마트폰, 컴퓨터, 음성, 제스쳐로 가정용 기기를 컨트롤 하려는 것들임. “ start the coffee pot from my bedroom, ” “ lock and unlock the doors on command with your voice, ” 3) Specialized functionality(10.8%) : 현재 존재하지 않는 것들 “ YouTube on bathroom mirror, ” “ I want my mail to be delivered by a robot. ” 4) self-regulation(10.1%) “ temperatures that adjust automatically to the perfect temperature. “ 5) unclear(2.8%) “ Smart Light “ 서울대학교 융합과학기술대학원 (Graduate School of Convergence Science and Technology. Seoul National University)
  • 19. STUDY.1 Result Trigger-action programming structure . trigger-action programming 에는 multiple triggers and multiple actions이 지원되어야 함. (22% 를 프로그래밍 하기 위해 필요 함) < 프로그래밍 행동(trigger, action) 비율 결과 표> 1) single trigger, single action(1,1): 77.9% “ close the blinds when the sun is too bright ” “ call to let me know when the kids get home. ” 2)single trigger with multiple actions(1,2+): 5.2% 3)multiple triggers for a single action(2+,1): 8.5% 4)multiple triggers and multiple actions(2+,2+): 8.4% “ When I get up at night, I would want my lights to turn on and off as I enter and exit the room. ” 서울대학교 융합과학기술대학원 (Graduate School of Convergence Science and Technology. Seoul National University)
  • 20. STUDY.1 Result Triggers’ level of abstraction . the lowest level of abstraction : engineering sense, 장치의 상태 변화(도어벨 울림, 기기 전원 off), dates/times, moisture, sound, and light : 참가자들이 직접적으로 센서를 언급하지 않는 경향이 있음을 발견 함. . Ex: 누군가 방으로 걸어 들어올 때 모션 센서 동작을 얘기하는 대신 움직임의 발생을 지정 함. . The second category : 사용, 활동, 장소, 물리적 센서 “ I want the sink to turn on when I pick up my toothbrush. ” “ I would like my home to automatically clean the floors on a daily basis while no one is in the room. ” . The third category : 불분명한 trigger : Fuzzy(불분명한) trigger는 machine learning을 포함 함 “ I would like to be notified when my pool chemicals drop lower than normal.” 서울대학교 융합과학기술대학원 (Graduate School of Convergence Science and Technology. Seoul National University)
  • 21. STUDY.1 Result Diversity of behaviors . 다수의 고유한 동작을 정의를 한다면 가정 내 최종 사용자의 프로그래밍에 대해서 주로 이로울 것임. . 프로그래밍으로 분류 된 995가지 행동의 다양성을 * Good-Turing estimation 분석 진행 함. 1)21개의 Trigger channels(47개의 조합들): 이전 조합들 이외의 Trigger 조합이 발생할 확률 2% 2)46개의 Action channels(77개의 조합들): 이전 조합들 이외의 Action 조합이 발생할 확률 4% 3)Trigger channel + Action Channels: 이전 조합들 이외의 Trigger조합+Action 조합이 발생할 확률 13% 서울대학교 융합과학기술대학원 (Graduate School of Convergence Science and Technology. Seoul National University) * Good-Turing frequency estimation: 지금까지 없었던 종의 개체 발생 확률을 추정하는 통계적 기법
  • 22. STUDY.2 . 홈 오토메이션을 위한 최종 사용자 프로그래밍은 아직 널리 퍼지진 않았지만, IFTTT 웹사이트에 얼리 어덥터들은 이미 실생활에서 trigger-action programming을 사용하고 있음. . 실제로 trigger-action programming 조합론을 더욱 잘 이해하기 위해서 IFTTT에서 공유된 프로그램들을 스크랩하였음. Methodology 1)IFTTT 웹사이트에 공개 된 67,169 레시피를 모두 다운 받음 2)다운 받은 공개 레시피들 중에서 물리적 기기들을 컨트롤하기 위한 6개 채널들에 포커스를 두고자 함. : 물리적 기기들 (blink(1), Philips Hue, Up by Jawbone, WeMo Motion, WeMo Switch, and Withings) 3)어떤 trigger들이 어떤 action들과 연관이 있는지를 Good-Turing estimation을 사용하여 분석 함. 서울대학교 융합과학기술대학원 (Graduate School of Convergence Science and Technology. Seoul National University) blink(1) Up by Jawbone Withings
  • 23. STUDY.2 Result . 앞서 얘기한 6개의 물리적 기기를 포함하는 레시피들에 포커싱을 함. 1) 물리적 기기들은 16가지의 서로 다른 Trigger 이벤트와 18가지의 서로 다른 Action들을 지원 함. 2) 전체 스크랩 중 513개의 레시피(0.8%)가 물리적 기기의 Trigger로 사용 됨. 3) 전체 스크랩 중 858개의 레시피(1.3%) 물리적 기기의 Action으로 사용 됨. 4) 92 case 만이 물리적 기기의 Trigger + Action 조합으로 사용 됨. . Good-Turing estimation 분석 1)이전 조합들 이외의 물리적 기기 Trigger의 조합이 발생할 확률 11% 2)이전 조합들 이외의 물리적 기기 Action의 조합이 발생할 확률 9% 3)결과는 만약 사용자가 오직 스크랩한 것들에서 레시피 사용이 제한된다면, 검색의 1/10이 비는 일이 생길 수 있음을 의미 함. 서울대학교 융합과학기술대학원 (Graduate School of Convergence Science and Technology. Seoul National University)
  • 24. STUDY.3 . 마지막 연구는 trigger-action programming의 사용성 뿐만 아니라 인구 통계학적 요소를 조사 함. . multiple triggers/actions과 사용성 간의 상관 관계를 알아 봄 Methodology 1)스마트 홈 기술에 대한 연구 조사를 위해 MTurk worker들을 고용 함. 2)참가자들에게 30분이 걸리는 연구 참가에 대한 보상으로 인당 $2.00를 지불 함. 3)각각의 참가자들에게 single trigger and single action (simple interface) 또는 triggers and multiple actions (complex interface) 를 지원하는 인터페이스를 사용하는 것을 랜덤으로 할당 함. 4)참가자들이 과제를 수행하는데 걸리는 시간과 프로그램 정확도를 측정 함. 5)인구 통계학적 질문을 답한 참가자들은 Table.1에 나열된 10개의 과제를 시도하기 위해 할당 된 인터페이스를 사용하였고, 마지막으로 *Likert-scale 만족도 조사를 완료 하였음. 서울대학교 융합과학기술대학원 (Graduate School of Convergence Science and Technology. Seoul National University) *Likert-scale (리커트 척도) : 반응자들이 주어진 문장에 얼마나 동의하는지를 척도에 표시하도록 하여 특정 주제에 대한 반응자의 태도를 알아보는 평정 척도.
  • 25. STUDY.3 Result Task completion . 전반적으로 프로그램을 만드는데 있어서 simple or complex interface 성공적으로 사용하였음. . Figure 8에서 볼 수 있듯이 대부분의 과제 수행 성공률을 80% 이상을 나타냄. . Task B의 성공률이 낮은 이유는 참가자들이 RSS와 친숙하지 못한 것 때문이라고 가정 됨. “Get all updates from the website www.xkcd.com via email.“ . Task G와 H는 구현 불가능 한 과제였음 따라서 Skip을 하면 성공으로 간주 됨 : Task G의 경우는 점유 센서의 존재 or 들어오고 나가고 각각을 Trigger하는 것을 필요로 함. “The lighting in my bedroom should be on when I am there and off when I am not there.“ . Task H의 경우는 컬러 변화에 대한 옵션이 없음 “If it begins to rain then change the light colors to blue.” . Task I, J에서 Simple Interface 참가자의 성공률이 나타나는 이유는 Skip을 한 것이 성공으로 간주되었기 때문임. 서울대학교 융합과학기술대학원 (Graduate School of Convergence Science and Technology. Seoul National University)
  • 26. STUDY.3 Result Time to complete a task . 참가자들이 연속적인 과제를 완료함으로써 참가자들의 성능이 빠르게 향상되는 학습 효과를 관찰하였음. 1) 참가자들이 과제 A-F 를 풀기 위해 얼마나 많은 시간이 걸리는지를 조사 함. 2) 종속 변수로서 인터페이스 로딩 부터 솔루션을 제출하는데 까지의 시간으로 선형 혼합 모델을 만듦. 3) 할당 된 인터페이스로 수행이 불가능한 과제와 잘못된 솔루션에 대한 데이터는 제외하였음. 서울대학교 융합과학기술대학원 (Graduate School of Convergence Science and Technology. Seoul National University)
  • 27. STUDY.3 Result Satisfaction . 전반적으로 참가자들은 simple interface와 complex interface의 사용성에 대해서 만족감을 나타냈음 . 참가자들은 interface에 대한 3가지 상태에 7-point 리커트 척도로 답하였음. . ¾ 이상이 아래 내용에 동의 하였음. 1)“ 레시피를 만드는 것은 쉽고 직관적이다. ” 2)“ 일상 생활에서 이런 종류의 레시피를 만드는 것에 관심을 갖게 될 것이다. “ 3)“ 더 복잡한 프로그래밍 인터페이스를 다룰 수 있을 것이다. “ 서울대학교 융합과학기술대학원 (Graduate School of Convergence Science and Technology. Seoul National University)
  • 28. Discussion . 일반 사용자들이 multiple triggers and actions을 가지고 성공적으로 trigger-action programming를 할 수 있는 근거를 제공하였음. . 이 기능은 참가자들의 머리에서 바로 떠오르는 많은 스마트 홈 동작들을 구현할 수 있음. . 실제적인 세팅에서 사용하기 위한 trigger-action programming 범위는 수많은 문제점들을 낳을 것임. . multiple trigger를 서로서로 구성하는 방법의 의미가 복잡하다는 것을 알 수 있었음. . Trigger는 이벤트, 조건 또는 조합을 포함한다. . 문과 같은 객체는 이벤트 (“the moment the door closes”), 조건(“is the door closed?”), 그리고 행동(“close the door”)을 지원하는 것이 필요하다. . 참가자들이 Trigger들을 표현하기 위해 사용한 추상화의 레벨은 상당한 향후 연구를 제안한다. . 추상화의 세 번째 단계(ex: 물이 너무 뜨겁다)는 머신 러닝을 기반으로 사용자의들의 선호도를 그들 스스로 맞출 센서를 만드는 방법에 대한 연구 기회를 제안함. . 스마트 홈에서 잠재적으로 머신 러닝은 충돌을 보다 지능적으로 해결할 수 있을 것임. . 가정에서 최종 사용자 프로그래밍 내에서 trigger-action programming의 장소는 고려될 가치가 있음. 서울대학교 융합과학기술대학원 (Graduate School of Convergence Science and Technology. Seoul National University)
  • 29. Limitations . trigger-action programming 의 상대적인 강점과 약점을 평가할 수 없었음. . trigger-action programming이 앞으로 가장 좋은 방법이라고 강하게 주장을 할 수 없었음. . . 이 논문의 데이터가 반드시 모든 사용자들을 대표하지 않음 . IFTTT community는 얼리 어답터들의 자기 선택적 풀 임. . IFTTT 와 MTurk 사용자들은 일반 사용자들보다 더욱 기술적 성향을 가지고 있음. . MTurk 설문 대상자들에게 원하는 모든 동작 보다는 갑자기 생각나는 처음 5가지 동작을 작성하라고 요청 함. . trigger-action programming 이 원하는 모든 스마트 홈 동작의 특정 부분을 포착한다고 주장할 수 없음. . 생태학적으로 유효한 설정에서 trigger-action programming을 조사하는 현장 연구(field study) 수행을 계획함. . 머신 러닝에 기반한 Trigger와 센서의 역할은 필드에서 특히 관심이 있을 것임. . 현장 연구는 지금까지 논의해 온 미묘한 이슈들의 영향을 명료하게 할 것임. . 프로그램을 구성하는 방법에 대한 사용자 멘탈 모델은 추가 연구를 할 가치가 있음. 서울대학교 융합과학기술대학원 (Graduate School of Convergence Science and Technology. Seoul National University)
  • 30. 서울대학교 융합과학기술대학원 (Graduate School of Convergence Science and Technology. Seoul National University) Thank you!!