Your SlideShare is downloading. ×
0
영상디자인스튜디오     RESEARCH     ABOUT     MULTI-MODAL     INTERFACE     멀티모달 인터페이스에 관한 조사     고은별 / 루빙 / 이채리 / 장진주 / 최혜원       ...
영상디자인스튜디오                                                         potential, 잠재적인                                         ...
01    인터페이스의변화와 발전                                                                                              영상디자인스튜디오 ...
01    인터페이스의변화와 발전                                                                                          영상디자인스튜디오     ...
01    인터페이스의변화와 발전                                                                               영상디자인스튜디오     GRAPHICAL U...
01    인터페이스의변화와 발전                                                                              영상디자인스튜디오    TOUCH USER   ...
01    인터페이스의변화와 발전                                                                                 영상디자인스튜디오              ...
01    인터페이스의변화와 발전                                                                                      영상디자인스튜디오     1. N...
01    인터페이스의변화와 발전                                                                                      영상디자인스튜디오     1. N...
02     멀티모달인터페이스                                                                                  영상디자인스튜디오     MULTIMODUA...
02     멀티모달인터페이스                                                                                  영상디자인스튜디오     MULTIMODUA...
02     멀티모달인터페이스                                                                                      영상디자인스튜디오     MULTIM...
02     멀티모달인터페이스                                                                                                영상디자인스튜디오 ...
03     케이스스터디:음성인식                                                                                         영상디자인스튜디오     C...
03     케이스스터디:음성인식                                                                                                     영상디...
03     케이스스터디:음성인식                                                                                                    영상디자...
03     케이스스터디:음성인식                                                                                                   영상디자인...
03     케이스스터디:음성인식                                                                                                        ...
03     케이스스터디:음성인식                                                                                            영상디자인스튜디오   ...
03     케이스스터디:음성인식                                                                                           영상디자인스튜디오    ...
04     케이스스터디:제스쳐/모션인식                                                                                           영상디자인스튜디오...
04     케이스스터디:제스쳐/모션인식                                                                                         영상디자인스튜디오  ...
04     케이스스터디:제스쳐/모션인식                                                                                                영상디자...
04     케이스스터디:제스쳐/모션인식                                                                                              영상디자인스...
04     케이스스터디:제스쳐/모션인식                                                                                          영상디자인스튜디오 ...
04     케이스스터디:제스쳐/모션인식                                                                                                영상디자...
04     케이스스터디:제스쳐/모션인식                                                                                                    ...
04     케이스스터디:제스쳐/모션인식                                                                                                    ...
04     케이스스터디:제스쳐/모션인식                                                                                              영상디자인스...
04     케이스스터디:제스쳐/모션인식                                                                                               영상디자인...
04     케이스스터디:제스쳐/모션인식                                                                                                  영상...
04     케이스스터디:제스쳐/모션인식                                                                                              영상디자인스...
04     케이스스터디:제스쳐/모션인식                                                                                              영상디자인스...
05     케이스스터디:안구인식                                                                                           영상디자인스튜디오    ...
05     케이스스터디:안구인식                                                                                             영상디자인스튜디오  ...
05     케이스스터디:안구인식                                                                                               영상디자인스튜디오...
05     케이스스터디:안구인식                                                                                             영상디자인스튜디오  ...
06     케이스스터디:기타                                                                                         영상디자인스튜디오     CAS...
06     케이스스터디:기타                                                                                                       영상디...
06     케이스스터디:기타                                                                                                  영상디자인스튜디...
06     케이스스터디:기타                                                                                               영상디자인스튜디오  ...
영상디자인스튜디오     REFERENCE     개념 / 슬라이드 이미지 참고       http://www.slideshare.net/kayhof/       sxsw-futureoftouch-sm       Sou...
Upcoming SlideShare
Loading in...5
×

홍익대학교 영상디자인 스튜디오 1차 리서치

985

Published on

2012 1학기 영상스튜디오를 위한 홍익대학교 시각디자인과 학생들의 리서치자료 입니다.

0 Comments
2 Likes
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total Views
985
On Slideshare
0
From Embeds
0
Number of Embeds
0
Actions
Shares
0
Downloads
21
Comments
0
Likes
2
Embeds 0
No embeds

No notes for slide

Transcript of "홍익대학교 영상디자인 스튜디오 1차 리서치 "

  1. 1. 영상디자인스튜디오 RESEARCH ABOUT MULTI-MODAL INTERFACE 멀티모달 인터페이스에 관한 조사 고은별 / 루빙 / 이채리 / 장진주 / 최혜원 01 02 03 04 05 06 인터페이스의변화와 발전 멀티모달인터페이스 케이스스터디:음성인식 케이스스터디:제스쳐 케이스스터디:안구인식 케이스스터디:기타2012년 3월 20일 화요일
  2. 2. 영상디자인스튜디오 potential, 잠재적인 possibility, 가능성 positive, 긍정적인 powerful, 영향력 있는 잠재적인 가능성을 지니고 긍정적인 에너지를 전달해줄 수 있는 디자이너가 되고자 하는 열망을 담은 네이밍 01 02 03 04 05 06 인터페이스의변화와 발전 멀티모달인터페이스 케이스스터디:음성인식 케이스스터디:제스쳐 케이스스터디:안구인식 케이스스터디:기타2012년 3월 20일 화요일
  3. 3. 01 인터페이스의변화와 발전 영상디자인스튜디오 WE HAVE BEEN CREATING LANGUAGES FOR DECADES 인간이 몇 십년 동안 창조해낸 언어들 COMMAND LINE GRAPHICAL USER TOUCH USER NATURAL USER INTERFACE INTERFACE INTERFACE INTERFACE 텍스트 명령어 텍스트 명령어 직접 터치를 이용한 조작 직접 터치를 이용한 조작 한명의 사용자 한명의 사용자 다수의 사용자 목소리를 이용한 조작 싱글 채널 입력 포인터를 이용한 조작 멀티 채널 입력 공기 / 움직임을 이용한 조작 싱글 채널 출력 싱글 채널 입력 멀티 채널 출력 멀티 채널 입력 / 출력 멀티 채널 출력 터치 + 목소리 + 움직임 + 필기 키보드 키보드 + 마우스 터치 01 02 03 04 05 06 인터페이스의변화와 발전 멀티모달인터페이스 케이스스터디:음성인식 케이스스터디:제스쳐 케이스스터디:안구인식 케이스스터디:기타2012년 3월 20일 화요일
  4. 4. 01 인터페이스의변화와 발전 영상디자인스튜디오 COMMAND LINE INTERFACE 텍스트 터미널을 통해 사용자와 컴퓨터가 상호 작용하는 방식을 뜻한다. 즉, 작업 명 령은 사용자가 컴퓨터 키보드 등을 통해 문자열의 형태로 입력하며, 컴퓨터로부터 의 출력 역시 문자열의 형태로 주어진다. 키보드 입력방식 [할 일] [작업 방법] < [입력 파일] > [출력 파일] 01 02 03 04 05 06 인터페이스의변화와 발전 멀티모달인터페이스 케이스스터디:음성인식 케이스스터디:제스쳐 케이스스터디:안구인식 케이스스터디:기타2012년 3월 20일 화요일
  5. 5. 01 인터페이스의변화와 발전 영상디자인스튜디오 GRAPHICAL USER INTERFACE 그림으로 된 화면 위의 물체나 틀, 색상과 같은 그래픽 요소들을 어떠한 기능과 용도 를 나타내기 위해 고안된 사용자를 위한 컴퓨터 인터페이스이다. 그래픽 사용자 인 터페이스에서 어떤 요소를 제어하려면 그 요소에 해당하는 그래픽을 직접 조작하여 야 한다. 키보드 + 마우스 01 02 03 04 05 06 인터페이스의변화와 발전 멀티모달인터페이스 케이스스터디:음성인식 케이스스터디:제스쳐 케이스스터디:안구인식 케이스스터디:기타2012년 3월 20일 화요일
  6. 6. 01 인터페이스의변화와 발전 영상디자인스튜디오 TOUCH USER INTERFACE 그래픽 유저 인터페이스에서 마우스가 하 던 역할을 사람의 터치가 대신 수행하는 인터페이스이다. 모바일 인터페이스 및 스크린기반 전자기기를 조율하는 역할을 하며, 마우스와 달리 여러개의 입력 (멀티 터치)을 인식가능하다. 터치(손가락) 01 02 03 04 05 06 인터페이스의변화와 발전 멀티모달인터페이스 케이스스터디:음성인식 케이스스터디:제스쳐 케이스스터디:안구인식 케이스스터디:기타2012년 3월 20일 화요일
  7. 7. 01 인터페이스의변화와 발전 영상디자인스튜디오 INPUT LANGUAGES DEVELOP IN STAGES 입력언어 발전의 단계 1. NEW TECHNOLOGY 새로운 기술의 등장 2. COPY OLD LANGUAGE 기존의 언어를 모방 3. NEW LANGUAGE 새로운 언어의 탄생 01 02 03 04 05 06 인터페이스의변화와 발전 멀티모달인터페이스 케이스스터디:음성인식 케이스스터디:제스쳐 케이스스터디:안구인식 케이스스터디:기타2012년 3월 20일 화요일
  8. 8. 01 인터페이스의변화와 발전 영상디자인스튜디오 1. NEW TECHNOLOGY 터치를 기반으로한 세로운 기술이 생겼다. 2. COPY OLD LANGUAGE 기존에 이용한 언어인 마우스 커서를 모방하여 손가락으로 마우스 커서를 대체할 수 있게 했다. 2.5 APPLY NEW SENSE 새로운 제스쳐과 기존의 키보드를 결합하여 이동방향을 통해 글자가 입력되는 SWYPE라는 방식이 생긴다. 01 02 03 04 05 06 인터페이스의변화와 발전 멀티모달인터페이스 케이스스터디:음성인식 케이스스터디:제스쳐 케이스스터디:안구인식 케이스스터디:기타2012년 3월 20일 화요일
  9. 9. 01 인터페이스의변화와 발전 영상디자인스튜디오 1. NEW TECHNOLOGY WHAT WILL BE THE 터치를 기반으로한 세로운 기술이 생겼다. NEXT STEP? 2. COPY OLD LANGUAGE 기존에 이용한 언어인 마우스 커서를 모방하여 손가락으로 마우스 커서를 대체할 수 있게 했다. & HOW TO REACH 2.5 APPLY NEW SENSE 새로운 제스쳐과 기존의 키보드를 결합하여 STAGE THERE? 이동방향을 통해 글자가 입력되는 SWYPE라는 방식이 생긴다. 01 02 03 04 05 06 인터페이스의변화와 발전 멀티모달인터페이스 케이스스터디:음성인식 케이스스터디:제스쳐 케이스스터디:안구인식 케이스스터디:기타2012년 3월 20일 화요일
  10. 10. 02 멀티모달인터페이스 영상디자인스튜디오 MULTIMODUAL INTERFACE 멀티모달 인터페이스 DEFINITION 인간과 컴퓨터, 또는 단말기기 사이의 인터페이스를 음성뿐만 아니라 키보드, 펜, 그래픽 등 다양한 수단을 활용하는 것. 01 02 03 04 05 06 인터페이스의변화와 발전 멀티모달인터페이스 케이스스터디:음성인식 케이스스터디:제스쳐 케이스스터디:안구인식 케이스스터디:기타2012년 3월 20일 화요일
  11. 11. 02 멀티모달인터페이스 영상디자인스튜디오 MULTIMODUAL INTERFACE 멀티모달 인터페이스 NEED 컴퓨터 발달의 역사는 컴퓨터가 인간의 감각을 따라잡기 위한 노력의 흐름이다. 그동안 인간의 감각과 그에 대한 반응을 조사하여 어떻게 하 면 인간이 컴퓨터를 자유롭게 사용할 수 있는지에 대한 연구가 진행되어왔다. 인간과 함께 걷기 위해 모바일 인터페이스가 발 달했으며, 인간의 뇌가 장소에 관계없이 기억과 자료를 보존하 듯 네트워크로 자료를 전달하는 클라우드 서비스가 생겨났다. 기술과 문명이 발전하면서 인간의 5감이 컴퓨터에게도 전이되 는 현상이 일어날 것이며, 멀티모달 인터페이스는 현존하는 새 로운 인터페이스임에 동시에 앞으로 일어날 기술혁명의 주춧 돌 역할을 하게된다. 01 02 03 04 05 06 인터페이스의변화와 발전 멀티모달인터페이스 케이스스터디:음성인식 케이스스터디:제스쳐 케이스스터디:안구인식 케이스스터디:기타2012년 3월 20일 화요일
  12. 12. 02 멀티모달인터페이스 영상디자인스튜디오 MULTIMODUAL INTERFACE 멀티모달 인터페이스 USE 효율적인 커뮤니케이션을위해 회의용 프로젝터의 인터페이스 인간의 감각을대체하기위해 시각장애인/청각장애인 들을 위한 인터페이스 입을수있는/작은형태의장비들을쓰기위해 게임 인터페이스 / 의료용 인터페이스 01 02 03 04 05 06 인터페이스의변화와 발전 멀티모달인터페이스 케이스스터디:음성인식 케이스스터디:제스쳐 케이스스터디:안구인식 케이스스터디:기타2012년 3월 20일 화요일
  13. 13. 02 멀티모달인터페이스 영상디자인스튜디오 CASE STUDY 사례탐구 기존의 인터페이스에도 멀티모달의 요소가 존재해왔다. (키보드 인풋과 오디오 인풋의 기능), 그러나 우리가 현재 주목해야할 것은 NUI의 멀티모달 인터페이스 개념이다. 현재 모바일 디바이스의 부상과 함께 주목받는 <NUI(내추럴 유저 인터페이스)>는 새로운 패 러다임을 만들어 나가는 역할을 담당할 것이다. NATURAL USER 인터페이스 디자인에서 NUI란 다양한 스펙트럼을 가진 인풋 INTERFACE 데이터를 인식하여 빠르고 쉬운 사용성을 자랑한다. W3C에 서 공언한 시맨틱 웹(다양한 범위에서의 데이터 쉐어를 가능 케하는 웹 기술)의 핵심요소 중 하나이기도 하다. 전통적인 서치엔진이 키워드를 근간으로 했다면, NUI는 질 문을 분석하여 엔진이 자체적으로 키워드를 찾고 결과로 사 용자를 이동시킨다. NUI는 효율성과 키워드를 생각해낼 시 간을 절감하는 측면에서 괄시적인 상업적인 전망을 가지고 있다. 01 02 03 04 05 06 인터페이스의변화와 발전 멀티모달인터페이스 케이스스터디:음성인식 케이스스터디:제스쳐 케이스스터디:안구인식 케이스스터디:기타2012년 3월 20일 화요일
  14. 14. 03 케이스스터디:음성인식 영상디자인스튜디오 CASE STUDY 사례탐구 NATURAL USER SPEECH 원리 INTERFACE RECOGNITION 음성 인식 시스템은 크게 두가지 갈래로 나눠어지는데, 패턴 인식과 음향인식이다. 패턴인식 시스템은 여러가지의 패턴 음성 인식 들을 기존에 가지고 있는 데이터와 비교하여 비슷한 패턴들 끼리 분류하는 작업을 한다. 반면 음향인식 시스템은 인체에 대한 지식(발음을 할때 생기는 음파자체)을 이용하여 이 작 업을 수행한다. 근래에는 컴퓨터 기기들간의 호환과 합성이 편한 패턴인식시스템에 초점이 맞추어지고 있는 현황이다. 01 02 03 04 05 06 인터페이스의변화와 발전 멀티모달인터페이스 케이스스터디:음성인식 케이스스터디:제스쳐 케이스스터디:안구인식 케이스스터디:기타2012년 3월 20일 화요일
  15. 15. 03 케이스스터디:음성인식 영상디자인스튜디오 CASE STUDY 사례탐구 NATURAL USER SPEECH 받아쓰기(Dictation): 오늘날 ASR시스템을 위해 쓰이는 가 INTERFACE RECOGNITION 장 보편화된 시스템이다. 의료와 비지니스, 법률과 관련하여 주로 쓰이고 경우에 따라 정확성을 높이기 위해 별도 제작 음성 인식 한 vocabularies를 사용한다. 명령과 조절(Command and Control): "넷스케이프를 여시 오(Open Netscape)" 같이 간단한 어조의 명령을 인식하여 다 음 작업을 수행한다. 다중인식 (Multiple Recognition): Telephony, 일부 PBX/보 이스메일 시스템은 전화를 받는 사람이 버튼을 누르는 대신 특정한 톤의 목소리를 사용 할 수 있게 했다. 01 02 03 04 05 06 인터페이스의변화와 발전 멀티모달인터페이스 케이스스터디:음성인식 케이스스터디:제스쳐 케이스스터디:안구인식 케이스스터디:기타2012년 3월 20일 화요일
  16. 16. 03 케이스스터디:음성인식 영상디자인스튜디오 CASE STUDY 사례탐구 NATURAL USER SPEECH SIRI INTERFACE RECOGNITION iPhone Sip and Puff (prototype) 음성 인식 Mozart: multimodal CAD modeling 01 02 03 04 05 06 인터페이스의변화와 발전 멀티모달인터페이스 케이스스터디:음성인식 케이스스터디:제스쳐 케이스스터디:안구인식 케이스스터디:기타2012년 3월 20일 화요일
  17. 17. 03 케이스스터디:음성인식 영상디자인스튜디오 SIRI 아이폰 4S에 탑재된 보이스 어시스턴트 어플리케이션 http://www.youtube.com/watch? feature=player_embedded&v=rNsrl86inpo 사용자가 말을 하면 그것을 녹음해 애플의 서버로 전송한 다음, 뉘앙스의 기술을 이용해 음성을 텍스트로 변환한다. 그러면 그 내용을 애플이 인수한 SRI의 인공지능으로 분석 하여 동작을 결정한다. 이에 따라 대답을 들려주거나 앱을 동작시킨다. 기본 음성인식이 단어수준의 명령어와 음성을 텍스트로 변 환하는 것이었다면, Siri의 음성제어는 자연어를 분석하고 처 리한후 피드백해주는 것과 같다. 즉, 제한적이지만 아이폰과 대화를 할 수 있는 것이다. 01 02 03 04 05 06 인터페이스의변화와 발전 멀티모달인터페이스 케이스스터디:음성인식 케이스스터디:제스쳐 케이스스터디:안구인식 케이스스터디:기타2012년 3월 20일 화요일
  18. 18. 03 케이스스터디:음성인식 영상디자인스튜디오 SIRI 아이폰 4S에 탑재된 보이스 어시스턴트 어플리케이션 오늘 내가 할 일이 뭐지? : 저녁 7시에 식사 약속이 있습니다. 누구랑? : 김OO입니다. 그 사람한테 전화 연결해줘. http://www.youtube.com/watch?v=8BLzMCiR0G4 : 김OO, 휴대폰 연결합니다. 결혼해줘. :제 EULA(최종 사용자 라이센스 동의)에 결혼은 명시되어 있지 않습니다. 죄송합 자연어 처리란 키워드가 아니라 문맥을 파악하는 것이다. 굳 니다. 이 내용의 핵심 키워드가 없어도 전제 문맥을 파악하여 그 나 취했어. 핵심을 이해하는 것이다. 예를 들어 달력이나 일정 같은 단 :당신과 근접한 X개의 택시 업체를 찾았습니다. 자살할거야. 어를 넣지 않고 내가 오늘 뭘 해야 되지? 라고 물어도 달력 :X개의 정신상담소를 찾았습니다. 그 중 X곳이 당신과 가깝습니다. 에 잡힌 오늘의 일정을 알려주는 것이다. 거기에 한 문장의 누가 널 만들었지? 문맥만을 이해하는 것이 아니라 대화의 흐름이 가진 문맥 :상자에 적힌대로, 저는 캘리포니아에 있는 애플에서 디자인되었습니다. 또한 이해한다. 예를 들어 다음과 같은 대화가 가능하다. (designed by Apple in california) 최고의 휴대폰이 뭐지? :잠깐… 다른 휴대폰도 있나요? 최고의 스마트폰은 뭐지? :잠깐만요, 다른 스마트폰이란 것도 있나요? 01 02 03 04 05 06 인터페이스의변화와 발전 멀티모달인터페이스 케이스스터디:음성인식 케이스스터디:제스쳐 케이스스터디:안구인식 케이스스터디:기타2012년 3월 20일 화요일
  19. 19. 03 케이스스터디:음성인식 영상디자인스튜디오 SIP AND PUFF 거동 불가능한 환자들을 위한 인터페이스. http://www.youtube.com/watch? NR=1&feature=endscreen&v=LB1D39O3mp4 거동 불가능한 환자들을 위한 인터페이스. 제스쳐나 음성 명 령이 불가능한 환자들에게 유용하게 쓰일 수 있는 입력방식 을 채택했다. 내뿜고 들이마시는 호흡을 입력방식으로 하고 스마트폰의 어플리케이션과 연결되어 긴급호출이나 불이나 티비의 전원을 켜고 끄는 등의 행동을 할 수 있도록 개발된 인터페이스이다. 01 02 03 04 05 06 인터페이스의변화와 발전 멀티모달인터페이스 케이스스터디:음성인식 케이스스터디:제스쳐 케이스스터디:안구인식 케이스스터디:기타2012년 3월 20일 화요일
  20. 20. 03 케이스스터디:음성인식 영상디자인스튜디오 MOZART 터치와 음성으로 CAD를 할 수 있는 인터페이스 http://vimeo.com/18988094 멀티 모달 인터페이스를 3D캐드 모델링에 사용한 사례. 음 성명령과 멀티터치 제스쳐로 입력해서, 기존의 메뉴 버튼 또 는 툴을 사용하던 방식보다 사용자가 좀더 직접적이고 편리 하게 접근할 수 있도록 하는 인터페이스이다. 01 02 03 04 05 06 인터페이스의변화와 발전 멀티모달인터페이스 케이스스터디:음성인식 케이스스터디:제스쳐 케이스스터디:안구인식 케이스스터디:기타2012년 3월 20일 화요일
  21. 21. 04 케이스스터디:제스쳐/모션인식 영상디자인스튜디오 CASE STUDY 사례탐구 NATURAL USER GESTURE/MOTION 원리 INTERFACE RECOGNITION 제스쳐 인식은 인간의 BODY LANGUAGE를 컴퓨터안에서의 SIIGN LANGUAGE로 변환하여 작업을 수행한다. 제스쳐를 인 제스쳐/모션 인식 식하는 것에는 크게 3가지 방식이 있으며 이들을 연속적으 로 INPUT 시켜 모션 인식을 이끌어낼 수 있다. 01 02 03 04 05 06 인터페이스의변화와 발전 멀티모달인터페이스 케이스스터디:음성인식 케이스스터디:제스쳐 케이스스터디:안구인식 케이스스터디:기타2012년 3월 20일 화요일
  22. 22. 04 케이스스터디:제스쳐/모션인식 영상디자인스튜디오 CASE STUDY 사례탐구 NATURAL USER GESTURE/MOTION 3D모델 알고리즘 방식 사람의 몸을 유기적인 덩어리로 이해하여 동작을 인식한다. INTERFACE RECOGNITION 컴퓨터는 사람의 몸을 머리/몸통/팔 다리 가 있는 거대한 덩 어리로 보고 그 움직임에 따라 역할을 수행한다. 제스쳐/모션 인식 골격 중심 모델 신체를 골격단위로 인식하여 각 파트의 움직임에 맞춘 기능 을 수행한다. 테엽바퀴의 원리처럼 사람의 움직임을 크고작은 관절 단위로 분해해서 인식한다. 외형 중심 모델 제스쳐의 외곽선의 모습에 따라 상황을 인지하고 명령을 수 행한다. 인식하는 사람의 형태는 평면적이고, 어떤 모양의 실 루엣을 만드느냐에 따라 관련 역할을 수행한다. 01 02 03 04 05 06 인터페이스의변화와 발전 멀티모달인터페이스 케이스스터디:음성인식 케이스스터디:제스쳐 케이스스터디:안구인식 케이스스터디:기타2012년 3월 20일 화요일
  23. 23. 04 케이스스터디:제스쳐/모션인식 영상디자인스튜디오 CASE STUDY 사례탐구 NATURAL USER GESTURE/MOTION KINECT INTERFACE RECOGNITION KINECT DRESSING ROOM 제스쳐/모션 인식 TEDESYS USES KINECT IN HOSPITALS GESTURE INTERACTION IN MULTIPLE KINECT DYNAMIC LIGHTING AIRPIANO Blindput 01 02 03 04 05 06 인터페이스의변화와 발전 멀티모달인터페이스 케이스스터디:음성인식 케이스스터디:제스쳐 케이스스터디:안구인식 케이스스터디:기타2012년 3월 20일 화요일
  24. 24. 04 케이스스터디:제스쳐/모션인식 영상디자인스튜디오 KINECT 마이크로소프트에서 개발한 음성·동작 인식 하드·소프트웨어 팩키지. 키넥트(Kinect)는 콘트롤러 없이 이용자의 신체를 이용하여 게임과 엔터테인먼트를 경험할 수 있는 엑스박스 360과 연 결해서 사용하는 주변기기이다. 2009년 6월 1일 E3에서 처 음 "프로젝트 나탈"(Project Natal)이란 이름으로 발표했으며, E3 2010에서 공식 명칭인 키넥트를 발표한다. 키넥트는 카 메라 모듈이 장착되어 모션 캡처로 플레이어의 동작을 인식 하며, 마이크 모듈로 음성을 인식한다. 01 02 03 04 05 06 인터페이스의변화와 발전 멀티모달인터페이스 케이스스터디:음성인식 케이스스터디:제스쳐 케이스스터디:안구인식 케이스스터디:기타2012년 3월 20일 화요일
  25. 25. 04 케이스스터디:제스쳐/모션인식 영상디자인스튜디오 KINECT 마이크로소프트에서 개발한 음성·동작 인식 하드·소프트웨어 팩키지. 키넥트는 카메라 모듈이 장착되어 모션캡쳐로 플레이어의 동작을 인식하며, 마이크 모듈로 음성을 인식한다. (음성+모 션의 멀티모달 인터페이스) 별도의 컨트롤러가 필요없이 음 성과 동작을 기반으로 한 KINECT의 인터페이스는, NUI의 대 표적인 예이다. 01 02 03 04 05 06 인터페이스의변화와 발전 멀티모달인터페이스 케이스스터디:음성인식 케이스스터디:제스쳐 케이스스터디:안구인식 케이스스터디:기타2012년 3월 20일 화요일
  26. 26. 04 케이스스터디:제스쳐/모션인식 영상디자인스튜디오 KINECT 마이크로소프트에서 개발한 음성·동작 인식 하드·소프트웨어 팩키지. Kinect은 마이크로소프트내의 개임 자회사인 Rare의 소프트 웨어를 바탕으로, 이스라엘의 개발자인 PrimeSence의 카메 라감지 기술을 이용하여 개발되었다. 적외선프로젝터 / 카메 라 / 모션을 캡쳐하는 마이크로칩의 조합으로, 3D공간에 있 는 플레이어의 제스쳐를 읽을 수 있으며, 키넥트 기계는 RGB카메라, 깊이 센서, 다중인식 마이크의 역할을 수행한다. 이는 플레이어의 얼굴인식, 전신 3D 모션캡쳐, 얼굴인식, 개 인의 목소리인식이 가능하며 게임의 새로운 시대를 열었다. depth센서는 가까운 물체를 하얀색으로, 멀리있는 물체를 녹색 > 푸른색으로 인지한다. 01 02 03 04 05 06 인터페이스의변화와 발전 멀티모달인터페이스 케이스스터디:음성인식 케이스스터디:제스쳐 케이스스터디:안구인식 케이스스터디:기타2012년 3월 20일 화요일
  27. 27. 04 케이스스터디:제스쳐/모션인식 영상디자인스튜디오 KINECT DRESSING ROOM 키넥트를 이용하여 가상으로 옷을 입어볼 수 있는 프로그램 http://www.microsoft.com/en-us/kinectforwindows/ discover/gallery.aspx 키넥트(Kinect Body Scanning for Virtual Dressing Room)는 사용 자의 몸을 스캔 한후 가상의 아바타를 만들어서 실제 옷을 가상의 이미지로 입어보는 것을 가능하게 한다. 01 02 03 04 05 06 인터페이스의변화와 발전 멀티모달인터페이스 케이스스터디:음성인식 케이스스터디:제스쳐 케이스스터디:안구인식 케이스스터디:기타2012년 3월 20일 화요일
  28. 28. 04 케이스스터디:제스쳐/모션인식 영상디자인스튜디오 TEDESYS USES KINECT 환자의 몸에 손을 대지 않고 상태를 확인할 수 있게 하는 프로그램. http://www.youtube.com/watch? v=ZEQcOydY2k8&feature=share 키넥트 제스쳐 테크놀로지는 는 수술 도중에 외과의사들이 손과 팔의 움직임을 통해 x-ray 이미지를 줌해서 디테일들 을 확인 할 수 있게 해준다. 01 02 03 04 05 06 인터페이스의변화와 발전 멀티모달인터페이스 케이스스터디:음성인식 케이스스터디:제스쳐 케이스스터디:안구인식 케이스스터디:기타2012년 3월 20일 화요일
  29. 29. 04 케이스스터디:제스쳐/모션인식 영상디자인스튜디오 GESTURE INTERACTION IN MULTIPLE KINECTS 두대의 키넥트를 이용한 제스쳐 인터렉션 시스템 http://www.youtube.com/watch? v=pougZKhLIuo&feature=share 이 시스템은 둘 이상의 유저들을 트랙할 수 있다. 이것은 실 내에 있는 사람들의 포즈나 움직임을 실시간으로 인식한다. 이 정보는 3D 모델로 만들져서 컴퓨터가 인지하는 것을 가 능하게 한다. 그 후에 시스템은 유저의 행동에 따라서 프로 그래밍 되어진 태스크를 수행한다. 두개의 키넥트 카메라가 Framework를 만드는데 사용된다. 01 02 03 04 05 06 인터페이스의변화와 발전 멀티모달인터페이스 케이스스터디:음성인식 케이스스터디:제스쳐 케이스스터디:안구인식 케이스스터디:기타2012년 3월 20일 화요일
  30. 30. 04 케이스스터디:제스쳐/모션인식 영상디자인스튜디오 DYNAMIC LIGHTS 사용자에게 맞춰서 변화되는 인터렉티브 조명 http://www.youtube.com/watch? v=TUHFe_YoZCk&feature=share 이 시스템은 장소나 행위, 그리고 유저의 움직임에 따라 조 명을 조정한다. 또한 공간에 들어오는 햇빛에 따라도 조정이 가능하다. 이런 인터페이스는 사용자의 기호에 따라 커스터 마이즈된 조명을 제공한다. 이를 통해서 40%의 에너지 절감효과를 낼 수 있다. 01 02 03 04 05 06 인터페이스의변화와 발전 멀티모달인터페이스 케이스스터디:음성인식 케이스스터디:제스쳐 케이스스터디:안구인식 케이스스터디:기타2012년 3월 20일 화요일
  31. 31. 04 케이스스터디:제스쳐/모션인식 영상디자인스튜디오 AIRPIANO 손을 대지 않고도 연주할 수 있는 인터렉티브 피아노 http://www.youtube.com/watch? v=-0BsumJZUpw&feature=share http://www.youtube.com/watch? v=aq3BqV36Ves&feature=share Airpiano는 직관적이고 심플한 touch-free interaction을 소개하 기 위해 만들어진 첫번째 악기이다. 많은 touch-free interface 들은 사용자들로 하여금 화면 앞에 서서 3D공간에서의 손 제스쳐를 이용하여 화면안에 있는 요소들을 조작하도록 한 다. 하지만, 음악가들이나 연주자들은 좀 더 자유롭고 직관 적인 방법으로 악기를 연주해야 한다. 그래서 airpiano의 키 나 페이더들은 화면 위가 아닌 airpiano 표면위에 있어야 한 다. 연주자들은 컨트롤러의 위치를 알기 때문에 더이상 디스 플레이가 필요하지 않게 된다. 인터렉션이 훨씬 자연스러워 진다. 01 02 03 04 05 06 인터페이스의변화와 발전 멀티모달인터페이스 케이스스터디:음성인식 케이스스터디:제스쳐 케이스스터디:안구인식 케이스스터디:기타2012년 3월 20일 화요일
  32. 32. 04 케이스스터디:제스쳐/모션인식 영상디자인스튜디오 Blindput 시각장애인을 위한 스마트 제품 컨셉 http://www.youtube.com/watch? v=ucPZxPEiKB8&feature=share 노르웨이의 신인 디자이너 Erik Hals가 고안해낸 시각장애인 을 위한 스마트 제품 컨셉트.확산된 모바일 네트워크, 휴대 폰의 카메라, 마이크, GPS, 블루투스 및 RFID의 기술을 이용 하였다. 휴대폰의 GPS가 사용자의 현재 위치 및 방향을 알려주며, 네비게이션을 이용하여 사용자가 찾아가야할 길을 안내해 준다. 길안내뿐 아니라, 티켓이나 물건 구입도 도와준다. 01 02 03 04 05 06 인터페이스의변화와 발전 멀티모달인터페이스 케이스스터디:음성인식 케이스스터디:제스쳐 케이스스터디:안구인식 케이스스터디:기타2012년 3월 20일 화요일
  33. 33. 04 케이스스터디:제스쳐/모션인식 영상디자인스튜디오 Blindput 시각장애인을 위한 스마트 제품 컨셉 http://www.youtube.com/watch? v=ucPZxPEiKB8&feature=share 카메라 렌즈를 정면으로 향하도록 스마트폰을 목에 걸고, 카 메라가 주변 환경의 정보들을 해석하도록 한다. 보이는 사물 과 사람들에 대하여 헤드폰을 통해서 음성으로 설명해준다. 모션센서를 이용하여 원하는 옵션에서 손을 멈춰 꼬집는 손 집을 하면 해당 옵션이 선택되도록 한다. 스마트폰을 이용할때의 기존 입출력 방식인 스크린을 통한 인터페이스가 아닌, 음성기능과 motion을 인지할 수 있는 기 술을 이용한 새로운 시도의 인터페이스라는 점에서 흥미롭 다. 01 02 03 04 05 06 인터페이스의변화와 발전 멀티모달인터페이스 케이스스터디:음성인식 케이스스터디:제스쳐 케이스스터디:안구인식 케이스스터디:기타2012년 3월 20일 화요일
  34. 34. 05 케이스스터디:안구인식 영상디자인스튜디오 CASE STUDY 사례탐구 NATURAL USER EYE 원리 아이트레킹(시선추적)은 시선의 지점("우리가 어느 곳을 보고 INTERFACE TRACKING 있는지") 또는 머리에 대한 눈의 상대적인 움직임을 측정하 아이트랙킹 는 과정이다. 아이트레커(시선추적기)는 시선의 위치와 시선 의 움직임을 측정하는 기기로 영상 시스템, 심리학, 인지, 언 어학, 제품 디자인등에 대한 리서치에 사용하고있다.시선의 움직임을 측정하는 데에는 여러 방법이 있는데, 눈의 위치를 인식하는 비디오 이미지 방법이 보편적으로 사용되고 있다. 01 02 03 04 05 06 인터페이스의변화와 발전 멀티모달인터페이스 케이스스터디:음성인식 케이스스터디:제스쳐 케이스스터디:안구인식 케이스스터디:기타2012년 3월 20일 화요일
  35. 35. 05 케이스스터디:안구인식 영상디자인스튜디오 CASE STUDY 사례탐구 NATURAL USER EYE eyeCan INTERFACE TRACKING SMI Eye Tracking Glasses 아이트랙킹 01 02 03 04 05 06 인터페이스의변화와 발전 멀티모달인터페이스 케이스스터디:음성인식 케이스스터디:제스쳐 케이스스터디:안구인식 케이스스터디:기타2012년 3월 20일 화요일
  36. 36. 05 케이스스터디:안구인식 영상디자인스튜디오 eyeCan 전신마비로 눈동자만 움직일 수 있는 사람도 자유롭게 컴퓨터를 쓸 수 있게 해주는 안구마우스 http://www.youtube.com/watch?v=FodS9FNQsOs 전신마비로 눈동자만 움직일 수 있는 사람들을 위해 쉽고 간편하게 만들 수 있는 DIY 인터페이스이다. 기존의 eyeWriter 을 한국에서 쉽게 구할 수 있도록 개량하였고, 만드는데 들 어가는 재료의 명칭이나 사용방법을 명시하여 누구나 손쉽 게 만들 수 있도록 했다. 맥킨토시 환경으로 일부 공개되어 있던 eyeWriter를 윈도우 환경에서 사용 가능한 마우스로 개선하였으며, 일부 애플리 케이션에 대한 소프트웨어도 별도로 개발하였다. 01 02 03 04 05 06 인터페이스의변화와 발전 멀티모달인터페이스 케이스스터디:음성인식 케이스스터디:제스쳐 케이스스터디:안구인식 케이스스터디:기타2012년 3월 20일 화요일
  37. 37. 05 케이스스터디:안구인식 영상디자인스튜디오 SMI EYE TRACKING GLASSES 스마트 디바이스들을 움직일 수 있는 특수제작 안경 http://www.youtube.com/watch? feature=player_embedded&v=4WNu3LP-7TE 기존의 아이트래커가 신체적으로 불편한 사람들에게 초점 을 맞추었다면, SMI 모바일 아이트래커(SMI ETG)는 사용자 중심의 인터페이스와 휴대성을 더욱 강조하여 남녀노소 누 구나 쉽게 사용할 수 있도록 제작되었다. 쇼핑 리서치, 교통 안전성 평가, 스포츠 교육분야, 아이들 대 상의 교육 분야에서 널리 활용될 것으로 예측되며. 의학용 기계와도 연결이 가능하여 관련분야에서 심도있는 연구를 도울 것으로 예상된다. 01 02 03 04 05 06 인터페이스의변화와 발전 멀티모달인터페이스 케이스스터디:음성인식 케이스스터디:제스쳐 케이스스터디:안구인식 케이스스터디:기타2012년 3월 20일 화요일
  38. 38. 06 케이스스터디:기타 영상디자인스튜디오 CASE STUDY 사례탐구 NATURAL USER MISCHELLEOUS 강도가 다른 촉감의 레이어드 INTERFACE IDEA 진동과 터치의 멀티모달 기타 다양한 아이디어 필체와 터치의 멀티모달로 이뤄진 인터페이스들. NOKIA flexible Mobile Lorm Glove Conté 01 02 03 04 05 06 인터페이스의변화와 발전 멀티모달인터페이스 케이스스터디:음성인식 케이스스터디:제스쳐 케이스스터디:안구인식 케이스스터디:기타2012년 3월 20일 화요일
  39. 39. 06 케이스스터디:기타 영상디자인스튜디오 NOKIA FLEXIBLE 신개념의 HAPTIC, 핸드폰 자체를 구부리며 조작가능한 스마트폰 http://www.youtube.com/watch?v=8xrZduRfX_M 이 스마트폰은 디스플레이 부분뿐 아니라 본체까지 자유자 재로 휘어진다. 휘어지고 구부려지는 동작을 통해 스마트폰 을 조작할 수 있는 사용자 인터페이스(UI)를 갖췄다. 예컨대 노키아 키네틱을 양손으로 잡고 비틀면 스마트폰 화면의 사 진을 넘기는 것이 가능하다. 기존 스마트폰이 터치를 이용해 넘기는 것과는 다른 방식이다.   노키아 키네틱은 멀티터치 방식과 더불어 스마트폰의 다양 한 조작 방식 가능성을 보여준 것으로 풀이된다.   01 02 03 04 05 06 인터페이스의변화와 발전 멀티모달인터페이스 케이스스터디:음성인식 케이스스터디:제스쳐 케이스스터디:안구인식 케이스스터디:기타2012년 3월 20일 화요일
  40. 40. 06 케이스스터디:기타 영상디자인스튜디오 Mobile Lorm Glove 시청각 장애인을 위한 진동과 터치의 모바일 인터페이스 http://www.youtube.com/watch? v=FLfa9ni7X3I&feature=player_embedded 청각 장애인을 위한 멀티모달 인터페이스. 기존 시청각 장애 인들간의 의사소통 체계를 그대로 가져와 응용한 인터페이 스로 이 장갑을 끼고 기존 방식대로 손에 글씨를 쓰면 손바 닥의 센서가 그 것을 인식해서 스마트폰에 입력된다. 수신된 메시지도 손등부분의 진동 센서로 알려주기 때문에 사생활 을 보호할 수 있으면서 기존의 방식을 사용하기 때문에 쉽 게 접근 가능한 인터페이스이다. 01 02 03 04 05 06 인터페이스의변화와 발전 멀티모달인터페이스 케이스스터디:음성인식 케이스스터디:제스쳐 케이스스터디:안구인식 케이스스터디:기타2012년 3월 20일 화요일
  41. 41. 06 케이스스터디:기타 영상디자인스튜디오 Conté 텍스쳐를 인식하는 자유로운 드로잉 툴 http://www.youtube.com/watch? v=HDqT_oKM7j8&feature=share Conté는 미술재료인 콘테를 모티브로 한 input 기기이다. 화면에 닿는 콘테의 모서리, 가장자리, 끝등을 바꿈으로써 여러가지 기능들로 전환할 수 있다. Conté의 사각형의 모양은 정교한 조정과 직접 손으로 하는 터치를 동시에 가능하면서서 직관적이고 자연스러운 멀티 터치 인풋으로의 역할을 수행한다. 01 02 03 04 05 06 인터페이스의변화와 발전 멀티모달인터페이스 케이스스터디:음성인식 케이스스터디:제스쳐 케이스스터디:안구인식 케이스스터디:기타2012년 3월 20일 화요일
  42. 42. 영상디자인스튜디오 REFERENCE 개념 / 슬라이드 이미지 참고 http://www.slideshare.net/kayhof/ sxsw-futureoftouch-sm South by Southwest 2011 presentation by Amish Patel and Kay Hofmeester about the future of touch. 슬라이드 용 아이콘 세트 http://365psd.com/ NUI 및 각종 기술 원리 참고 모든 참고 자료의 저작권은 링크에 명시된 저작자들에게 http://en.wikipedia.org/wiki/Natural_language_user_interface 있으며 이 프레젠테이션은 교육적인 목적으로 홍익대학 http://www.eyetracking.co.kr/ 교의 학생용 리서치에 쓰였음을 밝힘니다. 01 02 03 04 05 06 인터페이스의변화와 발전 멀티모달인터페이스 케이스스터디:음성인식 케이스스터디:제스쳐 케이스스터디:안구인식 케이스스터디:기타2012년 3월 20일 화요일
  1. A particular slide catching your eye?

    Clipping is a handy way to collect important slides you want to go back to later.

×