IoT/웨어러블 디바이스에서의 동작인식 기술 및 활용분야 (2014년)

IoT/웨어러블 디바이스에서의
동작인식 기술 및 활용 분야
윤 훈 주
유비유넷 대표
firehj@hanmail.net
http://www.facebook.com/firehj
유비유넷 페이스북 그룹 http://www.facebook.com/groups/ubiunet/
2014. 7. 26

1/81 동작인식 기술 및 활용 분야
들어가며
영화 “마이너리 리포트”의 동작인식 아날로그를 디지털화

동작 인식 분류
손에 디바이스를 들고
움직임
몸에 디바이스를 착용하고
움직임
디바이스 위에서 움직임
사람의 움직임을 관찰
Hand held형
Wearable형
체중계형
거치형
몸동작
손동작
얼굴동작
가속도센서
자이로 센서
카메라(빛)
전파
음파
스마트폰
리모컨
스마트워치
스마트안경
스마트반지
스마트신발
키넥트
Wii fit
<제품군><사용형태> <사용자 동작> <센싱기술> <인식 대상>
압력

동작인식의 특징
평면적
제어
손가락
접촉
몰입감
부족
실감나게 직관적
Hands
free즉시적
동작인식은 게임분야에서 몰입감 향상을 위해 대중화되었으며,
기기 제어를 직관적이고 편리하게 하기 위한 용도로 활용분야가 확대되고 있음
입체적
제어
X, Y X, Y, Z

<PC> <스마트폰> <타블릿>
<스마트 TV/가전>
• LTE
• 고성능 AP (quad à octa)
• 센서: 가속,지자기,각속도, 압력
• 고해상도/대화면 디스플레이
• 고해상도 카메라(전면, 후면)
• 대용량 배터리
• 음성인식/얼굴인식/동작인식
• 펜입력
• 클라우드
• 슬림
• 디자인
• 타블릿 기능
다양한 디지털 기기에 스마트 기능이 적용되고 있으며, 기존 사물도 스마트해져 가고 있음
<스마트 자동차>
스마트 기능의 확대
<웨어러블> <M2M/IoT>

스마트폰의 입력 기능 확장
<애플>
<구글>
<MS> <아마존>

스마트폰이 가지지 못했던 센서들을 주변기기를 통해 확장
<신용카드 결제> <체중계>
스마트폰의 센싱 기능 확장
<헬스케어 센서 케이스>
<풍속 감지><알코올 측정> <체온 측정> <웨어러블 연동>

초소형 /저가 HW 플랫폼
10만원 이하의 저가 컴퓨터의 등장으로 다양한 응용제품의 활성화 기대
25달러/35달러
<구글 크롬 캐스트>
< 라즈베리파이>
<인텔 에디슨>
<로쿠>
<델>

3D 프린터
100만원대의 저가 3D프린터로 인하여 초소형 컴퓨터 보드와 결합한 다양한 맞춤형 IT기기의 등장 예상

<모형제작>
< 로봇>< 사물기기> < 기념품>
< 플렉서블 제품>
<금속 부품>
3D 프린터의 활용분야
< 레고블럭>

모듈러 디바이스

위치 및 거리 기반 서비스

생활 습관 분석

운동 측정

환경 센싱

편리한 사용

IoT 서비스
IoT는 궁극적으로 사용자에게 필요한 서비스를 제공하기 위해 위한 것이며,
직간접적으로 사용자와 인터랙션이 발생하게 됨

사용 방식별
동작인식 제품 및 기술
- Hand Held 형
- 웨어러블
- 체중계 형
- 거치형

스마트폰
• 가속도
• 자이로
스마트폰에 내장된 센서로 사용자의 움직임을 인식하여 게임 및 화면제어를 자연스럽게 처리함
< 동작 센서> <카메라 센서>
• 아마존 파이어폰
• 4개의 카메라
• Face tracking

<닌텐도 Wii> <소니 Playstation Move>
게임기
센서바
카메라
게임 전용 디바이스를 손에 들고 몸을 움직이며 게임을 즐김

스마트TV 리모컨
TV의 기능이 복잡해짐에 따라 동작인식을 통해 스마트 TV 메뉴를 선택하고 제어
<스마트 TV> <리모컨의 진화> S사

웨어러블형
동작인식 고개 움직임
팔의 움직임
발의 움직임
손가락의 움직임
몸의 움직임

웨어러블에서 패션은 기본

디스플레이 전력 소모 절약을 위해 평소에는 절전모드 à 손을 들었을때는 자동으로 화면 밝게
손목 시계
<제스처로 화면 켜기> <저전력 디스플레이>
- 퀄컴 미라솔 디스플레이
- E ink 디스플레이

운동이나 게임용 제품
손목 밴드

팔뚝 밴드
<Myo> < 골프 스윙 분석>
팔에 밴드를 착용하여 근육이나 팔의 각도를 감지함

장갑
<카메라 시스템 + 적외선 반사체><장갑형 컨트롤러>
장갑을 착용하여 사용자의 손동작을 인식함
- 가속도 센서, 자이로 센서, 구부림 센서 - 실내 공간에 설치된 카메라로 장갑에 반사된
표식을 추적하여 동작인식을 함

반지
NodFin Logbar
반지를 착용하여 손가락 제스처로 정보 입력 및 주변기기 제어
글자 입력, 픽토그램 입력터치 패드

이어셋
사용자 얼굴의 움직임에 따라 아바타, 지도, 사운드와 같은 콘텐츠를 자연스럽고 현장감 있게 제어
http://pltlabs.com/concepts/

HMD
사용자가 바라보는 사물 및 손동작을 인식하여 직관적 제어가 가능함
<손동작 인식><바라보는 사물 인식>
<가상현실 및 외부 영상 보여주기>

신발/깔창
걸음걸이, 체중의 쏠림 등을 감지하여 운동량이나 건강상태를 분석
<일상생활의 건강관리><운동선수>
길안내를 진동으로 전달걸음/체중 분석

<댄스 게임기> <닌텐도 Wii Fit>
몸무게를 이용한 게임
몸무게를 이용하여 게임을 실감나게 즐김

거치형 동작인식
- 음파
- 전파
- 카메라

소리를 이용한 동작 인식
사용자의 움직임에 따라 소리의 반사 특성(도플러효과)이 달라지는 것을 통해 사용자의 동작을 감지
<Sound wave> <진동을 악기의 소리로 변환>

전파를 이용한 동작인식
사람의 움직임에 따라 반사되는 전파의 주파수 성분이 변화하는 것을 감지하여 동작인식을 구현
<동작원리> <가전 제어> <장애물 투과>

적외선 센서 어레이
평면적인 키보드를 입체적인 제어가 가능하도록 함

Single 카메라 방식
기기에 탑재된 기존 카메라를 이용한 동작인식
à 추가적인 하드웨어 없이 소프트웨어로만 구동하며, 방향 이동 정도의 인식 수준
<스마트폰> <타블릿> <노트북>

스테레오 카메라 방식
2대의 카메라로 바라보는 영상의 차이를 이용하여 거리 측정
< 아마존 fire phone>
< leap motion>
- 4개의 전면카메라
- 세로 및 가로 모드 지원

아마존 fire phone
<얼굴까지의 거리 측정><광각 렌즈> <Face tracking>
가로 및 세로 모드를 지원하기 위해
4개의 적외선 카메라를 배치함
스테레오 카메라 방식
아마존의 파이어 폰은 스테레오 카메라를 스마트폰에 적용한 제품임

Structured light 방식

Structured-light 방식
물체에 맺힌 패턴을 분석하여 거리 측정
Depth Camera
640x480
30fps
RGB Camera
640x480(30fps)
1280x960(12fps)

<격자 패턴>
점 형태의 코드화된 적외선 패턴을 사용하며,
거리에 따라 패턴이 맺히는 위치가 달라짐
키넥트에 적용된 적외선 dot 패턴
거리에 따라
IR패턴이 맺히는
위치가 달라짐

키넥트의 작동 범위
0.8미터
1.2미터
3.5미터
4미터
<일반모드> <근거리모드>
0.4미터
0.8미터
2.5미터
3미터
- 키넥트 for Xbox360: 2명 동시 트래킹
- 키넥트 for Windows: 근거리 모드 지원(0.4m~3m)
- 키넥트 for Xbox one: 6명 동시 트래킹, ToF 방식
27도
수평각도 57.5도
27도
43.도

ToF(Time of Flight) 방식

적외선 조명을 비추어 빛이 물체에 반사되어 돌아오는 시간을 측정하여 거리 계산
<파나소닉의 D-imager>
ToF( Time of Flight) 방식
사용거리: 1.2m~9m
각도: 수평60도, 수직 44도
거리오차: 2~3cm

키넥트 for Xbox one
1080P HD RGB Camera
30FPS
Time of Flight(TOF)
Microphone Arrays
키넥트2에는 ToF센서를 탑재하였으며, 키넥트1보다 정교한 동작인식 가능

칼라영상 일체형 ToF 센서
칼라 카메라 센서에 거리를 측정할 수 있는 픽셀을 삽입하여 하나의 센서로 칼라영상과 depth영상 동시 획득
Samsung

< SoftKinetic DepthSense>
<FOTONIC>
<PMD CamCube >
<MESA Imaging SwissRanger> <IEE S.A. 3D MLI Sensor> <ARTTS camera>
<PMD CamBoard> <real.IZ 2+3D™>
ToF 카메라 제품
ToF 센서 제품 출시가 확대되고 있음

구글 탱고
- 3D depth sensor를 소형화하여 스마트폰에 탑재
- 실내 네비게이션 및 3D프린터 시장확대에도 기여예상

3D 스캐너 제품
Hand held 형 타블릿 스마트폰 거치형 독립장비
동작인식에 적용되는 depth camera기술은 3D스캐너에도 활용
구글 탱고 타블릿 구글 탱고 스마트폰

3D 스캐너 활용분야
공간 기록/실내 네비게이션 문화재/유적 인물

동작인식에서 3D depth의 의미
거리 정보에 기반하여 배경과 사람을 분리함으로써 동작인식 처리가 용이해짐

Body Tracking

Body Tracking
골격을 기반으로 하여 사람의 동작을 표준화함
<멀티 트래킹>
<인식 모드>
Standing: 20 Joint
Seating: 10 Joint
<키넥트1과 키넥트2비교>
20개 joint, 2명 동시 트래킹 25개 joint, 6명 동시 트래킹

Body Gesture
키넥트에서의 Body gesture

주요 Body Gesture 소프트웨어
NITE애플인수
인텔 인수

Hand Tracking

Hand Tracking
<Omek의 grasp> <Softkinetic의 iisu>
- 손을 22개의 관절로 분석
<Leapmotion>

Hand Tracking 제품
<3D모델링에 활용>
<leap motion> 저가 및 높은 정밀도의 동작인식 시스템
<수화 통역>
HP 키보드HP 노트북

Face/Eye Tracking

Face tracking
<미소를 지으면 열리는 냉장고 >
<얼굴 모델링> <가상 소셜 네트워크>
얼굴의 움직임, 표정을 추적함으로써 가상 아바타와 연동할수 있고, 기기를 제어할 수 있음
<스마트폰 3D effect >

Eye Tracking
<스마트폰> <노트북> <게임기>
<매장 조사>
<Tobii>
매장에서의 소비자 관심 사항 조사 및 시선의 위치대로 스마트 기기의 화면을 선택하거나 변경할 수 있음

동작인식 활용분야
홈 업무 상점

동작인식의 적용 사례
<셀카 촬영> <로봇> <CCTV>
<자동차>
<상점> <방송>
<촬영> <재활훈련>
<프리젠테이션>

즐거움 및 재미
몸을 움직이는 몰입감

몰입감 높은 게임
<방송 캐릭터와 커뮤니케이션>
온몸을 자유롭게 움직임으로서 게임의 몰입감을 높힘
<대결 게임>
<격투 게임><스포츠 게임> <댄스 게임>
<머신 게임>

실감나는 체험
<모래성 쌓기>
<테마파크>
<증강현실> <당구 게임>
눈으로만 보는게 아니라 몸을 움직이며 적절한 시각적, 청각적 피드백을 받음으로써 몰입감 증대
<3D view>

가상의 악기를 연주하는 퍼포먼스
<지휘>
<바이얼린 연주>
<드럼 퍼포먼스>
<기타 연주>
악기가 없어도 내 몸의 움직임이 악기처럼 반응함으로써 기존에 경험하지 못했던 즐거움 제공
<하프 연주>

<헬스클럽 코칭>
나의 동작을 교정해주는 코칭
<골프 스윙 코칭><Nike+ Kinect Training>
<노인 재활훈련><게임형 재활훈련>
옆에서 가르쳐 주는 사람이 없어도 나의 동작에 대해 코칭을 해주는 서비스를 제공
<제스처 스킬 코칭>

직관적 제어의 편리함
별도의 기기를 손에 들지 않아도 되는 편의성

<TV 제어>
멀리 떨어진 화면을 동작인식으로 제어
<수술시 의료정보 검색>
<자동차 네비게이션>
<실습 수업>
<주방> <자동차>

프리젠테이션
<증강현실 방송> <강연>
<회의 발표>

로봇 및 장난감의 쉬운 제어
<Drone>
<장애인>
<로봇> <게임기기>
로봇의 복잡한 움직임 제어를 쉽게 할 수 있음

즉석 동작인식으로 마케팅에 활용
<나를 따라하는 로봇PC>
<행인을 따라가는 광고><쇼윈도우>
<가상 드레스룸>
<지도 검색>
지나가던 사람의 관심을 끌 수 있는 마케팅 서비스 제공을 위한 동작인식

빔 프로젝터에서의 입력 수단
<홀로그램> <테이블 투사 프로젝터> <웨어러블 프로젝터>
별도의 터치 스크린이 없는 빔 프로젝터 방식 디스플레이에서의 입력 수단
<바닥투사 프로젝터>

마무리하며
동작인식은 IoT/웨어러블 디바이스를 생활속에서 자연스럽게 사용하기 위한
Natural User Interface로 더욱 중요해질것으로 예상

감사합니다
윤훈주
유비유넷 대표
firehj@hanmail.net
http://www.facebook.com/firehj

IoT/웨어러블 디바이스에서의 동작인식 기술 및 활용분야 (2014년)

More Related Content

What's hot

Similar to IoT/웨어러블 디바이스에서의 동작인식 기술 및 활용분야 (2014년)

More from 훈주 윤

IoT/웨어러블 디바이스에서의 동작인식 기술 및 활용분야 (2014년)