内蔵化、モバイル化に向かうDepthセンサー

内蔵化、モバイル化に向かう
Depthセンサー
中村薫

自己紹介
中村薫
フリーランスで主にDepthセンサー系の仕事をしています
アプリケーション開発
講演、ハンズオンセミナー
執筆など
Microsoft MVP for Kinect for Windows
kaorun55@naturalsoftware.jp
Copyright © 2014 Natural Software All rights reserved.

Tokyo MotionControl Network
https://www.facebook.com/TokyoMotioncontrolNetwork

今年の動き
Copyright © 2014 Natural Software All rights reserved.http://store-world.leapmotion.com/
http://www.gizmodo.jp/2014/09/6mm4android.html
https://www.google.com/atap/projecttango/
http://pc.watch.impress.co.jp/docs/news/20141009_670328.html
http://www.microsoftstore.com/store/msjp/ja_JP/pdp/productID.298959900 http://structure.io/getstarted

センサーを利用したパターン

Kinect for Windows v2
• 10月に正式版としてリリース
• さまざまなWindows環境に対応
– Windowsストア
– Windowsデスクトップ
– Unity
http://www.microsoftstore.com/store/msjp/ja_JP/pdp/productID.298959900

Structure Sensor
• 唯一のiOS対応センサー
• 主にスキャン用途
http://structure.io/getstarted

Intel RealSense
http://www.gizmodo.jp/2014/09/6mm4android.htmlhttp://pc.watch.impress.co.jp/docs/news/20141009_670328.html
• Windows PCおよびAndroid
タブレットに内蔵
• フロント(ユーザー側)、リア
(空間側)といくつかのバリ
エーション

Leap Motion
Copyright © 2014 Natural Software All rights reserved.http://store-world.leapmotion.com/
https://www.leapmotion.com/product/vr
• Windows PCおよびキーボー
ドに内蔵
• Oculus Riftの目として活用
• Android対応の話も

Google Tango
• Androidタブレットに内蔵
• 開発者向けに発売開始

Depthセンサーの流れ
Windows PC と Androidの対応および内蔵

さまざまなセンサー&デバイス

KINECT FOR WINDOWS V2

Kinect for Windows v2
• Xbox Oneに付属のKinectと同等
• 2014年10月にSDKの正式版が公開
http://www.microsoftstore.com/store/msjp/ja_JP/pdp/productID.298959900

Kinect for Windows SDK v2
Color:カラー画像 Depth：距離データ
Body:体の情報(関節など)
Copyright © 2014 Natural Software.jp All rights reserved.
Audio:音声データ
Infrared:赤外線画像
PlayerIndex:プレイヤー番号
15

Control:
ユーザーインタフェース(NUI)
Fusion:
3次元モデルの再構築
Face:
顔の情報(表情など)
HD Face:
高精度の顔情報(3Dモデルなど)
Speech:
音声コマンド認識
Gesture:
ユーザー定義のジェスチャー
16

Kinect Studio:
Kinectデータの記録と再生
Visual Gesture Builder:
ポーズやジェスチャーの作成
Kinect v2 Configuration Verifier:
ハードウェアが要求を満たして
いるかチェックする
17

• 現状では重心および心拍は含まれていない
Copyright © 2014 Natural Software.jp All rights reserved. 18
http://www.youtube.com/watch?v=Hi5kMNfgDS4

Kinectの同時利用
http://www.slideshare.net/SugiuraTsukasa/kinect-for-windows-v2-39855851

アプリケーションからの同時利用
http://www.slideshare.net/SugiuraTsukasa/kinect-for-windows-v2-39855851

対応言語および開発環境
• Visual Studio 2012以降(Expressも可)
– ネイティブ(C++)
– マネージ(.NET:C#、VBなど)
– WinRT (Windowsストアアプリ：C#、
HTML&JavaScriptなど)
• Unity Pro(C#)

インテル REALSENSE テクノロジー

インテル RealSense テクノロジー
• 手指や顔の表情を認識できる
• インテル RealSense SDKを利用する
• インテル RealSense カメラが3Dを担当
• コンピューターへの内蔵化が進む
http://click.intel.com/intelr-realsensetm-developer-kit.html

インテル RealSense カメラの種類
https://software.intel.com/en-us/realsense/home

インテル RealSense SDK
Color Stream Hand and Finger Tracking Gesture and Pose Depth Mask
Speech Recognition Voice Synthesis
"Nothing to say?"
Facial AnalysisEmotion

ハードウェア要求
対応OS Windows 8.1 (x64)
CPU 第4世代以降のインテルCoreプロセッサ
カメラインテル RealSense カメラ F200

インテルRealSenseカメラの仕様
フロント F200
RGBカメラ解像度 1920x1080
Depthカメラ解像度 640x480
認識範囲 20cm – 120cm

インテル RealSense SDKの仕様
入力機能詳細
RealSense
カメラ
手
• 手指の検出と追跡
• ジェスチャーの認識
• 手指の22点を追跡
• 9つのジェスチャーを認識
必須
顔 • 顔の検出および追跡
• 複数人の顔を検出
• 78点の顔の部位を検出
• 7つの表情を検出
• 顔の認証
音声 • 音声認識
• コマンド制御
• ディクテーション
• 音声合成
環境
• セグメンテーション
• 3Dスキャン
• AR(拡張現実感)
• 背景除去
• 3Dオブジェクトなどのスキャニング
• 2Dおよび3Dオブジェクトの追跡
必須

対応言語および開発環境
• Visual Studio 2010以降(Expressも可)
– ネイティブ(C++)
– マネージ(.NET:C#、VBなど)
• Unity Pro(C#)
• Java
• JavaScript(ブラウザ)
• Processing

LEAP MOTION

Leap Motion
• 指先を高精度で検出(v2でさらに進化)
• ハードウェアの内蔵化が進んでいる
• Android対応が進む
https://www.leapmotion.com/

Leap Motion SDK
Hand and Finger Tracking Gesture
http://www.buildinsider.net/small/leapmotionfirstimp/01
Touch

Leap Motion+Oculus Rift
https://developer.leapmotion.com/vr

STRUCTURE SENSOR

Structure Sensor
• Kinect v1とほぼ同じセンサー
• iOS対応

ViewerおよびScanner

スキャナー機能
• Structure SDK
• Skanect
• 3D Systemsとの提携

GOOGLE TANGO

Google Tango
• Androidタブレットに内蔵
• 開発者向けに発売開始
• ロボットとの連携？

デバイスの実行環境(OS)
Windows Mac OSX Linux iOS Android 内蔵化
モバイル端末
への統合
Kinect for Windows v2 ○ × × × × × ×
Intel RealSense ○ × × × △ ○ ○
Leap Motion ○ ○ ○ × △ ○ ○
Structure Sensor ○ ○ ○ ○ × × ○
Google Tango × × × × ○ ○ ○
凡例
○：公式サポート △：将来的にサポート予定 ×：未サポート

内蔵化のメリットデメリット

内蔵化のメリット
• ユーザーの増加
– 内蔵することで、コンシューマー製品に乗る
• 価格のさらなる低下
• ケーブルからの解放
– 電源、USBケーブル
• タッチパネルとのコラボレーション
– タブレット＋Depthセンサー

内蔵化のデメリット
• 自由度の減少
– 端末のサイズに制限される

www.naturalsoftware.jp

内蔵化、モバイル化に向かうDepthセンサー

More Related Content

What's hot

Similar to 内蔵化、モバイル化に向かうDepthセンサー

More from Kaoru NAKAMURA

内蔵化、モバイル化に向かうDepthセンサー