ジェスチャ認識・物体形状取得がもたらす新たな未来

ジェスチャ認識・物体形状取得が
もたらす新たな未来
～ Kinect など距離センサーの概要と事例～
2016/02/02
第24回テクノフォーラム
木更津高専技術振興交流会
Natural Software 中村薫

自己紹介
中村薫
フリーランスで主にDepthセンサー系の仕事をしています
アプリケーション開発
講演、ハンズオンセミナー
執筆など
Microsoft MVP for Windows Development
(旧: Microsoft MVP for Kinect for Windows)
http://www.naturalsoftware.jp/
kaorun55@naturalsoftware.jp
Copyright © 2016 Natural Software All rights reserved.

Tokyo MotionControl Network
https://www.facebook.com/TokyoMotioncontrolNetwork

More Personal Computing

Windows 10の世界で、Microsoftの各種技術を使った、
新しいComputing体験
• Gesture(ジェスチャー)
• Identity(認証)
• Speech(音声)
• Ink(手書き)

• Speech(音声)
• Ink(手書き)
タッチパネル
Windows Hello(顔,光彩,指紋)
Cortana,音声認識,音声合成
DirectInk

Windows Hello
https://www.youtube.com/watch?v=yBb76e53hno

Cortana

• Speech(音声)
• Ink(手書き)
Kinect(NUI)
Kinect(Windows Hello)
Kinect(音声認識)
…

• Speech(音声)
• Ink(手書き)
Kinect(NUI)
Kinect(Windows Hello)
Kinect(音声認識)
…
人をセンシングするチカラ

次の一歩
https://www.microsoft.com/microsoft-hololens/en-us

次の一歩
https://www.youtube.com/watch?v=DilzwF90vec

次の一歩
• Scene Perception(場所のスキャン)
• 3D Scan

次の一歩
• Scene Perception
• 3D Scan
Kinect(Kinect Fusion)
Point Cloud

次の一歩
• Scene Perception
• 3D Scan
環境をセンシングするチカラ
Kinect(Kinect Fusion)
Point Cloud

センサーを利用したパターン
Copyright © 2015 Natural Software.jp All rights reserved. 16

事例

エンターテインメント
http://www.naturalsoftware.jp/entry/2014/09/07/120940

認証(Windows Hello)
https://www.youtube.com/watch?v=yBb76e53hno

3Dスキャン
https://www.youtube.com/watch?v=nJOyqaBQg74

フェイススキャン

医療、リハビリ
https://www.youtube.com/watch?v=KVhdJgnPak4

環境スキャン

VR(Virtual Reality)
Copyright © 2015 Natural Software.jp All rights reserved.
https://developer.leapmotion.com/vr
24

VR空間内を触る
https://www.youtube.com/watch?v=loD61OVYdmA

Project Tango
http://www.engadget.com/2015/08/18/google-intel-realsense-tango/

界隈の流れ

大きな流れ・1

大きな流れ・1
Microsoft Intel
Apple Google

大きな流れ・1
Microsoft Intel
Apple Google
Windows Hello
Project Tango

紹介するDepthセンサー
Microsoft
Kinect v2
Intel
RealSense
Apple Google
Windows Hello
Project Tango

Kinect v2

Kinect v2
http://www.microsoftstore.com/store/msjp/ja_JP/pdp/productID.298959900
• 人間の認識ができる
• 顔の高精度な認識ができる
• 音声認識ができる
• 3Dスキャンができる

Kinect v2
Color:カラー画像 Depth：距離データ
Body:体の情報(関節など) Audio:音声データ
Infrared:赤外線画像
PlayerIndex:プレイヤー番号

Kinect v2
Control:
ユーザーインタフェース(NUI)
Fusion:
3次元モデルの再構築
Face:
顔の情報(表情など)
HD Face:
高精度の顔情報(3Dモデルなど)
Speech:
音声コマンド認識
Gesture:
ユーザー定義のジェスチャー

Kinect v2
Kinect Studio:
Kinectデータの記録と再生
Visual Gesture Builder:
ポーズやジェスチャーの作成
Kinect v2 Configuration Verifier:
ハードウェアが要求を満たして
いるかチェックする

エンタメ
http://www.naturalsoftware.jp/entry/2014/09/07/120940

デモ

インテル RealSense テクノロジー

インテル RealSense テクノロ
ジー
• 手指や顔の表情を認識できる
• 環境センシングができる
• 音声認識、音声合成ができる
• インテル RealSense SDKを利用する
• インテル RealSense カメラが3Dを担当
• コンピューターへの内蔵化が進む
http://click.intel.com/intelr-realsensetm-developer-kit.html

インテル RealSense カメラ
F200 R200

内蔵されたインテル RealSense カメラ
F200 R200

内蔵化のメリット
• ユーザーの増加
• 内蔵することで、コンシューマー製品に乗る
• 価格のさらなる低下
• ケーブルからの解放
• 電源、USBケーブル
• タッチパネルとのコラボレーション
• タブレット＋Depthセンサー

内蔵化のデメリット
• 自由度の減少
• 端末のサイズに制限される

インテル RealSense SDK
Color/Depth/IR Stream Facial AnalysisEmotion
Hand and Finger Tracking Gesture and Pose Depth Mask

Segmentation Object Tracking(AR) 3D Scan
Speech Recognition Voice Synthesis
"Nothing to say?"
Eye Tracking

Measure Refocus Paste On Plane
Depth Upscale Color PopDepth Enhance

Scene Perception
Enhanced VideographySegmentation

エンターテインメント
http://www.shikumi.co.jp/

ハッカソン
http://news.mynavi.jp/articles/2016/01/25/realsense/
http://www.hightouch-hackathon.com/

様々な業界から、
自分たちの問題を解決する
手段に使えそうなアイデア

www.naturalsoftware.jp

ジェスチャ認識・物体形状取得がもたらす新たな未来

More Related Content

What's hot

Similar to ジェスチャ認識・物体形状取得がもたらす新たな未来

More from Kaoru NAKAMURA

ジェスチャ認識・物体形状取得がもたらす新たな未来