MVP Community Camp

Kinect v2で変わる
モーションセンサーの世界
中村薫
MVP Community Camp 2014 - Nagoya

自己紹介
中村薫
フリーランスで主にDepthセンサー系の仕事をしています
アプリケーション開発
講演、ハンズオンセミナー
執筆など
Microsoft MVP for Visual Studio ALM
kaorun55@naturalsoftware.jp
Copyright © 2013 Natural Software.jp All rights reserved.

TFSUG
http://kokucheese.com/main/host/TFSUG http://www.shuwasystem.co.jp/products/7980html/4046.html

Tokyo MotionControl Network
https://www.facebook.com/TokyoMotioncontrolNetwork

注意!!
• Kinect for Windows v2のソフトウェアや
ハードウェア、APIは暫定的なものであり
正式版では変更される可能性があります。

Kinect v2
Copyright © 2013 Natural Software.jp All rights reserved. 8

Kinect v2
• Xbox One に同梱された新しいKinect
• Kinect for Windows v2 Developer
Preview の配布が始まっています
Copyright © 2013 Natural Software.jp All rights reserved. 9
http://www.xbox.com/ja-JP/xbox-one/meet-xbox-one

KINECT V1とV2

Kinect v1
• NUIのさきがけ
• Xbox用のほかにWindows用のセンサーが
ある
http://www.xbox.com/ja-JP/xbox360

Kinect for Windows SDK
Color Stream Depth Stream
Player Tracking Skeleton Tracking
Audio Stream

Toolkit
Kinect FusionFace Tracking
Kinect Interaction Kinect Background Removal

Kinect v2
• Xbox One に同梱された新しいKinect
• Kinect for Windows v2 Developer
Preview の配布が始まっている
http://www.xbox.com/ja-JP/xbox-one/meet-xbox-one http://www.youtube.com/watch?v=Hi5kMNfgDS4

Kinect for Windows v2
• Xbox Oneに付属のKinectと同等
• 2014年夏にリリース予定

http://www.youtube.com/watch?v=Hi5kMNfgDS4

KINECT V1とV2の比較

Kinect for Windows v2のハードウェア要求
対応OS Windows 8, Windows 8.1
開発環境 Visual Studio 2012 以降(C++, C#など)
CPU Core i7 2.5GHz以上 64bit CPU
メモリ 4GB以上
USB USB 3.0
グラフィック DirectX 11 対応のグラフィックカード
Kinect v2のソフトウェアやハードウェア、APIは暫定的なものであり正式版では変更される可能性があります。

センサーの仕様比較
Kinect v1 Kinect v2
Color画像
640x480
1280x960
1920x1080
Depth画像
80x69
320x240
630x480
512x424
Depthセンシング方式 Light Coding TOF(Time of Fright)
Depth認識範囲
800mm-4000mm(Default)
400mm-3500mm(Near)
500mm-4500mm
水平視野角 57度 70度
垂直視野角
43度
(±27度:チルトモーター)
60度
(http://goo.gl/pZQRKm)

Kinect v1 Kinect v2
人の検出 6人 6人
人の骨格検出 2人 6人
検出骨格数 20点/一人 25点/一人
手指検出 × △(親指と指先)
手のポーズ検出
△
(Kinect Interaction：グー、パー)
○(グー、チョキ、パー)

Kinect v1 Kinect v2
ジェスチャー
△
(Kinect Interaction:入力支援)
×
マイク 4つのマイクアレイ 4つのマイクアレイ
音声入力 ○ ○(予定：現在は未実装)
チルトモーターありなし
加速度センサーありなし

Kinect v1 Kinect v2
USB USB 2.0 USB 3.0
複数Kinectの同時利用 4台まで可能(台数未定、未実装)
複数アプリからの同時利用 × ○

Kinect for Windows SDK v2
Color Stream Depth Stream Skeleton Tracking

Depthを比較する
Kinect v1 Kinect v2

物
Kinect v2
壁
台
反射の時間を測る
Depthセンシング方式(TOF)

Depthセンシング方式(Light Coding)
ランダムな点を照射し、
歪みを計測する

全身の骨格検出数
Kinect v1 : 20点/一人 Kinect v2 : 25点/一人

全身の骨格検出数

http://www.innovotion.co.jp/blog/2013/11/27/22/

DEMO

Kinect v1からのデータ
• ColorImageStream
– RGB または IR
• DepthImageStream
– Depth と PlayerIndex
• SkeletonStream

Kinect v1のコード概要
kinect = KinectSensor.KinectSensors[0];
kinect.ColorStream.Enable();
kinect.ColorFrameReady += kinect_ColorFrameReady;
kinect.DepthStream.Enable();
kinect.DepthFrameReady += kinect_DepthFrameReady;
kinect.SkeletonFrameReady += kinect_SkeletonFrameReady;
kinect.SkeletonStream.Enable();
kinect.Start();

kinect = KinectSensor.KinectSensors[0];
kinect.ColorStream.Enable();
kinect.DepthStream.Enable();
kinect.AllFramesReady += kinect_AllFramesReady;
kinect.Start();

Kinect v2からのデータ
• ColorFrameReader
• DepthFrameReader
• InfraredFrameReader
• BodyIndexFrameReader
• BodyFrameReader
• LongExposureInfraredFrameReader
• MultiSourceFrameReader

kinect= KinectSensor.Default;
kinect.Open();
colorReader = kinect.ColorFrameSource.OpenReader();
colorReader.FrameArrived += colorReader_FrameArrived;
depthReader = kinect.DepthFrameSource.OpenReader();
depthReader.FrameArrived += depthReader_FrameArrived;
bodyReader = kinect.BodyFrameSource.OpenReader();
bodyReader.FrameArrived += bosyReader_FrameArrived;

kinect = KinectSensor.Default;
kinect.Open();
multiReader = kinect.OpenMultiSourceFrameReader(
FrameSourceTypes.Depth |
FrameSourceTypes.BodyIndex |
FrameSourceTypes.Body );
multiReader.MultiSourceFrameArrived +=
multiReader_MultiSourceFrameArrived;

改善点
• DepthとPlayerIndex(BodyIndex)が分離された
– V1ではDepthとPlayerIndexがひとまとまりだった
• MultiSourceFrameReaderで読み込むストリームを
選択できる
– V1ではAllFrameReadyですべてのストリームを読み込む
• ColorストリームとIRストリームを同時に読み込む
ことができる
– V1ではColorとIRストリームは排他(PrimeSense系セン
サーの仕様?)

KINECT V2で変わる
モーションセンサーの世界

Xbox OneでのKinect
http://www.youtube.com/watch?v=Hi5kMNfgDS4

Kinect for Windows v2でできること
• より高精度のDepth
• 骨格の検出
• 骨格の方向を検出
• 筋肉および重心の検出(未実装)
• 心拍の検出(未実装)
• 表情の検出(未実装)

より高精度のDepth
• 3Dスキャン
• 計測器

筋肉および重心の検出
• 筋力のかけ方を見ながらのトレーニング
• 筋力、重心を見ながらのリハビリ

より対話的なアプリケーション
• 心拍を見ながらのインタラクション
– 絶叫ゲーム(ジェットコースター：HMDと組
み合わせて)での反応
– リアルおばけ屋敷での反応
– リハビリ時の運動負荷

より対話的なアプリケーション
• 表情を見ながらのインタラクション
– 音声認識や音声合成と組み合わせた、コン
ピューターとの会話
• 顔を使ったコンピューター操作
– 目や口

その他に
新しいSDKの機能
既存の技術
これらの組み合わせ

これからのモーションセンサー利用

大きな流れ・1

大きな流れ・1
Microsoft Intel
Apple Google

Intel PerC SDK R8
心拍表情
http://software.intel.com/en-us/vcsource/tools/perceptual-computing-sdk

Structure Sensor
• Kinect v1とほぼ同じセンサー
• iOS対応
• 発売は...

ViewerおよびScaner

Google Tango
• スマートフォンに内蔵されたDepthセンサー
• コンピューターに人間の目を

大きな流れ・2
Intel RealSense Leap Motion

まとめ
• Kinect for Windows v2が間もなくリリース
• 精度の向上、新しい機能が追加
• 表情、心拍など、より人の内面を読み取れる
• モーションセンサーには大きな流れがある

Kinect v2で新しい世界へ

MVP Community Camp

More Related Content

What's hot

Viewers also liked

Similar to MVP Community Camp

More from Kaoru NAKAMURA

MVP Community Camp