はじめてのKinect for windows v2

はじめての Kinect for Windows v2
2014/09/24,26東京エレクトロンデバイス株式会社主催
Kinect for Windows v2最新情報セミナー
Natural Software 中村薫

自己紹介
中村薫
フリーランスで主にDepthセンサー系の仕事をしています
アプリケーション開発、講演、ハンズオンセミナー、執筆など
Microsoft MVP for Kinect for Windows
kaorun55@naturalsoftware.jp
Copyright © 2014 Natural Software.jp All rights reserved. 3

はじめに

大きな流れ・1
Copyright © 2014 Natural Software All rights reserved.

大きな流れ・1
Microsoft
Intel
Apple
Google

大きな流れ・2
Intel RealSense
Leap Motion

注意事項
Kinectv2のソフトウェアやハードウェア、 APIは暫定的なものであり、
正式版では変更される可能性があります。

ゴール
•Kinect for Windows v2の概要を知る
•Kinect for Windows v2の使いどころを知る
•Kinect for Windows v1とv2の違いを知る

デモ

KINECTFOR WINDOWS V2

Kinect for Windows v2を使う理由
•より高精度なデータ(Color,Depthなど)
•体のより詳細な動き(関節の向きなど)
•体の内面の検出、推定(表情など)
•WinRT,Unityへの公式な対応

Kinect for Windows v2を使わない場面
•複数のKinectを1PCで利用したい場合
•加速度センサーを利用したい場合

Kinect v2
•2013年11月
–米国などでXbox Oneが発売(Kinect v2同梱)
•2013年12月
–Kinect for Windows v2 DeveloperPreviewの発売開始
•2014年07月
–Kinect for Windows v2 PublicPreviewの発売開始
•2014年09月
–日本でXboxOneが発売

Kinectfor Windows v2
•Xbox Oneに付属のKinectと同等
•2014年7月時点でオープンベータとしてリリース(センサーはリリース版)
Copyright © 2014 Natural Software.jp All rights reserved.
http://www.microsoftstore.com/store/msjp/ja_JP/pdp/productID.298959900
16

事例(旧バージョン)

医療 http://www.youtube.com/watch?v=624N3-nIieI

リハビリ
http://monoist.atmarkit.co.jp/mn/articles/1310/02/news063_2.html

アミューズメント

仮想試着
http://www.facebook.com/photo.php?fbid=3392874617478

空中ディスプレイ

現実世界へのインタラクション
http://www.naturalsoftware.jp/blog/7906

Photo by Ben Lorph
Kinectx 8台

KINECT FOR WINDOWS SDKV2の機能

Kinectfor WindowsSDK v2
•2013年12月：DeveloperPreview
•2014年07月：PublicPreview1407
Kinect for Windows Dev Centerで配布
直リンク：Kinect for Windows SDK 2.0 Public Preview

Kinect から送られてくるデータ
Kinectfor Windows v2
アプリ
カラー画像
Depth(距離)データ
赤外線画像
プレイヤー番号
体の情報(関節など)
音声データ
Kinect for Windows SDK v2
Kinect
サービス
27

Kinect for Windows SDKv2
Color:カラー画像
Depth：距離データ
Body:体の情報(関節など)
Audio:音声データ
Infrared:赤外線画像
PlayerIndex:プレイヤー番号
28

Control:
ユーザーインタフェース(NUI)
Fusion:
3次元モデルの再構築
Face:
顔の情報(表情など)
HDFace:
高精度の顔情報(3Dモデルなど)
Speech:
音声コマンド認識
Gesture:
ユーザー定義のジェスチャー
29

KinectStudio:
Kinectデータの記録と再生
Visual Gesture Builder:
ポーズやジェスチャーの作成
Kinect v2 Configuration Verifier: ハードウェアが要求を満たしているかチェックする
30

Kinectfor WindowsSDK v2
•現状では重心および心拍は含まれていない
http://www.youtube.com/watch?v=Hi5kMNfgDS4

KINECT FOR WINDOWS V2の仕様

ハードウェア要求
対応OS(*)
Windows8(x64)
Windows8.1(x64) Windows Embedded 8(x64)
Windows Embedded 8.1(x64)
CPU
Corei7 3.1GHz以上の64bitCPU
メモリ
4GB以上
USBバージョン(*)
USB3.0
USBホストコントローラー(*)
IntelまたはRenesas
グラフィック(*)
DirectX11対応グラフィックカード
*:必須項目

KinectforWindows v2の仕様(1)
Color画像
1920x1080
Depth画像
512x424
Depthセンシング方式
TOF(Time of Fright)
Depth認識範囲
500mm-8000ｍｍ(Ｄｅｐｔｈ)
500mm-4500mm(Body)
水平視野角
70度
垂直視野角
60度
34

人の検出
6人
人の骨格検出
6人
検出骨格数
25点/一人
手指検出
親指と指先
手のポーズ検出
グー、チョキ、パー
35

ジェスチャー
○
マイク
4つのマイク(マイクアレイ)
音声入力
○
チルトモーター
なし
加速度センサー
△
(ハード的には実装されているらしい)
36

USB
USB 3.0
1PCで複数Kinectの同時利用
×
1PCで複数アプリからの同時利用
○
37

対応言語および開発環境
•Visual Studio 2012以降(Expressも可)
–ネイティブ(C++)
–マネージ(.NET:C#、VBなど)
–WinRT(Windowsストアアプリ：C#、 HTML&JavaScriptなど)
•Unity(Proが必要：C#)

環境による利用できる機能の相違
ネイティブ
マネージ
WinRT
Unity
基本ストリーム
○
○
○
○
Control
×
○
○
×
Fusion
○
○
○
×
Face
○
○
○
×
HD Face
○
○
○
×
Speech
○
○
×
×
Gesture
○
○
○
×
基本ストリームはColor,Depth,Infrared,BodyIndex,Body,Audioを示します。
39

KINECT FORWINDOWS V1とV2の比較

センサーの仕様比較
Kinect v1
Kinectv2
Color画像
640x480,1280x960
1920x1080
Colorフレームレート
30FPS,12FPS
30FPS,15FPS(暗所)
Depth画像
80x69,320x240,630x480
512x424
Depthフレームレート
30FPS
30FPS
Depthセンシング方式
LightCoding
TOF(Time of Fright)
Depth認識範囲
800mm-4000mm(Default)
400mm-3500mm(Near)
400mm-10000mm(Extend)
500mm-8000mm
水平視野角
57度
70度
垂直視野角
43度(±27度:チルトモーター)
60度
41

Kinect v1
Kinectv2
人の検出
6人
6人
人の検出距離範囲
800mm-4000mm(Default)
400mm-3500mm(Near)
500mm-4500mm
人の骨格検出
2人
6人
検出骨格数
20点/一人
25点/一人
手指検出
×
△(親指と指先)
手のポーズ検出
△
(Kinect Interaction：グー、パー)
○(グー、チョキ、パー)
42

Kinect v1
Kinectv2
ジェスチャー
△
(Kinect Interaction:入力支援)
○
マイク
音声入力
○
○
チルトモーター
あり
なし
加速度センサー
あり
APIとしては未公開
43

Kinect v1
Kinectv2
USBバージョン
USB 2.0
USB 3.0
1PCで複数Kinectの同時利用
4台まで
1台
1PCで複数アプリからの同時利用
×
○
44

アプリケーションから見る KINECT FORWINDOWS V1とV2の比較

Depth
Kinectv1
Kinectv2
Kinectv2のソフトウェアやハードウェア、APIは暫定的なものであり正式版では変更される可能性があります。
46

Depthセンシング方式(v1:Light Coding)
ランダムな点を照射し、歪みを計測する

物
Kinect v2 壁
台
反射の時間を測る
Depthセンシング方式(v2:ToF)

骨格検出

全身の骨格検出数
Kinectv1: 20点/一人
Kinectv2: 25点/一人
50

骨格検出数の追加

水平視野角
http://www.innovotion.co.jp/blog/2013/11/27/22/
52

垂直視野角
http://www.innovotion.co.jp/blog/2013/11/27/22/
53

KINECT FOR WINDOWS SDK

使用するライブラリ(マネージ)
Microsoft.Kinect.dll
Control
Microsoft.Kinect.Wpf.Controls.dll
Fusion
Microsoft.Kinect.Fusion.dll
Face
Microsoft.Kinect.Face.dll
HD Face
Microsoft.Kinect.Face.dll
Speech
SpeechSDK
Gesture
Microsoft.Kinect.VisualGestureBuilder.dll
55

使用するライブラリ(ネイティブ)
Kinect20.lib
Control
×
Fusion
Kinect20.Fusion.lib
Face
Kinect20.Face.lib
HD Face
Kinect20.Face.lib
Speech
SpeechSDK
Gesture
Kinect20.VisualGestureBuilder.lib
56

使用するライブラリ(WinRT)
WindowsPreview.Kinect
Control
Microsoft.Kinect.Toolkit.Input
Microsoft.Kinect.Xaml.Controls
Fusion
Microsoft.Kinect.Fusion
Face
Microsoft.Kinect.Face
HD Face
Microsoft.Kinect.Face
Speech
×
Gesture
Microsoft.Kinect.VisualGestureBuilder
57

使用するライブラリ(Unity)
•Unityパッケージ
–K4W_Unity_XXXX_1(ProOnly).unitypackage

Kinect for Windows SDK v1からのデータ(参考)
•ColorImageStream
–RGB またはIR
•DepthImageStream
–Depth とPlayerIndex
•SkeletonStream

Kinect for Windows SDK v2からのデータ
•ColorFrameReader
•DepthFrameReader
•InfraredFrameReader
•BodyIndexFrameReader
•BodyFrameReader
•LongExposureInfraredFrameReader
•AudioBeamFrameReader
•MultiSourceFrameReader

改善点
•DepthとPlayerIndex(BodyIndex)が分離された
–V1ではDepthとPlayerIndexがひとまとまりだった
•ColorストリームとIRストリームを同時に読み込むことができる
–V1ではColorとIRストリームは排他(PrimeSense系センサーの仕様?)
•AudioBeamにBodyIndexが関連付けられた
–音声方向の人の判別が容易になった

データ取得の大まかな流れ
Sensor
Source
Reader
Frame
Data

初期化(マネージド)
void Initialize()
{
// Kinectを開く
kinect= KinectSensor.GetDefault();
kinect.Open();
// カラーリーダーを開く
colorFrameReader= kinect.ColorFrameSource.OpenReader();
colorFrameReader.FrameArrived+= colorFrameReader_FrameArrived;
}

データを取得する(マネージド)
void colorFrameReader_FrameArrived( object sender, ColorFrameArrivedEventArgse )
{
// カラーフレームを取得する
using ( varcolorFrame= e.FrameReference.AcquireFrame() ) {
if ( colorFrame== null ) {
return;
}
// BGRAデータを取得する
colorFrame.CopyConvertedFrameDataToArray(colorBuffer, ColorImageFormat.Bgra);
// 処理する
...
}
}

まとめ

Kinect v2を使う理由および進化点
•より高精度なデータ(Color,Depthなど)
•体のより詳細な動き(関節の向きなど)
•体の内面の検出、推定(表情など)
•WinRT,Unityへの公式な対応

情報源
•中村(MVP for Kinect)
–http://www.naturalsoftware.jp/
•杉浦さん(MVP for Kinect)
–http://unanancyowen.com/
–http://www.buildinsider.net/small/kinectv2cpp
•初音さん(MVP for Visual Basic)
–http://www.buildinsider.net/small/kinect2dp

困ったときは
•Kinect for Windows 好きの集まり(Facebookグループ)
–https://www.facebook.com/groups/320184018036066/
•Tokyo MotionControlNetwork(Facebookページ)
–https://www.facebook.com/TokyoMotioncontrolNetwork
•TMCN forum(Facebookグループ)
–https://www.facebook.com/groups/271384549699385/

www.naturalsoftware.jp

はじめてのKinect for windows v2

More Related Content

What's hot

Viewers also liked

Similar to はじめてのKinect for windows v2

More from Kaoru NAKAMURA

はじめてのKinect for windows v2