はじめてのKinect for windows v2

1. はじめての Kinect for Windows v2 2014/09/24,26東京エレクトロンデバイス株式会社主催 Kinect for Windows v2最新情報セミナー Natural Software 中村薫

14. Kinect v2 •2013年11月 –米国などでXbox Oneが発売(Kinect v2同梱) •2013年12月 –Kinect for Windows v2 DeveloperPreviewの発売開始 •2014年07月 –Kinect for Windows v2 PublicPreviewの発売開始 •2014年09月 –日本でXboxOneが発売 Copyright © 2014 Natural Software.jp All rights reserved. 15

15. Kinectfor Windows v2 •Xbox Oneに付属のKinectと同等 •2014年7月時点でオープンベータとしてリリース(センサーはリリース版) Copyright © 2014 Natural Software.jp All rights reserved. http://www.microsoftstore.com/store/msjp/ja_JP/pdp/productID.298959900 16

25. Kinectfor WindowsSDK v2 •2013年12月：DeveloperPreview •2014年07月：PublicPreview1407 •2014年08月：PublicPreview1408 •2014年09月：PublicPreview1409 Kinect for Windows Dev Centerで配布直リンク：Kinect for Windows SDK 2.0 Public Preview Copyright © 2014 Natural Software.jp All rights reserved. 26

28. Kinect for Windows SDKv2 Control: ユーザーインタフェース(NUI) Fusion: 3次元モデルの再構築 Face: 顔の情報(表情など) Copyright © 2014 Natural Software.jp All rights reserved. HDFace: 高精度の顔情報(3Dモデルなど) Speech: 音声コマンド認識 Gesture: ユーザー定義のジェスチャー 29

29. Kinect for Windows SDKv2 KinectStudio: Kinectデータの記録と再生 Visual Gesture Builder: ポーズやジェスチャーの作成 Copyright © 2014 Natural Software.jp All rights reserved. Kinect v2 Configuration Verifier: ハードウェアが要求を満たしているかチェックする 30

32. ハードウェア要求対応OS(*) Windows8(x64) Windows8.1(x64) Windows Embedded 8(x64) Windows Embedded 8.1(x64) CPU Corei7 3.1GHz以上の64bitCPU メモリ 4GB以上 USBバージョン(*) USB3.0 USBホストコントローラー(*) IntelまたはRenesas グラフィック(*) DirectX11対応グラフィックカード Copyright © 2014 Natural Software.jp All rights reserved. 33 *:必須項目

33. KinectforWindows v2の仕様(1) Copyright © 2014 Natural Software.jp All rights reserved. Color画像 1920x1080 Depth画像 512x424 Depthセンシング方式 TOF(Time of Fright) Depth認識範囲 500mm-8000ｍｍ(Ｄｅｐｔｈ) 500mm-4500mm(Body) 水平視野角 70度垂直視野角 60度 34

37. 対応言語および開発環境 •Visual Studio 2012以降(Expressも可) –ネイティブ(C++) –マネージ(.NET:C#、VBなど) –WinRT(Windowsストアアプリ：C#、 HTML&JavaScriptなど) •Unity(Proが必要：C#) Copyright © 2014 Natural Software.jp All rights reserved. 38

38. 環境による利用できる機能の相違ネイティブマネージ WinRT Unity 基本ストリーム ○ ○ ○ ○ Control × ○ ○ × Fusion ○ ○ ○ × Face ○ ○ ○ × HD Face ○ ○ ○ × Speech ○ ○ × × Gesture ○ ○ ○ × Copyright © 2014 Natural Software.jp All rights reserved. 基本ストリームはColor,Depth,Infrared,BodyIndex,Body,Audioを示します。 39

40. センサーの仕様比較 Copyright © 2014 Natural Software.jp All rights reserved. Kinect v1 Kinectv2 Color画像 640x480,1280x960 1920x1080 Colorフレームレート 30FPS,12FPS 30FPS,15FPS(暗所) Depth画像 80x69,320x240,630x480 512x424 Depthフレームレート 30FPS 30FPS Depthセンシング方式 LightCoding TOF(Time of Fright) Depth認識範囲 800mm-4000mm(Default) 400mm-3500mm(Near) 400mm-10000mm(Extend) 500mm-8000mm 水平視野角 57度 70度垂直視野角 43度(±27度:チルトモーター) 60度 41

41. センサーの仕様比較 Copyright © 2014 Natural Software.jp All rights reserved. Kinect v1 Kinectv2 人の検出 6人 6人人の検出距離範囲 800mm-4000mm(Default) 400mm-3500mm(Near) 500mm-4500mm 人の骨格検出 2人 6人検出骨格数 20点/一人 25点/一人手指検出 × △(親指と指先) 手のポーズ検出 △ (Kinect Interaction：グー、パー) ○(グー、チョキ、パー) 42

42. センサーの仕様比較 Copyright © 2014 Natural Software.jp All rights reserved. Kinect v1 Kinectv2 ジェスチャー △ (Kinect Interaction:入力支援) ○ マイク 4つのマイク(マイクアレイ) 4つのマイク(マイクアレイ) 音声入力 ○ ○ チルトモーターありなし加速度センサーあり APIとしては未公開 43

54. 使用するライブラリ(マネージ) 基本ストリーム Microsoft.Kinect.dll Control Microsoft.Kinect.Wpf.Controls.dll Fusion Microsoft.Kinect.Fusion.dll Face Microsoft.Kinect.Face.dll HD Face Microsoft.Kinect.Face.dll Speech SpeechSDK Gesture Microsoft.Kinect.VisualGestureBuilder.dll Copyright © 2014 Natural Software.jp All rights reserved. 基本ストリームはColor,Depth,Infrared,BodyIndex,Body,Audioを示します。 55

55. 使用するライブラリ(ネイティブ) 基本ストリーム Kinect20.lib Control × Fusion Kinect20.Fusion.lib Face Kinect20.Face.lib HD Face Kinect20.Face.lib Speech SpeechSDK Gesture Kinect20.VisualGestureBuilder.lib Copyright © 2014 Natural Software.jp All rights reserved. 基本ストリームはColor,Depth,Infrared,BodyIndex,Body,Audioを示します。 56

56. 使用するライブラリ(WinRT) 基本ストリーム WindowsPreview.Kinect Control Microsoft.Kinect.Toolkit.Input Microsoft.Kinect.Xaml.Controls Fusion Microsoft.Kinect.Fusion Face Microsoft.Kinect.Face HD Face Microsoft.Kinect.Face Speech × Gesture Microsoft.Kinect.VisualGestureBuilder Copyright © 2014 Natural Software.jp All rights reserved. 基本ストリームはColor,Depth,Infrared,BodyIndex,Body,Audioを示します。 57

59. Kinect for Windows SDK v2からのデータ •ColorFrameReader •DepthFrameReader •InfraredFrameReader •BodyIndexFrameReader •BodyFrameReader •LongExposureInfraredFrameReader •AudioBeamFrameReader •MultiSourceFrameReader Copyright © 2014 Natural Software.jp All rights reserved. 60

60. 改善点 •DepthとPlayerIndex(BodyIndex)が分離された –V1ではDepthとPlayerIndexがひとまとまりだった •ColorストリームとIRストリームを同時に読み込むことができる –V1ではColorとIRストリームは排他(PrimeSense系センサーの仕様?) •AudioBeamにBodyIndexが関連付けられた –音声方向の人の判別が容易になった Copyright © 2014 Natural Software.jp All rights reserved. 61

62. 初期化(マネージド) void Initialize() { // Kinectを開く kinect= KinectSensor.GetDefault(); kinect.Open(); // カラーリーダーを開く colorFrameReader= kinect.ColorFrameSource.OpenReader(); colorFrameReader.FrameArrived+= colorFrameReader_FrameArrived; } Copyright © 2014 Natural Software.jp All rights reserved. 63

63. データを取得する(マネージド) void colorFrameReader_FrameArrived( object sender, ColorFrameArrivedEventArgse ) { // カラーフレームを取得する using ( varcolorFrame= e.FrameReference.AcquireFrame() ) { if ( colorFrame== null ) { return; } // BGRAデータを取得する colorFrame.CopyConvertedFrameDataToArray(colorBuffer, ColorImageFormat.Bgra); // 処理する ... } } Copyright © 2014 Natural Software.jp All rights reserved. 64

66. 情報源 •中村(MVP for Kinect) –http://www.naturalsoftware.jp/ •杉浦さん(MVP for Kinect) –http://unanancyowen.com/ –http://www.buildinsider.net/small/kinectv2cpp •初音さん(MVP for Visual Basic) –http://www.buildinsider.net/small/kinect2dp Copyright © 2014 Natural Software.jp All rights reserved. 67

67. 困ったときは •Kinect for Windows 好きの集まり(Facebookグループ) –https://www.facebook.com/groups/320184018036066/ •Tokyo MotionControlNetwork(Facebookページ) –https://www.facebook.com/TokyoMotioncontrolNetwork •TMCN forum(Facebookグループ) –https://www.facebook.com/groups/271384549699385/ Copyright © 2014 Natural Software.jp All rights reserved. 68

はじめてのKinect for windows v2

Kaoru NAKAMURA

はじめてのKinect for windows v2