MVP Community Camp

22,059 views

Published on

Published in: Technology

MVP Community Camp

  1. 1. Kinect v2で変わる モーションセンサーの世界 中村 薫 MVP Community Camp 2014 - Nagoya
  2. 2. 自己紹介 中村 薫 フリーランスで主にDepthセンサー系の仕事をしています アプリケーション開発 講演、ハンズオンセミナー 執筆など Microsoft MVP for Visual Studio ALM kaorun55@naturalsoftware.jp Copyright © 2013 Natural Software.jp All rights reserved.
  3. 3. TFSUG Copyright © 2013 Natural Software.jp All rights reserved. http://kokucheese.com/main/host/TFSUG http://www.shuwasystem.co.jp/products/7980html/4046.html
  4. 4. Tokyo MotionControl Network https://www.facebook.com/TokyoMotioncontrolNetwork Copyright © 2013 Natural Software.jp All rights reserved.
  5. 5. 注意!! • Kinect for Windows v2のソフトウェアや ハードウェア、APIは暫定的なものであり 正式版では変更される可能性があります。 Copyright © 2013 Natural Software.jp All rights reserved.
  6. 6. Kinect v2 Copyright © 2013 Natural Software.jp All rights reserved. 8
  7. 7. Kinect v2 • Xbox One に同梱された新しいKinect • Kinect for Windows v2 Developer Preview の配布が始まっています Copyright © 2013 Natural Software.jp All rights reserved. 9 http://www.xbox.com/ja-JP/xbox-one/meet-xbox-one
  8. 8. KINECT V1とV2 Copyright © 2013 Natural Software.jp All rights reserved.
  9. 9. Kinect v1 • NUIのさきがけ • Xbox用のほかにWindows用のセンサーが ある Copyright © 2013 Natural Software.jp All rights reserved. http://www.xbox.com/ja-JP/xbox360
  10. 10. Kinect for Windows SDK Color Stream Depth Stream Player Tracking Skeleton Tracking Audio Stream Copyright © 2013 Natural Software.jp All rights reserved.
  11. 11. Toolkit Kinect FusionFace Tracking Kinect Interaction Kinect Background Removal Copyright © 2013 Natural Software.jp All rights reserved.
  12. 12. Kinect v2 • Xbox One に同梱された新しいKinect • Kinect for Windows v2 Developer Preview の配布が始まっている Copyright © 2013 Natural Software.jp All rights reserved. http://www.xbox.com/ja-JP/xbox-one/meet-xbox-one http://www.youtube.com/watch?v=Hi5kMNfgDS4
  13. 13. Kinect for Windows v2 • Xbox Oneに付属のKinectと同等 • 2014年夏にリリース予定 Copyright © 2013 Natural Software.jp All rights reserved.
  14. 14. Copyright © 2013 Natural Software.jp All rights reserved. http://www.youtube.com/watch?v=Hi5kMNfgDS4
  15. 15. KINECT V1とV2の比較 Copyright © 2013 Natural Software.jp All rights reserved.
  16. 16. Kinect for Windows v2のハードウェア要求 対応OS Windows 8, Windows 8.1 開発環境 Visual Studio 2012 以降(C++, C#など) CPU Core i7 2.5GHz以上 64bit CPU メモリ 4GB以上 USB USB 3.0 グラフィック DirectX 11 対応のグラフィックカード Copyright © 2013 Natural Software.jp All rights reserved. Kinect v2のソフトウェアやハードウェア、APIは暫定的なものであり正式版では変更される可能性があります。
  17. 17. センサーの仕様比較 Copyright © 2013 Natural Software.jp All rights reserved. Kinect v1 Kinect v2 Color画像 640x480 1280x960 1920x1080 Depth画像 80x69 320x240 630x480 512x424 Depthセンシング方式 Light Coding TOF(Time of Fright) Depth認識範囲 800mm-4000mm(Default) 400mm-3500mm(Near) 500mm-4500mm 水平視野角 57度 70度 垂直視野角 43度 (±27度:チルトモーター) 60度 (http://goo.gl/pZQRKm) Kinect v2のソフトウェアやハードウェア、APIは暫定的なものであり正式版では変更される可能性があります。
  18. 18. センサーの仕様比較 Copyright © 2013 Natural Software.jp All rights reserved. Kinect v1 Kinect v2 人の検出 6人 6人 人の骨格検出 2人 6人 検出骨格数 20点/一人 25点/一人 手指検出 × △(親指と指先) 手のポーズ検出 △ (Kinect Interaction:グー、パー) ○(グー、チョキ、パー) Kinect v2のソフトウェアやハードウェア、APIは暫定的なものであり正式版では変更される可能性があります。
  19. 19. センサーの仕様比較 Copyright © 2013 Natural Software.jp All rights reserved. Kinect v1 Kinect v2 ジェスチャー △ (Kinect Interaction:入力支援) × マイク 4つのマイクアレイ 4つのマイクアレイ 音声入力 ○ ○(予定:現在は未実装) チルトモーター あり なし 加速度センサー あり なし Kinect v2のソフトウェアやハードウェア、APIは暫定的なものであり正式版では変更される可能性があります。
  20. 20. センサーの仕様比較 Copyright © 2013 Natural Software.jp All rights reserved. Kinect v1 Kinect v2 USB USB 2.0 USB 3.0 複数Kinectの同時利用 4台まで 可能(台数未定、未実装) 複数アプリからの同時利用 × ○ Kinect v2のソフトウェアやハードウェア、APIは暫定的なものであり正式版では変更される可能性があります。
  21. 21. Kinect for Windows SDK v2 Color Stream Depth Stream Skeleton Tracking Copyright © 2013 Natural Software.jp All rights reserved. Kinect v2のソフトウェアやハードウェア、APIは暫定的なものであり正式版では変更される可能性があります。
  22. 22. Depthを比較する Copyright © 2013 Natural Software.jp All rights reserved. Kinect v1 Kinect v2 Kinect v2のソフトウェアやハードウェア、APIは暫定的なものであり正式版では変更される可能性があります。
  23. 23. 物 Kinect v2 壁 台 反射の時間を測る Depthセンシング方式(TOF)
  24. 24. Depthセンシング方式(Light Coding) ランダムな点を照射し、 歪みを計測する
  25. 25. Kinect for Windows v2 Copyright © 2013 Natural Software.jp All rights reserved. Kinect v2のソフトウェアやハードウェア、APIは暫定的なものであり正式版では変更される可能性があります。
  26. 26. 全身の骨格検出数 Copyright © 2013 Natural Software.jp All rights reserved. Kinect v1 : 20点/一人 Kinect v2 : 25点/一人
  27. 27. 全身の骨格検出数 Copyright © 2013 Natural Software.jp All rights reserved.
  28. 28. Kinect for Windows v2 Copyright © 2013 Natural Software.jp All rights reserved. http://www.innovotion.co.jp/blog/2013/11/27/22/
  29. 29. Kinect for Windows v2 Copyright © 2013 Natural Software.jp All rights reserved. http://www.innovotion.co.jp/blog/2013/11/27/22/
  30. 30. DEMO Copyright © 2013 Natural Software.jp All rights reserved.
  31. 31. Kinect v1からのデータ • ColorImageStream – RGB または IR • DepthImageStream – Depth と PlayerIndex • SkeletonStream Copyright © 2013 Natural Software.jp All rights reserved.
  32. 32. Kinect v1のコード概要 kinect = KinectSensor.KinectSensors[0]; kinect.ColorStream.Enable(); kinect.ColorFrameReady += kinect_ColorFrameReady; kinect.DepthStream.Enable(); kinect.DepthFrameReady += kinect_DepthFrameReady; kinect.SkeletonFrameReady += kinect_SkeletonFrameReady; kinect.SkeletonStream.Enable(); kinect.Start(); Copyright © 2013 Natural Software.jp All rights reserved.
  33. 33. Kinect v1のコード概要 kinect = KinectSensor.KinectSensors[0]; kinect.ColorStream.Enable(); kinect.DepthStream.Enable(); kinect.AllFramesReady += kinect_AllFramesReady; kinect.Start(); Copyright © 2013 Natural Software.jp All rights reserved.
  34. 34. Kinect v2からのデータ • ColorFrameReader • DepthFrameReader • InfraredFrameReader • BodyIndexFrameReader • BodyFrameReader • LongExposureInfraredFrameReader • MultiSourceFrameReader Copyright © 2013 Natural Software.jp All rights reserved.
  35. 35. Kinect v2のコード概要 kinect= KinectSensor.Default; kinect.Open(); colorReader = kinect.ColorFrameSource.OpenReader(); colorReader.FrameArrived += colorReader_FrameArrived; depthReader = kinect.DepthFrameSource.OpenReader(); depthReader.FrameArrived += depthReader_FrameArrived; bodyReader = kinect.BodyFrameSource.OpenReader(); bodyReader.FrameArrived += bosyReader_FrameArrived; Copyright © 2013 Natural Software.jp All rights reserved.
  36. 36. Kinect v2のコード概要 kinect = KinectSensor.Default; kinect.Open(); multiReader = kinect.OpenMultiSourceFrameReader( FrameSourceTypes.Depth | FrameSourceTypes.BodyIndex | FrameSourceTypes.Body ); multiReader.MultiSourceFrameArrived += multiReader_MultiSourceFrameArrived; Copyright © 2013 Natural Software.jp All rights reserved.
  37. 37. 改善点 • DepthとPlayerIndex(BodyIndex)が分離された – V1ではDepthとPlayerIndexがひとまとまりだった • MultiSourceFrameReaderで読み込むストリームを 選択できる – V1ではAllFrameReadyですべてのストリームを読み込む • ColorストリームとIRストリームを同時に読み込む ことができる – V1ではColorとIRストリームは排他(PrimeSense系セン サーの仕様?) Copyright © 2013 Natural Software.jp All rights reserved.
  38. 38. KINECT V2で変わる モーションセンサーの世界 Copyright © 2013 Natural Software.jp All rights reserved.
  39. 39. Xbox OneでのKinect Copyright © 2013 Natural Software.jp All rights reserved. http://www.youtube.com/watch?v=Hi5kMNfgDS4
  40. 40. Kinect for Windows v2でできること • より高精度のDepth • 骨格の検出 • 骨格の方向を検出 • 筋肉および重心の検出(未実装) • 心拍の検出(未実装) • 表情の検出(未実装) Copyright © 2013 Natural Software.jp All rights reserved.
  41. 41. より高精度のDepth • 3Dスキャン • 計測器 Copyright © 2013 Natural Software.jp All rights reserved.
  42. 42. 筋肉および重心の検出 • 筋力のかけ方を見ながらのトレーニング • 筋力、重心を見ながらのリハビリ Copyright © 2013 Natural Software.jp All rights reserved.
  43. 43. より対話的なアプリケーション • 心拍を見ながらのインタラクション – 絶叫ゲーム(ジェットコースター:HMDと組 み合わせて)での反応 – リアルおばけ屋敷での反応 – リハビリ時の運動負荷 Copyright © 2013 Natural Software.jp All rights reserved.
  44. 44. より対話的なアプリケーション • 表情を見ながらのインタラクション – 音声認識や音声合成と組み合わせた、コン ピューターとの会話 • 顔を使ったコンピューター操作 – 目や口 Copyright © 2013 Natural Software.jp All rights reserved.
  45. 45. その他に 新しいSDKの機能 既存の技術 これらの組み合わせ Copyright © 2013 Natural Software.jp All rights reserved.
  46. 46. これからのモーションセンサー利用 Copyright © 2013 Natural Software.jp All rights reserved.
  47. 47. 大きな流れ・1 Copyright © 2013 Natural Software.jp All rights reserved.
  48. 48. 大きな流れ・1 Copyright © 2013 Natural Software.jp All rights reserved. Microsoft Intel Apple Google
  49. 49. Intel PerC SDK R8 Copyright © 2013 Natural Software.jp All rights reserved. 心拍 表情 http://software.intel.com/en-us/vcsource/tools/perceptual-computing-sdk
  50. 50. Structure Sensor • Kinect v1とほぼ同じセンサー • iOS対応 • 発売は... Copyright © 2013 Natural Software.jp All rights reserved.
  51. 51. ViewerおよびScaner Copyright © 2013 Natural Software.jp All rights reserved.
  52. 52. Google Tango • スマートフォンに内蔵されたDepthセンサー • コンピューターに人間の目を Copyright © 2013 Natural Software.jp All rights reserved.
  53. 53. 大きな流れ・2 Copyright © 2013 Natural Software.jp All rights reserved. Intel RealSense Leap Motion
  54. 54. まとめ • Kinect for Windows v2が間もなくリリース • 精度の向上、新しい機能が追加 • 表情、心拍など、より人の内面を読み取れる • モーションセンサーには大きな流れがある Copyright © 2013 Natural Software.jp All rights reserved.
  55. 55. Kinect v2で新しい世界へ Copyright © 2013 Natural Software.jp All rights reserved.

×