エフサミ2014

993 views
840 views

Published on

Published in: Technology
0 Comments
1 Like
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total views
993
On SlideShare
0
From Embeds
0
Number of Embeds
124
Actions
Shares
0
Downloads
7
Comments
0
Likes
1
Embeds 0
No embeds

No notes for slide

エフサミ2014

  1. 1. はじめてのモーションセンサー
  2. 2. 自己紹介 中村 薫 フリーランスで主にDepthセンサー系の仕事をしています アプリケーション開発、講演、ハンズオンセミナー、執筆など Microsoft MVP for Kinect for Windows kaorun55@naturalsoftware.jp Copyright © 2014 Natural Software All rights reserved.
  3. 3. Tokyo MotionControl Network https://www.facebook.com/TokyoMotioncontrolNetwork Copyright © 2014 Natural Software All rights reserved.
  4. 4. 注目のセンサー&デバイス Kinect Kinect v2 Creative Camera Leap Motion Oculus Rift Copyright © 2014 Natural Software All rights reserved. Structure Sensor
  5. 5. 大きな流れ・1 Copyright © 2014 Natural Software All rights reserved.
  6. 6. 大きな流れ・1 Copyright © 2014 Natural Software All rights reserved. Microsoft Intel Apple Google
  7. 7. 大きな流れ・2 Copyright © 2014 Natural Software All rights reserved. Intel RealSense Leap Motion
  8. 8. センサーを利用したパターン・1 Copyright © 2014 Natural Software All rights reserved.
  9. 9. センサーを利用したパターン・2 Copyright © 2014 Natural Software All rights reserved.
  10. 10. なぜDepthセンサー? • センサーの低価格化 • Web,モバイルに続く価値の提供 Copyright © 2014 Natural Software All rights reserved.
  11. 11. さまざまなセンサー&デバイス Copyright © 2014 Natural Software All rights reserved.
  12. 12. 注目のセンサー&デバイス Kinect Kinect v2 Creative Camera Leap Motion Copyright © 2014 Natural Software All rights reserved. Structure Sensor
  13. 13. Kinect • NUIのさきがけ • Xbox用のほかにWindows用のセンサーが ある http://www.xbox.com/ja-JP/xbox360 Copyright © 2014 Natural Software All rights reserved.
  14. 14. Kinect for Windows SDK Color Stream Depth Stream Player Tracking Skeleton Tracking Audio Stream Copyright © 2014 Natural Software All rights reserved.
  15. 15. Toolkit Kinect Studio Kinect Background RemovalKinect Fusion Face TrackingVoice Command Kinect Interaction Copyright © 2014 Natural Software All rights reserved.
  16. 16. Kinect v2 • Xbox One に同梱された新しいKinect • Kinect for Windows v2 Developer Preview の配布が始まっている http://www.xbox.com/ja-JP/xbox-one/meet-xbox-one Copyright © 2014 Natural Software All rights reserved.
  17. 17. Kinect for Windows v2 • Xbox Oneに付属のKinectと同等 • 2014年夏にリリース予定 • Kinect for Windows v2のソフトウェアや ハードウェア、APIは暫定的なものであり 正式版では変更される可能性があります。 Copyright © 2014 Natural Software All rights reserved.
  18. 18. Kinect for Windows SDK v2 Color Stream Depth Stream Skeleton Tracking Copyright © 2014 Natural Software All rights reserved. Audio
  19. 19. Kinect for Windows SDK v2 Control Fusion Face Copyright © 2014 Natural Software All rights reserved. 実装されたけど、 動かない
  20. 20. Creative Senz3D • 手指を認識できるセンサー • Intel Perceptual Computing SDK を利 用する • コンピューターへの内蔵化を予定 Copyright © 2014 Natural Software All rights reserved.
  21. 21. Intel Perceptual Computing SDK Color Stream Hand and Finger Tracking Gesture and Pose Facial Analysis Speech Recognition Voice Synthesis "Nothing to say?" Pulse EstimatorEmotion Copyright © 2014 Natural Software All rights reserved.
  22. 22. インテルRealSenseテクノロジー Copyright © 2014 Natural Software All rights reserved.
  23. 23. Leap Motion • 指先を高精度で検出 • 使いやすいソフトウェア • ハードウェアの内蔵化が進んでいる https://www.leapmotion.com/ Copyright © 2014 Natural Software All rights reserved.
  24. 24. Leap Motion SDK Hand and Finger Tracking Gesture http://www.buildinsider.net/small/leapmotionfirstimp/01 Touch Copyright © 2014 Natural Software All rights reserved.
  25. 25. Structure Sensor • Kinect v1とほぼ同じセンサー • iOS対応 • eBayにて発売開始 Copyright © 2014 Natural Software All rights reserved.
  26. 26. ViewerおよびScanner Copyright © 2014 Natural Software All rights reserved.
  27. 27. デバイスの実行環境(OS) Copyright © 2014 Natural Software.jp All rights reserved. Windows Mac OSX Linux iOS Android Kinect for Windows v1 ○ × × × × Kinect for Windows v2 ○ × × × × Intel RealSense ○ × × × △ Leap Motion ○ ○ ○ × △ Structure Sensor ○ ○ × ○ × Google Tango × × × × ○ Kinect for Wndows v2のソフトウェアやハードウェア、APIは 暫定的なものであり正式版では変更される可能性があります。 凡例 ○:公式サポート △:将来的にサポート予定 ×:未サポート
  28. 28. デバイスの実行環境(開発環境、言語) Copyright © 2014 Natural Software.jp All rights reserved. C++ .NET (C#,VB) WinRT (C++,C#,VB) Unity (C#) Objective-C Java Java Script Kinect for Windows v1 ○ ○ × △ × × ○ Kinect for Windows v2 ○ ○ ○ ○ × × ○ Intel RealSense ○ ○ × ○ × ○ × Leap Motion ○ ○ × ○ ○ ○ ○ Structure Sensor ○ ○ × ○ ○ × × Google Tango × × × × × ○ × Kinect for Wndows v2のソフトウェアやハードウェア、APIは 暫定的なものであり正式版では変更される可能性があります。 凡例 ○:公式ライブラリあり △:非公式ライブラリあり ×:未サポート
  29. 29. 事例 Copyright © 2014 Natural Software All rights reserved.
  30. 30. 医療 http://www.youtube.com/watch?v=624N3-nIieI Copyright © 2014 Natural Software All rights reserved.
  31. 31. サイネージ Copyright © 2014 Natural Software All rights reserved.
  32. 32. 空中ディスプレイ Kinect, Leap Motion, Intel PerC Copyright © 2014 Natural Software All rights reserved.
  33. 33. 現実世界へのインタラクション 階段+マッピング+Kinect http://www.youtube.com/watch?v=h8wZnY_jWF8 Copyright © 2014 Natural Software All rights reserved.
  34. 34. Photo by Ben Lorph Kinect x 8台 Copyright © 2014 Natural Software All rights reserved.
  35. 35. Kinectコンテストから Copyright © 2014 Natural Software All rights reserved. http://k4wa.com/
  36. 36. 非接触バイタルセンシング Copyright © 2014 Natural Software All rights reserved. http://monoist.atmarkit.co.jp/mn/articles/1310/02/news063.html
  37. 37. 高齢者遠隔運動指導・管理モデルRehAct Copyright © 2014 Natural Software All rights reserved. http://monoist.atmarkit.co.jp/mn/articles/1310/02/news063_2.html
  38. 38. Senz3D+Oculus Riftで行動誘導 Copyright © 2014 Natural Software All rights reserved.
  39. 39. 行動誘導の研究 Copyright © 2014 Natural Software All rights reserved. https://www.youtube.com/watch?v=ldEyGeSw4M8
  40. 40. Structure Sensorを使った試作 Copyright © 2014 Natural Software All rights reserved.
  41. 41. センサー詳解 Copyright © 2014 Natural Software All rights reserved.
  42. 42. KINECT V1 Copyright © 2014 Natural Software All rights reserved.
  43. 43. Kinect v1 • NUIのさきがけ • Xbox用のほかにWindows用のセンサーが ある Copyright © 2014 Natural Software All rights reserved. http://www.xbox.com/ja-JP/xbox360
  44. 44. Kinect for Windows SDK Color Stream Depth Stream Player Tracking Skeleton Tracking Audio Stream Copyright © 2014 Natural Software All rights reserved.
  45. 45. Toolkit Kinect FusionFace Tracking Kinect Interaction Kinect Background Removal Copyright © 2014 Natural Software All rights reserved.
  46. 46. KINECT V2 Copyright © 2014 Natural Software All rights reserved.
  47. 47. 注意!! • Kinect for Windows v2のソフトウェアや ハードウェア、APIは暫定的なものであり 正式版では変更される可能性があります。 Copyright © 2014 Natural Software All rights reserved.
  48. 48. Kinect v2 Copyright © 2014 Natural Software All rights reserved.
  49. 49. Kinect v2 • Xbox One に同梱された新しいKinect • Kinect for Windows v2 Developer Preview の配布が始まっている • Kinect for Windows v2のRTMは7月末の予定 • Kinect for Windows SDK v2 のRTMは未定 Copyright © 2014 Natural Software All rights reserved.
  50. 50. Copyright © 2014 Natural Software All rights reserved.
  51. 51. Copyright © 2014 Natural Software All rights reserved. http://www.youtube.com/watch?v=Hi5kMNfgDS4
  52. 52. KINECT V1とV2の比較 Copyright © 2014 Natural Software All rights reserved.
  53. 53. Kinect for Windows v2のハードウェア要求 対応OS Windows 8, Windows 8.1 開発環境 Visual Studio 2012 以降(C++, C#など) CPU Core i7 2.5GHz以上 64bit CPU メモリ 4GB以上 USB USB 3.0 グラフィック DirectX 11 対応のグラフィックカード Copyright © 2014 Natural Software All rights reserved. Kinect v2のソフトウェアやハードウェア、APIは暫定的なものであり正式版では変更される可能性があります。
  54. 54. センサーの仕様比較 Copyright © 2014 Natural Software All rights reserved. Kinect v1 Kinect v2 Color画像 640x480 1280x960 1920x1080 Depth画像 80x69 320x240 630x480 512x424 Depthセンシング方式 Light Coding TOF(Time of Fright) Depth認識範囲 800mm-4000mm(Default) 400mm-3500mm(Near) 500mm-4500mm 水平視野角 57度 70度 垂直視野角 43度 (±27度:チルトモーター) 60度 (http://goo.gl/pZQRKm) Kinect v2のソフトウェアやハードウェア、APIは暫定的なものであり正式版では変更される可能性があります。
  55. 55. センサーの仕様比較 Copyright © 2014 Natural Software All rights reserved. Kinect v1 Kinect v2 人の検出 6人 6人 人の骨格検出 2人 6人 検出骨格数 20点/一人 25点/一人 手指検出 × △(親指と指先) 手のポーズ検出 △ (Kinect Interaction:グー、パー) ○(グー、チョキ、パー) Kinect v2のソフトウェアやハードウェア、APIは暫定的なものであり正式版では変更される可能性があります。
  56. 56. センサーの仕様比較 Copyright © 2014 Natural Software All rights reserved. Kinect v1 Kinect v2 ジェスチャー △ (Kinect Interaction:入力支援) ○ マイク 4つのマイクアレイ 4つのマイクアレイ 音声入力 ○ ○ チルトモーター あり なし 加速度センサー あり なし Kinect v2のソフトウェアやハードウェア、APIは暫定的なものであり正式版では変更される可能性があります。
  57. 57. センサーの仕様比較 Copyright © 2014 Natural Software All rights reserved. Kinect v1 Kinect v2 USB USB 2.0 USB 3.0 複数Kinectの同時利用 4台まで 未定 複数アプリからの同時利用 × ○ Kinect v2のソフトウェアやハードウェア、APIは暫定的なものであり正式版では変更される可能性があります。
  58. 58. Kinect for Windows SDK v2 Color Stream Depth Stream Skeleton Tracking Copyright © 2014 Natural Software All rights reserved. Kinect v2のソフトウェアやハードウェア、APIは暫定的なものであり正式版では変更される可能性があります。
  59. 59. Depthを比較する Copyright © 2014 Natural Software All rights reserved. Kinect v1 Kinect v2 Kinect v2のソフトウェアやハードウェア、APIは暫定的なものであり正式版では変更される可能性があります。
  60. 60. 物 Kinect v2 壁 台 反射の時間を測る Depthセンシング方式(TOF) Copyright © 2014 Natural Software All rights reserved.
  61. 61. Depthセンシング方式(Light Coding) ランダムな点を照射し、 歪みを計測する Copyright © 2014 Natural Software All rights reserved.
  62. 62. Kinect for Windows v2 Copyright © 2014 Natural Software All rights reserved. Kinect v2のソフトウェアやハードウェア、APIは暫定的なものであり正式版では変更される可能性があります。
  63. 63. 全身の骨格検出数 Copyright © 2014 Natural Software All rights reserved. Kinect v1 : 20点/一人 Kinect v2 : 25点/一人
  64. 64. 全身の骨格検出数 Copyright © 2014 Natural Software All rights reserved.
  65. 65. Kinect for Windows v2 Copyright © 2014 Natural Software All rights reserved. http://www.innovotion.co.jp/blog/2013/11/27/22/
  66. 66. Kinect for Windows v2 Copyright © 2014 Natural Software All rights reserved. http://www.innovotion.co.jp/blog/2013/11/27/22/
  67. 67. Kinect v1からのデータ • ColorImageStream – RGB または IR • DepthImageStream – Depth と PlayerIndex • SkeletonStream Copyright © 2014 Natural Software All rights reserved.
  68. 68. Kinect v2からのデータ • ColorFrameReader • DepthFrameReader • InfraredFrameReader • BodyIndexFrameReader • BodyFrameReader • LongExposureInfraredFrameReader • MultiSourceFrameReader Copyright © 2014 Natural Software All rights reserved.
  69. 69. 改善点 • DepthとPlayerIndex(BodyIndex)が分離された – V1ではDepthとPlayerIndexがひとまとまりだった • ColorストリームとIRストリームを同時に読み込 むことができる – V1ではColorとIRストリームは排他(PrimeSense系セ ンサーの仕様?) Copyright © 2014 Natural Software All rights reserved.
  70. 70. INTEL PERCEPUTUAL COMPUTING SDK Copyright © 2014 Natural Software All rights reserved.
  71. 71. Intel Perceptual Computing SDK • 2013年3月に正式版がリリースされたSDK • 手指および顔の認識、音声認識が特長 • 全ての機能はリファレンスカメラとしての 「Creative* Interactive Gesture Camera」 でのみ動作する • 一部のカメラのみの機能はWebカメラでも動 作する • 以降 PerC SDKと表記する Copyright © 2014 Natural Software All rights reserved.
  72. 72. PerC SDK Color Stream Hand and Finger Tracking Gesture and Pose Facial Analysis Speech Recognition Voice Synthesis "Nothing to say?" Pulse EstimatorEmotion Copyright © 2014 Natural Software All rights reserved.
  73. 73. Sensor http://download-software.intel.com/sites/default/files/article/325946/creativelabs-camera-productbrief-final.pdf Copyright © 2014 Natural Software All rights reserved.
  74. 74. Creative* Camera • SoftKinetic 社 DS325 互換 • Creative* Camera で SoftKinetic 社 iisu SDK を 利用することもできる • 逆(DS325 で PerC SDK)はできない Copyright © 2014 Natural Software All rights reserved.
  75. 75. RGB Camera 解像度 720p (1280×720 pixels) フレームレート 30 fps 視野角 73 度 表示範囲 0m – 7.01m Copyright © 2014 Natural Software All rights reserved.
  76. 76. IR Depth Sensor 解像度 QVGA (320×240 pixels) フレームレート 30 fps 視野角 73 度 認識範囲 15cm – 100cm 認識技術 Time-of-flight(TOF) Copyright © 2014 Natural Software All rights reserved.
  77. 77. インテルRealSenseテクノロジー • 2014年1月のCESにて、PerC SDKや Creative* Cameraは「インテル RealSenseテクノロジー」として発表さ れた • 2014年末にはDepthセンサーが内蔵され たノートPCやタブレットPCが発売予定 Copyright © 2014 Natural Software All rights reserved.
  78. 78. インテルRealSenseテクノロジー Copyright © 2014 Natural Software All rights reserved.
  79. 79. Copyright © 2014 Natural Software All rights reserved.
  80. 80. LEAP MOTION Copyright © 2014 Natural Software All rights reserved.
  81. 81. Leap Motion • Leap Motion社が販売しているデバイス • 手や指の動きを認識する Copyright © 2014 Natural Software All rights reserved.
  82. 82. なにができるのか http://www.youtube.com/watch?v=3b4w749Tud Copyright © 2014 Natural Software All rights reserved.
  83. 83. Leap Motion SDK Hand and Finger Tracking Gesture http://www.buildinsider.net/small/leapmotionfirstimp/01 Touch Copyright © 2014 Natural Software All rights reserved.
  84. 84. Leap Motion SDK v2 http://www.buildinsider.net/small/leapmotionfirstimp/01 Copyright © 2014 Natural Software All rights reserved. Hand Tracking Arm Tracking
  85. 85. Leap Motion のインタフェース Leap Motion Application Interface Leap Motion WebSocket Interface https://developer.leapmotion.com/documentation/GetStarted/Leap_Architecture.html Copyright © 2014 Natural Software All rights reserved.
  86. 86. Airspace Copyright © 2014 Natural Software All rights reserved.
  87. 87. 内蔵されたLeap Motion http://gizmodo.com/heres-the-first-laptop-with-leap-motion-built-right-in-1346551607 Copyright © 2014 Natural Software All rights reserved.
  88. 88. デバイスの実行環境 Copyright © 2014 Natural Software All rights reserved.
  89. 89. 出力装置の進化 Copyright © 2014 Natural Software All rights reserved.
  90. 90. ディスプレイを越えて Copyright © 2014 Natural Software All rights reserved.
  91. 91. http://www.youtube.com/watch?v=h8wZnY_jWF8 Copyright © 2014 Natural Software All rights reserved.
  92. 92. Oculus Rift(オキュラス・リフト) http://www.oculusvr.com/ Copyright © 2014 Natural Software All rights reserved.
  93. 93. Copyright © 2014 Natural Software All rights reserved.
  94. 94. 触覚を得る Copyright © 2014 Natural Software All rights reserved.
  95. 95. http://www.youtube.com/watch?v=xaFBjUJj00M Copyright © 2014 Natural Software All rights reserved.
  96. 96. http://www.youtube.com/watch?v=CE4WsYncNa4 Copyright © 2014 Natural Software All rights reserved.
  97. 97. 今後の予測 Copyright © 2014 Natural Software All rights reserved.
  98. 98. 新しいデバイス Copyright © 2014 Natural Software All rights reserved. http://makezine.com/2014/01/12/make-editors-highlights-and-picks-from-ces-2014/ http://mobilesyrup.com/2014/01/09/thalmic-labs-shoots-to-kill-with-ces-demo-first-look/
  99. 99. キーワード • 内蔵化 • モバイル • Web/クラウド Copyright © 2014 Natural Software All rights reserved.
  100. 100. 内蔵化 センサーの内蔵化が進むでしょう。 • Leap Motion • インテルRealSenseテクノロジー Copyright © 2014 Natural Software All rights reserved. https://www.leapmotion.com/
  101. 101. インテルRealSenseテクノロジー Copyright © 2014 Natural Software All rights reserved.
  102. 102. 内蔵化によるメリット • ユーザーが個別にセンサーを購入する必 要がなくなる • センサーを所持するユーザーが増える • センサーを使ったアプリケーションの需 要が高まる Copyright © 2014 Natural Software All rights reserved.
  103. 103. モバイル • iOSやAndroid対応のセンサーが発売され、 モバイルでのセンサー利用が可能になる でしょう。 Copyright © 2014 Natural Software All rights reserved. http://makezine.com/2014/01/12/make-editors-highlights-and-picks-from-ces-2014/
  104. 104. モバイル化によるセンサー用途 • 空間スキャン • ユーザーの向いている方向を認識 • ユーザーを認識 Copyright © 2014 Natural Software All rights reserved.
  105. 105. Web/クラウド • センサーSDKのブラウザ対応が進んでい ます。Webやクラウドとセンサーの連携 が進んでいくでしょう。 Copyright © 2014 Natural Software All rights reserved.
  106. 106. Tokyo MotionControl Network https://www.facebook.com/TokyoMotioncontrolNetwork

×