3 Dセンサーの活用

3,877 views

Published on

Published in: Technology

3 Dセンサーの活用

  1. 1. 3Dセンサーの活用 13年10月10日木曜日
  2. 2. 新里 祐教 Hirotaka Niisato GMO Internet Special Project Officer Programmer 13年10月10日木曜日
  3. 3. 3Dセンサー 実空間上(XYZ)の動きを感知できるセンサー 追加機能:人・骨格・ジェスチャー・表情・ 重心・心拍・音声 13年10月10日木曜日
  4. 4. 測定の仕組み∼複眼 基本的には3角測量の方法と一緒の原理 測定対象点 カメラ1 カメラ2 カメラ間の距離 13年10月10日木曜日
  5. 5. 測定の仕組み∼IRパターン 赤外線パターンを照射して、パターンの幾何的 な歪みを測定して3次元データを生成 13年10月10日木曜日
  6. 6. 測定の仕組み∼ToF ToF(Time of Flight) 13年10月10日木曜日
  7. 7. Skeleton Tracking  およそ100万枚の画像データから作られた決定木に  基づいて、毎フレーム毎に体の20部位を推定  関節の3Dモデル仮説を作成 → 関節の接合の推定  → スケルトンの作成 → ユーザーのトラッキング ジェスチャー  3Dモデルの骨格の角度と状態から予測  基本的には自分で実装する  体の状態を固定させるケースと、時間的な状態から推定  点から点にまっすぐ体が移動する事は無い 13年10月10日木曜日
  8. 8. 色々なセンサー 13年10月10日木曜日
  9. 9. 3Dセンサーカメラ 13年10月10日木曜日
  10. 10. マニア向け 13年10月10日木曜日
  11. 11. Kinect 種類 XBOX 360 Kinect、Kinect for Windows 対応OS Windows、Kinect for Windows SDK センサー 赤外線、RGBカメラ、マイク 測位距離 800mm ∼ 4000mm、Near Mode : 500mm ∼ 3000mm SDK機能 RGB、Depth、骨格、顔認識(部位)、音声認識、ジェスチャ、 Interaction(手を握る、開く、押す)、Fusion(リアルタイム3D) その他 外部電源が必要 XBOX 360 KinectはXBOX以外の接続はNG、Kinect for Windowsは Windows以外への接続はNG 13年10月10日木曜日
  12. 12. Xtion 種類 Xtion、Xtion Pro、Xtion Pro Live、CARMINE 1.08, 1.09 対応OS Windows、Mac、Linux、Android、ARM、OpenNI SDK + NiTE SDK センサー 赤外線、RGBカメラ、マイク 測位距離 800mm ∼ 3500mm、Near Mode : 350mm ∼ 1400mm SDK機能 RGB、Depth、骨格、音声認識、ジェスチャー その他 USBのみで駆動 OpenNIはオープンソース(OpenCV、Point Cloud Library等と連携) NiTEのソースコードは未公開 13年10月10日木曜日
  13. 13. DepthSense/PerC 種類 DS325, DS311, DS525, DS530, Interactive Gesture Camera 対応OS Windows, IISU SDK, Perceptual Computing SDK(PerC) センサー ToFカメラ、RGBカメラ、マイク 測位距離 150mm ∼ 1000mm (HandTracking)、1500mm ∼ 4500mm(Skeleton) SDK機能 RGB、Depth、骨格、顔認識(部位)、音声認識、ジェスチャ その他 USB駆動 最小サイズ: 95mm x 22mm x 20mm 13年10月10日木曜日
  14. 14. Capri 種類 Capri 対応OS Windows、Mac、Linux、Android、ARM、OpenNI SDK センサー 赤外線 測位距離 800mm ∼ 3500mm SDK機能 Depth その他 USB駆動 とてつも無く小さい 13年10月10日木曜日
  15. 15. Structure Sensor 種類 Structure Sensor 対応OS Windows、Mac、iOS、Android、ARM、OpenNI センサー 赤外線 測位距離 400mm ∼ 3500 mm SDK機能 Depth、OpenNIと一緒 その他 USB駆動、バッテリー付き 13年10月10日木曜日
  16. 16. XBOX ONE 種類 XBOX ONE Kinect 対応OS Windows センサー TOF、RGBカメラ、マイク 測位距離 N.A SDK機能 RGB、Depth、骨格、顔認識(部位)、音声認識、ジェスチャ、 Interaction(手を握る、開く、押す)、Fusion(リアルタイム3D) 心拍、重心、筋肉、回転角度 その他 $399で2013/11に先行入手、正式発売は2014年 13年10月10日木曜日
  17. 17. PS4 Camera 種類 Play Station Camera 対応OS PS4 センサー カメラ x 2 測位距離 300 mm ∼ N.A SDK機能 N.A その他 PS4用専用端子 13年10月10日木曜日
  18. 18. HVC 種類 HVC(HumanVision Components)、組込み向けモジュール 対応OS 組込み向け センサー N.A(恐らくRGBカメラ or ToF) 測位距離 N.A 機能 顔検出、人体検出、性別推定、年齢推定、視線推定、顔向き推 定、顔認証、表情推定(満足、不満足/喜び、驚き、怒り、悲し み)、手検出、目つむり推定 その他 1,000ロットで37,000円∼とのこと 13年10月10日木曜日
  19. 19. 出来ること メディア寄り 商用・製品 AR ユーザーインタフェイス 展示でのインタラクション ゲーム アートワーク 医療 ロボット 製品への組込 店舗ディスプレイ 行動分析 13年10月10日木曜日
  20. 20. 最近の流れ • Intel PerCが異常に力を入れている • TOF方式が安価で主流になりそう • Android/iOS等のモバイル端末への組込 • PC等への搭載        LEAP&Dell、PrimeSense&Apple? 13年10月10日木曜日
  21. 21. 組込と3Dセンサー 13年10月10日木曜日
  22. 22. 組込利用 Xtion 唯一の選択肢 KINECT : ライセンス的にNG PerC : 組込向けSDKが無い 13年10月10日木曜日
  23. 23. OpenNI NiTE 3Dセンサー用SDK 主にXtionで利用(他も組込可) RGB/Depthデータを処理 SkeletonTracking/ジェスチャを処 理するミドルウェアNiTE 13年10月10日木曜日
  24. 24. 動作確認済基盤 BeagleBoard TI(Texas Instruments) CPU : Coretex-A8 Single Core 1Ghz MEM : 512Mbyte Power : 5V/400mA Pandaboard TI CPU : Cortex-A8 Dual Core 1.2Ghz MEM : 1Gbyte Power: 5V/2A Raspberry PI Raspberry PI Foundation CPU :ARM1176JZF-S, 700Mhz MEM: 512Mbyte Power: 5V/700mA over ODROID Hardkernel (CPU: Samsung) CPU : Cortex-A9 Quad Core 1.7Ghz MEM : 2GByte Power : 5V/2A 13年10月10日木曜日
  25. 25. 利用可能な環境 ARM Linux  Linaro Ubuntu  Debian Linux ... Android  Android 2.2 以上 注) ・ARM CPU の型 ・浮動小数点演算の選択 (Softfloat/Hardfloat) ・GPUの選択 ・root権限必須 13年10月10日木曜日
  26. 26. 利点 問題点 ポータブルな センシング 低消費電力 他デバイスとの連携 CPUの処理能力が 凄まじく低い NiTEが無い 電力の確保 組込のノウハウ (OS・基盤のクセ)13年10月10日木曜日
  27. 27. 利用方法 ∼ GW PC:3Dデータの処理、ARM端末からの制御処理を行うGW ARM端末 : 処理データの表示・制御を行うコントローラ 利点:Kinect/Xtion/DepthSense何でも使える。 欠点:ARMはただのコントローラ 13年10月10日木曜日
  28. 28. 利用方法 ∼ 直接 ARM端末  直接Xtionからのデータを処理する  利点&欠点は全部引き継ぐ  端末性能が現時点ではとても低いため、1次/2次加工  データはクラウドへ... 13年10月10日木曜日
  29. 29. 直接接続での推奨環境 ・基盤の選定  Dual Core Cortex ARM 9/NEON  1Gbyte以上のメモリ ・OSの選定  OpenNIがバイナリ提供しているのはSoftfp  rootが必須 ・構成検討 13年10月10日木曜日
  30. 30. 課題 ・電源の確保  高スペックCPU/処理を大量に行うと電池を食う  モバイルバッテリーにも上限が... ・熱暴走 ・NiTEの公開 13年10月10日木曜日
  31. 31. 個人的な事例&デモ 13年10月10日木曜日
  32. 32. R&D Support Meta AR Glass Michigan Univ Industrial Technology Research Institute, Columbia Univ, Cololado Univ, Vienna University of Technology, Kuwait University National University of Singapore, Universidade Federal de Goiás ... etc Virtu Sense Technologies 13年10月10日木曜日

×