Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
ジェスチャ認識・物体形状取得が
もたらす新たな未来
~ Kinect など距離センサーの概要と事例~
2016/02/02
第24回テクノフォーラム
木更津高専 技術振興交流会
Natural Software 中村 薫
自己紹介
中村 薫
フリーランスで主にDepthセンサー系の仕事をしています
アプリケーション開発
講演、ハンズオンセミナー
執筆など
Microsoft MVP for Windows Development
(旧: Microsoft MV...
Tokyo MotionControl Network
Copyright © 2016 Natural Software All rights reserved.
https://www.facebook.com/TokyoMotioncon...
More Personal Computing
Copyright © 2016 Natural Software All rights reserved.
More Personal Computing
Windows 10の世界で、Microsoftの各種技術を使った、
新しいComputing体験
Copyright © 2016 Natural Software All rights res...
More Personal Computing
Copyright © 2016 Natural Software All rights reserved.
• Gesture(ジェスチャー)
• Identity(認証)
• Speech(音...
Windows Hello
Copyright © 2016 Natural Software All rights reserved.
https://www.youtube.com/watch?v=yBb76e53hno
Cortana
Copyright © 2016 Natural Software All rights reserved.
More Personal Computing
Copyright © 2016 Natural Software All rights reserved.
• Gesture(ジェスチャー)
• Identity(認証)
• Speech(音...
More Personal Computing
Copyright © 2016 Natural Software All rights reserved.
• Gesture(ジェスチャー)
• Identity(認証)
• Speech(音...
次の一歩
Copyright © 2016 Natural Software All rights reserved.
https://www.microsoft.com/microsoft-hololens/en-us
次の一歩
Copyright © 2016 Natural Software All rights reserved.
https://www.youtube.com/watch?v=DilzwF90vec
次の一歩
Copyright © 2016 Natural Software All rights reserved.
• Scene Perception(場所のスキャン)
• 3D Scan
次の一歩
Copyright © 2016 Natural Software All rights reserved.
• Scene Perception
• 3D Scan
Kinect(Kinect Fusion)
Point Cloud
次の一歩
Copyright © 2016 Natural Software All rights reserved.
• Scene Perception
• 3D Scan
環境をセンシングするチカラ
Kinect(Kinect Fusio...
センサーを利用したパターン
Copyright © 2015 Natural Software.jp All rights reserved. 16
事例
Copyright © 2016 Natural Software All rights reserved.
エンターテインメント
Copyright © 2016 Natural Software All rights reserved.
http://www.naturalsoftware.jp/entry/2014/09/07/120940
認証(Windows Hello)
Copyright © 2016 Natural Software All rights reserved.
https://www.youtube.com/watch?v=yBb76e53hno
3Dスキャン
Copyright © 2016 Natural Software All rights reserved.
https://www.youtube.com/watch?v=nJOyqaBQg74
フェイススキャン
Copyright © 2016 Natural Software All rights reserved.
医療、リハビリ
Copyright © 2016 Natural Software All rights reserved.
https://www.youtube.com/watch?v=KVhdJgnPak4
環境スキャン
Copyright © 2016 Natural Software All rights reserved.
VR(Virtual Reality)
Copyright © 2015 Natural Software.jp All rights reserved.
https://developer.leapmotion.com/vr
24
VR空間内を触る
Copyright © 2016 Natural Software All rights reserved.
https://www.youtube.com/watch?v=loD61OVYdmA
Project Tango
Copyright © 2016 Natural Software All rights reserved.
http://www.engadget.com/2015/08/18/google-intel-reals...
界隈の流れ
Copyright © 2016 Natural Software All rights reserved.
Copyright © 2016 Natural Software All rights reserved.
大きな流れ・1
Copyright © 2016 Natural Software All rights reserved.
大きな流れ・1
Copyright © 2016 Natural Software All rights reserved.
Microsoft Intel
Apple Google
大きな流れ・1
Copyright © 2016 Natural Software All rights reserved.
Microsoft Intel
Apple Google
Windows Hello
Project Tango
紹介するDepthセンサー
Copyright © 2016 Natural Software All rights reserved.
Microsoft
Kinect v2
Intel
RealSense
Apple Google
Wind...
Kinect v2
Copyright © 2016 Natural Software All rights reserved.
Kinect v2
Copyright © 2016 Natural Software All rights reserved.
http://www.microsoftstore.com/store/msjp/ja_JP/pdp/produc...
Kinect v2
Copyright © 2016 Natural Software All rights reserved.
Color:カラー画像 Depth:距離データ
Body:体の情報(関節など) Audio:音声データ
Infra...
Kinect v2
Copyright © 2016 Natural Software All rights reserved.
Control:
ユーザーインタフェース(NUI)
Fusion:
3次元モデルの再構築
Face:
顔の情報(表...
Kinect v2
Copyright © 2016 Natural Software All rights reserved.
Kinect Studio:
Kinectデータの記録と再生
Visual Gesture Builder:
ポー...
事例
Copyright © 2016 Natural Software All rights reserved.
エンタメ
Copyright © 2016 Natural Software All rights reserved.
http://www.naturalsoftware.jp/entry/2014/09/07/120940
フェイススキャン
Copyright © 2016 Natural Software All rights reserved.
医療、リハビリ
Copyright © 2016 Natural Software All rights reserved.
https://www.youtube.com/watch?v=KVhdJgnPak4
デモ
Copyright © 2016 Natural Software All rights reserved.
インテル RealSense テクノロジー
Copyright © 2016 Natural Software All rights reserved.
インテル RealSense テクノロ
ジー
• 手指や顔の表情を認識できる
• 環境センシングができる
• 音声認識、音声合成ができる
• インテル RealSense SDKを利用する
• インテル RealSense カメラが3Dを担当
...
インテル RealSense カメラ
Copyright © 2016 Natural Software All rights reserved.
F200 R200
内蔵されたインテル RealSense カメラ
Copyright © 2016 Natural Software All rights reserved.
F200 R200
内蔵化のメリット
• ユーザーの増加
• 内蔵することで、コンシューマー製品に乗る
• 価格のさらなる低下
• ケーブルからの解放
• 電源、USBケーブル
• タッチパネルとのコラボレーション
• タブレット+Depthセンサー
Copyri...
内蔵化のデメリット
• 自由度の減少
• 端末のサイズに制限される
Copyright © 2015 Natural Software.jp All rights reserved. 48
インテル RealSense SDK
Copyright © 2016 Natural Software All rights reserved.
Color/Depth/IR Stream Facial AnalysisEmotion
Han...
インテル RealSense SDK
Copyright © 2016 Natural Software All rights reserved.
Segmentation Object Tracking(AR) 3D Scan
Speech ...
インテル RealSense SDK
Copyright © 2016 Natural Software All rights reserved.
Measure Refocus Paste On Plane
Depth Upscale Col...
インテル RealSense SDK
Copyright © 2016 Natural Software All rights reserved.
Scene Perception
Enhanced VideographySegmentation
事例
Copyright © 2016 Natural Software All rights reserved.
エンターテインメント
Copyright © 2016 Natural Software All rights reserved.
http://www.shikumi.co.jp/
認証(Windows Hello)
Copyright © 2016 Natural Software All rights reserved.
https://www.youtube.com/watch?v=yBb76e53hno
3Dスキャン
Copyright © 2016 Natural Software All rights reserved.
https://www.youtube.com/watch?v=nJOyqaBQg74
ハッカソン
Copyright © 2016 Natural Software All rights reserved.
http://news.mynavi.jp/articles/2016/01/25/realsense/
http://w...
デモ
Copyright © 2016 Natural Software All rights reserved.
様々な業界から、
自分たちの問題を解決する
手段に使えそうなアイデア
Copyright © 2016 Natural Software All rights reserved.
www.naturalsoftware.jp
Copyright © 2016 Natural Software All rights reserved.
Upcoming SlideShare
Loading in …5
×

ジェスチャ認識・物体形状取得がもたらす新たな未来

2016/2/2 第24回テクノフォーラム 木更津高専 技術振興交流会
での資料

  • Be the first to comment

ジェスチャ認識・物体形状取得がもたらす新たな未来

  1. 1. ジェスチャ認識・物体形状取得が もたらす新たな未来 ~ Kinect など距離センサーの概要と事例~ 2016/02/02 第24回テクノフォーラム 木更津高専 技術振興交流会 Natural Software 中村 薫
  2. 2. 自己紹介 中村 薫 フリーランスで主にDepthセンサー系の仕事をしています アプリケーション開発 講演、ハンズオンセミナー 執筆など Microsoft MVP for Windows Development (旧: Microsoft MVP for Kinect for Windows) http://www.naturalsoftware.jp/ kaorun55@naturalsoftware.jp Copyright © 2016 Natural Software All rights reserved.
  3. 3. Tokyo MotionControl Network Copyright © 2016 Natural Software All rights reserved. https://www.facebook.com/TokyoMotioncontrolNetwork
  4. 4. More Personal Computing Copyright © 2016 Natural Software All rights reserved.
  5. 5. More Personal Computing Windows 10の世界で、Microsoftの各種技術を使った、 新しいComputing体験 Copyright © 2016 Natural Software All rights reserved. • Gesture(ジェスチャー) • Identity(認証) • Speech(音声) • Ink(手書き)
  6. 6. More Personal Computing Copyright © 2016 Natural Software All rights reserved. • Gesture(ジェスチャー) • Identity(認証) • Speech(音声) • Ink(手書き) タッチパネル Windows Hello(顔,光彩,指紋) Cortana,音声認識,音声合成 DirectInk
  7. 7. Windows Hello Copyright © 2016 Natural Software All rights reserved. https://www.youtube.com/watch?v=yBb76e53hno
  8. 8. Cortana Copyright © 2016 Natural Software All rights reserved.
  9. 9. More Personal Computing Copyright © 2016 Natural Software All rights reserved. • Gesture(ジェスチャー) • Identity(認証) • Speech(音声) • Ink(手書き) Kinect(NUI) Kinect(Windows Hello) Kinect(音声認識) …
  10. 10. More Personal Computing Copyright © 2016 Natural Software All rights reserved. • Gesture(ジェスチャー) • Identity(認証) • Speech(音声) • Ink(手書き) Kinect(NUI) Kinect(Windows Hello) Kinect(音声認識) … 人をセンシングするチカラ
  11. 11. 次の一歩 Copyright © 2016 Natural Software All rights reserved. https://www.microsoft.com/microsoft-hololens/en-us
  12. 12. 次の一歩 Copyright © 2016 Natural Software All rights reserved. https://www.youtube.com/watch?v=DilzwF90vec
  13. 13. 次の一歩 Copyright © 2016 Natural Software All rights reserved. • Scene Perception(場所のスキャン) • 3D Scan
  14. 14. 次の一歩 Copyright © 2016 Natural Software All rights reserved. • Scene Perception • 3D Scan Kinect(Kinect Fusion) Point Cloud
  15. 15. 次の一歩 Copyright © 2016 Natural Software All rights reserved. • Scene Perception • 3D Scan 環境をセンシングするチカラ Kinect(Kinect Fusion) Point Cloud
  16. 16. センサーを利用したパターン Copyright © 2015 Natural Software.jp All rights reserved. 16
  17. 17. 事例 Copyright © 2016 Natural Software All rights reserved.
  18. 18. エンターテインメント Copyright © 2016 Natural Software All rights reserved. http://www.naturalsoftware.jp/entry/2014/09/07/120940
  19. 19. 認証(Windows Hello) Copyright © 2016 Natural Software All rights reserved. https://www.youtube.com/watch?v=yBb76e53hno
  20. 20. 3Dスキャン Copyright © 2016 Natural Software All rights reserved. https://www.youtube.com/watch?v=nJOyqaBQg74
  21. 21. フェイススキャン Copyright © 2016 Natural Software All rights reserved.
  22. 22. 医療、リハビリ Copyright © 2016 Natural Software All rights reserved. https://www.youtube.com/watch?v=KVhdJgnPak4
  23. 23. 環境スキャン Copyright © 2016 Natural Software All rights reserved.
  24. 24. VR(Virtual Reality) Copyright © 2015 Natural Software.jp All rights reserved. https://developer.leapmotion.com/vr 24
  25. 25. VR空間内を触る Copyright © 2016 Natural Software All rights reserved. https://www.youtube.com/watch?v=loD61OVYdmA
  26. 26. Project Tango Copyright © 2016 Natural Software All rights reserved. http://www.engadget.com/2015/08/18/google-intel-realsense-tango/
  27. 27. 界隈の流れ Copyright © 2016 Natural Software All rights reserved.
  28. 28. Copyright © 2016 Natural Software All rights reserved.
  29. 29. 大きな流れ・1 Copyright © 2016 Natural Software All rights reserved.
  30. 30. 大きな流れ・1 Copyright © 2016 Natural Software All rights reserved. Microsoft Intel Apple Google
  31. 31. 大きな流れ・1 Copyright © 2016 Natural Software All rights reserved. Microsoft Intel Apple Google Windows Hello Project Tango
  32. 32. 紹介するDepthセンサー Copyright © 2016 Natural Software All rights reserved. Microsoft Kinect v2 Intel RealSense Apple Google Windows Hello Project Tango
  33. 33. Kinect v2 Copyright © 2016 Natural Software All rights reserved.
  34. 34. Kinect v2 Copyright © 2016 Natural Software All rights reserved. http://www.microsoftstore.com/store/msjp/ja_JP/pdp/productID.298959900 • 人間の認識ができる • 顔の高精度な認識ができる • 音声認識ができる • 3Dスキャンができる
  35. 35. Kinect v2 Copyright © 2016 Natural Software All rights reserved. Color:カラー画像 Depth:距離データ Body:体の情報(関節など) Audio:音声データ Infrared:赤外線画像 PlayerIndex:プレイヤー番号
  36. 36. Kinect v2 Copyright © 2016 Natural Software All rights reserved. Control: ユーザーインタフェース(NUI) Fusion: 3次元モデルの再構築 Face: 顔の情報(表情など) HD Face: 高精度の顔情報(3Dモデルなど) Speech: 音声コマンド認識 Gesture: ユーザー定義のジェスチャー
  37. 37. Kinect v2 Copyright © 2016 Natural Software All rights reserved. Kinect Studio: Kinectデータの記録と再生 Visual Gesture Builder: ポーズやジェスチャーの作成 Kinect v2 Configuration Verifier: ハードウェアが要求を満たして いるかチェックする
  38. 38. 事例 Copyright © 2016 Natural Software All rights reserved.
  39. 39. エンタメ Copyright © 2016 Natural Software All rights reserved. http://www.naturalsoftware.jp/entry/2014/09/07/120940
  40. 40. フェイススキャン Copyright © 2016 Natural Software All rights reserved.
  41. 41. 医療、リハビリ Copyright © 2016 Natural Software All rights reserved. https://www.youtube.com/watch?v=KVhdJgnPak4
  42. 42. デモ Copyright © 2016 Natural Software All rights reserved.
  43. 43. インテル RealSense テクノロジー Copyright © 2016 Natural Software All rights reserved.
  44. 44. インテル RealSense テクノロ ジー • 手指や顔の表情を認識できる • 環境センシングができる • 音声認識、音声合成ができる • インテル RealSense SDKを利用する • インテル RealSense カメラが3Dを担当 • コンピューターへの内蔵化が進む Copyright © 2016 Natural Software All rights reserved. http://click.intel.com/intelr-realsensetm-developer-kit.html
  45. 45. インテル RealSense カメラ Copyright © 2016 Natural Software All rights reserved. F200 R200
  46. 46. 内蔵されたインテル RealSense カメラ Copyright © 2016 Natural Software All rights reserved. F200 R200
  47. 47. 内蔵化のメリット • ユーザーの増加 • 内蔵することで、コンシューマー製品に乗る • 価格のさらなる低下 • ケーブルからの解放 • 電源、USBケーブル • タッチパネルとのコラボレーション • タブレット+Depthセンサー Copyright © 2015 Natural Software.jp All rights reserved. 47
  48. 48. 内蔵化のデメリット • 自由度の減少 • 端末のサイズに制限される Copyright © 2015 Natural Software.jp All rights reserved. 48
  49. 49. インテル RealSense SDK Copyright © 2016 Natural Software All rights reserved. Color/Depth/IR Stream Facial AnalysisEmotion Hand and Finger Tracking Gesture and Pose Depth Mask
  50. 50. インテル RealSense SDK Copyright © 2016 Natural Software All rights reserved. Segmentation Object Tracking(AR) 3D Scan Speech Recognition Voice Synthesis "Nothing to say?" Eye Tracking
  51. 51. インテル RealSense SDK Copyright © 2016 Natural Software All rights reserved. Measure Refocus Paste On Plane Depth Upscale Color PopDepth Enhance
  52. 52. インテル RealSense SDK Copyright © 2016 Natural Software All rights reserved. Scene Perception Enhanced VideographySegmentation
  53. 53. 事例 Copyright © 2016 Natural Software All rights reserved.
  54. 54. エンターテインメント Copyright © 2016 Natural Software All rights reserved. http://www.shikumi.co.jp/
  55. 55. 認証(Windows Hello) Copyright © 2016 Natural Software All rights reserved. https://www.youtube.com/watch?v=yBb76e53hno
  56. 56. 3Dスキャン Copyright © 2016 Natural Software All rights reserved. https://www.youtube.com/watch?v=nJOyqaBQg74
  57. 57. ハッカソン Copyright © 2016 Natural Software All rights reserved. http://news.mynavi.jp/articles/2016/01/25/realsense/ http://www.hightouch-hackathon.com/
  58. 58. デモ Copyright © 2016 Natural Software All rights reserved.
  59. 59. 様々な業界から、 自分たちの問題を解決する 手段に使えそうなアイデア Copyright © 2016 Natural Software All rights reserved.
  60. 60. www.naturalsoftware.jp Copyright © 2016 Natural Software All rights reserved.

×