Copyright© 2013, pnop Inc., All Rights Reserved.Microsoft テクノロジーの歩き方NUI/Kinectを使ってみようKeiji Kamebuchipnop Inc.
Copyright© 2013, pnop Inc., All Rights Reserved.Self introduction{"name" : "Keiji Kamebuchi","corporation" : "pnop Inc.","...
Copyright© 2013, pnop Inc., All Rights Reserved.Goal Kinect について知る、実際に触ってみる、使ってみる 関連する知識へのポインタを得る 可能性について思いを馳せる
Copyright© 2013, pnop Inc., All Rights Reserved.Agenda Microsoft のテクノロジーの俯瞰 NUI と Kinect Kinect Hands on まとめ
Copyright© 2013, pnop Inc., All Rights Reserved.Microsoftテクノロジーの俯瞰
Copyright© 2013, pnop Inc., All Rights Reserved.http://www.codeview.net/2013/01/23/microsoft-technologies-infographic/
Copyright© 2013, pnop Inc., All Rights Reserved.MSDN Library
Copyright© 2013, pnop Inc., All Rights Reserved.Kinect の場合http://www.microsoft.com/en-us/kinectforwindows/develop/develope...
Copyright© 2013, pnop Inc., All Rights Reserved.Kinect の場合Kinect.NET Framework C++WPF XNA / Direct X
Copyright© 2013, pnop Inc., All Rights Reserved.最新情報など Kinect for Windows http://www.microsoft.com/en-us/kinectforwindow...
Copyright© 2013, pnop Inc., All Rights Reserved.NUI と Kinect
Copyright© 2013, pnop Inc., All Rights Reserved.NUI? Natural User Interface 直感的な行動、自然な操作(タッチ操作や話す・ジェスチャーする等)をインターフェースに
Copyright© 2013, pnop Inc., All Rights Reserved.NUI != Kinect
Copyright© 2013, pnop Inc., All Rights Reserved.沿革 In 2006 Christian Moore established an open research community withthe...
Copyright© 2013, pnop Inc., All Rights Reserved.NUIhttp://research.microsoft.com/en-us/collaboration/focus/nui/default.aspx
Copyright© 2013, pnop Inc., All Rights Reserved.Kinect
Copyright© 2013, pnop Inc., All Rights Reserved.Kinect? Microsoftが提供するXBOX360用のコントローラー NUIの入り口、高機能センサー
Copyright© 2013, pnop Inc., All Rights Reserved.http://internet.watch.impress.co.jp/docs/news/20130129_585412.html
Copyright© 2013, pnop Inc., All Rights Reserved.http://internet.watch.impress.co.jp/docs/news/20130129_585412.html
Copyright© 2013, pnop Inc., All Rights Reserved.http://monoist.atmarkit.co.jp/mn/articles/1306/17/news102.html
Copyright© 2013, pnop Inc., All Rights Reserved.Two Extremes ofTouch Interactionhttp://research.microsoft.com/en-us/news/f...
Copyright© 2013, pnop Inc., All Rights Reserved.
Copyright© 2013, pnop Inc., All Rights Reserved.Kinect for Windows Windows 向けの Kinect Windows 7 / Windows 8 / Windows Em...
Copyright© 2013, pnop Inc., All Rights Reserved.距離カメラ(深度センサー)RGBカメラ指向性マイクアレイ チルトモーターハードウェア
Copyright© 2013, pnop Inc., All Rights Reserved.ハードウェア
Copyright© 2013, pnop Inc., All Rights Reserved.アプリケーションRawデータセンサーから得られる情報RGBカメラ深度センサー指向性マイクUSB2.0RGBデータ深度情報PCM音声Kinect SD...
Copyright© 2013, pnop Inc., All Rights Reserved.深度センサー出典:“Human Interface Guideline”
Copyright© 2013, pnop Inc., All Rights Reserved.深度センサー出典:“Human Interface Guideline”
Copyright© 2013, pnop Inc., All Rights Reserved.Demo深度センサー
Copyright© 2013, pnop Inc., All Rights Reserved.可動範囲とセンサー範囲出典:“Human Interface Guideline”
Copyright© 2013, pnop Inc., All Rights Reserved.音声入力出典:“Human Interface Guideline”
Copyright© 2013, pnop Inc., All Rights Reserved.音声入力出典:“Human Interface Guideline”
Copyright© 2013, pnop Inc., All Rights Reserved.Demoチルトモーターと音声認識
Copyright© 2013, pnop Inc., All Rights Reserved.骨格追跡 (Skeleton tracking)骨格トラッキングは2名までプレイヤー認識は6名まで出典:“Human Interface Guide...
Copyright© 2013, pnop Inc., All Rights Reserved.骨格追跡 (Skeleton tracking)HandLeftWristLeftShoulderLeftHeadElbowLeftShoulder...
Copyright© 2013, pnop Inc., All Rights Reserved.座標軸 (右手座標系)NegativePositivePositive NegativePositive
Copyright© 2013, pnop Inc., All Rights Reserved.トラッキングの種類とスムージング実測の場合 : Tracked予測の場合 : InferredTransformSmoothParameters で...
Copyright© 2013, pnop Inc., All Rights Reserved.Demo骨格追跡
Copyright© 2013, pnop Inc., All Rights Reserved.ネットワークのデモhttp://xxx.xxx.xxx:xxx/
Copyright© 2013, pnop Inc., All Rights Reserved.Coming Soon?旧Kinect 新Kinectカメラ解像度 1280 x 1024 / 640 x 480 1920 x 1080深度取得方...
Copyright© 2013, pnop Inc., All Rights Reserved.Hands on
Copyright© 2013, pnop Inc., All Rights Reserved.ScenarioA) Kinect を接続して制御してみましょうB) 深度情報を表示してみましょうC) 骨格情報を追跡してみましょうD) コントロー...
Copyright© 2013, pnop Inc., All Rights Reserved.ヒント Kinect Studio を使うとセンサーのデータを再現できます※デバイスをエミュレートしてくれるわけではありません
Copyright© 2013, pnop Inc., All Rights Reserved.ヒント 利用シーンを想定しましょう Near (近距離)なのか通常使用なのか トラッキングできる人数や骨格情報、範囲が異なります GUIな画...
Copyright© 2013, pnop Inc., All Rights Reserved.Coding4Fun Kinect Toolkithttp://c4fkinect.codeplex.com/
Copyright© 2013, pnop Inc., All Rights Reserved.まとめ
Copyright© 2013, pnop Inc., All Rights Reserved.まとめ 知識の深堀りと関連分野の裾野を広げましょう 高速道路を飛ばしながらも下道を散策 継続は力、実践は訓練 NUI をどう使うかはまだまだ...
Copyright© 2013, pnop Inc., All Rights Reserved.Challenge!http://k4wa.com/
Copyright© 2013, pnop Inc., All Rights Reserved.Appendix
Copyright© 2013, pnop Inc., All Rights Reserved.出典 / 補足情報 Microsoft Technologies Infographic http://www.codeview.net/201...
Upcoming SlideShare
Loading in …5
×

NUI and Kinect

873 views

Published on

ITエースをねらえ!プロジェクト #5

Published in: Technology
0 Comments
3 Likes
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total views
873
On SlideShare
0
From Embeds
0
Number of Embeds
5
Actions
Shares
0
Downloads
0
Comments
0
Likes
3
Embeds 0
No embeds

No notes for slide

NUI and Kinect

  1. 1. Copyright© 2013, pnop Inc., All Rights Reserved.Microsoft テクノロジーの歩き方NUI/Kinectを使ってみようKeiji Kamebuchipnop Inc.
  2. 2. Copyright© 2013, pnop Inc., All Rights Reserved.Self introduction{"name" : "Keiji Kamebuchi","corporation" : "pnop Inc.","mail" : "kamebuchi@pnop.co.jp","web" : "http://buchizo.wordpress.com/","twitter" : "@kamebuchi","facebook" : "https://www.facebook.com/keijikamebuchi"}KeijiKamebuchi buchizo@kamebuchiSenior Fellow
  3. 3. Copyright© 2013, pnop Inc., All Rights Reserved.Goal Kinect について知る、実際に触ってみる、使ってみる 関連する知識へのポインタを得る 可能性について思いを馳せる
  4. 4. Copyright© 2013, pnop Inc., All Rights Reserved.Agenda Microsoft のテクノロジーの俯瞰 NUI と Kinect Kinect Hands on まとめ
  5. 5. Copyright© 2013, pnop Inc., All Rights Reserved.Microsoftテクノロジーの俯瞰
  6. 6. Copyright© 2013, pnop Inc., All Rights Reserved.http://www.codeview.net/2013/01/23/microsoft-technologies-infographic/
  7. 7. Copyright© 2013, pnop Inc., All Rights Reserved.MSDN Library
  8. 8. Copyright© 2013, pnop Inc., All Rights Reserved.Kinect の場合http://www.microsoft.com/en-us/kinectforwindows/develop/developer-downloads.aspx
  9. 9. Copyright© 2013, pnop Inc., All Rights Reserved.Kinect の場合Kinect.NET Framework C++WPF XNA / Direct X
  10. 10. Copyright© 2013, pnop Inc., All Rights Reserved.最新情報など Kinect for Windows http://www.microsoft.com/en-us/kinectforwindows/ Kinect for Windows Product Blog http://blogs.msdn.com/b/kinectforwindows/ CodePlex Samples http://kinectforwindows.codeplex.com/ NeaRael / IMYGraphics http://andorelseif.com/Neareal/index.php?Kinect http://andorelseif.com/IMYGraphics/Wiki/doku.php?id=kinect Channel 9 http://channel9.msdn.com/search?term=Kinect
  11. 11. Copyright© 2013, pnop Inc., All Rights Reserved.NUI と Kinect
  12. 12. Copyright© 2013, pnop Inc., All Rights Reserved.NUI? Natural User Interface 直感的な行動、自然な操作(タッチ操作や話す・ジェスチャーする等)をインターフェースに
  13. 13. Copyright© 2013, pnop Inc., All Rights Reserved.NUI != Kinect
  14. 14. Copyright© 2013, pnop Inc., All Rights Reserved.沿革 In 2006 Christian Moore established an open research community withthe goal to expand discussion and development related to NUItechnologies. In a 2008 conference presentation "Predicting the Past," August de losReyes, a Principal User Experience Director of Surface Computing atMicrosoft described the NUI as the next evolutionary phase followingthe shift from the CLI to the GUI. 2009年6月1日 - ロサンゼルスで開催されたE3 2009のカンファレンスで「Project Natal」の名で発表された。 2010年6月13日 - ロサンゼルスで開催された「The World PremiereKinect for Xbox 360 Experience」にて正式名称が「Kinect」であることが発表された。 2010年11月4日 - 北米にて発売。大規模なローンチイベントが開催された。マイクロソフトのドン・マトリックは、受注が好調なためKinectの年内の販売予測を300万台から500万台に引き上げたと発表した。http://en.wikipedia.org/wiki/Natural_user_interfacehttp://ja.wikipedia.org/wiki/Kinect
  15. 15. Copyright© 2013, pnop Inc., All Rights Reserved.NUIhttp://research.microsoft.com/en-us/collaboration/focus/nui/default.aspx
  16. 16. Copyright© 2013, pnop Inc., All Rights Reserved.Kinect
  17. 17. Copyright© 2013, pnop Inc., All Rights Reserved.Kinect? Microsoftが提供するXBOX360用のコントローラー NUIの入り口、高機能センサー
  18. 18. Copyright© 2013, pnop Inc., All Rights Reserved.http://internet.watch.impress.co.jp/docs/news/20130129_585412.html
  19. 19. Copyright© 2013, pnop Inc., All Rights Reserved.http://internet.watch.impress.co.jp/docs/news/20130129_585412.html
  20. 20. Copyright© 2013, pnop Inc., All Rights Reserved.http://monoist.atmarkit.co.jp/mn/articles/1306/17/news102.html
  21. 21. Copyright© 2013, pnop Inc., All Rights Reserved.Two Extremes ofTouch Interactionhttp://research.microsoft.com/en-us/news/features/touch-101711.aspx
  22. 22. Copyright© 2013, pnop Inc., All Rights Reserved.
  23. 23. Copyright© 2013, pnop Inc., All Rights Reserved.Kinect for Windows Windows 向けの Kinect Windows 7 / Windows 8 / Windows Embedded Standard 7 / WindowsEmbedded POSReady 7 / Windows Embedded Standard 8Kinect for Windows Kinect for XBOX商用利用 OK NGKinect for Windows SDK OK OKKinect for Windows SDK User Runtime OK NGXBOX360 での利用 NG OKNearモード OK NG
  24. 24. Copyright© 2013, pnop Inc., All Rights Reserved.距離カメラ(深度センサー)RGBカメラ指向性マイクアレイ チルトモーターハードウェア
  25. 25. Copyright© 2013, pnop Inc., All Rights Reserved.ハードウェア
  26. 26. Copyright© 2013, pnop Inc., All Rights Reserved.アプリケーションRawデータセンサーから得られる情報RGBカメラ深度センサー指向性マイクUSB2.0RGBデータ深度情報PCM音声Kinect SDKSpeech SDK骨格情報音声認識顔・表情3D モデリング
  27. 27. Copyright© 2013, pnop Inc., All Rights Reserved.深度センサー出典:“Human Interface Guideline”
  28. 28. Copyright© 2013, pnop Inc., All Rights Reserved.深度センサー出典:“Human Interface Guideline”
  29. 29. Copyright© 2013, pnop Inc., All Rights Reserved.Demo深度センサー
  30. 30. Copyright© 2013, pnop Inc., All Rights Reserved.可動範囲とセンサー範囲出典:“Human Interface Guideline”
  31. 31. Copyright© 2013, pnop Inc., All Rights Reserved.音声入力出典:“Human Interface Guideline”
  32. 32. Copyright© 2013, pnop Inc., All Rights Reserved.音声入力出典:“Human Interface Guideline”
  33. 33. Copyright© 2013, pnop Inc., All Rights Reserved.Demoチルトモーターと音声認識
  34. 34. Copyright© 2013, pnop Inc., All Rights Reserved.骨格追跡 (Skeleton tracking)骨格トラッキングは2名までプレイヤー認識は6名まで出典:“Human Interface Guideline”
  35. 35. Copyright© 2013, pnop Inc., All Rights Reserved.骨格追跡 (Skeleton tracking)HandLeftWristLeftShoulderLeftHeadElbowLeftShoulderRightHandRightWristRightElbowRightShoulderCenterFootLeftAnkleLeftKneeLeftHipLeftHipCenterHipRightFootRightAnkleRightKneeRightSpineSeated (10)Default (20)
  36. 36. Copyright© 2013, pnop Inc., All Rights Reserved.座標軸 (右手座標系)NegativePositivePositive NegativePositive
  37. 37. Copyright© 2013, pnop Inc., All Rights Reserved.トラッキングの種類とスムージング実測の場合 : Tracked予測の場合 : InferredTransformSmoothParameters でスムージングなどの細かいパラメータを指定できるスムーズ生データ
  38. 38. Copyright© 2013, pnop Inc., All Rights Reserved.Demo骨格追跡
  39. 39. Copyright© 2013, pnop Inc., All Rights Reserved.ネットワークのデモhttp://xxx.xxx.xxx:xxx/
  40. 40. Copyright© 2013, pnop Inc., All Rights Reserved.Coming Soon?旧Kinect 新Kinectカメラ解像度 1280 x 1024 / 640 x 480 1920 x 1080深度取得方式 赤外線パターン方式 Time Of Flight深度解像度 Player Index : 320 x 240Depth only : 640 x 480?スケルトントラッキング 2人 6人FPS 30 fps 30 fps視野角 + 60%その他 指、顔の表情認識アクティブIR音声認識の向上秒間2Gbの情報量関節の向きの認識人体物理モデルによる重心把握、心拍数取得など
  41. 41. Copyright© 2013, pnop Inc., All Rights Reserved.Hands on
  42. 42. Copyright© 2013, pnop Inc., All Rights Reserved.ScenarioA) Kinect を接続して制御してみましょうB) 深度情報を表示してみましょうC) 骨格情報を追跡してみましょうD) コントロールを活用してジェスチャーを組み込んでみましょう実際のシチュエーションや用途を思い浮かべながら、触ってみましょう資料のダウンロードhttp://xxx.xxx.xxx:xxx/
  43. 43. Copyright© 2013, pnop Inc., All Rights Reserved.ヒント Kinect Studio を使うとセンサーのデータを再現できます※デバイスをエミュレートしてくれるわけではありません
  44. 44. Copyright© 2013, pnop Inc., All Rights Reserved.ヒント 利用シーンを想定しましょう Near (近距離)なのか通常使用なのか トラッキングできる人数や骨格情報、範囲が異なります GUIな画面を操作する場合 操作がぶれることを想定 コントロールを大きめにする トリガーとインタラクション/フィードバック 意図しない操作になる可能性があることを考慮しましょう 横方向のジェスチャーと斜め方向のジェスチャーで異なる意味を持たせる等は不適切です XBOXの音声操作:「エックスボックス」という音声コマンドをトリガーに 処理がなされているかどうかがわかりにくい → 操作に対して色が変わる、音が鳴る等 無理のない操作を Kinectでジェスチャーは意外と疲れます
  45. 45. Copyright© 2013, pnop Inc., All Rights Reserved.Coding4Fun Kinect Toolkithttp://c4fkinect.codeplex.com/
  46. 46. Copyright© 2013, pnop Inc., All Rights Reserved.まとめ
  47. 47. Copyright© 2013, pnop Inc., All Rights Reserved.まとめ 知識の深堀りと関連分野の裾野を広げましょう 高速道路を飛ばしながらも下道を散策 継続は力、実践は訓練 NUI をどう使うかはまだまだこれから デバイスは進化するものです Kinect 以外 Leap motion Intel Perceptual Computing Google Glass などなど Kinect を入り口に新しい世界を作りましょう!
  48. 48. Copyright© 2013, pnop Inc., All Rights Reserved.Challenge!http://k4wa.com/
  49. 49. Copyright© 2013, pnop Inc., All Rights Reserved.Appendix
  50. 50. Copyright© 2013, pnop Inc., All Rights Reserved.出典 / 補足情報 Microsoft Technologies Infographic http://www.codeview.net/2013/01/23/microsoft-technologies-infographic/ Human Interface Guideline Building Apps with the Kinect for Windows SDK http://channel9.msdn.com/Events/TechEd/NorthAmerica/2013/DEV-B305 Kinect for Windows SDK EULA http://www.microsoft.com/en-us/kinectforwindows/develop/sdk-eula_ja-jp.aspx NUI – Wikipedia http://en.wikipedia.org/wiki/Natural_user_interface NUI – Microsoft Research http://research.microsoft.com/en-us/collaboration/focus/nui/default.aspx Kinect – Wikipedia http://ja.wikipedia.org/wiki/Kinect

×