Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

続・Kinect v2を通してMicrosoft技術を考える

3,107 views

Published on

MVP Community Camp 2015 東北会場で行ったセッションです。

Published in: Engineering
  • Be the first to comment

続・Kinect v2を通してMicrosoft技術を考える

  1. 1. ~ MVP Community Camp 2015 ~ 続・Kinect v2を通してMicrosoft技術を考える 五十嵐 祐貴(いがらし ゆうき) @bonprosoft Microsoft Student Partners Fellow, サトヤ仙台
  2. 2.     
  3. 3.
  4. 4. せっかくなので Azure を使って つないじゃおう☆彡
  5. 5. ~ MVP Community Camp 2015 ~ 東北と北陸を Kinect & ASP.NET & Azure で接続してみる 日本マイクロソフト株式会社 井上 章 MSP Fellow, サトヤ仙台 五十嵐 祐貴
  6. 6. Demo … Kinect v2 + Unity + ASP.NET + Azure
  7. 7. Microsoft Azure 仙台と北陸をつなぐ仕組み
  8. 8.  多様化するデバイス  マルチデバイス (PC, Tablet, Smartphone ...)  クロス プラットフォーム  IoT (Internet of Things)  不可欠な Web 技術  HTML, CSS, JavaScript, HTTP, REST ...  クラウド環境の普及と活用  スケーラビリティとアベイラビリティ  ビッグデータ分析 Productivity Future Vision 近未来の IT, Cloud, Web ...
  9. 9. ~ MVP Community Camp 2015 ~ 続・Kinect v2を通してMicrosoft技術を考える 五十嵐 祐貴(いがらし ゆうき) http://bonprosoft.com/ Microsoft Student Partners Fellow, サトヤ仙台
  10. 10.  Kinect v2の魅力を理解する  Microsoft技術に興味を持つ  Microsoft技術を使ってみたくなる このセッションのゴール Goal of this Session
  11. 11. Kinectとは • モーションセンサーデバイス • 全身の骨格や音声を手軽に扱える • Kinect for Windows v2とSDK2.0 • 色センサー • 赤外線センサー • 指向性マイク http://kinectforwindows.com/
  12. 12.  骨格情報  色情報  深度情報  赤外線情報  表情  音声認識  ジェスチャー認識 etc... 取得できるデータいろいろ
  13. 13. v1とv2の違い Kinect v1 Kinect v2 Preview 色 解像度 640x480 1920x1080 深度 解像度 320x240 512x424 認識範囲 0.8m~4.0m 0.5m~4.5m 検出角度 水平 57度 70度 垂直 43度 60度 マイク入力 4つのマイクアレイ 4つのマイクアレイ チルトモーター あり なし 最大骨格検出人数 2人 6人 関節数 20点/人 25点/人 手のポーズ検出 グーパーのみ グーチョキパー 手指検出 なし 親指と指先のみ
  14. 14. Demo … Kinect v2 Samples
  15. 15.  ブラウザからリアルタイムに監視できる防犯カメラを作成  Kinectで得られた情報をクラウドへ(Kinect as IoT?)  Kinectのセンサー検知状況をSignalRでAzureへ送信  人を検知したら色情報と赤外線情報を送信  メール通知やプッシュ通知などはクラウドで処理  .NETやクラウドに近い話題 第1回 サトヤ勉強会
  16. 16.  Kinect v2でジェスチャー認識  任意のジェスチャーを学習させてアプリに組み込む 今回の内容
  17. 17.  ポーズ (Discrete gesture)  モーション (Continuous gesture)  ワンポイント  モーションには複数のポーズ(状態)が含まれる 2種類のジェスチャー
  18. 18. Demo … Kinect v2 Gesture Sample
  19. 19.  どの部位が影響しているかを人間が考え、コードを組む方法 (ヒューリスティック)  ジェスチャーを含む動画を機械に与えて学習させる方法 (機械学習) Kinect v2でジェスチャーを認識する方法
  20. 20.  コードが複雑にならない  適切なアノテーションを付与すれば、学習データが増えるご とに精度が向上する(傾向にある)  複数の観点からデータを考慮し、素性の影響度がわかる  ヒューリスティックな手法を用いる場合にも便利 ジェスチャー認識に機械学習を用いるメリット
  21. 21. 1. 学習対象となるジェスチャーを含むクリップの録画 2. Visual Gesture Builder(VGB)を用いたアノテーション 3. VGBを用いたモデルの評価 ジェスチャーの学習に必要な3ステップ
  22. 22.  Kinect Studioを用いて録画  加工済みデータ(.xef)とRAWデータ(.xrf)の違い  骨格情報は機械学習により算出  将来的な算出アルゴリズムの変更による影響  RAWデータで記録し、学習時点で骨格情報を算出することで対応可能 (KSConvertで検索)  RAWデータのサイズは非常に大きい  大規模なライブラリの作成などを行う場合はRAWで記録することがおすすめ クリップの録画
  23. 23.  ウィザード形式で学習設定を行うことが可能  学習対象となる部位、学習ジェスチャーの特徴(Symmetry,Left/Rightなど)  ポーズのアノテーション  TrueかFalseの2値分類  モーションのアノテーション  先にモーションを構成するポーズのアノテーションを行う  複数のポーズを組み合わせて、その状態を0から1の間にマッピングを行う VGBを用いたアノテーション
  24. 24.  学習時の素性の貢献度  どの部分が学習に影響したかを知ることができる  学習したモデルを用いて残りのクリップを自動タグ付け  結果に問題があるようであれば、クリップをアノテーションフォルダへ移動  Live Preview機能 VGBを用いたモデルの評価
  25. 25. Demo … Kinect v2 Visual Gesture Builder
  26. 26. Kinect v2を通して Microsoft技術を考える
  27. 27. Kinectとの付き合い方 • Kinectは開発者の可能性を広げるツール • 目的を実現するための強力な手段 • 背景として機械学習をはじめとする 高度な技術が支えている • Kinect + { Azure , Unity , ML , … } • 開発者に更なる可能性 http://kinectforwindows.com/
  28. 28.  Microsoftは開発者を支援するための多くのツールを公開  開発者に必要な技術力の敷居を下げ、開発の可能性を高める  近年のMicrosoft技術は様々な技術と共存可能  「Microsoftの技術は本当に時代遅れですか?」 Microsoftと一緒に
  29. 29. Direction of Visual Studio and .NET
  30. 30. .NET の今後 Future of .NET Next gen JIT (“RyuJIT”) SIMD (Data Parallelization) ランタイム コンパイラー .NET Compiler Platform (“Roslyn”) Languages innovation BCL and PCL Entity Framework ライブラリ
  31. 31. 全てのアプリケーション開発のために
  32. 32. Microsoft技術を活用して より良いコードライフを

×