Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

HoloLens RS4でWindowsML入門+Research mode実装

1,381 views

Published on

HoloLens RS4 Preview公開記念勉強会!@アカツキ(2018/4/17)での発表資料です.

Published in: Technology
  • Be the first to comment

HoloLens RS4でWindowsML入門+Research mode実装

  1. 1. HoloLens RS4でWindowsML 入門+Research mode実装 株式会社ホロラボ
  2. 2. アキヒロ • ホロラボ社員 • Twitter : @akihiro01051 • Facebook : akihiro.ueyama.50 • Web : http://akihiro-document.azurewebsites.net/
  3. 3. 作ったもの
  4. 4. • コードの詳細はブログ、githubで紹介 • http://akihiro-document.azurewebsites.net/ • https://github.com/akihiro0105
  5. 5. WindowsML入門
  6. 6. Windows Machine Learning(WindowsML)っ て? • 機械学習利用ツール • 学習は外部ツールで行う • Windows10 17110以上で対応 • UWP対応 • CPU,GPU動作可能 • onnx形式利用 • ローカル動作可能 • 画像ベースでの利用 • https://docs.microsoft.com/en-us/windows/uwp/machine-learning/
  7. 7. できること • 複数の機械学習ツールの結果を利用可能 • CNTK, TensorFlow, Caffe • インターネット接続不要 • Windows.AI.MachineLearning.Preview • GPUによる高速化 • 入力データを選べる • 画像,動画,カメラ映像 • UWPで動く • HoloLens,RaspberryPi3
  8. 8. WindowsML動かす
  9. 9. WindowsMLサンプル • パソコン動作 • Windows10 Insider Preview • 学習済みモデル同梱 • すぐに試せる • 手書き数字認識 -> • https://github.com/Microsoft/Windows-Machine-Learning
  10. 10. • 画像物体認識 ->
  11. 11. • 画像認識,Webカメラ認識 ->
  12. 12. HoloLensでも動かしたい
  13. 13. HoloLensでサンプル(書きにくい) • https://youtu.be/2SVJkzBXSIg
  14. 14. HoloLensのカメラからWindowsML • https://youtu.be/zlhK6Z1kjsQ
  15. 15. Unityで手書き機能を追加+WindowsML • https://youtu.be/ecaRlO-SSCc
  16. 16. 機械学習全部したい • 学習用データ収集 • 学習用データ整理,ラベル付け • 機械学習(DeepLearning) • 学習済みモデル変換 • モデル組み込み,利用
  17. 17. CustomVisionで学習させてみる • https://twitter.com/akihiro01051/status/979348920680685568
  18. 18. Unityで手書き,画像保存アプリ作成
  19. 19. • がんばって整理,ラベル付け • フォルダ分け
  20. 20. CustomVisionに入れて機械学習(Azure) • https://azure.microsoft.com/ja-jp/services/cognitive-services/custom-vision-service/
  21. 21. Bash on Windowsでonnxに変換 • Windows上でUbuntu(Linux)環境が動作 • Windows10 Home,Proで利用可能 • UbuntuのPythonから変換プログラムを動作
  22. 22. 組み込み,利用 • https://github.com/akihiro0105/WindowsMLDemo_HoloLens_Unity
  23. 23. • 機械学習の流れ • 学習用データ収集 • 学習用データ整理,ラベル付け • 機械学習 • 学習済みモデル変換 • モデル組み込み,利用
  24. 24. • 機械学習の流れ • 学習用データ収集 <- HoloLens • 学習用データ整理,ラベル付け <- パソコン • 機械学習 <- CustomVision(Azure) • 学習済みモデル変換 <- Bash on Windows(Ubuntu) • モデル組み込み,利用 <- HoloLens
  25. 25. • Microsoftありがとう
  26. 26. Research mode実装
  27. 27. Research modeって? • 今まで • RGBカメラのみ • RS4から • トラッキングなどに利用されていたセンサも • 短距離赤外線カメラ • 短距離Depthカメラ • 長距離赤外線カメラ • 長距離Depthカメラ • 環境認識カメラx4
  28. 28. 何ができるの?
  29. 29. チェック入れて再起動で有効化
  30. 30. サンプル動かしてみる • https://youtu.be/PRqx_yiniAc • https://github.com/Microsoft/HoloLensForCV/tree/feature/api_updates
  31. 31. • サンプルはC++のみ • 特殊な機能を有効化,許可の設定 • https://docs.microsoft.com/ja-jp/windows/uwp/packaging/app-capability-declarations • サンプルはアプリを終了するとトラッキングができなくなる • 要再起動
  32. 32. C#で使ってみる • https://youtu.be/8flrbvyTnoc
  33. 33. Unityで使ってみる • https://youtu.be/L83hcLJUQuk
  34. 34. 重ねてみる(魚眼だからずれる) • https://twitter.com/akihiro01051/status/979295950291156992
  35. 35. まとめ • ブログ見て • WindowsML • 学習データ収集,学習済みモデル利用にHoloLensは最適 • コスト高な学習フェーズのみ外部で -> Azure便利 • Research mode • カメラたくさん! • RGB以外のデータが手軽に使える
  36. 36. • HoloLens RS4でHoloLensの可能性up • WindowsMLでローカル,高速,簡単認識 • Research modeで新たな入力情報の活用

×