Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

HoloLensでONNXを使って推論(Custom Vision - Object Detection編)

329 views

Published on

Azure Custom VisionサービスにあるObject Detectionがオフライン推論をサポートしたので、「Mixed Reality Academy」 の「MR And Azure 130 - Object Detection」を改造してオフラインで物体検知をできるようにした話

Published in: Technology
  • You can try to use this service ⇒ www.HelpWriting.net ⇐ I have used it several times in college and was absolutely satisfied with the result.
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here
  • DOWNLOAD THE BOOK INTO AVAILABLE FORMAT (New Update) ......................................................................................................................... ......................................................................................................................... Download Full PDF EBOOK here { https://soo.gd/irt2 } ......................................................................................................................... Download Full EPUB Ebook here { https://soo.gd/irt2 } ......................................................................................................................... Download Full doc Ebook here { https://soo.gd/irt2 } ......................................................................................................................... Download PDF EBOOK here { https://soo.gd/irt2 } ......................................................................................................................... Download EPUB Ebook here { https://soo.gd/irt2 } ......................................................................................................................... Download doc Ebook here { https://soo.gd/irt2 } ......................................................................................................................... ......................................................................................................................... ................................................................................................................................... eBook is an electronic version of a traditional print book THE can be read by using a personal computer or by using an eBook reader. (An eBook reader can be a software application for use on a computer such as Microsoft's free Reader application, or a book-sized computer THE is used solely as a reading device such as Nuvomedia's Rocket eBook.) Users can purchase an eBook on diskette or CD, but the most popular method of getting an eBook is to purchase a downloadable file of the eBook (or other reading material) from a Web site (such as Barnes and Noble) to be read from the user's computer or reading device. Generally, an eBook can be downloaded in five minutes or less ......................................................................................................................... .............. Browse by Genre Available eBOOK .............................................................................................................................. Art, Biography, Business, Chick Lit, Children's, Christian, Classics, Comics, Contemporary, CookBOOK, Manga, Memoir, Music, Mystery, Non Fiction, Paranormal, Philosophy, Poetry, Psychology, Religion, Romance, Science, Science Fiction, Self Help, Suspense, Spirituality, Sports, Thriller, Travel, Young Adult, Crime, EBOOK, Fantasy, Fiction, Graphic Novels, Historical Fiction, History, Horror, Humor And Comedy, ......................................................................................................................... ......................................................................................................................... .....BEST SELLER FOR EBOOK RECOMMEND............................................................. ......................................................................................................................... Blowout: Corrupted Democracy, Rogue State Russia, and the Richest, Most Destructive Industry on Earth,-- The Ride of a Lifetime: Lessons Learned from 15 Years as CEO of the Walt Disney Company,-- Call Sign Chaos: Learning to Lead,-- StrengthsFinder 2.0,-- Stillness Is the Key,-- She Said: Breaking the Sexual Harassment Story THE Helped Ignite a Movement,-- Atomic Habits: An Easy & Proven Way to Build Good Habits & Break Bad Ones,-- Everything Is Figureoutable,-- What It Takes: Lessons in the Pursuit of Excellence,-- Rich Dad Poor Dad: What the Rich Teach Their Kids About Money THE the Poor and Middle Class Do Not!,-- The Total Money Makeover: Classic Edition: A Proven Plan for Financial Fitness,-- Shut Up and Listen!: Hard Business Truths THE Will Help You Succeed, ......................................................................................................................... .........................................................................................................................
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here
  • Be the first to like this

HoloLensでONNXを使って推論(Custom Vision - Object Detection編)

  1. 1. HoloLensでONNXを使って推論 ~Custom Vision - Object Detection編~ Miyaura – 大阪駆動開発 2019/01/16
  2. 2. こんな人が話します Miyaura Takahiro(@takabrz1) ◦ 某会社でシステムエンジニアしています。 ◦ コミュニティ: 大阪駆動開発 ◦HoloLens含むXR技術は趣味! ◦Microsoft MVP for Windows Development(2018-2019) ◦https://qiita.com/miyauraでMixed Reality開発Tips公開中!
  3. 3. 今日のテーマ 「オフライン推論シリーズ「物体検知」」 Custom Vision の物体検知サービスも オフラインで利用できる
  4. 4. 今回の成果 Custom VisionサービスのObject Detectionを利用。 好みの物体検知が出来るようにモデルを作成。 オフライン推論が可能なようにONNX形式でダウンロードしてWindows MLにより動作 エンゼルパイとチョコパイが混 在するパーティ会場でもチョコ パイを積極的に選別できる。
  5. 5. 必要な開発環境 • 実行環境 • HoloLens • OSバージョン 1809(1803でも行ける) • 開発環境 • Unity 2017.4.17f1 • Windows 10 Pro OSバージョン 1809 • Windows SDK 10.0.17763.0
  6. 6. 作り方 1. Mixed Reality Academy : 「MR And Azure 310 :Object Detection 」の通りアプリを作る 2. 上記の手順で作ったCustom Visionサービスのプロジェクトを ONNXでエクスポートする 3. 上記の手順で作ったUnityプロジェクトをONNX版に直す。 4. UWPにビルド&デプロイ
  7. 7. プチネタ(脱線) • MR And Azure 310は画像とるのに割と回りくどいことしてる。 カメラで撮る ファイルの保存する ファイルを読み込む Custom visionに送る
  8. 8. Custom Visionの話 ONNXでのエクスポート Domainsは「General(compact)」に設定
  9. 9. Custom Visionの話 ONNXでのエクスポート エクスポートは「Peformance」タブの中の「Export」を選択
  10. 10. Custom Visionの話 ONNXでのエクスポート ONNXは「1.2」で出力(HoloLensのOSバージョンが1809の場合)
  11. 11. Custom Visionの話 ONNXでのエクスポート Object DetectionではONNXではなくZipでダウンロードされる
  12. 12. MR And Azure 310の修正 Unityでの修正ーONNXの推論部品の追加と見直し Zip内のObjectDetection.csをUnity上でプロジェクトに含める → エラーが出るので修正 ※コードの修正は巻末Qiitaの記事を見てね。
  13. 13. MR And Azure 310の修正 Unityでの修正ーオンラインでの推論をオフラインに変更 CustomVisionAnalyser.csの修正 ImageCapture.csの修正 • StartメソッドでObjectDetectionの初期化 • UpdateメソッドでONNXで推論した結果からラベルを描画 • ObjectDetectionを使ったオフライン推論を実行 • タップ時にCustomVisionAnalyserに実装したオフライン 推論を実施 ※コードの修正は巻末Qiitaの記事を見てね。
  14. 14. MR And Azure 310の修正 UWPアプリにONNXを導入する • UnityからUWPとしてビルド • Unity C# Projectにチェックを入れる • 「Assembly-CSharp」プロジェクトに以下のライブラリをインポート • System.ValueTuple • メインのUWPプロジェクトの、Assetフォルダ内にONNXを 「LearningModel.onnx」にリネームしてコピー
  15. 15. 完成!
  16. 16. 詳細はQiitaにも記載。 「HoloLensでAzure Custom Vision Service - ObjectDetectionをWindows MLを使ってオフライン推論してみた。」 https://qiita.com/miyaura/items/1b9210b5c5f75d8722a3
  17. 17. まとめ • Custom Vision で提供されるサービスはすべてONNXでだせる →Classification,Object Detection • 自分でカスタマイズした画像分析や物体検知をオフラインで簡 単に導入できるのはかなり魅力的 • HoloLensで物体検知のオフライン推論が荷が重い 画像処理に無駄がある分を考えても推論時間はかかる(2-3s?)
  18. 18. 大阪駆動開発 関西を中心に、IT系のおもしろそうなことを楽しんでやるコミュニティ

×