HoloLensでもWindows 10 April 2018 Update（RS４）が適用可能になり、HoloLensでも学習済みモデルを使ってオフラインで推論が可能になった。 今回はCustom Vision Serviceで学習済みモデルをエクスポートしHoloLensで実行する実験を行った際のTips。

1. HoloLensで
Custom Vision Serviceを使った
オフライン推論を試した話
2018/06/23
Miyaura Takahiro

2. 自己紹介
6/23/2018Copyright © 2018 Takahiro Miyaura.
2
• Miyaura Takahiro(@takabrz1)
• 普段はシステムエンジニア(MR関連は趣味)
• HoloLens(2017/2～)
• 最近Microsoft MVPとりました。
• 言語：.NET系(C#,UWP)
• 大阪駆動開発メンバー
HoloLens関連技術を中心に活動中

3. HoloLensのOSアップデート状況
• Windows 10 April 2018 Update
• こいつのおかげで、大幅な性能向上。
空間マッピングの解析速度が向上
3Dアプリケーションのパフォーマンス向上
両手別々のジェスチャー検出などなど。
2018/6/23Copyright © 2018 Takahiro Miyaura.
3

4. 6/23/2018Copyright © 2018 Takahiro Miyaura.
4
ということで
早速試した話

5. エンゼルパイとチョコパイを判別するシステムをHoloLensで仕込む実験
【エンゼルパイ】※エンゼルパイ自体はおいしい
• チョコパイだと思って食べるとテンションが下がる
• 世の中の人も結構あるあるらしい
（周辺ヒアリング８０％）
2018/6/23Copyright © 2018 Takahiro Miyaura.
5
このテンション下がるのを未然に防ぐのが今回の目的

6. 2018/6/23Copyright © 2018 Takahiro Miyaura.
6

7. レシピ
1. 「エンゼルパイ」「チョコパイ」を購入します（このときまだ食べない）
2. エンゼルパイ/チョコパイ撮影会を実施（撮影後に油断して食べない）
• いろんな方向から１０枚ほど
※エンゼルパイ、チョコパイを冷やすのがお勧め（途中で溶ける）
3. Custom Vision Serviceでサービスを追加
4. 撮影した写真をアップロード & 分類 & エクスポート（ONNX形式）
5. HoloLensアプリに組み込んで実装
6. 動作確認。正常に動いたら食べていいです。
2018/6/23Copyright © 2018 Takahiro Miyaura.
7

8. 購入から撮影まで
エンゼルパイは意
外と売っていない
ので頑張って探し
てください。
01
撮影についてはで
きるだけ背景は単
色で本体だけが
写っている状態を。
02
2018/6/23Copyright © 2018 Takahiro Miyaura.
8

9. Custom Vision Service
半学習済みモデルで数枚の写真で分類や物体検知をカスタマイズ
• WindowsML用にオフライン学習に利用する場合はONNX形式でエクスポートが必要
2018/6/23Copyright © 2018 Takahiro Miyaura.
9
学習モデルをエクスポートする場合は
(Compact)のものを選択

10. Custom Vision Service
半学習済みモデルで数枚の写真で分類や物体検知をカスタマイズ
• 学習後にエクスポートする。
2018/6/23Copyright © 2018 Takahiro Miyaura.
10
1. PERFORMANCEタグからExportを選択
2. .onnxファイルがダウンロードされるので任意の場所に格納

11. 学習モデルの組込み
1. 今回はUnityからUWPにビルドしてから作業を実施
モデルの登録
2018/6/23Copyright © 2018 Takahiro Miyaura.
11
【開発環境】
• Windows 10 April 2018 Update
• Windows 10 SDK for Windows 10, version 1803
• Visual Studio 2017 Version 15.7 以上
1. Assetsフォルダの中にonnxファイルを追加する
2. onnxファイルのビルドアクションを「コンテンツ」に
※開発環境が以下の通りなら自動的にonnxと同名
のラッパークラスが生成される。
Custom Vision Serviceからエクスポートした際に生成
されるラッパークラスはおかしいので変更が必要。
例：
_x0031_87c3d1a_x002D_6a95_x002D_47fd_x002D_bba8_x002D_c3bf32c85
8c5_ba5cd0e7_x002D_8c9e_x002D_4591_x002D_ab13_x002D_5378d51ca7
3fModelInput

12. 学習モデルの組込み
1. モデルのロード
2. モデルの推論
2018/6/23Copyright © 2018 Takahiro Miyaura.
12
var modelFile = await StorageFile.GetFileFromApplicationUriAsync(
new Uri("ms-appx:///Assets/ChocoPieClassification.onnx"));
var _model = await ChocoPieClassificationModel.CreateChocoPieClassificationModel(modelFile);
ChocoPieClassificationModelInput ModelInput = new ChocoPieClassificationModelInput();
ModelInput.data = withSoftwareBitmap;
ChocoPieClassificationModelOutput ModelOutput;
ModelOutput = await _model.EvaluateAsync(ModelInput);
【これだけ注意】
入力に使う画像はVideoFrameクラスで渡す。形式はNV12（動画から処理すればこの形式）。

13. まとめ
Windows ML登場でよりライトに機械学習が扱える
HoloLensでもオフラインで推論ができるので用途が広がりそう
Custom Vision Serviceのモデルを使う場合は以下に注意
ラッパークラスのクラス名はおかしいので修正が必要
インプットに使える画像データはNV12形式
2018/6/23Copyright © 2018 Takahiro Miyaura.
13

14. 大阪駆動開発
関西を中心に、IT系のおもしろそうなことを楽しんでやるコミュニティ