北海道HoloLensミートアップのLTネタ。 現在リリースが止まっている1809でWindows MLを使う場合のTips.1803とは若干作りが変わっているのでその際の注意事項を簡単に解説

1. HoloLensのInsider
Preview版RS5(17763)で
Windows MLを使うための
Tips
Miyaura – 大阪駆動開発
2018/10/27

2. こんな人が話します
Miyaura Takahiro(@takabrz1)
◦ 某会社でシステムエンジニアしています。
◦ コミュニティ：
大阪駆動開発
◦HoloLens含むXR技術は趣味！
◦Microsoft MVP for Windows Development(2018-2019)
◦https://qiita.com/miyauraでMixed Reality開発Tips公開中！

3. 今日のテーマ
「今度のOSアップデートを適用しWindows MLを使う」
そこら中にトラップ
が仕掛けられているので
できないときはあきらめるw

4. 今回の成果
HoloLensの日本語版を最新のInsider Review版RS5(17763)にアップデートし、
Windows MLを使ったオフラインでの物体検知のサンプルを構築

5. OSバージョン1809の今のWindows MLはいくつかのバグがある。
学習済みモデルとのデータの入出力で上手くいかないパターンがある。
現在使えるのは OS バージョン1803(April 2018 Update)のWindows MLだが
今度のアップデート(OSバージョン1809)で互換性がなくなっている。
※基本的な流れは変わらないがそのままでは上手くいかない。
今度のOSアップデート後
Windows ML使う注意点
①現状の大半のWindows MLに関する情報は役に立たないかも
②Windows ML API自体がまだできて期間が浅いので色々問題が出そう

6. なぜ困るのか？

7. 何が？
OSバージョン(1803)
2018 April Update
OSバージョン(1809)
2018 Octber? Update
WindowsML
APIの違い
Windows.AI.MachineLearning.Preview Windows.AI.MachineLearning
ONNX
バージョン
ONNX 1.2 ～ONNX 1.0 ～
ONNXとの入出力用に
専用の型が追加
UWPで標準である
クラスを入出力用の型として使用
ということでほぼ別物です orz.

8. あるある事例その①
OSバージョン1803で一度作ったものを
OSバージョン1809で動かすと
Windows MLでアプリ作ったよ！！！
エラーも出ずに空回りする！
Microsoftの中の人曰く
1803用と1809用は互換性がな
くて前のは動かせないの。
※まぁ名前空間にPreviewつけてるくらいだから。。。
はて？

9. あるある事例その②
OSバージョン1803で一度作ったものを
OSバージョン1809で動かすと
Windows MLでアプリ作ったよ！！！
推論すると落ちる＞＜
1809のWindowsMLは
ONNX 1.2以上なので
ONNX1.2未満は動かない
ONNXのバージョンはNetron
というアプリで確認できるよ|・ω・)b
ONNX1.2だと
ai.onnx v7となる
はて？

10. あるある事例その③
OSバージョン1809で動かすと
Azure Custom VisionからONNX作った！
上手くいかない＞＜
Custom Visionのモデルは２つ出力を
持つが片方の値(loss)が取れない。
できること
• 分類したラベル名は取得可能
• ラベル毎の類似度が取得不
可
はて？

11. あるある事例その④
OSバージョン1809用に
ONNXのラッパークラスを作ると
以前は入力がVideoFrameだったが、TensorFloat
という型に変更されている。
ルールに合わせて画像を加工して入れてみた。
入力が画像のONNXを使った
結果がうまくいかない＞＜
ONNXでは画像系float配列
(float32[None,3,XXX,XXX])
というのが多い。
上記のパラメータに対して、
1803はVideoFrameでよかった
1809も実はVideoFrameだが、
ラッパークラスを作るツールが愚直
TensorFloatという新しい型に変換
してくれる。
はて？

12. 自動生成されるラッパークラスの一部
public sealed class TinyYoloV1_2Input{
public TensorFloat image; // shape(-1,3,416,416)
}
public sealed class TinyYoloV1_2Output{
public TensorFloat grid; // shape(-1,125,13,13)
}
1809用の自動生成
public sealed class TinyYoloV1_0ModelInput {
public VideoFrame image { get; set; }
}
public sealed class TinyYoloV1_0ModelOutput{
public IList<float> grid { get; set; }
}
1803用の自動生成
ここはVideoFrame or ImageFeatureValueに変更！

13. 【時間があった時の小ネタ】
とても大事な事！
HoloLensでOS最新化は気を付ける！
• 17763へアップデートを行う場合
Insider Preview版ではバグがある。
• 17763インストール後再起動する
と「Hello」の後電源はついてるの
に真っ暗になる。
裏でちゃんとアップデートが動いてます。
バグとは
「再起動後の処理中の歯車やProgress Barが表示されない」
私はこのこと知らずに3回やり直しましたよ|・ω・)b
RS4で再リセット→日本語RS5(17720)→17763適用

14. 大阪駆動開発
関西を中心に、IT系のおもしろそうなことを楽しんでやるコミュニティ