(文字のつぶれがましなPDF版も公開しています。) HoloLens2でMicrosoft MixedReality Scene Understandingを使って、壁・床などの現実空間の認識させます。 動画 (https://youtu.be/kwiovofhp4E) PDF版URL https://drive.google.com/file/d/1lzO79LjTBBztXq4gyjPldW1WfL7W2ECx/view?usp=sharing

1. Microsoft MixedReality Scene
Understanding
壁・床などの現実空間の認識
サンプルプログラムを動かす

2.  壁・床など現実空間を認識させるサンプルを、
HoloLens2で動かします、MRTK組み込んでいます
が今回はビルド以外に特に使っていません
シーンの認識
出典 : https://docs.microsoft.com/ja-jp/windows/mixed-reality/scene-understanding

3.  Unity2018.4.15ｆ1(Unity 2018.4.XX)
 Microsoft Mixed RealityToolkit v2.3.0
 Visual Studio2019Version 16.4.5
 Windows SDK 18362(18362以上)
各バージョン

4. Visual Studio2019
の準備

5.  Visual Studio2019 Communityをインストール
※業務利用の場合はProfessional版が必要
 ワークロードの設定で下記を追加する
 ユニバーサルWindows プラットフォーム開発
 Unityによるゲーム開発
 Unity 2019.2 64ビットエディターのチェックを外す
Visual Studioワークロード

6. Visual Studioワークロード

7. Visual Studio個別のコンポーネント
 個別のコンポーネントで下記を追加する
 WindowsSDK(10.0.18362.0)
 WindowsSDK(10.0.17763.0)
 USBデバイスの接続
 MSVC v142 –VS 2019 C++ ARM64 ビルドツール…
 V142 ビルドツールのC++ ユニバーサル Windows…

8. Visual Studio個別のコンポーネント

9. Microsoft Mixed RealityToolkit
v2.3.0の準備

10.  Untiyのパッケージをダウンロード
 Microsoft.MixedReality.Toolkit.Unity.Foundation.2.3.0.unitypackage[必須]
 Microsoft.MixedReality.Toolkit.Unity.Tools.2.3.0.unitypackage[オプション]
 Microsoft.MixedReality.Toolkit.Unity.Examples.2.3.0.unitypackage [オプション]
 Microsoft.MixedReality.Toolkit.Unity.Extensions.2.3.0.unitypackage [オプション]
https://github.com/Microsoft/MixedRealityToolkit-Unity/releases
MRTK v2.3.0

11. MRTKリリースページ

12. Unity MRSU環境構築

13.  Microsoft.MixedReality.SceneUnderstanding.Sampl
es – UnitySampleをダウンロード
 Unityを起動します
MRSUのdownload
https://github.com/sceneunderstanding-microsoft/unitysample

14.  Unity Hubをダウンロードし
インストール
 Unity2018.4.15f1をインストー
ル。UWB Build
Support(IL2CPP)にチェックを
入れます
Unityのインストール

15.  リストに追加を押して、ダウンロードしたMRSUの
フォルダを指定する
 Unityバージョンを2018.4.15f1に変更して開く
Unityでプロジェクトを開く

16.  AssetScenes SceneUnderstandingSampleを開く
シーンを開く

17.  Package Managerを開きTextMesh Proをインストー
ルします。
TextMeshProのインストール

18.  Microsoft.MixedReality.Toolkit.Unity.Foundation.2.3.0.
unitypackageを、インポートします。
MRTKのインポート

19.  インポート後にデフォルト設
定の適用確認が開きます。
Applyを選択して適用を行いま
す。
 メニューから呼び出す場合
MRTKのデフォルト設定

20.  Add Open Sceneボタンを押します
 Universal Windows Platformを選択
 設定を下記のように変更
 Target Deviceを”HoloLens”
 Archtectureを”ARM”
 Target SDKVersionを“10.0.18362.0”
 Minimum PlatformVersionを“10.0.10240.0”
 Build and Run onを”USB Device”
 Switch Platfromボタンを押します
Builed Settings
①
②
③
④

21.  Microsoft.MixedRealityToolkit.Unity.Tools.unitypackageを
インポートします
 インポート完了するとMixed RealityToolkitのメニューに
BuildWindowが追加されるので選択します
MRTKのToolsでのビルド設定

22. BuildWindow(1/3)
 Unity Build Options
 Target Device、Scripting Backendを確認
します

23. BuildWindow(2/3)
 APPX Build Options
 Build Platformの確認
 Multicore Buildを利用する場合は
チェック
 視線入力を行う場合は、Gaze Input
Capatilityにチェック
 環境追跡カメラ、深度カメラ、IR
反射反射ストリームを使う場合は
Enable Reserch Modeにチェック

24. BuildWindow(3/3)
 Deploy Options
 ネットワーク接続、USB接続でのビ
ルドについて接続先の設定を行いま
す。USB接続の場合、TargetTypeを
Localにします。(USB接続経由でロー
カルネットワーク接続)
 Hololensのデバイスポータルの
UsernameとPasswordを設定します
デバイスポータルに接続するには
https://docs.microsoft.com/ja-jp/windows/mixed-reality/using-the-

25.  Build allボタンを押下しま
す。Unityのビルドから
Visual Studioのビルド、そ
してHoloLensへのインス
トールまで行ってくれま
す
BuildWindowでビルド
ビルド完了すると、ビルドしたパッケージが一覧
表示されます。

26. 動作確認

27. デプロイして起動
 壁、床、天井など、結構いい感じに認識してくれま
す。床を移動させるとか、天井からぶら下げるとか
簡単にできそうです

28.  音声コマンド
音声で操作します。認識した空間をミニチュアで
表示したり、推論の切り替えなどは試してみてく
ださい
使いかた
音声コマンド 概要
Help on/off ヘルプの表示・非表示
minimap on/minimap off ミニマップの表示・非表
示
inferred on/inferred off 推論の使用可否

29. 使いかた
出典 : https://docs.microsoft.com/ja-
jp/windows/mixed-reality/scene-understanding
Help表示 ミニマップ表示
推論オフ
推論オン
動作イメージの動画 : https://youtu.be/kwiovofhp4E

30.  音声コマンド(シーンオブジェクト関連)
使いかた
音声コマンド 概要
scene objects on/scene objects off スクリーンオブジェクト
の可視・非可視
scene objects quad 長方形表示
scene objects mesh メッシュ表示
scene objects wireframe ワイヤーフレーム表示

31.  音声コマンド
使いかた
音声コマンド 概要
platform on/platform off 大きな水平面をプラット
フォームとして表示・非
表示
background on/background off 背景の表示・非表示
unknown on/unknown off 認識できなかった部分の
表示・非表示

32.  音声コマンド（メッシュ関連）
使いかた
音声コマンド 概要
mesh on/mesh off メッシュの表示・非表示
mesh coarse, mesh medium,mesh fine メッシュの細かさ

33.  音声コマンド
使いかた
音声コマンド 概要
increase radius/decrease radius クエリー利用時の球形の
範囲を追加・削除
save data シーンを保存する