「Tokyo HoloLens ミートアップ vol.13 日本上陸2周年記念！ 」(https://hololens.connpass.com/event/111244/)登壇資料。 Mixed Reality Toolkit -Unityの次期バージョンであるMixed Reality Toolkit - Unity 2018.9.0Betaを調査し、MTRK V1との違いや次期バージョンでの開発方法を紹介した資料です。

1. XRマルチデバイス開発を可能にする
OSSライブラリ「MRTK-vNEXT」
について
Miyaura – 大阪駆動開発
2019/01/18

2. こんな人が話します
Miyaura Takahiro
◦Twitter @takabrz1
◦ 某会社でSEしています。
◦ 大阪駆動開発コミュニティ所属
◦ HoloLensを中心としたXR技術を探求
◦ Microsoft MVP for Windows Development(2018-2019)
◦ カテゴリ：Mixed Reality
◦ https://qiita.com/miyauraでMixed Reality開発Tips公開中！
2019/01/18

3. コミュニティ「大阪駆動開発」
• 私が所属する関西中心で活動しているコミュニティ
2019/01/18
コンセプト：関西を中心に、IT系のおもしろそうなことを楽しんでやるコミュニティ
活動が活発なカテゴリ：
「XR」、「スマートスピーカー」、「VTuber」
諸般の事情で関東勤務になったため「 関東支部」を立ち上
げ関西本部と連携し「XR」を盛り上げる活動を実施
毎月XRミーティングで情報共有を実施
（現在：関西、関東、北海道、長野の4拠点中継）

4. そうそう、大事なこと
2019/01/18

5. MTRK-vNEXTはまだβ版です
今日の内容は2019/1/18付近のGitの情報をもとに検
証したり整理している内容です。
(参考)
https://github.com/Microsoft/MixedRealityToolkit-Unity/releases/tag/2018.9.0-Beta
2019/01/18
そうそう、大事なこと①

6. この資料ここから後ろに
50枚位スライドありますｗ
さてどうしたものか・・・
2019/01/18
そうそう、大事なこと②

7. アジェンダ
1.MRTK
1.1.コンセプト
1.2.レイヤー構成
1.3.提供機能
2.vNEXTについて
2.1.vNEXTコンセプト
2.2.ここで脱線
2.3.アーキテクチャ
2.4.提供機能（たぶん）
2019/01/18
3.開発について
3.1.環境
・バージョン
・セットアップ
・フォルダなどの構成
3.2.手順(基本)
・初期化
・イベント登録
・空間マッピング
3.3.空間マッピング応用
3.4.各種設定の解説
4.まとめ

8. 1.Mixed Reality Toolkit – Unity
(通称MRTK)
2019/01/18

9. 1. Mixed Reality Toolkit – Unity
1.1.コンセプト
2019/01/18
Microsoft HoloLensおよびWindows Mixed Realityヘッドセットをターゲットとするア
プリケーションの開発を加速することを目的としたスクリプトおよびコンポーネント群。
【目的】
MRアプリケーションを作成し、コミュニティに貢献するための参入障壁を減らすこと
https://github.com/Microsoft/MixedRealityToolkit-Unity/

10. 1. Mixed Reality Toolkit – Unity
1.2.レイヤー構成
2019/01/18
Mixed Reality Toolkitは、Microsoft HoloLensおよびWindows Mixed Realityヘッドセットをターゲットとするアプリケーションの開発を加速することを目的としたスクリプトおよびコ

11. 1. Mixed Reality Toolkit – Unity
1.3.提供機能
2019/01/18
入力系 Sharing（体験共有）
空間制御系 支援系
UX/ユーティリティ

12. 2.Mixed Reality Toolkit – vNEXT
2.1.コンセプト
2019/01/18

13. 2. Mixed Reality Toolkit – vNEXT
2.1.コンセプト
2019/01/18
XRデバイスをターゲットとするアプリケーションの開発を加速することを目的としたスクリプトお
よびコンポーネント群。
元のMixed Reality Toolkitで培ったノウハウを元に、リファクタリング/再構築を実施。
1. 複数のVR / AR / XRプラットフォームで動作するソリューションを構築
2. ラピッドプロトタイピングを可能にし、より使いやすいSDKを提供
3. ライブラリの柔軟性を高めてデバイス追加や機能変更/拡張を容易に

14. 2. Mixed Reality Toolkit – vNEXT
2.1.コンセプト
2019/01/18
複数のVR / AR / XRプラットフォームで動作するソリューションを構築
Microsoft HoloLens
Microsoft Immersive headsets (IHMD)
Steam VR (HTC Vive / Oculus Rift)
 OpenXR platforms
Magic Leap One
※やろうとしてるが正しいかも（試験的）

15. 2. Mixed Reality Toolkit – vNEXT
2.1.コンセプト
2019/01/18
ラピッドプロトタイピングを可能にし、より使いやすいSDKを提供
1. Unityでプロジェクトをつくる
2. MRTKをセット
3. Boundary等の移動に関する設定
4. オブジェクトを配置/オブジェクトにアニメーション等設定
5. アクション(スピーチ/ジェスチャー/フォーカス/コントローラを
制御)を追加

16. 2. Mixed Reality Toolkit – vNEXT
2.1.コンセプト
2019/01/18
ライブラリの柔軟性を高めてデバイス追加や機能変更/拡張を容易に
既存機能変更のための柔軟なアーキテクチャを採用
※後で解説

17. 少し脱線
この辺で気になる色々にお答え
2019/01/18

18. 2. Mixed Reality Toolkit – vNEXT
2.2.ここで脱線 – MRTK vs MRTK-vNEXT
項目 MRTK MRTK-vNEXT
MRTK最新バージョン 2017.4.3.0 2018.9.0Beta
Unityバージョン 2017.4.X
.NET / IL2CPP
2018.2.14f1
IL2CPPのみ
Visual Studioバージョン 2017 2017
UWPベース .NET/C++ C++
2019/01/18
Unityが2018.X系になったため、C#のUWPプロジェクトは使えません。
C++のUWPになります。
人によってはUWPでごにょるのが難しくなるかも？

19. 2. Mixed Reality Toolkit – vNEXT
2.2.ここで脱線 – MRTK-vNEXTへの移行
2019/01/18
MRTK→MRTK-vNEXTへの移行は
あきらめる
アーキテクチャがそもそも違うのでほぼ作り直しです。
2017.4系のLTSがあるので理由がないならそのままで運用

20. 2.Mixed Reality Toolkit – vNEXT
2.3.アーキテクチャ
2019/01/18

21. 2. Mixed Reality Toolkit – vNEXT
2.3.アーキテクチャ
ポイントになりそうなもの
抽象化された層とアダプタ層構造で柔軟性と拡張性を持っている
抽象化された層
アダプタ層
2019/01/18

22. 2.Mixed Reality Toolkit – vNEXT
2.3.アーキテクチャ
MRTK User Abstraction Layer
【開発時に使用するレイヤー】
 コンポーネント/スクリプトで構成
 SDKとして別構成
 SDKを独自に拡張/追加できる柔軟な構造
2019/01/18

23. 2.Mixed Reality Toolkit – vNEXT
2.3.アーキテクチャ
MRTK Interface Layer
【上下レイヤーとのブリッジを行う】
 以下の情報を抽象化し上下層とのブリッジを行う層
 各デバイスの入力に関する情報
 フィードバック（触覚やリアクション的なもの）
この層については既存の抽象化されたセットに加えて追加も可能な気が。
2019/01/18

24. 2.Mixed Reality Toolkit – vNEXT
2.3.アーキテクチャ
MRTK Constructs
【各デバイスと抽象化したシステムをつなぐレイヤー】
「Device Abstraction Layer」と
「MRTK User Abstraction layer」をつなげるためのルール定義を行う。
この層でSDKと実行するデバイスのSDKを紐づけて動かす。
2019/01/18

25. 2.Mixed Reality Toolkit – vNEXT
2.3.アーキテクチャ
Device Abstraction Layer
【各XRデバイス準拠のSDKをブリッジするレイヤー】
 MRTKの構造に準拠できるようにベンダーのSDKをMRTK側から呼べるアダプタとしての機能を提供
 この層の部品を実装する際には各VRベンダー提供のSDKを使用
※ここは今ないものを追加できる感じがする。
例:PC+Kinectなデバイスみたいな。
2019/01/18

26. 2.Mixed Reality Toolkit – vNEXT
2.4.提供機能（たぶん）
フォルダ構成などからわかる機能
 Audio
→音声制御
 Diagnostics
→ログ/診断情報の制御
 Input
→入力制御
 SpatialAwareness
→空間認識
 Utilities
 UX
2019/01/18
MRTKでは以下の提供方法を検討している
 CPU,メモリ、フレームレートなどの診断情報管理
 必要に応じて描画するなどの機能
ログ診断系機能

27. 2.Mixed Reality Toolkit – vNEXT
2.4.提供機能（たぶん）
フォルダ構成などからわかる機能
 Audio
→音声制御
 Diagnostics
→ログ/診断情報の制御
 Input
→入力制御
 SpatialAwareness
→空間認識
 Utilities
 UX
2019/01/18
MRTKでは以下の提供方法を検討している
 Physics
→演算系の機能
例：両手操作による、移動、回転、リサイズ
MRTKのTwoHandManipulate
 WebRequestRest
→REST APIでCRUDを投げるためのヘルパー
(URL、Json文字列、メソッドでWebRequest)
 WindowsDevicePortal
→Devicce Portal REST API
ユーティリティ機能

28. 2.Mixed Reality Toolkit – vNEXT
2.4.提供機能（たぶん）
将来導入されるかも機能
※まだメインブランチにマージ未
BoundingBox
Interractable
PackageManager
MRTK Sharing
Photon Sharing
WebRtc Sharing
State Sharing
Example 01～03
2019/01/18
MRTKでは以下の提供方法を検討している
 GitHubからUnity Assetとしてダウンロード
→従来の提供方法
 Unity NuGet での提供(Coming soon)
 Unity Package Managerでの提供(Coming soon)
 Unity Asset Storeからの提供(Coming soon)
 GitHubのSubmoduleでの利用(上級者向け）
→カスタマイズ前提の場合
MRTKの提供についての機能

29. 2.Mixed Reality Toolkit – vNEXT
2.4.提供機能（たぶん）
将来導入されるかも機能
※まだメインブランチにマージ未
BoundingBox
Interractable
PackageManager
MRTK Sharing
Photon Sharing
WebRtc Sharing
State Sharing
Example 01～03
2019/01/18
残念なUNETに代わり。。。
 MRTK Sharing
→MRTKで提供されるSharing（例のサーバを立てるあれ）
 Photon Sharing
→ マルチプレイヤープラットフォームPhotonをベース
(https://www.photonengine.com/ja-JP/Photon)
 Webrtc Sharing
→Webrtc版のSharing?
 State Sharing
→？？？
みんな大好きSharing

30. 2.Mixed Reality Toolkit – vNEXT
2.4.提供機能（たぶん）
将来導入されるかも機能
※まだメインブランチにマージ未
BoundingBox
Interractable
PackageManager
MRTK Sharing
Photon Sharing
WebRtc Sharing
State Sharing
Example 01～03
2019/01/18
文字通りのMRTKを使った例
現状以下のブランチで3つ用意されるらしい
（現状細かい機能は実装されていない）
サンプルのような例

31. 2.Mixed Reality Toolkit – vNEXT
2.4.提供機能（たぶん）
• Example 01～03は面白い
2019/01/18

32. 3.開発について
3.1.環境
2019/01/18

33. 3.開発について
3.1.環境
項目 MRTK-vNEXT
MRTKバージョン 2018.9.0Beta
Unityバージョン 2018.2.14f1
.NET 4 Equivalent
IL2CPPのみ
Visual Studio 2017
UWPベース言語 C++
2019/01/18

34. 3.開発について
3.1.環境
2019/01/18
MRTK-vNEXTのセットアップは現状いままで通り（いずれもっと便利になる！）
ダウンロードして
パッケージをインポート

35. 3.開発について
3.1.環境
2019/01/18
インポートすると大きくは2つフォルダができる。
先ほどのレイヤーでいう
「MRTK-Internal」
※いじらない・使わない
先ほどのレイヤーでいう
「MRTK-SDK」
※部品としてはここを使う

36. 3.開発について
3.2.手順(基本)
2019/01/18

37. 3.開発について
3.2.手順(基本)
2019/01/18
まずはGettingStarted見ると早い
https://github.com/Microsoft/MixedRealityToolkit-
Unity/blob/mrtk_development/Documentation/GettingStartedWithTheMRTK.md
1. 新しいプロジェクトを作成する
2. MRTKをインポートする(MixedRealityToolkit-Unity-2018.9.0-Beta.unitypackage)
3. プロファイルを設定する
4. アプリを実装する
5. Unityでビルド
6. Visual Studio でビルド & デプロイ
7. (ﾟдﾟ)ｳﾏｰ

38. 3.開発について
3.2.手順(基本) – MRTKインポートまで
2019/01/18
MRTKインポートすると・・・
 XRセッティング有効にするよ？
 IL2CPP使うように設定するよ？
※今はXRセッティング有効にならんですよ。
メニューに「Mixed Reality Toolkit」が出てきたらまずはOK

39. 3.開発について
3.2.手順(基本) – プロファイル設定
2019/01/18
プロファイルはメニューから
 「Mixed Reality Toolkit」-「Configure…」を選択
これだけ超簡単！
自動で追加

40. 3.開発について
3.2.手順(基本) – AirTapで自由落下する豆腐を作る
2019/01/18
いつものように豆腐を作る
 Rigidbodyは「use Gravity」をオフで追加
WinMRで動かす場合はPositionのY軸を1.7くらいに
（視点の位置調整機能がまだない）

41. 3.開発について
3.2.手順(基本) – AirTapで自由落下する豆腐を作る
2019/01/18
適当なスクリプトをつくる
 今回は「TapFreefall」で作った
 作ったものはCubeにぺた

42. public class TapFreeFall : MonoBehaviour {
private Rigidbody _rigidbody;
// Use this for initialization
void Start ()
{
_rigidbody = GetComponent<Rigidbody>();
}
public void OnTaped()
{
_rigidbody.useGravity = true;
}
}
3.開発について
3.2.手順(基本) – AirTapで自由落下する豆腐を作る
2019/01/18
実装する
 StartメソッドでRigidbodyを取得
 OnTapedメソッドを作って取得したRigidbodyの
「use Gravity」をオンに

43. 3.開発について
3.2.手順(基本) – ちなみにプロジェクト構成は・・・
2019/01/18
ざっくり17個に分割
 以下の2つが自作のコードの入ってるプロジェクト
 Assembly-CSharp
 Assembly-Csharp.Player
https://qiita.com/miyaura/items/887348ddc3933b72ff05
プロジェクト構成などは過去整理したQiita記事があるので見てね

44. 3.開発について
3.2.手順(基本) – AirTapイベントの割り当て
2019/01/18
イベントの割当てはコンポーネント
 Tap系は「Pointer Click Handler」
 Is Focus RequiredのチェックがないとGlobal
 Input Actionはこのイベントに反応するボタンを定義
（HoloLensのAirTap=コントローラのSelect）
 Unity Eevntに登録

45. 3.開発について
3.2.手順(基本) – AirTapイベントの割り当て
2019/01/18
あとはいつも通り
HoloLensにデプロイして空間認識使うときは
Capabilityの設定を忘れずに！！！

46. 3.開発について
3.3.空間マッピング応用
2019/01/18

47. 3.開発について
3.3.空間マッピング応用
2019/01/18
みんな大好きNavMesh
 とあるプロジェクトは必須のシステム
 以前は空間マッピングの内部構造いじる必要がありましたが。。。
(参考)HoloLensで実現する動的経路探索
https://qiita.com/morio36/items/d75228d2ccdb9c24574b
簡単に外付けに

48. 3.開発について
3.3.空間マッピング応用
2019/01/18
https://github.com/Microsoft/MixedRealityToolkit-
Unity/blob/mrtk_release/Documentation/Architecture/SpatialAwareness/SpatialAwarenessSystemArchitecture.md
IMixedRealitySpatialAwarenessMeshHandler
IMixedRealitySpatialAwarenessSurfaceFindingHandler
 空間マッピングのメッシュの追加/更新/削除で呼ばれるハンドラ
 空間マッピングのSurfaceの追加/更新/削除で呼ばれるハンドラ
空間認識によるメッシュやSurfaceの変更でイベントが発生する構造になった

49. 3.開発について
3.3.空間マッピング応用
2019/01/18
public class NaviMeshSpatialMeshHandler : MonoBehaviour,
IMixedRealitySpatialAwarenessMeshHandler
{
private readonly Dictionary<int, uint> meshUpdateData = new Dictionary<int, uint>();
public virtual void OnMeshAdded(MixedRealitySpatialAwarenessEventData eventData)
{
// A new mesh has been added.
if (!meshUpdateData.ContainsKey(eventData.Id))
{
meshUpdateData.Add(eventData.Id, 0);
eventData.GameObject.AddComponent<NavMeshSourceTag>();
}
}
NavMeshSourceTagを追加
空間マッピングでMeshが追加されたらMRTKから呼ばれる
空のGameObjectに追加するだけでイベント登録が可能

50. 3.開発について
3.4.各種設定パラメータ
2019/01/18

51. 3.開発について
3.4.各種設定パラメータ
2019/01/18
MRTKに関してコンポーネント/スクリプト等の
設定変更などがほぼ不要
各種プロファイル設定により制御が有効に。

52. 3.開発について
3.4.各種設定パラメータ – 全体設定
2019/01/18
 アプリケーションのスケール設定
 体験の種類に応じて全体的な機能のON/OFF
 Orientation Only
 Seated
 Standing
 Room
→部屋使用のためBoundaryが有効
 World
→歩きまわるので空間認識が有効
Boundaryは解除
Experience Settings

53. 3.開発について
3.4.各種設定パラメータ – 全体設定
2019/01/18
以下の3つ設定が可能（管理クラスがない設定もある）
 機能の有効/無効
 管理クラスの設定
 各機能のパラメータ
全体設定では各機能の基本を定義
管理クラスはSDKの機能と紐づける。
⇒自作の専用SDKの変更はここで行える。

54. 3.開発について
3.4.各種設定パラメータ – カメラ設定
2019/01/18
 定番のカメラの初期設定
 Camera Persistentはシーン切替え時にカメラ
を使いまわす場合の制御に使用
 没入型と透過型それぞれ設定
 Qualityレベルもここで設定
カメラ設定

55. 3.開発について
3.4.各種設定パラメータ – 入力システムの設定
2019/01/18
 ジェスチャー、モーションコントローラなどの制御設定
 GazeカーソルのデザインなどはPointer Profile
で定義する。
入力システムの設定

56. 3.開発について
3.4.各種設定パラメータ – Boundaryの描画設定
2019/01/18
 WinMRなどのVRデバイスで使う設定
 境界面（プレイエリア等）や床のマテリアルを設定
 それぞれの要素毎にレイの透過などの設定も可能
Boundaryの描画設定

57. 3.開発について
3.4.各種設定パラメータ – Spatial Awarenessの設定
2019/01/18
 空間認識の機能
 基本的にはTarget Scaleが「World」の時有効
 以前のSpatial Mappingの設定とほぼ同じ
 Mesh Settingsがワイヤーフレームなどの描画
 Surface Finding Settingsは今は動かない？
実装がまだ入っていない模様
Spatial Awarenessの設定

58. 3.開発について
3.4.各種設定パラメータ – Diagnostic Visualizationの設定
2019/01/18
 ログや診断情報の設定
 General SettingのVisualをチェックすると
CPU使用率などが画面上に描画される。
Diagnostic Visualizationの設定

59. 3.開発について
3.4.各種設定パラメータ – Registered Service Providerの設定
2019/01/18
Registered Service Providerの設定
 MRTKに機能を新しいシステムや機能を追加する
際に使用
 管理クラスを登録すると、内部でManagerのインス
タンス化が実施されMRTK経由でアクセスできる
 内部はActivatorを使った動的生成なので追加で
きるからと言ってたくさん入れるとパフォーマンスには
影響でそう。

60. 4.まとめ
2019/01/18

61. まとめ
2019/01/18
ラピッドプロトタイピングのコンセプトをうまく実現するための整備が進んでいそう
〇プロファイル設定のみでMRTKの準備がほぼ完結
機能追加変更に対して、可能な限り容易に対応できる構造を取っている。
SDKはプロファイル設定を変更することで自前のものに換装も可能
〇機能のカスタマイズ性における柔軟性
過去のMRTKの実装方法とは異なる。
旧Verの課題とマルチXRデバイス対応のための構造変更なので個人的にはアリとは思ってますが。。。
△既存ノウハウが使えないのは仕方がないか

62. みんなでがっつり使って
XR界隈を盛り上げていきましょ～！
2019/01/18

63. 大阪駆動開発
関西を中心に、IT系のおもしろそうなことを楽しんでやるコミュニティ
2019/01/18