XRミーティング 2022/07/22(https://osaka-driven-dev.connpass.com/event/253260/) 登壇資料。MRTK3のチュートリアル「Zappay's Playground」の紹介。サンプルとしてどのようなMRTK3の機能が提供されているか解説。

1. takabrz1 Takahiro Miyaura
Mixed Reality Toolkit 3 のチュートリアル
Zappy’s Playgroundの紹介
2022/07
XRミーティング

2. 宮浦 恭弘 (Miyaura Takahiro)
 大阪駆動開発(とHolomagicians)コミュニティに生息
 HoloLens日本販売してからxR系技術に取組む
最近はMixed Reality Toolkit 3と戯れている。
 新しい技術や、MRに使えそうな技術を調べる
技術Tips : https://qiita.com/miyaura
@takabrz1 ※よかったらこれを機にお知り合いになってください
（貢献領域：Mixed Reality）
Microsoft MVP for Windows Development 2018-202 2
某会社でSE(アプリケーション領域のアーキテクト的なお仕事なはず）＝ XRは趣味です

3. 先月は
Mixed Reality Toolkit 3祭りでした。
色々話があって面白かったですね！！！
2022/7/20 Copyright © 2022 Takahiro Miyaura 3

4. Mixed Reality Dev Days 2022
だいたい春頃に開催さるMicrosoft社のMRの開発技術イベント
コロナ禍でしばらくはオンラインだったが今回からオフラインでも開催
2022/7/20 Copyright © 2022 Takahiro Miyaura 4
 今回は以下の技術に関するセッション
 Mixed Reality Toolkit 3
 Stereokit
 OpenXR, Unity XR Interaction Toolkit
 Unreal Engine 5 (+ Deep Learning)
 Azure Remote Rendering
 Moving Platform
 HoloLens 2 Power Thermal Notification SDK
オンライン配信はMRTK3のみでしたが
今は全セッションアーカイブ公開されてます。
https://www.youtube.com/watch?v=U1BSqLbW-
PM&list=PLlrxD0HtieHhkPlibqfQf1pGvM0vLNPpL

5. Tokyo HoloLens ミートアップ Vol.30
Mixed Reality Toolkit 3 Recapでぎゅっと詰めて紹介しました。
2022/7/20 Copyright © 2022 Takahiro Miyaura 5
 ミートアップ概要
 久々のMicrosoft上田さんの登壇も！
 Microsoft Build 2022のメタバースの深堀が聞ける！
 私からのMRTK3話
 6セッション分を30分でｗ
アーカイブ公開されてます。
https://youtu.be/DbPiRqg6HE8

6. 本日の内容
 Mixed Reality Toolkit 3のさらっと振り返り
 Mixed Reality Toolkit 3に至る経緯
 ポイント
 Zappy’s Playgroundの紹介
 Zappy’s Playgroundとは？
 MRTK3のどんなことを体験できるの?
2022/7/20 Copyright © 2022 Takahiro Miyaura 6

7. Mixed Reality Toolkit 3
Mixed Reality Toolkit 3に至る経緯
2022/7/20 Copyright © 2022 Takahiro Miyaura 7

8. Mixed Reality Toolkit 3はPublic Preview版だから
検証目的で使ってね！
Microsoft 公式でもそう書かれています。
2022/7/20 Copyright © 2022 Takahiro Miyaura 8

9. Mixed Reality Toolkit 3に至る経緯
- Mixed Reality Toolkit とは
Unity向けのMicrosoft公式のOSSライブラリ
2022/7/20 Copyright © 2022 Takahiro Miyaura 9
Unity向け
クロスプラットフォーム
最新バージョンはV2.8.0
基本コンポーネント
共通のインタラクション
UIコントロール
※Unreal向けのMRTKもあります。
※実はBabylon.js版もある
Holotoolkit
HoloLens向け
Mixed Reality Toolkit
Windows Mixed Reality Devices対応
Mixed Reality Toolkit V2
HoloLens 1/2,VR Devices,Mobile AR…
Mixed Reality Toolkit 3
New!!!

10. 既存ライブラリへの対応、標準化
 MRTK V2までで持つしかなかった機能や仕組みを改めて既存ライブラリを利用するように変更
MRTK3のポイント
2022/7/20 Copyright © 2022 Takahiro Miyaura 10
業界標準、冗長な機能に対応するためのリファクタリングにより
扱いやすいライブラリへ
引用元:Microsoft Developer,「Getting started with your first MRTK3 project」, https://youtu.be/aVnwIq4VUcY, (参照
2022/06/11)

11. MRTK3のポイント
（参考）開発環境とパッケージ要件
開発に必要な環境とパッケージ
2022/7/20 Copyright © 2022 Takahiro Miyaura 11
○ Mixed Reality Feature Tool
○ Unity 2020.3.35,2021.3.4 or newer
○ packages
 Mixed Reality OpenXR Plugin(from Mixed Reality Feature Tool)
 Input System*
 XR Management*
 XR Interaction Toolkit*
 OpenXR Plugin*
○ Visual Studio 2022
 Windows 10 SDK version 10.0.19041.0 or 10.0.18362.0, or Windows 11
SDK
 USB Device Connectivity (required to deploy/debug to HoloLens over USB)
 C++ (v142) Universal Windows Platform tools (required when using Unity)
＊印はMRTK3を導入すると自動的に依存関係のあるpackageとしてインポートされます。
プチネタ
C++のV14.3入れてしまうとビルドが
うまくいかなくなると思います

12. Zappy’s Playgroundの紹介
2022/7/20 Copyright © 2022 Takahiro Miyaura 12

13. Zappy’s Playground
Mixed Reality Toolkit 3 の機能を体験できるチュートリアル
2022/7/20 Copyright © 2022 Takahiro Miyaura 13
 HoloLens 2 / Meta Quest 2で体験可
ドキュメントはこちら
https://docs.microsoft.com/en-us/windows/mixed-
reality/develop/unity/playground-tutorial

14. Zappy’s Playground
チュートリアルはこんな感じ + 体験できる機能
2022/7/20 Copyright © 2022 Takahiro Miyaura 14

15. Zappy’s Playground
チュートリアルはこんな感じ + 体験できる機能
2022/7/20 Copyright © 2022 Takahiro Miyaura 15

16. Zappy’s Playground
チュートリアルはこんな感じ + 体験できる機能
2022/7/20 Copyright © 2022 Takahiro Miyaura 16

17. Zappy’s Playground
チュートリアルはこんな感じ + 体験できる機能
2022/7/20 Copyright © 2022 Takahiro Miyaura 17

18. HoloLens 2で動かした場合
プレイエリアの設定ができます。
Zappy’s Playground
2022/7/20 Copyright © 2022 Takahiro Miyaura 18
空間スキャン
→ Scene Understandingでいい空間か判断
→Azure Spatial Anchorsで固定

19. HoloLens 2で動かした場合
GazeとHand Menuも使えます。
Zappy’s Playground
2022/7/20 Copyright © 2022 Takahiro Miyaura 19
空間スキャン
→ Scene Understandingでいい空間か判断
→Azure Spatial Anchorsで固定
Input Simulatorで
Shift+Fで手のひら返せるよ！

20. HoloLens 2で動かした場合
Themingもできますよ。
Zappy’s Playground
2022/7/20 Copyright © 2022 Takahiro Miyaura 20
Tを押して左手のハンドメニュー出しつつ
スペースキーで右手を出してメニューを操作！
Input Simulatorで
Tで左手の手のひらを返した状態で手が固定（右手はYです）

21. 以上！
2022/7/20 Copyright © 2022 Takahiro Miyaura 21

22. まとめ
 Mixed Reality Toolkit 3の概要
 Zappy‘s Playground
 体験はよくできてます。面白いですよ。
 HoloLens 2 / Oculus Quest 2どっちでも遊べるよ。
 MRTK3の色々な機能を試せるし、実装も確認できますよ。
 実は地味に日本語化してあります、今日のアプリ
（今後、プルリクエストしようかな）
2022/7/20 Copyright © 2022 Takahiro Miyaura 22

23. MRTK3に関する情報
 Github - Mixed Reality Toolkit 3
 https://github.com/microsoft/MixedRealityToolkit-Unity/tree/mrtk3
 MTRK3ドキュメント
 https://aka.ms/mrtk3
 MRTK3 Tutorial : "Zappy's Playground"
 https://aka.ms/ZappysPlayground
 Mixed Reality Dev Days 2022
 再生リスト:https://www.youtube.com/watch?v=U1BSqLbW-PM&list=PLlrxD0HtieHhkPlibqfQf1pGvM0vLNPpL
1. Introducing MRTK3 – Shaping the future of the MR Developer Experience.(https://youtu.be/fjQFkeF-ZOM)
→過去のMRTKの取組みから振返り、MRTK3がどういったコンセプトで今回作られたのか
2. Getting started with your first MRTK3 project(https://youtu.be/aVnwIq4VUcY)
→MRTK3動かしてみようぜ
3. MRTK3 Interaction building blocks(https://youtu.be/naVziEJ-yDg)
→MRTK3の入力系についての設計や構造
4. Building Rich UI for MR in MRTK3(https://youtu.be/g2HF5HMy-2c)
→MRTK3の素敵なUIをどう構築しているか
5. Working with Dynamic Data and Theming in MRTK3(https://youtu.be/IiTpZ2ojyno)
→データバインディングとテーマ制御について
6. Deploy Everywhere with OpenXR and MRTK3(https://youtu.be/LI6lyW9TG9o)
→MRTK3のOpenXR対応で色々デバイスで動く話
2022/7/20 Copyright © 2022 Takahiro Miyaura 23

24. 大阪駆動開発
関西を中心に、IT系のおもしろそうなことを
楽しんでやるコミュニティ
2022/7/20 Copyright © 2022 Takahiro Miyaura 24