SlideShare a Scribd company logo
1 of 44
takabrz1 Takahiro Miyaura
Mixed Reality Toolkit 3 Recap
2022/06
Tokyo HoloLens ミートアップ Vol.30
宮浦 恭弘 (Miyaura Takahiro)
 大阪駆動開発(とHolomagicians)コミュニティに生息
 HoloLens日本販売してからxR系技術に取組む
最近はMixed Reality Toolkit 3と戯れている。
 新しい技術や、MRに使えそうな技術を調べる
技術Tips : https://qiita.com/miyaura
@takabrz1 ※よかったらこれを機にお知り合いになってください
(貢献領域:Mixed Reality)
Microsoft MVP for Windows Development 2018-202 2
某会社でSE(アプリケーション領域のアーキテクト的なお仕事なはず)= XRは趣味です
先日
Mixed Reality Dev Days 2022が開催
色々話があって面白かったですね!!!
2022/6/23 Copyright © 2022 Takahiro Miyaura 3
Mixed Reality Dev Daysとは
だいたい春頃に開催さるMicrosoft社のMRの開発技術イベント
コロナ禍でしばらくはオンラインだったが今回からオフラインでも開催
2022/6/23 Copyright © 2022 Takahiro Miyaura 4
 今回は以下の技術に関するセッション
 Mixed Reality Toolkit 3
 Stereokit
 OpenXR, Unity XR Interaction Toolkit
 Unreal Engine 5 (+ Deep Learning)
 Azure Remote Rendering
 Moving Platform
 HoloLens 2 Power Thermal Notification SDK
オンライン配信はMRTK3のみでしたが
今は全セッションアーカイブ公開されてます。
https://www.youtube.com/watch?v=U1BSqLbW-
PM&list=PLlrxD0HtieHhkPlibqfQf1pGvM0vLNPpL
ということでMRDD2022から
Mixed Reality Toolkit 3関連の情報を
なのですが・・・
2022/6/23 Copyright © 2022 Takahiro Miyaura 5
全部で6セッションあるんですよね。。。
twitterで5セッションって言ってた気がしますが、数えたら数合わないですね・・・
1. Introducing MRTK3 – Shaping the future of the MR Developer Experience.
→過去のMRTKの取組みから振返り、MRTK3がどういったコンセプトで今回作られたのか
【見所】このセッションで紹介されているサンプルはとてもよくできている & 名前の由来
2. Getting started with your first MRTK3 project
→MRTK3動かしてみようぜ
【見所】とりあえずやってみたい人はこれ見ればOK
3. MRTK3 Interaction building blocks
→MRTK3の入力系についての設計や構造
【見所】徹夜&早朝では難易度ナイトメア
4. Building Rich UI for MR in MRTK3
→MRTK3の素敵なUIをどう構築しているか
【見所】今回のUIコンセプトの話(丸みを帯びてるとか色々)
5. Working with Dynamic Data and Theming in MRTK3
→データバインディングとテーマ制御について
【見所】とりあえず全部。データバインディングは特に
6. Deploy Everywhere with OpenXR and MRTK3
→MRTK3のOpenXR対応で色々デバイスで動く話
【見所】LiveデモでHoloLens 2とMeta Quest 2のリモートデバッグ
2022/6/23 Copyright © 2022 Takahiro Miyaura 6
全部で6セッションあるんですよね。。。
twitterで5セッションって言ってた気がしますが、数えたら数合わないですね・・・
1. Introducing MRTK3 – Shaping the future of the MR Developer Experience.
→過去のMRTKの取組みから振返り、MRTK3がどういったコンセプトで今回作られたのか
【見所】このセッションで紹介されているサンプルはとてもよくできている & 名前の由来
2. Getting started with your first MRTK3 project
→MRTK3動かしてみようぜ
【見所】とりあえずやってみたい人はこれ見ればOK
3. MRTK3 Interaction building blocks
→MRTK3の入力系についての設計や構造
【見所】徹夜&早朝では難易度ナイトメア
4. Building Rich UI for MR in MRTK3
→MRTK3の素敵なUIをどう構築しているか
【見所】今回のUIコンセプトの話(丸みを帯びてるとか色々)
5. Working with Dynamic Data and Theming in MRTK3
→データバインディングとテーマ制御について
【見所】とりあえず全部。データバインディングは特に
6. Deploy Everywhere with OpenXR and MRTK3
→MRTK3のOpenXR対応で色々デバイスで動く話
【見所】LiveデモでHoloLens 2とMeta Quest 2のリモートデバッグ
2022/6/23 Copyright © 2022 Takahiro Miyaura 7
独断と偏見で一部をチョイス
時間がいくらあっても足りなくなるので機能に
ついては簡単な機構程度にとどめます。
(後日詳細化とハンズオンしようかな。。。)
需要があれば前向きにやりますよ!
(なければ1人モクモクしておきます)
タグ「#Holomagicians #HoloLens」で需要あるか見ときます
本日の内容
 Mixed Reality Toolkit 3の概要
 Mixed Reality Toolkit 3に至る経緯
 ポイント
 アーキテクチャ、パッケージ構造
 Get Started(ここは事前に記事書けた。。。)
 パッケージ導入
 Unity上の設定(OpenXR,MRTK)
 シーン設定
以下はサンプルを交えながら・・・
 MRTK3からのUI表現
 Data Binding And Theming
2022/6/23 Copyright © 2022 Takahiro Miyaura 8
詳細になりすぎないよう努めますがそれでも
いっぱいいっぱいなので、
時間が迫ってきたら駆け足になるかもです。
そうならないように応援をお願いしいますw
Mixed Reality Toolkit 3はPublic Preview版だから
検証目的で使ってね!
Microsoft 公式でもそう書かれています。
2022/6/23 Copyright © 2022 Takahiro Miyaura 9
Mixed Reality Toolkit 3
Mixed Reality Toolkit 3に至る経緯
2022/6/23 Copyright © 2022 Takahiro Miyaura 10
Mixed Reality Toolkit 3に至る経緯
- Mixed Reality Toolkit とは
Unity向けのMicrosoft公式のOSSライブラリ
2022/6/23 Copyright © 2022 Takahiro Miyaura 11
Unity向け
クロスプラットフォーム
最新バージョンはV2.8.0
基本コンポーネント
共通のインタラクション
UIコントロール
※Unreal向けのMRTKもあります。
※実はBabylon.js版もある
Holotoolkit
HoloLens向け
Mixed Reality Toolkit
Windows Mixed Reality Devices対応
Mixed Reality Toolkit V2
HoloLens 1/2,VR Devices,Mobile AR…
Mixed Reality Toolkit 3
New!!!
Mixed Reality Toolkit 3に至る経緯
- Mixed Reality Toolkit V2までで抱えている課題
コミュニティからのフィードバック
2022/6/23 Copyright © 2022 Takahiro Miyaura 12
便利さゆえに・・・
○コンポーネントの課題→管理単位が大きい(MRTKという単位)
◦ 各サブシステムが大きく、個別で活用できない
◦ UX部品の使いやすさを重視した結果、カスタマイズが困難 & Prefabが膨大に
◦ パフォーマンスの劣化が大きくなっている
○開発環境の課題
◦ Unity2018のサポート終了
◦ LegacyXRのサポート終了
◦ 業界標準への対応
Mixed Reality Toolkit 3に至る経緯
- 業界標準への対応
早期にCross Platform対応を進めてきた結果。。。
2022/6/23 Copyright © 2022 Takahiro Miyaura 13
○OpenXRが後追いで公開されている
◦ MRTK V2のInput Providerは各XRデバイスのSDKを隠蔽化し共通化
○Unity XR Interaction Toolkitも後追いでできた
◦ Input Providerからの入力をどのアクションに割当てるか定義する機能を持っている
世の中にクロスプラットフォーム向けの便利なものがなかった
ライブラリ内で構築した結果、現在はそれ自体が冗長になっている
Mixed Reality Toolkit 3
ポイント
2022/6/23 Copyright © 2022 Takahiro Miyaura 14
既存ライブラリへの対応、標準化
 MRTK V2までで持つしかなかった機能や仕組みを改めて既存ライブラリを利用するように変更
MRTK3のポイント
2022/6/23 Copyright © 2022 Takahiro Miyaura 15
業界標準、冗長な機能に対応するためのリファクタリングにより
扱いやすいライブラリへ
引用元:Microsoft Developer,「Getting started with your first MRTK3 project」, https://youtu.be/aVnwIq4VUcY, (参照
2022/06/11)
MRTK3のポイント
(参考)開発環境とパッケージ要件
開発に必要な環境とパッケージ
2022/6/23 Copyright © 2022 Takahiro Miyaura 16
○ Mixed Reality Feature Tool
○ Unity 2020.3.35,2021.3.4 or newer
○ packages
 Mixed Reality OpenXR Plugin(from Mixed Reality Feature Tool)
 Input System*
 XR Management*
 XR Interaction Toolkit*
 OpenXR Plugin*
○ Visual Studio 2022
 Windows 10 SDK version 10.0.19041.0 or 10.0.18362.0, or Windows 11
SDK
 USB Device Connectivity (required to deploy/debug to HoloLens over USB)
 C++ (v142) Universal Windows Platform tools (required when using Unity)
*印はMRTK3を導入すると自動的に依存関係のあるpackageとしてインポートされます。
Mixed Reality Toolkit 3
アーキテクチャ、パッケージ構造
2022/6/23 Copyright © 2022 Takahiro Miyaura 17
アーキテクチャはこういう感じです。
 MRTK V2までで持つしかなかった機能や仕組みを改めて既存ライブラリを利用するように変更
 各機能をパッケージとして分割し依存性を排除
Mixed Reality Toolkit 3
アーキテクチャ、パッケージ構造
2022/6/23 Copyright © 2022 Takahiro Miyaura 18
依存関係も見直しが入っており扱いやすく
引用元:Microsoft Developer,「Getting started with your first MRTK3 project」, https://youtu.be/aVnwIq4VUcY, (参照
2022/06/11)
細かくなりました。
MRTK3からは機能毎にパッケージングし細分化、それぞれにバージョンをつける
Mixed Reality Toolkit 3
パッケージ構造
2022/6/23 Copyright © 2022 Takahiro Miyaura 19
ゆえに MRTK V3 ではなく MRTK3 となっている
3はバージョンではなく第3世代という意味
ポイント
機能毎に細分化したことで修正時の
パッケージの範囲も小さくなりリリー
スサイクルを短縮できる
引用元:Microsoft Developer,「Getting started with your first MRTK3 project」, https://youtu.be/aVnwIq4VUcY, (参照
2022/06/11)
Mixed Reality Toolkit 3
(参考)MRTK3のバージョン
2022/6/23 Copyright © 2022 Takahiro Miyaura 20
こういう感じで機能毎にバージョニングされます
パッケージ名 バージョン
com.microsoft.mrtk.accessibility 1.0.0-pre.6
com.microsoft.mrtk.core 3.0.0-pre.6
com.microsoft.mrtk.data 1.0.0-pre.6
com.microsoft.mrtk.diagnostics 3.0.0-pre.6
com.microsoft.mrtk.environment 3.0.0-pre.6
com.microsoft.mrtk.extendedassets 3.0.0-pre.6
com.microsoft.mrtk.graphicstools.unity 0.3.15
com.microsoft.mrtk.input 3.0.0-pre.6
com.microsoft.mrtk.spatialmanipulation 3.0.0-pre.6
com.microsoft.mrtk.standardassets 3.0.0-pre.6
com.microsoft.mrtk.uxcomponents 3.0.0-pre.6
com.microsoft.mrtk.uxcore 3.0.0-pre.6
com.microsoft.mrtk.windowsspeech 3.0.0-pre.6
MRTK3からの新機能なのでV1から始まってる
MRTK3からの新機能なのでV1から始まってる
Get Started
とりあえずMRTK3やってみよう
2022/6/23 Copyright © 2022 Takahiro Miyaura 21
Get Started
話すと長くなるので全体的には・・・
2022/6/23 Copyright © 2022 Takahiro Miyaura 22
○Qiitaにまとめています。
○Getting started with your first MRTK3 project
https://qiita.com/miyaura/items/df5947d45cb3b86bbf18
○MRTK3について
○空のプロジェクトの作成~デプロイ
○Hand Interaction Example等のサンプルについて
Get Startedはこんな感じ
2022/6/23 Copyright © 2022 Takahiro Miyaura 23
Meta Quest 2で動かす! HoloLens 2で動かす!
Get Started
大雑把な手順は・・・
Unityで空プロジェクト作ってMRTK3のUI部品を使うまで
2022/6/23 Copyright © 2022 Takahiro Miyaura 24
1. Unityで空プロジェクト作成
2. 1のプロジェクトにMixed Reality Feature Toolで必要なパッケージをインポー
ト
3. OpenXRとMRTKの設定
4. Hierarchyの設定(この作業までするとベースが完成)
 Main Cameraの削除
 MRTK XR Rigの追加
 MRTK Input Simulatorの追加
5. ボタンといくつかのUI部品を追加
6. ビルド&デプロイ(HoloLens 2 or Meta Quest 2)
7. |・ω・’)b
Get Started
MRTK3の既知の問題(先日試した時点で)
2022/6/23 Copyright © 2022 Takahiro Miyaura 25
○OpenXR対応なのでMeta Quest 2でも動きます
○ハンドトラッキングできます
○人差し指で押せます
○モーションコントローラは使えます
!モーションコントローラは見えないです(今日時点)
!ハンドレイは未サポートです(今日時点)
!ジェスチャーも未サポートです(今日時点)
Get Started
パッケージ導入
2022/6/23 Copyright © 2022 Takahiro Miyaura 26
Get Started
パッケージ導入
導入はMixed Reality Feature Toolを利用
2022/6/23 Copyright © 2022 Takahiro Miyaura 27
Preview releaseの表示
MRTK3はまだPublic Preview版なので
Mixed Reality Feature Tool使うために
は設定変更が必要
必要なコンポーネントの設定
MRTK3関連に加えてOpenXR Pluginの
追加も忘れずに!
任意で空間オーディオライブラリも使
えます。
MRTK3はこれをインポート
○ MRTK Input(3.0.0-pre.6)
○ MRTK Standard Assets(3.0.0-
pre.6)
○ MRTK UX Conpoments(3.0.0-
pre.6)
○ Mixed Reality OpenXR
Plugin(1.4.1)
Get Started
Unity上の設定(OpenXR,MRTK)
2022/6/23 Copyright © 2022 Takahiro Miyaura 28
OpenXR関連の設定は以前と同じです
Get Started
Unity上の設定(OpenXR,MRTK
2022/6/23 Copyright © 2022 Takahiro Miyaura 29
Project Settingsで行います
Get Started
Unity上の設定(OpenXR, MRTK)
2022/6/23 Copyright © 2022 Takahiro Miyaura 30
デプロイするプラットフォーム毎に
設定が必要
○ デフォルト設定はパッケージ内
にあるProfileを使う
○ Input Simulatorを使う場合
○ Susbsystem for Hand
Synthesisのチェックを忘れ
ずに
Get Started
シーン設定
2022/6/23 Copyright © 2022 Takahiro Miyaura 31
Get Started
シーン設定
2022/6/23 Copyright © 2022 Takahiro Miyaura 32
必要なPrefabは提供されている
(現状は自分で設定する)
○ MRTK XR Rig
○ カメラ、コントローラ等
○ MRTK Input Simulator
○ Editor上のデバッグで使う
Projectタブで検索して追加する
※In PackageかAllで検索してね
MRTK3からのUI表現
2022/6/23 Copyright © 2022 Takahiro Miyaura 33
MRTK3からのUI表現
Microsoft Meshベースのデザインです
2022/6/23 Copyright © 2022 Takahiro Miyaura 34
引用元:Microsoft Developer,「Building Rich UI for MR in MRTK3」, https://youtu.be/g2HF5HMy-2c, (参照2022/06/11)
ポイント
○ 丸みを帯びたデザイン
○ 背景に薄くグレーを入れる
(境界を可視化)
UGUIをベースにした可変レイアウトに対応
レイアウトの調整を柔軟に行えるようになった
MRTK3からのUI表現
Volumetric UI With Unity Canvas
2022/6/23 Copyright © 2022 Takahiro Miyaura 35
UGUI側イベントはProxy XRI Interactorでフィードバック
MRTK3からのUI表現
Volumetric UI With Unity Canvas
2022/6/23 Copyright © 2022 Takahiro Miyaura 36
従来のXRIでの関係
UGUIのイベントを
XRI Interactorに通して
処理を可能にする
Data Binding
2022/6/23 Copyright © 2022 Takahiro Miyaura 37
Data Binding
Dataに応じてコンテンツを動的に制御する
Json形式データをバインディングしてコンテンツに反映
2022/6/23 Copyright © 2022 Takahiro Miyaura 38
[
{
"ID": "MRTK0001",
"Name": "MRTK3 is
amazing."
},
{…},…
]
DataSource
何かから情報を取ってきて管理
(このサンプルではJson形式で管理)
Dictionary系コンポーネント
Json等のキー変換テーブルを管理
ページ切替用コンポーネント
Collection系で利用するとページャー機能をつ
けることができる
Consumer系コンポーネント
DataSourceに従って動的にコンテンツを
調整
※テキストを動的に変えるときは
DataConsumerTextコンポーネントを利用
Theming
2022/6/23 Copyright © 2022 Takahiro Miyaura 39
Theming
統一そた色や音でコンテンツを動的に切り替える仕組み
アクセシビリティや、モードの区別などで活用
2022/6/23 Copyright © 2022 Takahiro Miyaura 40
Data Source Theme Provider
何かから情報を取ってきて管理
(このサンプルではJson形式で管理)
Theme Selector
複数のテーマを登録し管理。
Current Themeを変更すると
Data Source Theme Providerが変更
どういう変更を行うかは
UX Theme Profileで定義
• UX部品に応じて以下情報を定義可能
• 色などのマテリアル
• フォント系
• 効果音
以上!
2022/6/23 Copyright © 2022 Takahiro Miyaura 41
まとめ
 Mixed Reality Toolkit 3の概要
 Mixed Reality Toolkit 3の「3」は第3世代を意味
 従来のパッケージング構成を変更して細分化→バージョニングはそれぞれで
 OpenXR、XRI等機能が重複するものはシンプルに
 Get Started(ここは事前に記事書けた。。。)
 MRTK3はpublic previewなのでMixed Reality Feature Toolでshow preview releaseを
 OpenXRはこれまでと同じ。MRTK3での設定はProject Settingsで
 必要なモジュールは「MRTK XR Rig」、デバック実行には「MRTK Input Simulator」も。MRTKの設定は忘れないでね
 MRTK3からのUI表現
 Microsoft Meshのような丸みを帯びたデザイン。
 色見は少し明るくなった。
 操作感は依然と同じライティングや音と使った表現
 ThemingによりUIカスタマイズや、アクセシビリティ対応も
 Data Binding And Theming
 利用時にはシンボル定義「MRTK_UX_DATABINDING_THEMING_ENABLED 」が必要
 DataBinding
 テキスト等を後から動的に差し込むことが可能
 コレクションにも対応し、データに応じてオブジェクトで一覧表示も
 Theming
 動的にテーマ(マテリアルや音声)変更が可能
2022/6/23 Copyright © 2022 Takahiro Miyaura 42
MRTK3に関する情報
 Github - Mixed Reality Toolkit 3
 https://github.com/microsoft/MixedRealityToolkit-Unity/tree/mrtk3
 MTRK3ドキュメント
 https://aka.ms/mrtk3
 MRTK3 Tutorial : "Zappy's Playground"
 https://aka.ms/ZappysPlayground
 Mixed Reality Dev Days 2022
 再生リスト:https://www.youtube.com/watch?v=U1BSqLbW-PM&list=PLlrxD0HtieHhkPlibqfQf1pGvM0vLNPpL
1. Introducing MRTK3 – Shaping the future of the MR Developer Experience.(https://youtu.be/fjQFkeF-ZOM)
→過去のMRTKの取組みから振返り、MRTK3がどういったコンセプトで今回作られたのか
2. Getting started with your first MRTK3 project(https://youtu.be/aVnwIq4VUcY)
→MRTK3動かしてみようぜ
3. MRTK3 Interaction building blocks(https://youtu.be/naVziEJ-yDg)
→MRTK3の入力系についての設計や構造
4. Building Rich UI for MR in MRTK3(https://youtu.be/g2HF5HMy-2c)
→MRTK3の素敵なUIをどう構築しているか
5. Working with Dynamic Data and Theming in MRTK3(https://youtu.be/IiTpZ2ojyno)
→データバインディングとテーマ制御について
6. Deploy Everywhere with OpenXR and MRTK3(https://youtu.be/LI6lyW9TG9o)
→MRTK3のOpenXR対応で色々デバイスで動く話
2022/6/23 Copyright © 2022 Takahiro Miyaura 43
大阪駆動開発
関西を中心に、IT系のおもしろそうなことを
楽しんでやるコミュニティ
2022/6/23 Copyright © 2022 Takahiro Miyaura 44

More Related Content

What's hot

What's hot (20)

めざせスカウター! HoloLensによる特定個人の 顔認識アプリ制作とその課題
めざせスカウター! HoloLensによる特定個人の 顔認識アプリ制作とその課題めざせスカウター! HoloLensによる特定個人の 顔認識アプリ制作とその課題
めざせスカウター! HoloLensによる特定個人の 顔認識アプリ制作とその課題
 
#MRDevDaysJP HoloLens 2 アプリ開発入門
#MRDevDaysJP HoloLens 2 アプリ開発入門#MRDevDaysJP HoloLens 2 アプリ開発入門
#MRDevDaysJP HoloLens 2 アプリ開発入門
 
【続】OpenXRでHoloLensアプリを作る
【続】OpenXRでHoloLensアプリを作る【続】OpenXRでHoloLensアプリを作る
【続】OpenXRでHoloLensアプリを作る
 
遅延の少ないLivePreview方法
遅延の少ないLivePreview方法遅延の少ないLivePreview方法
遅延の少ないLivePreview方法
 
UniRxでMV(R)Pパターン をやってみた
UniRxでMV(R)PパターンをやってみたUniRxでMV(R)Pパターンをやってみた
UniRxでMV(R)Pパターン をやってみた
 
World Locking Tools V1.0.0について~ 機能と導入 ~
World Locking Tools V1.0.0について~ 機能と導入 ~ World Locking Tools V1.0.0について~ 機能と導入 ~
World Locking Tools V1.0.0について~ 機能と導入 ~
 
Azure Spatial Anchors V2概要 ~空間情報の共有~
Azure Spatial Anchors V2概要 ~空間情報の共有~Azure Spatial Anchors V2概要 ~空間情報の共有~
Azure Spatial Anchors V2概要 ~空間情報の共有~
 
ARマーカーを利用したHoloLens同士の位置合わせ
ARマーカーを利用したHoloLens同士の位置合わせARマーカーを利用したHoloLens同士の位置合わせ
ARマーカーを利用したHoloLens同士の位置合わせ
 
Azure Object Anchors のQuick Startで理解を深めたい
Azure Object Anchors のQuick Startで理解を深めたいAzure Object Anchors のQuick Startで理解を深めたい
Azure Object Anchors のQuick Startで理解を深めたい
 
Oculus Quest 2 on Mixed Reality Toolkit V2.5.0~ ハンドトラッキングする方法 ~
Oculus Quest 2 on Mixed Reality Toolkit V2.5.0~ ハンドトラッキングする方法 ~Oculus Quest 2 on Mixed Reality Toolkit V2.5.0~ ハンドトラッキングする方法 ~
Oculus Quest 2 on Mixed Reality Toolkit V2.5.0~ ハンドトラッキングする方法 ~
 
Unityネイティブプラグインマニアクス #denatechcon
Unityネイティブプラグインマニアクス #denatechconUnityネイティブプラグインマニアクス #denatechcon
Unityネイティブプラグインマニアクス #denatechcon
 
Mixed Reality Toolkit V2のMixed Reality Scene Systemを使う
Mixed Reality Toolkit V2のMixed Reality Scene Systemを使うMixed Reality Toolkit V2のMixed Reality Scene Systemを使う
Mixed Reality Toolkit V2のMixed Reality Scene Systemを使う
 
10分で(だいたい)わかるMicrosoft MVP アワードプログラム
10分で(だいたい)わかるMicrosoft MVP アワードプログラム10分で(だいたい)わかるMicrosoft MVP アワードプログラム
10分で(だいたい)わかるMicrosoft MVP アワードプログラム
 
HoloLens で OpenCV をどう使うか レーザーポインター 認識で試してみた
HoloLens で OpenCV をどう使うか レーザーポインター 認識で試してみたHoloLens で OpenCV をどう使うか レーザーポインター 認識で試してみた
HoloLens で OpenCV をどう使うか レーザーポインター 認識で試してみた
 
Hololens2 MRTK2.7(OpenXR) でのビルド環境構築(環境設定からビルドまで)
Hololens2 MRTK2.7(OpenXR) でのビルド環境構築(環境設定からビルドまで)Hololens2 MRTK2.7(OpenXR) でのビルド環境構築(環境設定からビルドまで)
Hololens2 MRTK2.7(OpenXR) でのビルド環境構築(環境設定からビルドまで)
 
GNU AGPLv3について(On GNU AGPLv3)
GNU AGPLv3について(On GNU AGPLv3)GNU AGPLv3について(On GNU AGPLv3)
GNU AGPLv3について(On GNU AGPLv3)
 
建築革命、更に更に進化!便利さ向上【Unity Reflect ver 3.0 】
建築革命、更に更に進化!便利さ向上【Unity Reflect ver 3.0 】建築革命、更に更に進化!便利さ向上【Unity Reflect ver 3.0 】
建築革命、更に更に進化!便利さ向上【Unity Reflect ver 3.0 】
 
ゲーム開発とデザインパターン
ゲーム開発とデザインパターンゲーム開発とデザインパターン
ゲーム開発とデザインパターン
 
UnityによるHoloLensアプリケーション入門
UnityによるHoloLensアプリケーション入門UnityによるHoloLensアプリケーション入門
UnityによるHoloLensアプリケーション入門
 
RPGにおけるイベント駆動型の設計と実装
RPGにおけるイベント駆動型の設計と実装RPGにおけるイベント駆動型の設計と実装
RPGにおけるイベント駆動型の設計と実装
 

Similar to Mixed Reality Toolkit 3 Recap

N01_多様に活用可能なマイクロソフトのゲーム関連技術や開発の DX ~高品質リアルタイムビジュアライズのリモート活用からリアルタイムコラボレーションま...
N01_多様に活用可能なマイクロソフトのゲーム関連技術や開発の DX  ~高品質リアルタイムビジュアライズのリモート活用からリアルタイムコラボレーションま...N01_多様に活用可能なマイクロソフトのゲーム関連技術や開発の DX  ~高品質リアルタイムビジュアライズのリモート活用からリアルタイムコラボレーションま...
N01_多様に活用可能なマイクロソフトのゲーム関連技術や開発の DX ~高品質リアルタイムビジュアライズのリモート活用からリアルタイムコラボレーションま...
日本マイクロソフト株式会社
 

Similar to Mixed Reality Toolkit 3 Recap (20)

Mixed Reality Toolkit V3について
Mixed Reality Toolkit V3についてMixed Reality Toolkit V3について
Mixed Reality Toolkit V3について
 
Unreal Engine でアプリ開発~ MRTK UXTools for Unreal V0.9.0 ~
Unreal Engine でアプリ開発~ MRTK UXTools for Unreal V0.9.0 ~Unreal Engine でアプリ開発~ MRTK UXTools for Unreal V0.9.0 ~
Unreal Engine でアプリ開発~ MRTK UXTools for Unreal V0.9.0 ~
 
MixedReality技術とその活用事例~xR(VR/AR/MR...)への基礎知識~
MixedReality技術とその活用事例~xR(VR/AR/MR...)への基礎知識~MixedReality技術とその活用事例~xR(VR/AR/MR...)への基礎知識~
MixedReality技術とその活用事例~xR(VR/AR/MR...)への基礎知識~
 
Mixed Reality Feature ToolとMixed Reality Toolkit V2.6.1
Mixed Reality Feature ToolとMixed Reality Toolkit V2.6.1Mixed Reality Feature ToolとMixed Reality Toolkit V2.6.1
Mixed Reality Feature ToolとMixed Reality Toolkit V2.6.1
 
Mixed Reality Toolkit 3 の更新状況 - 6月からもちょいちょいアップデートされてるよ
Mixed Reality Toolkit 3 の更新状況 - 6月からもちょいちょいアップデートされてるよMixed Reality Toolkit 3 の更新状況 - 6月からもちょいちょいアップデートされてるよ
Mixed Reality Toolkit 3 の更新状況 - 6月からもちょいちょいアップデートされてるよ
 
OpenXR + XR Interaction Toolkit使ったHoloLensコンテンツ開発検証 ~ (私が)完全に理解できたらちゃんと作れて、いろ...
OpenXR + XR Interaction Toolkit使ったHoloLensコンテンツ開発検証 ~ (私が)完全に理解できたらちゃんと作れて、いろ...OpenXR + XR Interaction Toolkit使ったHoloLensコンテンツ開発検証 ~ (私が)完全に理解できたらちゃんと作れて、いろ...
OpenXR + XR Interaction Toolkit使ったHoloLensコンテンツ開発検証 ~ (私が)完全に理解できたらちゃんと作れて、いろ...
 
Unreal Engine でアプリ開発~ MRTK UXTools for Unreal V0.9.0 ~
Unreal Engine でアプリ開発~ MRTK UXTools for Unreal V0.9.0 ~Unreal Engine でアプリ開発~ MRTK UXTools for Unreal V0.9.0 ~
Unreal Engine でアプリ開発~ MRTK UXTools for Unreal V0.9.0 ~
 
Mixed Reality関連のSDKの状況を調べてみた
Mixed Reality関連のSDKの状況を調べてみたMixed Reality関連のSDKの状況を調べてみた
Mixed Reality関連のSDKの状況を調べてみた
 
XRマルチデバイス開発を可能にするOSSライブラリ「MRTK-vNEXT」について
XRマルチデバイス開発を可能にするOSSライブラリ「MRTK-vNEXT」についてXRマルチデバイス開発を可能にするOSSライブラリ「MRTK-vNEXT」について
XRマルチデバイス開発を可能にするOSSライブラリ「MRTK-vNEXT」について
 
Microsoft Ignite 2022の情報 & Microsoft Learnの整理をしてみた
Microsoft Ignite 2022の情報 & Microsoft Learnの整理をしてみたMicrosoft Ignite 2022の情報 & Microsoft Learnの整理をしてみた
Microsoft Ignite 2022の情報 & Microsoft Learnの整理をしてみた
 
Build 2021のDigital Twinsセションを読み解く ~Azure関連サービス概要とラーニングパスの詳説~
Build 2021のDigital Twinsセションを読み解く ~Azure関連サービス概要とラーニングパスの詳説~Build 2021のDigital Twinsセションを読み解く ~Azure関連サービス概要とラーニングパスの詳説~
Build 2021のDigital Twinsセションを読み解く ~Azure関連サービス概要とラーニングパスの詳説~
 
N01_多様に活用可能なマイクロソフトのゲーム関連技術や開発の DX ~高品質リアルタイムビジュアライズのリモート活用からリアルタイムコラボレーションま...
N01_多様に活用可能なマイクロソフトのゲーム関連技術や開発の DX  ~高品質リアルタイムビジュアライズのリモート活用からリアルタイムコラボレーションま...N01_多様に活用可能なマイクロソフトのゲーム関連技術や開発の DX  ~高品質リアルタイムビジュアライズのリモート活用からリアルタイムコラボレーションま...
N01_多様に活用可能なマイクロソフトのゲーム関連技術や開発の DX ~高品質リアルタイムビジュアライズのリモート活用からリアルタイムコラボレーションま...
 
覗いてみよう。with/afterコロナ時代に輝くMixedRealityの世界。
覗いてみよう。with/afterコロナ時代に輝くMixedRealityの世界。覗いてみよう。with/afterコロナ時代に輝くMixedRealityの世界。
覗いてみよう。with/afterコロナ時代に輝くMixedRealityの世界。
 
Azure Digital TwinとUnreal Engineを統合するADTLink Pluginについて
 Azure Digital TwinとUnreal Engineを統合するADTLink Pluginについて Azure Digital TwinとUnreal Engineを統合するADTLink Pluginについて
Azure Digital TwinとUnreal Engineを統合するADTLink Pluginについて
 
Azure Remote Renderingを試す
Azure Remote Renderingを試すAzure Remote Renderingを試す
Azure Remote Renderingを試す
 
もうすぐMixed Reality Toolkit V2.5.0がリリースされるはずなのでフライング調査
もうすぐMixed Reality Toolkit V2.5.0がリリースされるはずなのでフライング調査もうすぐMixed Reality Toolkit V2.5.0がリリースされるはずなのでフライング調査
もうすぐMixed Reality Toolkit V2.5.0がリリースされるはずなのでフライング調査
 
MRTK V2で積木アプリを作る
MRTK V2で積木アプリを作るMRTK V2で積木アプリを作る
MRTK V2で積木アプリを作る
 
HoloLens 1のアプリをHoloLens 2に移行する
HoloLens 1のアプリをHoloLens 2に移行するHoloLens 1のアプリをHoloLens 2に移行する
HoloLens 1のアプリをHoloLens 2に移行する
 
ラーニングパス「Azure Digital Twins と Unity を使用して Mixed Reality デジタル ツインを構築する」にAzure ...
ラーニングパス「Azure Digital Twins と Unity を使用して Mixed Reality デジタル ツインを構築する」にAzure ...ラーニングパス「Azure Digital Twins と Unity を使用して Mixed Reality デジタル ツインを構築する」にAzure ...
ラーニングパス「Azure Digital Twins と Unity を使用して Mixed Reality デジタル ツインを構築する」にAzure ...
 
HoloLensでコンテンツを操作する方法 - Gaze And Dwell -
HoloLensでコンテンツを操作する方法 - Gaze And Dwell -HoloLensでコンテンツを操作する方法 - Gaze And Dwell -
HoloLensでコンテンツを操作する方法 - Gaze And Dwell -
 

More from Takahiro Miyaura

More from Takahiro Miyaura (13)

Mixed Reality Toolkit 3 - 「MRTK XR Rig」と「Bounds Control」
Mixed Reality Toolkit 3 - 「MRTK XR Rig」と「Bounds Control」Mixed Reality Toolkit 3 - 「MRTK XR Rig」と「Bounds Control」
Mixed Reality Toolkit 3 - 「MRTK XR Rig」と「Bounds Control」
 
Mixed Reality Toolkit 3 のチュートリアル「Zappy’s Playground」のUXをみる
Mixed Reality Toolkit 3 のチュートリアル「Zappy’s Playground」のUXをみるMixed Reality Toolkit 3 のチュートリアル「Zappy’s Playground」のUXをみる
Mixed Reality Toolkit 3 のチュートリアル「Zappy’s Playground」のUXをみる
 
Mixed Reality Toolkit で OpenXRのEye Trackingを使う
Mixed Reality Toolkit で OpenXRのEye Trackingを使うMixed Reality Toolkit で OpenXRのEye Trackingを使う
Mixed Reality Toolkit で OpenXRのEye Trackingを使う
 
Mixed RealityとAzure Digital Twinsを組合わせてデジタルツインを可視化するためのTips
Mixed RealityとAzure Digital Twinsを組合わせてデジタルツインを可視化するためのTipsMixed RealityとAzure Digital Twinsを組合わせてデジタルツインを可視化するためのTips
Mixed RealityとAzure Digital Twinsを組合わせてデジタルツインを可視化するためのTips
 
5周年ふりかえり!HoloLens 1とHoloLens 2のUI操作と実装の違いを改めて見てみよう
5周年ふりかえり!HoloLens 1とHoloLens 2のUI操作と実装の違いを改めて見てみよう5周年ふりかえり!HoloLens 1とHoloLens 2のUI操作と実装の違いを改めて見てみよう
5周年ふりかえり!HoloLens 1とHoloLens 2のUI操作と実装の違いを改めて見てみよう
 
World Locking Tools でAzure Spatial Anchorsが使えるようになった
World Locking Tools でAzure Spatial Anchorsが使えるようになったWorld Locking Tools でAzure Spatial Anchorsが使えるようになった
World Locking Tools でAzure Spatial Anchorsが使えるようになった
 
UIデザイン設計から開発をつなぐ「MRTK Figma Bridge for Unity」を使ってみよう
UIデザイン設計から開発をつなぐ「MRTK Figma Bridge for Unity」を使ってみようUIデザイン設計から開発をつなぐ「MRTK Figma Bridge for Unity」を使ってみよう
UIデザイン設計から開発をつなぐ「MRTK Figma Bridge for Unity」を使ってみよう
 
久しぶりにMicrosoft Meshを使ってみた - 色々変わってたよ編 -
久しぶりにMicrosoft Meshを使ってみた - 色々変わってたよ編 -久しぶりにMicrosoft Meshを使ってみた - 色々変わってたよ編 -
久しぶりにMicrosoft Meshを使ってみた - 色々変わってたよ編 -
 
「あれ」がスマホで動くのか試してみた
「あれ」がスマホで動くのか試してみた「あれ」がスマホで動くのか試してみた
「あれ」がスマホで動くのか試してみた
 
Azure Object Anchors Recap(Kobe版)
Azure Object Anchors Recap(Kobe版)Azure Object Anchors Recap(Kobe版)
Azure Object Anchors Recap(Kobe版)
 
Azure Object Anchors Recap
Azure Object Anchors RecapAzure Object Anchors Recap
Azure Object Anchors Recap
 
HoloLens1アプリをHoloLens2アプリに変換できるかチャレンジ
HoloLens1アプリをHoloLens2アプリに変換できるかチャレンジHoloLens1アプリをHoloLens2アプリに変換できるかチャレンジ
HoloLens1アプリをHoloLens2アプリに変換できるかチャレンジ
 
Unityは知ってる開発者が UE4 で HoloLens 2 アプリ開発セションを聞くために知っておくといいかもTips
Unityは知ってる開発者が UE4 で HoloLens 2 アプリ開発セションを聞くために知っておくといいかもTipsUnityは知ってる開発者が UE4 で HoloLens 2 アプリ開発セションを聞くために知っておくといいかもTips
Unityは知ってる開発者が UE4 で HoloLens 2 アプリ開発セションを聞くために知っておくといいかもTips
 

Recently uploaded

Recently uploaded (7)

Hyperledger Fabricコミュニティ活動体験& Hyperledger Fabric最新状況ご紹介
Hyperledger Fabricコミュニティ活動体験& Hyperledger Fabric最新状況ご紹介Hyperledger Fabricコミュニティ活動体験& Hyperledger Fabric最新状況ご紹介
Hyperledger Fabricコミュニティ活動体験& Hyperledger Fabric最新状況ご紹介
 
知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx
知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx
知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx
 
LoRaWAN無位置ロープ式水漏れセンサーWL03A 日本語マニュアル
LoRaWAN無位置ロープ式水漏れセンサーWL03A 日本語マニュアルLoRaWAN無位置ロープ式水漏れセンサーWL03A 日本語マニュアル
LoRaWAN無位置ロープ式水漏れセンサーWL03A 日本語マニュアル
 
Utilizing Ballerina for Cloud Native Integrations
Utilizing Ballerina for Cloud Native IntegrationsUtilizing Ballerina for Cloud Native Integrations
Utilizing Ballerina for Cloud Native Integrations
 
LoRaWAN無位置ロープ型水漏れセンサー WL03A-LB/LSカタログ ファイル
LoRaWAN無位置ロープ型水漏れセンサー WL03A-LB/LSカタログ ファイルLoRaWAN無位置ロープ型水漏れセンサー WL03A-LB/LSカタログ ファイル
LoRaWAN無位置ロープ型水漏れセンサー WL03A-LB/LSカタログ ファイル
 
2024年5月17日 先駆的科学計算フォーラム2024 機械学習を用いた新たなゲーム体験の創出の応用
2024年5月17日 先駆的科学計算フォーラム2024 機械学習を用いた新たなゲーム体験の創出の応用2024年5月17日 先駆的科学計算フォーラム2024 機械学習を用いた新たなゲーム体験の創出の応用
2024年5月17日 先駆的科学計算フォーラム2024 機械学習を用いた新たなゲーム体験の創出の応用
 
ネットワーク可視化 振る舞い検知(NDR)ご紹介_キンドリル202405.pdf
ネットワーク可視化 振る舞い検知(NDR)ご紹介_キンドリル202405.pdfネットワーク可視化 振る舞い検知(NDR)ご紹介_キンドリル202405.pdf
ネットワーク可視化 振る舞い検知(NDR)ご紹介_キンドリル202405.pdf
 

Mixed Reality Toolkit 3 Recap

  • 1. takabrz1 Takahiro Miyaura Mixed Reality Toolkit 3 Recap 2022/06 Tokyo HoloLens ミートアップ Vol.30
  • 2. 宮浦 恭弘 (Miyaura Takahiro)  大阪駆動開発(とHolomagicians)コミュニティに生息  HoloLens日本販売してからxR系技術に取組む 最近はMixed Reality Toolkit 3と戯れている。  新しい技術や、MRに使えそうな技術を調べる 技術Tips : https://qiita.com/miyaura @takabrz1 ※よかったらこれを機にお知り合いになってください (貢献領域:Mixed Reality) Microsoft MVP for Windows Development 2018-202 2 某会社でSE(アプリケーション領域のアーキテクト的なお仕事なはず)= XRは趣味です
  • 3. 先日 Mixed Reality Dev Days 2022が開催 色々話があって面白かったですね!!! 2022/6/23 Copyright © 2022 Takahiro Miyaura 3
  • 4. Mixed Reality Dev Daysとは だいたい春頃に開催さるMicrosoft社のMRの開発技術イベント コロナ禍でしばらくはオンラインだったが今回からオフラインでも開催 2022/6/23 Copyright © 2022 Takahiro Miyaura 4  今回は以下の技術に関するセッション  Mixed Reality Toolkit 3  Stereokit  OpenXR, Unity XR Interaction Toolkit  Unreal Engine 5 (+ Deep Learning)  Azure Remote Rendering  Moving Platform  HoloLens 2 Power Thermal Notification SDK オンライン配信はMRTK3のみでしたが 今は全セッションアーカイブ公開されてます。 https://www.youtube.com/watch?v=U1BSqLbW- PM&list=PLlrxD0HtieHhkPlibqfQf1pGvM0vLNPpL
  • 5. ということでMRDD2022から Mixed Reality Toolkit 3関連の情報を なのですが・・・ 2022/6/23 Copyright © 2022 Takahiro Miyaura 5
  • 6. 全部で6セッションあるんですよね。。。 twitterで5セッションって言ってた気がしますが、数えたら数合わないですね・・・ 1. Introducing MRTK3 – Shaping the future of the MR Developer Experience. →過去のMRTKの取組みから振返り、MRTK3がどういったコンセプトで今回作られたのか 【見所】このセッションで紹介されているサンプルはとてもよくできている & 名前の由来 2. Getting started with your first MRTK3 project →MRTK3動かしてみようぜ 【見所】とりあえずやってみたい人はこれ見ればOK 3. MRTK3 Interaction building blocks →MRTK3の入力系についての設計や構造 【見所】徹夜&早朝では難易度ナイトメア 4. Building Rich UI for MR in MRTK3 →MRTK3の素敵なUIをどう構築しているか 【見所】今回のUIコンセプトの話(丸みを帯びてるとか色々) 5. Working with Dynamic Data and Theming in MRTK3 →データバインディングとテーマ制御について 【見所】とりあえず全部。データバインディングは特に 6. Deploy Everywhere with OpenXR and MRTK3 →MRTK3のOpenXR対応で色々デバイスで動く話 【見所】LiveデモでHoloLens 2とMeta Quest 2のリモートデバッグ 2022/6/23 Copyright © 2022 Takahiro Miyaura 6
  • 7. 全部で6セッションあるんですよね。。。 twitterで5セッションって言ってた気がしますが、数えたら数合わないですね・・・ 1. Introducing MRTK3 – Shaping the future of the MR Developer Experience. →過去のMRTKの取組みから振返り、MRTK3がどういったコンセプトで今回作られたのか 【見所】このセッションで紹介されているサンプルはとてもよくできている & 名前の由来 2. Getting started with your first MRTK3 project →MRTK3動かしてみようぜ 【見所】とりあえずやってみたい人はこれ見ればOK 3. MRTK3 Interaction building blocks →MRTK3の入力系についての設計や構造 【見所】徹夜&早朝では難易度ナイトメア 4. Building Rich UI for MR in MRTK3 →MRTK3の素敵なUIをどう構築しているか 【見所】今回のUIコンセプトの話(丸みを帯びてるとか色々) 5. Working with Dynamic Data and Theming in MRTK3 →データバインディングとテーマ制御について 【見所】とりあえず全部。データバインディングは特に 6. Deploy Everywhere with OpenXR and MRTK3 →MRTK3のOpenXR対応で色々デバイスで動く話 【見所】LiveデモでHoloLens 2とMeta Quest 2のリモートデバッグ 2022/6/23 Copyright © 2022 Takahiro Miyaura 7 独断と偏見で一部をチョイス 時間がいくらあっても足りなくなるので機能に ついては簡単な機構程度にとどめます。 (後日詳細化とハンズオンしようかな。。。) 需要があれば前向きにやりますよ! (なければ1人モクモクしておきます) タグ「#Holomagicians #HoloLens」で需要あるか見ときます
  • 8. 本日の内容  Mixed Reality Toolkit 3の概要  Mixed Reality Toolkit 3に至る経緯  ポイント  アーキテクチャ、パッケージ構造  Get Started(ここは事前に記事書けた。。。)  パッケージ導入  Unity上の設定(OpenXR,MRTK)  シーン設定 以下はサンプルを交えながら・・・  MRTK3からのUI表現  Data Binding And Theming 2022/6/23 Copyright © 2022 Takahiro Miyaura 8 詳細になりすぎないよう努めますがそれでも いっぱいいっぱいなので、 時間が迫ってきたら駆け足になるかもです。 そうならないように応援をお願いしいますw
  • 9. Mixed Reality Toolkit 3はPublic Preview版だから 検証目的で使ってね! Microsoft 公式でもそう書かれています。 2022/6/23 Copyright © 2022 Takahiro Miyaura 9
  • 10. Mixed Reality Toolkit 3 Mixed Reality Toolkit 3に至る経緯 2022/6/23 Copyright © 2022 Takahiro Miyaura 10
  • 11. Mixed Reality Toolkit 3に至る経緯 - Mixed Reality Toolkit とは Unity向けのMicrosoft公式のOSSライブラリ 2022/6/23 Copyright © 2022 Takahiro Miyaura 11 Unity向け クロスプラットフォーム 最新バージョンはV2.8.0 基本コンポーネント 共通のインタラクション UIコントロール ※Unreal向けのMRTKもあります。 ※実はBabylon.js版もある Holotoolkit HoloLens向け Mixed Reality Toolkit Windows Mixed Reality Devices対応 Mixed Reality Toolkit V2 HoloLens 1/2,VR Devices,Mobile AR… Mixed Reality Toolkit 3 New!!!
  • 12. Mixed Reality Toolkit 3に至る経緯 - Mixed Reality Toolkit V2までで抱えている課題 コミュニティからのフィードバック 2022/6/23 Copyright © 2022 Takahiro Miyaura 12 便利さゆえに・・・ ○コンポーネントの課題→管理単位が大きい(MRTKという単位) ◦ 各サブシステムが大きく、個別で活用できない ◦ UX部品の使いやすさを重視した結果、カスタマイズが困難 & Prefabが膨大に ◦ パフォーマンスの劣化が大きくなっている ○開発環境の課題 ◦ Unity2018のサポート終了 ◦ LegacyXRのサポート終了 ◦ 業界標準への対応
  • 13. Mixed Reality Toolkit 3に至る経緯 - 業界標準への対応 早期にCross Platform対応を進めてきた結果。。。 2022/6/23 Copyright © 2022 Takahiro Miyaura 13 ○OpenXRが後追いで公開されている ◦ MRTK V2のInput Providerは各XRデバイスのSDKを隠蔽化し共通化 ○Unity XR Interaction Toolkitも後追いでできた ◦ Input Providerからの入力をどのアクションに割当てるか定義する機能を持っている 世の中にクロスプラットフォーム向けの便利なものがなかった ライブラリ内で構築した結果、現在はそれ自体が冗長になっている
  • 14. Mixed Reality Toolkit 3 ポイント 2022/6/23 Copyright © 2022 Takahiro Miyaura 14
  • 15. 既存ライブラリへの対応、標準化  MRTK V2までで持つしかなかった機能や仕組みを改めて既存ライブラリを利用するように変更 MRTK3のポイント 2022/6/23 Copyright © 2022 Takahiro Miyaura 15 業界標準、冗長な機能に対応するためのリファクタリングにより 扱いやすいライブラリへ 引用元:Microsoft Developer,「Getting started with your first MRTK3 project」, https://youtu.be/aVnwIq4VUcY, (参照 2022/06/11)
  • 16. MRTK3のポイント (参考)開発環境とパッケージ要件 開発に必要な環境とパッケージ 2022/6/23 Copyright © 2022 Takahiro Miyaura 16 ○ Mixed Reality Feature Tool ○ Unity 2020.3.35,2021.3.4 or newer ○ packages  Mixed Reality OpenXR Plugin(from Mixed Reality Feature Tool)  Input System*  XR Management*  XR Interaction Toolkit*  OpenXR Plugin* ○ Visual Studio 2022  Windows 10 SDK version 10.0.19041.0 or 10.0.18362.0, or Windows 11 SDK  USB Device Connectivity (required to deploy/debug to HoloLens over USB)  C++ (v142) Universal Windows Platform tools (required when using Unity) *印はMRTK3を導入すると自動的に依存関係のあるpackageとしてインポートされます。
  • 17. Mixed Reality Toolkit 3 アーキテクチャ、パッケージ構造 2022/6/23 Copyright © 2022 Takahiro Miyaura 17
  • 18. アーキテクチャはこういう感じです。  MRTK V2までで持つしかなかった機能や仕組みを改めて既存ライブラリを利用するように変更  各機能をパッケージとして分割し依存性を排除 Mixed Reality Toolkit 3 アーキテクチャ、パッケージ構造 2022/6/23 Copyright © 2022 Takahiro Miyaura 18 依存関係も見直しが入っており扱いやすく 引用元:Microsoft Developer,「Getting started with your first MRTK3 project」, https://youtu.be/aVnwIq4VUcY, (参照 2022/06/11)
  • 19. 細かくなりました。 MRTK3からは機能毎にパッケージングし細分化、それぞれにバージョンをつける Mixed Reality Toolkit 3 パッケージ構造 2022/6/23 Copyright © 2022 Takahiro Miyaura 19 ゆえに MRTK V3 ではなく MRTK3 となっている 3はバージョンではなく第3世代という意味 ポイント 機能毎に細分化したことで修正時の パッケージの範囲も小さくなりリリー スサイクルを短縮できる 引用元:Microsoft Developer,「Getting started with your first MRTK3 project」, https://youtu.be/aVnwIq4VUcY, (参照 2022/06/11)
  • 20. Mixed Reality Toolkit 3 (参考)MRTK3のバージョン 2022/6/23 Copyright © 2022 Takahiro Miyaura 20 こういう感じで機能毎にバージョニングされます パッケージ名 バージョン com.microsoft.mrtk.accessibility 1.0.0-pre.6 com.microsoft.mrtk.core 3.0.0-pre.6 com.microsoft.mrtk.data 1.0.0-pre.6 com.microsoft.mrtk.diagnostics 3.0.0-pre.6 com.microsoft.mrtk.environment 3.0.0-pre.6 com.microsoft.mrtk.extendedassets 3.0.0-pre.6 com.microsoft.mrtk.graphicstools.unity 0.3.15 com.microsoft.mrtk.input 3.0.0-pre.6 com.microsoft.mrtk.spatialmanipulation 3.0.0-pre.6 com.microsoft.mrtk.standardassets 3.0.0-pre.6 com.microsoft.mrtk.uxcomponents 3.0.0-pre.6 com.microsoft.mrtk.uxcore 3.0.0-pre.6 com.microsoft.mrtk.windowsspeech 3.0.0-pre.6 MRTK3からの新機能なのでV1から始まってる MRTK3からの新機能なのでV1から始まってる
  • 22. Get Started 話すと長くなるので全体的には・・・ 2022/6/23 Copyright © 2022 Takahiro Miyaura 22 ○Qiitaにまとめています。 ○Getting started with your first MRTK3 project https://qiita.com/miyaura/items/df5947d45cb3b86bbf18 ○MRTK3について ○空のプロジェクトの作成~デプロイ ○Hand Interaction Example等のサンプルについて
  • 23. Get Startedはこんな感じ 2022/6/23 Copyright © 2022 Takahiro Miyaura 23 Meta Quest 2で動かす! HoloLens 2で動かす!
  • 24. Get Started 大雑把な手順は・・・ Unityで空プロジェクト作ってMRTK3のUI部品を使うまで 2022/6/23 Copyright © 2022 Takahiro Miyaura 24 1. Unityで空プロジェクト作成 2. 1のプロジェクトにMixed Reality Feature Toolで必要なパッケージをインポー ト 3. OpenXRとMRTKの設定 4. Hierarchyの設定(この作業までするとベースが完成)  Main Cameraの削除  MRTK XR Rigの追加  MRTK Input Simulatorの追加 5. ボタンといくつかのUI部品を追加 6. ビルド&デプロイ(HoloLens 2 or Meta Quest 2) 7. |・ω・’)b
  • 25. Get Started MRTK3の既知の問題(先日試した時点で) 2022/6/23 Copyright © 2022 Takahiro Miyaura 25 ○OpenXR対応なのでMeta Quest 2でも動きます ○ハンドトラッキングできます ○人差し指で押せます ○モーションコントローラは使えます !モーションコントローラは見えないです(今日時点) !ハンドレイは未サポートです(今日時点) !ジェスチャーも未サポートです(今日時点)
  • 27. Get Started パッケージ導入 導入はMixed Reality Feature Toolを利用 2022/6/23 Copyright © 2022 Takahiro Miyaura 27 Preview releaseの表示 MRTK3はまだPublic Preview版なので Mixed Reality Feature Tool使うために は設定変更が必要 必要なコンポーネントの設定 MRTK3関連に加えてOpenXR Pluginの 追加も忘れずに! 任意で空間オーディオライブラリも使 えます。 MRTK3はこれをインポート ○ MRTK Input(3.0.0-pre.6) ○ MRTK Standard Assets(3.0.0- pre.6) ○ MRTK UX Conpoments(3.0.0- pre.6) ○ Mixed Reality OpenXR Plugin(1.4.1)
  • 30. Project Settingsで行います Get Started Unity上の設定(OpenXR, MRTK) 2022/6/23 Copyright © 2022 Takahiro Miyaura 30 デプロイするプラットフォーム毎に 設定が必要 ○ デフォルト設定はパッケージ内 にあるProfileを使う ○ Input Simulatorを使う場合 ○ Susbsystem for Hand Synthesisのチェックを忘れ ずに
  • 31. Get Started シーン設定 2022/6/23 Copyright © 2022 Takahiro Miyaura 31
  • 32. Get Started シーン設定 2022/6/23 Copyright © 2022 Takahiro Miyaura 32 必要なPrefabは提供されている (現状は自分で設定する) ○ MRTK XR Rig ○ カメラ、コントローラ等 ○ MRTK Input Simulator ○ Editor上のデバッグで使う Projectタブで検索して追加する ※In PackageかAllで検索してね
  • 34. MRTK3からのUI表現 Microsoft Meshベースのデザインです 2022/6/23 Copyright © 2022 Takahiro Miyaura 34 引用元:Microsoft Developer,「Building Rich UI for MR in MRTK3」, https://youtu.be/g2HF5HMy-2c, (参照2022/06/11) ポイント ○ 丸みを帯びたデザイン ○ 背景に薄くグレーを入れる (境界を可視化)
  • 36. UGUI側イベントはProxy XRI Interactorでフィードバック MRTK3からのUI表現 Volumetric UI With Unity Canvas 2022/6/23 Copyright © 2022 Takahiro Miyaura 36 従来のXRIでの関係 UGUIのイベントを XRI Interactorに通して 処理を可能にする
  • 37. Data Binding 2022/6/23 Copyright © 2022 Takahiro Miyaura 37
  • 38. Data Binding Dataに応じてコンテンツを動的に制御する Json形式データをバインディングしてコンテンツに反映 2022/6/23 Copyright © 2022 Takahiro Miyaura 38 [ { "ID": "MRTK0001", "Name": "MRTK3 is amazing." }, {…},… ] DataSource 何かから情報を取ってきて管理 (このサンプルではJson形式で管理) Dictionary系コンポーネント Json等のキー変換テーブルを管理 ページ切替用コンポーネント Collection系で利用するとページャー機能をつ けることができる Consumer系コンポーネント DataSourceに従って動的にコンテンツを 調整 ※テキストを動的に変えるときは DataConsumerTextコンポーネントを利用
  • 39. Theming 2022/6/23 Copyright © 2022 Takahiro Miyaura 39
  • 40. Theming 統一そた色や音でコンテンツを動的に切り替える仕組み アクセシビリティや、モードの区別などで活用 2022/6/23 Copyright © 2022 Takahiro Miyaura 40 Data Source Theme Provider 何かから情報を取ってきて管理 (このサンプルではJson形式で管理) Theme Selector 複数のテーマを登録し管理。 Current Themeを変更すると Data Source Theme Providerが変更 どういう変更を行うかは UX Theme Profileで定義 • UX部品に応じて以下情報を定義可能 • 色などのマテリアル • フォント系 • 効果音
  • 41. 以上! 2022/6/23 Copyright © 2022 Takahiro Miyaura 41
  • 42. まとめ  Mixed Reality Toolkit 3の概要  Mixed Reality Toolkit 3の「3」は第3世代を意味  従来のパッケージング構成を変更して細分化→バージョニングはそれぞれで  OpenXR、XRI等機能が重複するものはシンプルに  Get Started(ここは事前に記事書けた。。。)  MRTK3はpublic previewなのでMixed Reality Feature Toolでshow preview releaseを  OpenXRはこれまでと同じ。MRTK3での設定はProject Settingsで  必要なモジュールは「MRTK XR Rig」、デバック実行には「MRTK Input Simulator」も。MRTKの設定は忘れないでね  MRTK3からのUI表現  Microsoft Meshのような丸みを帯びたデザイン。  色見は少し明るくなった。  操作感は依然と同じライティングや音と使った表現  ThemingによりUIカスタマイズや、アクセシビリティ対応も  Data Binding And Theming  利用時にはシンボル定義「MRTK_UX_DATABINDING_THEMING_ENABLED 」が必要  DataBinding  テキスト等を後から動的に差し込むことが可能  コレクションにも対応し、データに応じてオブジェクトで一覧表示も  Theming  動的にテーマ(マテリアルや音声)変更が可能 2022/6/23 Copyright © 2022 Takahiro Miyaura 42
  • 43. MRTK3に関する情報  Github - Mixed Reality Toolkit 3  https://github.com/microsoft/MixedRealityToolkit-Unity/tree/mrtk3  MTRK3ドキュメント  https://aka.ms/mrtk3  MRTK3 Tutorial : "Zappy's Playground"  https://aka.ms/ZappysPlayground  Mixed Reality Dev Days 2022  再生リスト:https://www.youtube.com/watch?v=U1BSqLbW-PM&list=PLlrxD0HtieHhkPlibqfQf1pGvM0vLNPpL 1. Introducing MRTK3 – Shaping the future of the MR Developer Experience.(https://youtu.be/fjQFkeF-ZOM) →過去のMRTKの取組みから振返り、MRTK3がどういったコンセプトで今回作られたのか 2. Getting started with your first MRTK3 project(https://youtu.be/aVnwIq4VUcY) →MRTK3動かしてみようぜ 3. MRTK3 Interaction building blocks(https://youtu.be/naVziEJ-yDg) →MRTK3の入力系についての設計や構造 4. Building Rich UI for MR in MRTK3(https://youtu.be/g2HF5HMy-2c) →MRTK3の素敵なUIをどう構築しているか 5. Working with Dynamic Data and Theming in MRTK3(https://youtu.be/IiTpZ2ojyno) →データバインディングとテーマ制御について 6. Deploy Everywhere with OpenXR and MRTK3(https://youtu.be/LI6lyW9TG9o) →MRTK3のOpenXR対応で色々デバイスで動く話 2022/6/23 Copyright © 2022 Takahiro Miyaura 43