SlideShare a Scribd company logo
1 of 24
takabrz1 Takahiro Miyaura
Mixed Reality Toolkit 3 のチュートリアル
Zappy’s Playgroundの紹介
2022/07
XRミーティング
宮浦 恭弘 (Miyaura Takahiro)
 大阪駆動開発(とHolomagicians)コミュニティに生息
 HoloLens日本販売してからxR系技術に取組む
最近はMixed Reality Toolkit 3と戯れている。
 新しい技術や、MRに使えそうな技術を調べる
技術Tips : https://qiita.com/miyaura
@takabrz1 ※よかったらこれを機にお知り合いになってください
(貢献領域:Mixed Reality)
Microsoft MVP for Windows Development 2018-202 2
某会社でSE(アプリケーション領域のアーキテクト的なお仕事なはず)= XRは趣味です
先月は
Mixed Reality Toolkit 3祭りでした。
色々話があって面白かったですね!!!
2022/7/20 Copyright © 2022 Takahiro Miyaura 3
Mixed Reality Dev Days 2022
だいたい春頃に開催さるMicrosoft社のMRの開発技術イベント
コロナ禍でしばらくはオンラインだったが今回からオフラインでも開催
2022/7/20 Copyright © 2022 Takahiro Miyaura 4
 今回は以下の技術に関するセッション
 Mixed Reality Toolkit 3
 Stereokit
 OpenXR, Unity XR Interaction Toolkit
 Unreal Engine 5 (+ Deep Learning)
 Azure Remote Rendering
 Moving Platform
 HoloLens 2 Power Thermal Notification SDK
オンライン配信はMRTK3のみでしたが
今は全セッションアーカイブ公開されてます。
https://www.youtube.com/watch?v=U1BSqLbW-
PM&list=PLlrxD0HtieHhkPlibqfQf1pGvM0vLNPpL
Tokyo HoloLens ミートアップ Vol.30
Mixed Reality Toolkit 3 Recapでぎゅっと詰めて紹介しました。
2022/7/20 Copyright © 2022 Takahiro Miyaura 5
 ミートアップ概要
 久々のMicrosoft上田さんの登壇も!
 Microsoft Build 2022のメタバースの深堀が聞ける!
 私からのMRTK3話
 6セッション分を30分でw
アーカイブ公開されてます。
https://youtu.be/DbPiRqg6HE8
本日の内容
 Mixed Reality Toolkit 3のさらっと振り返り
 Mixed Reality Toolkit 3に至る経緯
 ポイント
 Zappy’s Playgroundの紹介
 Zappy’s Playgroundとは?
 MRTK3のどんなことを体験できるの?
2022/7/20 Copyright © 2022 Takahiro Miyaura 6
Mixed Reality Toolkit 3
Mixed Reality Toolkit 3に至る経緯
2022/7/20 Copyright © 2022 Takahiro Miyaura 7
Mixed Reality Toolkit 3はPublic Preview版だから
検証目的で使ってね!
Microsoft 公式でもそう書かれています。
2022/7/20 Copyright © 2022 Takahiro Miyaura 8
Mixed Reality Toolkit 3に至る経緯
- Mixed Reality Toolkit とは
Unity向けのMicrosoft公式のOSSライブラリ
2022/7/20 Copyright © 2022 Takahiro Miyaura 9
Unity向け
クロスプラットフォーム
最新バージョンはV2.8.0
基本コンポーネント
共通のインタラクション
UIコントロール
※Unreal向けのMRTKもあります。
※実はBabylon.js版もある
Holotoolkit
HoloLens向け
Mixed Reality Toolkit
Windows Mixed Reality Devices対応
Mixed Reality Toolkit V2
HoloLens 1/2,VR Devices,Mobile AR…
Mixed Reality Toolkit 3
New!!!
既存ライブラリへの対応、標準化
 MRTK V2までで持つしかなかった機能や仕組みを改めて既存ライブラリを利用するように変更
MRTK3のポイント
2022/7/20 Copyright © 2022 Takahiro Miyaura 10
業界標準、冗長な機能に対応するためのリファクタリングにより
扱いやすいライブラリへ
引用元:Microsoft Developer,「Getting started with your first MRTK3 project」, https://youtu.be/aVnwIq4VUcY, (参照
2022/06/11)
MRTK3のポイント
(参考)開発環境とパッケージ要件
開発に必要な環境とパッケージ
2022/7/20 Copyright © 2022 Takahiro Miyaura 11
○ Mixed Reality Feature Tool
○ Unity 2020.3.35,2021.3.4 or newer
○ packages
 Mixed Reality OpenXR Plugin(from Mixed Reality Feature Tool)
 Input System*
 XR Management*
 XR Interaction Toolkit*
 OpenXR Plugin*
○ Visual Studio 2022
 Windows 10 SDK version 10.0.19041.0 or 10.0.18362.0, or Windows 11
SDK
 USB Device Connectivity (required to deploy/debug to HoloLens over USB)
 C++ (v142) Universal Windows Platform tools (required when using Unity)
*印はMRTK3を導入すると自動的に依存関係のあるpackageとしてインポートされます。
プチネタ
C++のV14.3入れてしまうとビルドが
うまくいかなくなると思います
Zappy’s Playgroundの紹介
2022/7/20 Copyright © 2022 Takahiro Miyaura 12
Zappy’s Playground
Mixed Reality Toolkit 3 の機能を体験できるチュートリアル
2022/7/20 Copyright © 2022 Takahiro Miyaura 13
 HoloLens 2 / Meta Quest 2で体験可
ドキュメントはこちら
https://docs.microsoft.com/en-us/windows/mixed-
reality/develop/unity/playground-tutorial
Zappy’s Playground
チュートリアルはこんな感じ + 体験できる機能
2022/7/20 Copyright © 2022 Takahiro Miyaura 14
Zappy’s Playground
チュートリアルはこんな感じ + 体験できる機能
2022/7/20 Copyright © 2022 Takahiro Miyaura 15
Zappy’s Playground
チュートリアルはこんな感じ + 体験できる機能
2022/7/20 Copyright © 2022 Takahiro Miyaura 16
Zappy’s Playground
チュートリアルはこんな感じ + 体験できる機能
2022/7/20 Copyright © 2022 Takahiro Miyaura 17
HoloLens 2で動かした場合
プレイエリアの設定ができます。
Zappy’s Playground
2022/7/20 Copyright © 2022 Takahiro Miyaura 18
空間スキャン
→ Scene Understandingでいい空間か判断
→Azure Spatial Anchorsで固定
HoloLens 2で動かした場合
GazeとHand Menuも使えます。
Zappy’s Playground
2022/7/20 Copyright © 2022 Takahiro Miyaura 19
空間スキャン
→ Scene Understandingでいい空間か判断
→Azure Spatial Anchorsで固定
Input Simulatorで
Shift+Fで手のひら返せるよ!
HoloLens 2で動かした場合
Themingもできますよ。
Zappy’s Playground
2022/7/20 Copyright © 2022 Takahiro Miyaura 20
Tを押して左手のハンドメニュー出しつつ
スペースキーで右手を出してメニューを操作!
Input Simulatorで
Tで左手の手のひらを返した状態で手が固定(右手はYです)
以上!
2022/7/20 Copyright © 2022 Takahiro Miyaura 21
まとめ
 Mixed Reality Toolkit 3の概要
 Zappy‘s Playground
 体験はよくできてます。面白いですよ。
 HoloLens 2 / Oculus Quest 2どっちでも遊べるよ。
 MRTK3の色々な機能を試せるし、実装も確認できますよ。
 実は地味に日本語化してあります、今日のアプリ
(今後、プルリクエストしようかな)
2022/7/20 Copyright © 2022 Takahiro Miyaura 22
MRTK3に関する情報
 Github - Mixed Reality Toolkit 3
 https://github.com/microsoft/MixedRealityToolkit-Unity/tree/mrtk3
 MTRK3ドキュメント
 https://aka.ms/mrtk3
 MRTK3 Tutorial : "Zappy's Playground"
 https://aka.ms/ZappysPlayground
 Mixed Reality Dev Days 2022
 再生リスト:https://www.youtube.com/watch?v=U1BSqLbW-PM&list=PLlrxD0HtieHhkPlibqfQf1pGvM0vLNPpL
1. Introducing MRTK3 – Shaping the future of the MR Developer Experience.(https://youtu.be/fjQFkeF-ZOM)
→過去のMRTKの取組みから振返り、MRTK3がどういったコンセプトで今回作られたのか
2. Getting started with your first MRTK3 project(https://youtu.be/aVnwIq4VUcY)
→MRTK3動かしてみようぜ
3. MRTK3 Interaction building blocks(https://youtu.be/naVziEJ-yDg)
→MRTK3の入力系についての設計や構造
4. Building Rich UI for MR in MRTK3(https://youtu.be/g2HF5HMy-2c)
→MRTK3の素敵なUIをどう構築しているか
5. Working with Dynamic Data and Theming in MRTK3(https://youtu.be/IiTpZ2ojyno)
→データバインディングとテーマ制御について
6. Deploy Everywhere with OpenXR and MRTK3(https://youtu.be/LI6lyW9TG9o)
→MRTK3のOpenXR対応で色々デバイスで動く話
2022/7/20 Copyright © 2022 Takahiro Miyaura 23
大阪駆動開発
関西を中心に、IT系のおもしろそうなことを
楽しんでやるコミュニティ
2022/7/20 Copyright © 2022 Takahiro Miyaura 24

More Related Content

What's hot

What's hot (20)

OpenXR + XR Interaction Toolkit使ったHoloLensコンテンツ開発検証 ~ (私が)完全に理解できたらちゃんと作れて、いろ...
OpenXR + XR Interaction Toolkit使ったHoloLensコンテンツ開発検証 ~ (私が)完全に理解できたらちゃんと作れて、いろ...OpenXR + XR Interaction Toolkit使ったHoloLensコンテンツ開発検証 ~ (私が)完全に理解できたらちゃんと作れて、いろ...
OpenXR + XR Interaction Toolkit使ったHoloLensコンテンツ開発検証 ~ (私が)完全に理解できたらちゃんと作れて、いろ...
 
HoloLensでコンテンツを操作する方法 - Gaze And Dwell -
HoloLensでコンテンツを操作する方法 - Gaze And Dwell -HoloLensでコンテンツを操作する方法 - Gaze And Dwell -
HoloLensでコンテンツを操作する方法 - Gaze And Dwell -
 
Azure Spatial Anchorsを活用したHoloLens & Androidシェアリングアプリ
Azure Spatial Anchorsを活用したHoloLens & AndroidシェアリングアプリAzure Spatial Anchorsを活用したHoloLens & Androidシェアリングアプリ
Azure Spatial Anchorsを活用したHoloLens & Androidシェアリングアプリ
 
開発速度が速い #とは(LayerX社内資料)
開発速度が速い #とは(LayerX社内資料)開発速度が速い #とは(LayerX社内資料)
開発速度が速い #とは(LayerX社内資料)
 
2020年8月_HoloLens 2 アプリ開発入門
2020年8月_HoloLens 2 アプリ開発入門2020年8月_HoloLens 2 アプリ開発入門
2020年8月_HoloLens 2 アプリ開発入門
 
Hololens2 MRTK2.7(OpenXR) でのビルド環境構築(環境設定からビルドまで)
Hololens2 MRTK2.7(OpenXR) でのビルド環境構築(環境設定からビルドまで)Hololens2 MRTK2.7(OpenXR) でのビルド環境構築(環境設定からビルドまで)
Hololens2 MRTK2.7(OpenXR) でのビルド環境構築(環境設定からビルドまで)
 
UIElements+UI BuilderでEditor拡張を作ろう
UIElements+UI BuilderでEditor拡張を作ろうUIElements+UI BuilderでEditor拡張を作ろう
UIElements+UI BuilderでEditor拡張を作ろう
 
MRTKで始めるAR開発 (HoloLens 1 and 2, ARCore, ARkit)
MRTKで始めるAR開発 (HoloLens 1 and 2, ARCore, ARkit)MRTKで始めるAR開発 (HoloLens 1 and 2, ARCore, ARkit)
MRTKで始めるAR開発 (HoloLens 1 and 2, ARCore, ARkit)
 
MRTK V2.3 Spatial Awareness
MRTK V2.3 Spatial AwarenessMRTK V2.3 Spatial Awareness
MRTK V2.3 Spatial Awareness
 
HoloLens で OpenCV をどう使うか レーザーポインター 認識で試してみた
HoloLens で OpenCV をどう使うか レーザーポインター 認識で試してみたHoloLens で OpenCV をどう使うか レーザーポインター 認識で試してみた
HoloLens で OpenCV をどう使うか レーザーポインター 認識で試してみた
 
HoloLens2とPCで、WebRTCで映像をやりとり
HoloLens2とPCで、WebRTCで映像をやりとりHoloLens2とPCで、WebRTCで映像をやりとり
HoloLens2とPCで、WebRTCで映像をやりとり
 
Photon Fusionのはじめの一歩
Photon Fusionのはじめの一歩Photon Fusionのはじめの一歩
Photon Fusionのはじめの一歩
 
Visual Dataprepで建築データを美味しく下ごしらえ UNREAL FEST EXTREME 2021 SUMMER
Visual Dataprepで建築データを美味しく下ごしらえ UNREAL FEST EXTREME 2021 SUMMERVisual Dataprepで建築データを美味しく下ごしらえ UNREAL FEST EXTREME 2021 SUMMER
Visual Dataprepで建築データを美味しく下ごしらえ UNREAL FEST EXTREME 2021 SUMMER
 
Oculus Quest で点群を見る
Oculus Quest で点群を見るOculus Quest で点群を見る
Oculus Quest で点群を見る
 
【Unity道場】新しいPrefabワークフロー入門
【Unity道場】新しいPrefabワークフロー入門【Unity道場】新しいPrefabワークフロー入門
【Unity道場】新しいPrefabワークフロー入門
 
今改めて見る Plane finding
今改めて見る Plane finding今改めて見る Plane finding
今改めて見る Plane finding
 
ARでVRアバターを表示するシステムを構築しよう
ARでVRアバターを表示するシステムを構築しようARでVRアバターを表示するシステムを構築しよう
ARでVRアバターを表示するシステムを構築しよう
 
Azure Spatial Anchorについて少し調べた話
Azure Spatial Anchorについて少し調べた話Azure Spatial Anchorについて少し調べた話
Azure Spatial Anchorについて少し調べた話
 
CEDEC2019 大規模モバイルゲーム運用におけるマスタデータ管理事例
CEDEC2019 大規模モバイルゲーム運用におけるマスタデータ管理事例CEDEC2019 大規模モバイルゲーム運用におけるマスタデータ管理事例
CEDEC2019 大規模モバイルゲーム運用におけるマスタデータ管理事例
 
アニメーションとスキニングをBurstで独自実装する.pdf
アニメーションとスキニングをBurstで独自実装する.pdfアニメーションとスキニングをBurstで独自実装する.pdf
アニメーションとスキニングをBurstで独自実装する.pdf
 

Similar to Mixed Reality Toolkit 3 のチュートリアル「Zappy’s Playground」の紹介

N01_多様に活用可能なマイクロソフトのゲーム関連技術や開発の DX ~高品質リアルタイムビジュアライズのリモート活用からリアルタイムコラボレーションま...
N01_多様に活用可能なマイクロソフトのゲーム関連技術や開発の DX  ~高品質リアルタイムビジュアライズのリモート活用からリアルタイムコラボレーションま...N01_多様に活用可能なマイクロソフトのゲーム関連技術や開発の DX  ~高品質リアルタイムビジュアライズのリモート活用からリアルタイムコラボレーションま...
N01_多様に活用可能なマイクロソフトのゲーム関連技術や開発の DX ~高品質リアルタイムビジュアライズのリモート活用からリアルタイムコラボレーションま...
日本マイクロソフト株式会社
 

Similar to Mixed Reality Toolkit 3 のチュートリアル「Zappy’s Playground」の紹介 (20)

Mixed Reality Toolkit 3 のチュートリアル「Zappy’s Playground」のUXをみる
Mixed Reality Toolkit 3 のチュートリアル「Zappy’s Playground」のUXをみるMixed Reality Toolkit 3 のチュートリアル「Zappy’s Playground」のUXをみる
Mixed Reality Toolkit 3 のチュートリアル「Zappy’s Playground」のUXをみる
 
MixedReality技術とその活用事例~xR(VR/AR/MR...)への基礎知識~
MixedReality技術とその活用事例~xR(VR/AR/MR...)への基礎知識~MixedReality技術とその活用事例~xR(VR/AR/MR...)への基礎知識~
MixedReality技術とその活用事例~xR(VR/AR/MR...)への基礎知識~
 
Mixed Reality関連のSDKの状況を調べてみた
Mixed Reality関連のSDKの状況を調べてみたMixed Reality関連のSDKの状況を調べてみた
Mixed Reality関連のSDKの状況を調べてみた
 
Mixed Reality Feature ToolとMixed Reality Toolkit V2.6.1
Mixed Reality Feature ToolとMixed Reality Toolkit V2.6.1Mixed Reality Feature ToolとMixed Reality Toolkit V2.6.1
Mixed Reality Feature ToolとMixed Reality Toolkit V2.6.1
 
Mixed Reality Toolkit V3について
Mixed Reality Toolkit V3についてMixed Reality Toolkit V3について
Mixed Reality Toolkit V3について
 
Azure Digital TwinとUnreal Engineを統合するADTLink Pluginについて
 Azure Digital TwinとUnreal Engineを統合するADTLink Pluginについて Azure Digital TwinとUnreal Engineを統合するADTLink Pluginについて
Azure Digital TwinとUnreal Engineを統合するADTLink Pluginについて
 
Oculus Quest 2 on Mixed Reality Toolkit V2.5.0~ ハンドトラッキングする方法 ~
Oculus Quest 2 on Mixed Reality Toolkit V2.5.0~ ハンドトラッキングする方法 ~Oculus Quest 2 on Mixed Reality Toolkit V2.5.0~ ハンドトラッキングする方法 ~
Oculus Quest 2 on Mixed Reality Toolkit V2.5.0~ ハンドトラッキングする方法 ~
 
Mixed Reality Toolkit 3 の更新状況 - 6月からもちょいちょいアップデートされてるよ
Mixed Reality Toolkit 3 の更新状況 - 6月からもちょいちょいアップデートされてるよMixed Reality Toolkit 3 の更新状況 - 6月からもちょいちょいアップデートされてるよ
Mixed Reality Toolkit 3 の更新状況 - 6月からもちょいちょいアップデートされてるよ
 
もうすぐMixed Reality Toolkit V2.5.0がリリースされるはずなのでフライング調査
もうすぐMixed Reality Toolkit V2.5.0がリリースされるはずなのでフライング調査もうすぐMixed Reality Toolkit V2.5.0がリリースされるはずなのでフライング調査
もうすぐMixed Reality Toolkit V2.5.0がリリースされるはずなのでフライング調査
 
Build 2021のDigital Twinsセションを読み解く ~Azure関連サービス概要とラーニングパスの詳説~
Build 2021のDigital Twinsセションを読み解く ~Azure関連サービス概要とラーニングパスの詳説~Build 2021のDigital Twinsセションを読み解く ~Azure関連サービス概要とラーニングパスの詳説~
Build 2021のDigital Twinsセションを読み解く ~Azure関連サービス概要とラーニングパスの詳説~
 
クロスプラットフォーム開発としての「Mixed Reality Toolkit V2」が持つ可能性
クロスプラットフォーム開発としての「Mixed Reality Toolkit V2」が持つ可能性クロスプラットフォーム開発としての「Mixed Reality Toolkit V2」が持つ可能性
クロスプラットフォーム開発としての「Mixed Reality Toolkit V2」が持つ可能性
 
ラーニングパス「Azure Digital Twins と Unity を使用して Mixed Reality デジタル ツインを構築する」にAzure ...
ラーニングパス「Azure Digital Twins と Unity を使用して Mixed Reality デジタル ツインを構築する」にAzure ...ラーニングパス「Azure Digital Twins と Unity を使用して Mixed Reality デジタル ツインを構築する」にAzure ...
ラーニングパス「Azure Digital Twins と Unity を使用して Mixed Reality デジタル ツインを構築する」にAzure ...
 
Azure Remote Renderingを試す
Azure Remote Renderingを試すAzure Remote Renderingを試す
Azure Remote Renderingを試す
 
Unreal Engine でアプリ開発~ MRTK UXTools for Unreal V0.9.0 ~
Unreal Engine でアプリ開発~ MRTK UXTools for Unreal V0.9.0 ~Unreal Engine でアプリ開発~ MRTK UXTools for Unreal V0.9.0 ~
Unreal Engine でアプリ開発~ MRTK UXTools for Unreal V0.9.0 ~
 
XRマルチデバイス開発を可能にするOSSライブラリ「MRTK-vNEXT」について
XRマルチデバイス開発を可能にするOSSライブラリ「MRTK-vNEXT」についてXRマルチデバイス開発を可能にするOSSライブラリ「MRTK-vNEXT」について
XRマルチデバイス開発を可能にするOSSライブラリ「MRTK-vNEXT」について
 
UIデザイン設計から開発をつなぐ「MRTK Figma Bridge for Unity」を使ってみよう
UIデザイン設計から開発をつなぐ「MRTK Figma Bridge for Unity」を使ってみようUIデザイン設計から開発をつなぐ「MRTK Figma Bridge for Unity」を使ってみよう
UIデザイン設計から開発をつなぐ「MRTK Figma Bridge for Unity」を使ってみよう
 
HoloLens1アプリをHoloLens2アプリに変換できるかチャレンジ
HoloLens1アプリをHoloLens2アプリに変換できるかチャレンジHoloLens1アプリをHoloLens2アプリに変換できるかチャレンジ
HoloLens1アプリをHoloLens2アプリに変換できるかチャレンジ
 
World Locking Tools でAzure Spatial Anchorsが使えるようになった
World Locking Tools でAzure Spatial Anchorsが使えるようになったWorld Locking Tools でAzure Spatial Anchorsが使えるようになった
World Locking Tools でAzure Spatial Anchorsが使えるようになった
 
Microsoft Ignite 2022の情報 & Microsoft Learnの整理をしてみた
Microsoft Ignite 2022の情報 & Microsoft Learnの整理をしてみたMicrosoft Ignite 2022の情報 & Microsoft Learnの整理をしてみた
Microsoft Ignite 2022の情報 & Microsoft Learnの整理をしてみた
 
N01_多様に活用可能なマイクロソフトのゲーム関連技術や開発の DX ~高品質リアルタイムビジュアライズのリモート活用からリアルタイムコラボレーションま...
N01_多様に活用可能なマイクロソフトのゲーム関連技術や開発の DX  ~高品質リアルタイムビジュアライズのリモート活用からリアルタイムコラボレーションま...N01_多様に活用可能なマイクロソフトのゲーム関連技術や開発の DX  ~高品質リアルタイムビジュアライズのリモート活用からリアルタイムコラボレーションま...
N01_多様に活用可能なマイクロソフトのゲーム関連技術や開発の DX ~高品質リアルタイムビジュアライズのリモート活用からリアルタイムコラボレーションま...
 

More from Takahiro Miyaura

More from Takahiro Miyaura (10)

Mixed Reality Toolkit 3 - 「MRTK XR Rig」と「Bounds Control」
Mixed Reality Toolkit 3 - 「MRTK XR Rig」と「Bounds Control」Mixed Reality Toolkit 3 - 「MRTK XR Rig」と「Bounds Control」
Mixed Reality Toolkit 3 - 「MRTK XR Rig」と「Bounds Control」
 
Mixed Reality Toolkit で OpenXRのEye Trackingを使う
Mixed Reality Toolkit で OpenXRのEye Trackingを使うMixed Reality Toolkit で OpenXRのEye Trackingを使う
Mixed Reality Toolkit で OpenXRのEye Trackingを使う
 
Mixed RealityとAzure Digital Twinsを組合わせてデジタルツインを可視化するためのTips
Mixed RealityとAzure Digital Twinsを組合わせてデジタルツインを可視化するためのTipsMixed RealityとAzure Digital Twinsを組合わせてデジタルツインを可視化するためのTips
Mixed RealityとAzure Digital Twinsを組合わせてデジタルツインを可視化するためのTips
 
5周年ふりかえり!HoloLens 1とHoloLens 2のUI操作と実装の違いを改めて見てみよう
5周年ふりかえり!HoloLens 1とHoloLens 2のUI操作と実装の違いを改めて見てみよう5周年ふりかえり!HoloLens 1とHoloLens 2のUI操作と実装の違いを改めて見てみよう
5周年ふりかえり!HoloLens 1とHoloLens 2のUI操作と実装の違いを改めて見てみよう
 
Azure Object Anchors のQuick Startで理解を深めたい
Azure Object Anchors のQuick Startで理解を深めたいAzure Object Anchors のQuick Startで理解を深めたい
Azure Object Anchors のQuick Startで理解を深めたい
 
「あれ」がスマホで動くのか試してみた
「あれ」がスマホで動くのか試してみた「あれ」がスマホで動くのか試してみた
「あれ」がスマホで動くのか試してみた
 
Azure Object Anchors Recap(Kobe版)
Azure Object Anchors Recap(Kobe版)Azure Object Anchors Recap(Kobe版)
Azure Object Anchors Recap(Kobe版)
 
Azure Object Anchors Recap
Azure Object Anchors RecapAzure Object Anchors Recap
Azure Object Anchors Recap
 
HoloLens 1のアプリをHoloLens 2に移行する
HoloLens 1のアプリをHoloLens 2に移行するHoloLens 1のアプリをHoloLens 2に移行する
HoloLens 1のアプリをHoloLens 2に移行する
 
Unityは知ってる開発者が UE4 で HoloLens 2 アプリ開発セションを聞くために知っておくといいかもTips
Unityは知ってる開発者が UE4 で HoloLens 2 アプリ開発セションを聞くために知っておくといいかもTipsUnityは知ってる開発者が UE4 で HoloLens 2 アプリ開発セションを聞くために知っておくといいかもTips
Unityは知ってる開発者が UE4 で HoloLens 2 アプリ開発セションを聞くために知っておくといいかもTips
 

Recently uploaded

研究紹介スライド: オフライン強化学習に基づくロボティックスワームの制御器の設計
研究紹介スライド: オフライン強化学習に基づくロボティックスワームの制御器の設計研究紹介スライド: オフライン強化学習に基づくロボティックスワームの制御器の設計
研究紹介スライド: オフライン強化学習に基づくロボティックスワームの制御器の設計
atsushi061452
 
2024年5月25日Serverless Meetup大阪 アプリケーションをどこで動かすべきなのか.pptx
2024年5月25日Serverless Meetup大阪 アプリケーションをどこで動かすべきなのか.pptx2024年5月25日Serverless Meetup大阪 アプリケーションをどこで動かすべきなのか.pptx
2024年5月25日Serverless Meetup大阪 アプリケーションをどこで動かすべきなのか.pptx
ssuserbefd24
 

Recently uploaded (12)

Amazon Cognitoで実装するパスキー (Security-JAWS【第33回】 勉強会)
Amazon Cognitoで実装するパスキー (Security-JAWS【第33回】 勉強会)Amazon Cognitoで実装するパスキー (Security-JAWS【第33回】 勉強会)
Amazon Cognitoで実装するパスキー (Security-JAWS【第33回】 勉強会)
 
5/22 第23回 Customer系エンジニア座談会のスライド 公開用 西口瑛一
5/22 第23回 Customer系エンジニア座談会のスライド 公開用 西口瑛一5/22 第23回 Customer系エンジニア座談会のスライド 公開用 西口瑛一
5/22 第23回 Customer系エンジニア座談会のスライド 公開用 西口瑛一
 
ロボットマニピュレーションの作業・動作計画 / rosjp_planning_for_robotic_manipulation_20240521
ロボットマニピュレーションの作業・動作計画 / rosjp_planning_for_robotic_manipulation_20240521ロボットマニピュレーションの作業・動作計画 / rosjp_planning_for_robotic_manipulation_20240521
ロボットマニピュレーションの作業・動作計画 / rosjp_planning_for_robotic_manipulation_20240521
 
Intranet Development v1.0 (TSG LIVE! 12 LT )
Intranet Development v1.0 (TSG LIVE! 12 LT )Intranet Development v1.0 (TSG LIVE! 12 LT )
Intranet Development v1.0 (TSG LIVE! 12 LT )
 
クラウド時代におけるSREとUPWARDの取組ーUPWARD株式会社 CTO門畑
クラウド時代におけるSREとUPWARDの取組ーUPWARD株式会社 CTO門畑クラウド時代におけるSREとUPWARDの取組ーUPWARD株式会社 CTO門畑
クラウド時代におけるSREとUPWARDの取組ーUPWARD株式会社 CTO門畑
 
研究紹介スライド: オフライン強化学習に基づくロボティックスワームの制御器の設計
研究紹介スライド: オフライン強化学習に基づくロボティックスワームの制御器の設計研究紹介スライド: オフライン強化学習に基づくロボティックスワームの制御器の設計
研究紹介スライド: オフライン強化学習に基づくロボティックスワームの制御器の設計
 
2024年5月25日Serverless Meetup大阪 アプリケーションをどこで動かすべきなのか.pptx
2024年5月25日Serverless Meetup大阪 アプリケーションをどこで動かすべきなのか.pptx2024年5月25日Serverless Meetup大阪 アプリケーションをどこで動かすべきなのか.pptx
2024年5月25日Serverless Meetup大阪 アプリケーションをどこで動かすべきなのか.pptx
 
20240523_IoTLT_vol111_kitazaki_v1___.pdf
20240523_IoTLT_vol111_kitazaki_v1___.pdf20240523_IoTLT_vol111_kitazaki_v1___.pdf
20240523_IoTLT_vol111_kitazaki_v1___.pdf
 
部内勉強会(IT用語ざっくり学習) 実施日:2024年5月17日(金) 対象者:営業部社員
部内勉強会(IT用語ざっくり学習) 実施日:2024年5月17日(金) 対象者:営業部社員部内勉強会(IT用語ざっくり学習) 実施日:2024年5月17日(金) 対象者:営業部社員
部内勉強会(IT用語ざっくり学習) 実施日:2024年5月17日(金) 対象者:営業部社員
 
情報を表現するときのポイント
情報を表現するときのポイント情報を表現するときのポイント
情報を表現するときのポイント
 
論文紹介:Deep Occlusion-Aware Instance Segmentation With Overlapping BiLayers
論文紹介:Deep Occlusion-Aware Instance Segmentation With Overlapping BiLayers論文紹介:Deep Occlusion-Aware Instance Segmentation With Overlapping BiLayers
論文紹介:Deep Occlusion-Aware Instance Segmentation With Overlapping BiLayers
 
論文紹介:ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation
論文紹介:ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation論文紹介:ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation
論文紹介:ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation
 

Mixed Reality Toolkit 3 のチュートリアル「Zappy’s Playground」の紹介

  • 1. takabrz1 Takahiro Miyaura Mixed Reality Toolkit 3 のチュートリアル Zappy’s Playgroundの紹介 2022/07 XRミーティング
  • 2. 宮浦 恭弘 (Miyaura Takahiro)  大阪駆動開発(とHolomagicians)コミュニティに生息  HoloLens日本販売してからxR系技術に取組む 最近はMixed Reality Toolkit 3と戯れている。  新しい技術や、MRに使えそうな技術を調べる 技術Tips : https://qiita.com/miyaura @takabrz1 ※よかったらこれを機にお知り合いになってください (貢献領域:Mixed Reality) Microsoft MVP for Windows Development 2018-202 2 某会社でSE(アプリケーション領域のアーキテクト的なお仕事なはず)= XRは趣味です
  • 3. 先月は Mixed Reality Toolkit 3祭りでした。 色々話があって面白かったですね!!! 2022/7/20 Copyright © 2022 Takahiro Miyaura 3
  • 4. Mixed Reality Dev Days 2022 だいたい春頃に開催さるMicrosoft社のMRの開発技術イベント コロナ禍でしばらくはオンラインだったが今回からオフラインでも開催 2022/7/20 Copyright © 2022 Takahiro Miyaura 4  今回は以下の技術に関するセッション  Mixed Reality Toolkit 3  Stereokit  OpenXR, Unity XR Interaction Toolkit  Unreal Engine 5 (+ Deep Learning)  Azure Remote Rendering  Moving Platform  HoloLens 2 Power Thermal Notification SDK オンライン配信はMRTK3のみでしたが 今は全セッションアーカイブ公開されてます。 https://www.youtube.com/watch?v=U1BSqLbW- PM&list=PLlrxD0HtieHhkPlibqfQf1pGvM0vLNPpL
  • 5. Tokyo HoloLens ミートアップ Vol.30 Mixed Reality Toolkit 3 Recapでぎゅっと詰めて紹介しました。 2022/7/20 Copyright © 2022 Takahiro Miyaura 5  ミートアップ概要  久々のMicrosoft上田さんの登壇も!  Microsoft Build 2022のメタバースの深堀が聞ける!  私からのMRTK3話  6セッション分を30分でw アーカイブ公開されてます。 https://youtu.be/DbPiRqg6HE8
  • 6. 本日の内容  Mixed Reality Toolkit 3のさらっと振り返り  Mixed Reality Toolkit 3に至る経緯  ポイント  Zappy’s Playgroundの紹介  Zappy’s Playgroundとは?  MRTK3のどんなことを体験できるの? 2022/7/20 Copyright © 2022 Takahiro Miyaura 6
  • 7. Mixed Reality Toolkit 3 Mixed Reality Toolkit 3に至る経緯 2022/7/20 Copyright © 2022 Takahiro Miyaura 7
  • 8. Mixed Reality Toolkit 3はPublic Preview版だから 検証目的で使ってね! Microsoft 公式でもそう書かれています。 2022/7/20 Copyright © 2022 Takahiro Miyaura 8
  • 9. Mixed Reality Toolkit 3に至る経緯 - Mixed Reality Toolkit とは Unity向けのMicrosoft公式のOSSライブラリ 2022/7/20 Copyright © 2022 Takahiro Miyaura 9 Unity向け クロスプラットフォーム 最新バージョンはV2.8.0 基本コンポーネント 共通のインタラクション UIコントロール ※Unreal向けのMRTKもあります。 ※実はBabylon.js版もある Holotoolkit HoloLens向け Mixed Reality Toolkit Windows Mixed Reality Devices対応 Mixed Reality Toolkit V2 HoloLens 1/2,VR Devices,Mobile AR… Mixed Reality Toolkit 3 New!!!
  • 10. 既存ライブラリへの対応、標準化  MRTK V2までで持つしかなかった機能や仕組みを改めて既存ライブラリを利用するように変更 MRTK3のポイント 2022/7/20 Copyright © 2022 Takahiro Miyaura 10 業界標準、冗長な機能に対応するためのリファクタリングにより 扱いやすいライブラリへ 引用元:Microsoft Developer,「Getting started with your first MRTK3 project」, https://youtu.be/aVnwIq4VUcY, (参照 2022/06/11)
  • 11. MRTK3のポイント (参考)開発環境とパッケージ要件 開発に必要な環境とパッケージ 2022/7/20 Copyright © 2022 Takahiro Miyaura 11 ○ Mixed Reality Feature Tool ○ Unity 2020.3.35,2021.3.4 or newer ○ packages  Mixed Reality OpenXR Plugin(from Mixed Reality Feature Tool)  Input System*  XR Management*  XR Interaction Toolkit*  OpenXR Plugin* ○ Visual Studio 2022  Windows 10 SDK version 10.0.19041.0 or 10.0.18362.0, or Windows 11 SDK  USB Device Connectivity (required to deploy/debug to HoloLens over USB)  C++ (v142) Universal Windows Platform tools (required when using Unity) *印はMRTK3を導入すると自動的に依存関係のあるpackageとしてインポートされます。 プチネタ C++のV14.3入れてしまうとビルドが うまくいかなくなると思います
  • 13. Zappy’s Playground Mixed Reality Toolkit 3 の機能を体験できるチュートリアル 2022/7/20 Copyright © 2022 Takahiro Miyaura 13  HoloLens 2 / Meta Quest 2で体験可 ドキュメントはこちら https://docs.microsoft.com/en-us/windows/mixed- reality/develop/unity/playground-tutorial
  • 14. Zappy’s Playground チュートリアルはこんな感じ + 体験できる機能 2022/7/20 Copyright © 2022 Takahiro Miyaura 14
  • 15. Zappy’s Playground チュートリアルはこんな感じ + 体験できる機能 2022/7/20 Copyright © 2022 Takahiro Miyaura 15
  • 16. Zappy’s Playground チュートリアルはこんな感じ + 体験できる機能 2022/7/20 Copyright © 2022 Takahiro Miyaura 16
  • 17. Zappy’s Playground チュートリアルはこんな感じ + 体験できる機能 2022/7/20 Copyright © 2022 Takahiro Miyaura 17
  • 18. HoloLens 2で動かした場合 プレイエリアの設定ができます。 Zappy’s Playground 2022/7/20 Copyright © 2022 Takahiro Miyaura 18 空間スキャン → Scene Understandingでいい空間か判断 →Azure Spatial Anchorsで固定
  • 19. HoloLens 2で動かした場合 GazeとHand Menuも使えます。 Zappy’s Playground 2022/7/20 Copyright © 2022 Takahiro Miyaura 19 空間スキャン → Scene Understandingでいい空間か判断 →Azure Spatial Anchorsで固定 Input Simulatorで Shift+Fで手のひら返せるよ!
  • 20. HoloLens 2で動かした場合 Themingもできますよ。 Zappy’s Playground 2022/7/20 Copyright © 2022 Takahiro Miyaura 20 Tを押して左手のハンドメニュー出しつつ スペースキーで右手を出してメニューを操作! Input Simulatorで Tで左手の手のひらを返した状態で手が固定(右手はYです)
  • 21. 以上! 2022/7/20 Copyright © 2022 Takahiro Miyaura 21
  • 22. まとめ  Mixed Reality Toolkit 3の概要  Zappy‘s Playground  体験はよくできてます。面白いですよ。  HoloLens 2 / Oculus Quest 2どっちでも遊べるよ。  MRTK3の色々な機能を試せるし、実装も確認できますよ。  実は地味に日本語化してあります、今日のアプリ (今後、プルリクエストしようかな) 2022/7/20 Copyright © 2022 Takahiro Miyaura 22
  • 23. MRTK3に関する情報  Github - Mixed Reality Toolkit 3  https://github.com/microsoft/MixedRealityToolkit-Unity/tree/mrtk3  MTRK3ドキュメント  https://aka.ms/mrtk3  MRTK3 Tutorial : "Zappy's Playground"  https://aka.ms/ZappysPlayground  Mixed Reality Dev Days 2022  再生リスト:https://www.youtube.com/watch?v=U1BSqLbW-PM&list=PLlrxD0HtieHhkPlibqfQf1pGvM0vLNPpL 1. Introducing MRTK3 – Shaping the future of the MR Developer Experience.(https://youtu.be/fjQFkeF-ZOM) →過去のMRTKの取組みから振返り、MRTK3がどういったコンセプトで今回作られたのか 2. Getting started with your first MRTK3 project(https://youtu.be/aVnwIq4VUcY) →MRTK3動かしてみようぜ 3. MRTK3 Interaction building blocks(https://youtu.be/naVziEJ-yDg) →MRTK3の入力系についての設計や構造 4. Building Rich UI for MR in MRTK3(https://youtu.be/g2HF5HMy-2c) →MRTK3の素敵なUIをどう構築しているか 5. Working with Dynamic Data and Theming in MRTK3(https://youtu.be/IiTpZ2ojyno) →データバインディングとテーマ制御について 6. Deploy Everywhere with OpenXR and MRTK3(https://youtu.be/LI6lyW9TG9o) →MRTK3のOpenXR対応で色々デバイスで動く話 2022/7/20 Copyright © 2022 Takahiro Miyaura 23