SlideShare a Scribd company logo
1 of 29
takabrz1 大阪駆動開発 Takahiro Miyaura
OpenXR + XR Interaction Toolkit
使ったHoloLensコンテンツ開発検証
~ (私が)完全に理解できたらちゃんと作れて、いろいろ話できるはず編 ~
2022/03
Kobe HoloLens Meetup vol.5
宮浦 恭弘 (Miyaura Takahiro)
 大阪駆動開発(とHolomagicians)コミュニティに生息
 HoloLens日本販売してからxR系技術に取組む
 普段はよくMixed Reality Toolkitに関する調査している
 新しい技術や、MRに使えそうな技術を調べる
技術Tips : https://qiita.com/miyaura
@takabrz1 ※よかったらこれを機にお知り合いになってください
 リリース機能調べたり・・・
 面白い機能使ってみたり・・・
 新しい実験してフィードバックしたり・・・
最近はこちらに
Come Back気味
(貢献領域:Mixed Reality)
Microsoft MVP for Windows Development 2018-202 2
某会社でSE(アプリケーション領域のアーキテクト的なお仕事なはず)= XRは趣味です
と思ったらDigital Twins
この話をしようと思った経緯は
Mixed Reality Toolkit V3から来ています。
2022/02/16 Copyright © 2022 Takahiro Miyaura 3
Mixed Reality Toolkit V3について
 詳細が知りたい人はアーカイブへ
Tokyo HoloLens ミートアップ vol.29
~HoloLens日本上陸五周年記念!~
2022/01/19 Copyright © 2022 Takahiro Miyaura
動画を見たい方は・・・
HoloLens ミートアップのアーカイブは
Conpass等で後日共有予定
4
 Microsoft YoonさんからのV3に関する情報
 経緯
 アーキテクチャー
 リリース計画
 Etc…
Mixed Reality Toolkit V3について
- ロードマップ
2022年春~夏にPublic Preview→その後リリース予定
2022/01/19 Copyright © 2022 Takahiro Miyaura 5
Development
Now
• Port core UX building blocks
• Internal Validation
• Performance Analysis
Public Preview
Spring/Summer ‘22
• OpenXR
• New Architecture based on XRI
• New Mixed Reality Design
Language
• Independent Subsystems
• UI Theme System
• Data Binding
• Collection Navigator
• Volumetric Layout Tools
Public Contributions
Mixed Reality Toolkit V3について
- アーキテクチャ
フィードバックと業界標準のサポート
2022/01/19 Copyright © 2022 Takahiro Miyaura 6
○非MRTKのコードと容易に統合可能
○独立したサブシステム
○MRTK V2を使いながらMRTK V3へ移行が可能
○エンタープライズ規模に対応したコンポーネント
○トクロスプラットフォームデバイスのサポー
○業界標準のサポート(最小要件の変更)
Unity XR Interaction Toolkit(XRI) OpenXR Unity 2020.3 LTS
xRコンテンツ開発を簡素化することを
目的としたクロスプラットフォームXR
体験を実現するための仕様およびSDK
xRコンテンツ開発を実現する3D開発プ
ラットフォーム
xRデバイスとコンテンツのInteraction
を抽象化しデバイス固有の実装を隠蔽
かすることでクロスプラットフォーム
開発を支援するための開発キット
Mixed Reality Toolkit V3について
- アーキテクチャ
使いたい部分を導入しながらコンテンツ開発の自由度を上げる構造
2022/01/19 Copyright © 2022 Takahiro Miyaura 7
Theming / Branding
Data Binding
MRTK(No dependencies)
Volumetric Layout Accessibility
MRTK
Core UX
(Buttons, sliders, etc)
MRTK Interaction Layer
(Pointers, Gaze,
Stateful interactions)
Input Simulator
MRTK Subsystems
(Hands, Performance data, Speech, etc)
Tools
(Build Window, etc)
XR Interaction Toolkit
Input System XR / AR Subsystems
OpenXR / Microsoft Extentions
Unity
Visualizations
(Spatial Mesh, Performance
Monitor, Boundary)
Mixed Reality Toolkit V3について
- アーキテクチャ
使いたい部分を導入しながらコンテンツ開発の自由度を上げる構造
2022/01/19 Copyright © 2022 Takahiro Miyaura 8
Theming / Branding
Data Binding
MRTK(No dependencies)
Volumetric Layout Accessibility
MRTK
Core UX
(Buttons, sliders, etc)
MRTK Interaction Layer
(Pointers, Gaze,
Stateful interactions)
Input Simulator
MRTK Subsystems
(Hands, Performance data, Speech, etc)
Tools
(Build Window, etc)
XR Interaction Toolkit
Input System XR / AR Subsystems
OpenXR / Microsoft Extentions
Unity
Visualizations
(Spatial Mesh, Performance
Monitor, Boundary)
【ポイント2】
Unityの標準の手段が
土台になっている
【ポイント1】
OpenXRが基本
本日のお題
 OpenXR + XR Interaction Toolkitの話
 実際にHoloLens2向けにサンプルを構築
 OpenXRのみでの開発(各種トラッキング、イベントの制御)
 OpenXR + XR Interaction Toolkitでの開発
 と言いながらXR Interaction ToolkitのVRサンプルをコンパクトにして設定方法を調べた
2022/02/16 Copyright © 2022 Takahiro Miyaura 9
作ってみて気づいたことや、それぞれの話を簡単に。
なお、空間マッピングはまだ(ちょっとハードル高いw)
少しだけ技術の話
OpenXR
2022/02/16 Copyright © 2022 Takahiro Miyaura 10
OpenXR
https://www.khronos.org/openxr/
デバイス固有の制御を隠蔽化し実装部分の共通化を図るための仕組み
2022/02/16 Copyright © 2022 Takahiro Miyaura 11
Windows XR / Legacy XRを使う開
発
HoloLens を made with Unityすると。。。
OpenXRを使う開発
(Mixed Reality OpenXR Plugin)
移植が容易
XR Interaction Toolkit
https://docs.unity3d.com/Packages/com.unity.xr.interaction.toolkit@2.0/manual/installation.html
デバイス操作とコンテンツ動作を容易に相互作用する
2022/02/16 Copyright © 2022 Takahiro Miyaura 12
Interactors
選択したりするアク
ションを処理
Interactables
選択したり、アクティブに
することができるシーン内
のオブジェクト
Controllers
入力データを抽象化し、インターアク
ターがそれを使ってインタラクション
の状態(特に選択と起動)に変換する
方法を提供
Interaction
Manager
InteractorsとInteractablesの管理と仲
介
Regist
er
Regist
er
Select
Action Control
基本的な部分は
Mixed Reality Toolkitの
Input Systemに似ている
Interactables
Controllers
Cursor,Focus,Pointer…
MRTKが操作とコンテ
ンツをつなぐ…
OpenXRだけでHoloLens 2コンテンツ作る
割と面倒でした。。。
2022/02/16 Copyright © 2022 Takahiro Miyaura 13
OpenXRだけでHoloLens 2コンテンツ作る
環境
今回は以下の環境
2022/02/16 Copyright © 2022 Takahiro Miyaura 14
 Unity 2020.3.8f1(リビジョン注意!時々HoloLensに致命的なバグあり)
 Microsoft OpenXR Plugin 1.3.1 ※Mixed Reality Feature Toolでセットアップ
 Visual Studio 2019
OpenXRだけでHoloLens 2コンテンツ作る
 Tracked Pose Driverでデバイス操作と紐づけ
 Player Inputでデバイスのアクションと処理を紐づけ
2022/02/16 Copyright © 2022 Takahiro Miyaura 15
【結構実装しないといけないです】
※デバイスのトラッキングまでは実装不要
オブジェクトの制御は要実装
 手を認識→ハンドレイを表示
 ハンドレイがオブジェクトに衝突→オブジェクトを選択
 タップ→オブジェクトの色を変える
OpenXRだけでHoloLens 2コンテンツ作る
カメラ6DOF設定の例
Tracked Pose Driver(New Input System)をMainCameraに追加
2022/02/16 Copyright © 2022 Takahiro Miyaura 16
Position Actionに
devicePosition [OpenXR HMD]を設定
Rotation Actionに
deviceRotation [OpenXR HMD]を設定
Tracked Pose Driverを追加するとデバイスの情報がオブジェクトに反映
OpenXR HMDなので頭の動きに追従
OpenXRだけでHoloLens 2コンテンツ作る
アクションの定義
Player Inputを利用
2022/02/16 Copyright © 2022 Takahiro Miyaura 17
タップ操作でイベントを起こす場合
Input Action AssetにSelectPressedをアクションとして
定義する
デバイス操作から必要なものを
アクションとして定義
アクションに対応する処理を
処理するメソッドを関連付ける
OpenXRだけでHoloLens 2コンテンツ作る
アクションの定義
Input Action Assetはデバイス操作とアクションを紐づけ
2022/02/16 Copyright © 2022 Takahiro Miyaura 18
デバイス操作をアクションとして定義
(左手のタップ操作をSelectアクションで定義)
OpenXRだけでHoloLens 2コンテンツ作る
色々頑張るといつものあれができます!
2022/02/16 Copyright © 2022 Takahiro Miyaura 19
 割り当てたアクション
 Head Position(6DOF)
 ハンドトラッキング(Palmのみ)
 ハンドレイ
 タップ操作でのアクション
 実装例
 ハンドレイでフォーカス、タップでオブジェクトの色変更
 空間でタップすると豆腐が生み出される
OpenXR + XR Interaction Toolkit
でHoloLens 2コンテンツ作る
ほとんどサンプルを流用しました。
ほとんど変更いらないです。
2022/02/16 Copyright © 2022 Takahiro Miyaura 20
OpenXR + XR Interaction Toolkit でHoloLens 2コンテンツ作る
環境
今回は以下の環境
2022/02/16 Copyright © 2022 Takahiro Miyaura 21
 Unity 2020.3.8f1(リビジョン注意!時々HoloLensに致命的なバグあり)
 Microsoft OpenXR Plugin 1.3.1 ※Mixed Reality Feature Toolでセットアップ
 XR Interaction Toolkit 2.0.1
 Visual Studio 2019
XR Interaction Toolkitのサンプル「Starter Assets」を流用
基本的にはこのサンプルの設定をHoloLens用に変えれば動きます。
OpenXR + XR Interaction Toolkit で
HoloLens 2コンテンツ作る
基本はOpenXRの時と同じ
2022/02/16 Copyright © 2022 Takahiro Miyaura 22
 基本的な設定
 Tracked Pose Driverでデバイス操作と紐づけ
 Input Action Managerを配置
 Interaction Managerを設置
 ハンドトラッキング制御
 Action Based Controller Manager(なくてもいいか
も)
 XR Controller(Action-based)
 XR Ray Interactor(ハンドレイ利用の場合)
 XR Direct Interactor(つかむ動作用)
 操作するオブジェクト
 XR Grab Interactable
OpenXRだけでHoloLens 2コンテンツ作る
カメラ6DOF設定の例
Tracked Pose Driver(Input System)をMainCameraに追加
2022/02/16 Copyright © 2022 Takahiro Miyaura 23
考え方はOpenXRの時と一緒。
デバイスの動作を定義する方法がXRIではより共通化
Position Inputに
XRI Head/Positionを設定
Rotation Inputに
XRI Head/Positionを設定
OpenXRだけでHoloLens 2コンテンツ作る
アクションの定義
XRIでもデバイス操作とアクションを紐づけ
2022/02/16 Copyright © 2022 Takahiro Miyaura 24
Tracked Pose Driver(カメラ用)
に紐づけたのはこの定義
OpenXRだけでHoloLens 2コンテンツ作る
オブジェクトの定義
操作対象オブジェクトにInteractableを設定
2022/02/16 Copyright © 2022 Takahiro Miyaura 25
 動かしたいオブジェクトに追加
 実行時にInteractableをInteraction Managerに自動登録
 InteractorからのアクションがInteraction Managerを経由
してInteractableに伝達
 条件に応じて(フォーカス持ってる)制御
ここでInteraction Managerと紐づけ
OpenXRだけでHoloLens 2コンテンツ作る
おおむね最小限になりました
2022/02/16 Copyright © 2022 Takahiro Miyaura 26
 割り当てたアクション
 Head Position(6DOF)
 ハンドトラッキング(Palmのみ)
 ハンドレイ(左手のみ)
 つかむ制御(両手)
 各オブジェクトへの操作
 実装内容
 XRIのVRサンプルの一部を焼き直してHoloLens2用に
まとめ
 OpenXR + XR Interaction Toolkitの話
 実際にHoloLens2向けにサンプルを構築
 OpenXRのみでの開発(各種トラッキング、イベントの制御)
 OpenXR + XR Interaction Toolkitでの開発
 と言いながらXR Interaction ToolkitのVRサンプルをコンパクトにして設定方法を調べた
2022/02/16 Copyright © 2022 Takahiro Miyaura 27
 OpenXRのみでやるのはなかなか面倒
 その面を補完できるのがXRIで使い勝手はMRTKに近
い
 XRIとMRTKが融合するととても便利そう
 空間マッピングはいずれやっておきますw
最後に
GitHubに今回作ったサンプルあげておきました
2022/02/16 Copyright © 2022 Takahiro Miyaura 28
もう少し細かいことはQiitaにも書く予定
 https://github.com/TakahiroMiyaura/OpenXRHoloLensSamples
大阪駆動開発
関西を中心に、IT系のおもしろそうなことを
楽しんでやるコミュニティ

More Related Content

What's hot

CEDEC 2016 Metal と Vulkan を用いた水彩画レンダリング技法の紹介
CEDEC 2016 Metal と Vulkan を用いた水彩画レンダリング技法の紹介CEDEC 2016 Metal と Vulkan を用いた水彩画レンダリング技法の紹介
CEDEC 2016 Metal と Vulkan を用いた水彩画レンダリング技法の紹介Drecom Co., Ltd.
 
Unityでパフォーマンスの良いUIを作る為のTips
Unityでパフォーマンスの良いUIを作る為のTipsUnityでパフォーマンスの良いUIを作る為のTips
Unityでパフォーマンスの良いUIを作る為のTipsUnity Technologies Japan K.K.
 
デプスセンサとその応用
デプスセンサとその応用デプスセンサとその応用
デプスセンサとその応用Norishige Fukushima
 
【Unite Tokyo 2019】Unityだったら簡単!マルチプレイ用ゲームサーバ開発 ~実践編~
【Unite Tokyo 2019】Unityだったら簡単!マルチプレイ用ゲームサーバ開発 ~実践編~【Unite Tokyo 2019】Unityだったら簡単!マルチプレイ用ゲームサーバ開発 ~実践編~
【Unite Tokyo 2019】Unityだったら簡単!マルチプレイ用ゲームサーバ開発 ~実践編~UnityTechnologiesJapan002
 
【Unity】より良い表現のためのライティング戦略
【Unity】より良い表現のためのライティング戦略【Unity】より良い表現のためのライティング戦略
【Unity】より良い表現のためのライティング戦略Takayasu Beharu
 
なぜなにリアルタイムレンダリング
なぜなにリアルタイムレンダリングなぜなにリアルタイムレンダリング
なぜなにリアルタイムレンダリングSatoshi Kodaira
 
ネットワーク ゲームにおけるTCPとUDPの使い分け
ネットワーク ゲームにおけるTCPとUDPの使い分けネットワーク ゲームにおけるTCPとUDPの使い分け
ネットワーク ゲームにおけるTCPとUDPの使い分けモノビット エンジン
 
UE4×Switchで60FPSの(ネットワーク)対戦アクションをなんとかして作る! | UNREAL FEST EXTREME 2020 WINTER
UE4×Switchで60FPSの(ネットワーク)対戦アクションをなんとかして作る!  | UNREAL FEST EXTREME 2020 WINTERUE4×Switchで60FPSの(ネットワーク)対戦アクションをなんとかして作る!  | UNREAL FEST EXTREME 2020 WINTER
UE4×Switchで60FPSの(ネットワーク)対戦アクションをなんとかして作る! | UNREAL FEST EXTREME 2020 WINTERエピック・ゲームズ・ジャパン Epic Games Japan
 
Unity開発で使える設計の話+Zenjectの紹介
Unity開発で使える設計の話+Zenjectの紹介Unity開発で使える設計の話+Zenjectの紹介
Unity開発で使える設計の話+Zenjectの紹介torisoup
 
画像処理ライブラリ OpenCV で 出来ること・出来ないこと
画像処理ライブラリ OpenCV で 出来ること・出来ないこと画像処理ライブラリ OpenCV で 出来ること・出来ないこと
画像処理ライブラリ OpenCV で 出来ること・出来ないことNorishige Fukushima
 
Azure kinect DKハンズオン
Azure kinect DKハンズオンAzure kinect DKハンズオン
Azure kinect DKハンズオンTakashi Yoshinaga
 
ガルガンチュア on Oculus Quest - 72FPSへの挑戦 -
ガルガンチュア on Oculus Quest - 72FPSへの挑戦 -ガルガンチュア on Oculus Quest - 72FPSへの挑戦 -
ガルガンチュア on Oculus Quest - 72FPSへの挑戦 -Takehito Gondo
 
インタフェース完全に理解した
インタフェース完全に理解したインタフェース完全に理解した
インタフェース完全に理解したtorisoup
 
【Unity道場】VectorGraphicsで作る エモい表現
【Unity道場】VectorGraphicsで作る エモい表現【Unity道場】VectorGraphicsで作る エモい表現
【Unity道場】VectorGraphicsで作る エモい表現Unity Technologies Japan K.K.
 
Observableで非同期処理
Observableで非同期処理Observableで非同期処理
Observableで非同期処理torisoup
 
Sift特徴量について
Sift特徴量についてSift特徴量について
Sift特徴量についてla_flance
 

What's hot (20)

CEDEC 2016 Metal と Vulkan を用いた水彩画レンダリング技法の紹介
CEDEC 2016 Metal と Vulkan を用いた水彩画レンダリング技法の紹介CEDEC 2016 Metal と Vulkan を用いた水彩画レンダリング技法の紹介
CEDEC 2016 Metal と Vulkan を用いた水彩画レンダリング技法の紹介
 
Unityでパフォーマンスの良いUIを作る為のTips
Unityでパフォーマンスの良いUIを作る為のTipsUnityでパフォーマンスの良いUIを作る為のTips
Unityでパフォーマンスの良いUIを作る為のTips
 
デプスセンサとその応用
デプスセンサとその応用デプスセンサとその応用
デプスセンサとその応用
 
【Unite Tokyo 2019】Unityだったら簡単!マルチプレイ用ゲームサーバ開発 ~実践編~
【Unite Tokyo 2019】Unityだったら簡単!マルチプレイ用ゲームサーバ開発 ~実践編~【Unite Tokyo 2019】Unityだったら簡単!マルチプレイ用ゲームサーバ開発 ~実践編~
【Unite Tokyo 2019】Unityだったら簡単!マルチプレイ用ゲームサーバ開発 ~実践編~
 
【Unity】より良い表現のためのライティング戦略
【Unity】より良い表現のためのライティング戦略【Unity】より良い表現のためのライティング戦略
【Unity】より良い表現のためのライティング戦略
 
なぜなにリアルタイムレンダリング
なぜなにリアルタイムレンダリングなぜなにリアルタイムレンダリング
なぜなにリアルタイムレンダリング
 
ネットワーク ゲームにおけるTCPとUDPの使い分け
ネットワーク ゲームにおけるTCPとUDPの使い分けネットワーク ゲームにおけるTCPとUDPの使い分け
ネットワーク ゲームにおけるTCPとUDPの使い分け
 
Unity2018/2019における最適化事情
Unity2018/2019における最適化事情Unity2018/2019における最適化事情
Unity2018/2019における最適化事情
 
UE4×Switchで60FPSの(ネットワーク)対戦アクションをなんとかして作る! | UNREAL FEST EXTREME 2020 WINTER
UE4×Switchで60FPSの(ネットワーク)対戦アクションをなんとかして作る!  | UNREAL FEST EXTREME 2020 WINTERUE4×Switchで60FPSの(ネットワーク)対戦アクションをなんとかして作る!  | UNREAL FEST EXTREME 2020 WINTER
UE4×Switchで60FPSの(ネットワーク)対戦アクションをなんとかして作る! | UNREAL FEST EXTREME 2020 WINTER
 
Unity開発で使える設計の話+Zenjectの紹介
Unity開発で使える設計の話+Zenjectの紹介Unity開発で使える設計の話+Zenjectの紹介
Unity開発で使える設計の話+Zenjectの紹介
 
画像処理ライブラリ OpenCV で 出来ること・出来ないこと
画像処理ライブラリ OpenCV で 出来ること・出来ないこと画像処理ライブラリ OpenCV で 出来ること・出来ないこと
画像処理ライブラリ OpenCV で 出来ること・出来ないこと
 
猫でも分かるUE4を使った VRコンテンツ開発 超入門編 2021
猫でも分かるUE4を使った VRコンテンツ開発 超入門編 2021猫でも分かるUE4を使った VRコンテンツ開発 超入門編 2021
猫でも分かるUE4を使った VRコンテンツ開発 超入門編 2021
 
Azure kinect DKハンズオン
Azure kinect DKハンズオンAzure kinect DKハンズオン
Azure kinect DKハンズオン
 
ガルガンチュア on Oculus Quest - 72FPSへの挑戦 -
ガルガンチュア on Oculus Quest - 72FPSへの挑戦 -ガルガンチュア on Oculus Quest - 72FPSへの挑戦 -
ガルガンチュア on Oculus Quest - 72FPSへの挑戦 -
 
インタフェース完全に理解した
インタフェース完全に理解したインタフェース完全に理解した
インタフェース完全に理解した
 
[CEDEC2018] UE4で多数のキャラクターを生かすためのテクニック
[CEDEC2018] UE4で多数のキャラクターを生かすためのテクニック[CEDEC2018] UE4で多数のキャラクターを生かすためのテクニック
[CEDEC2018] UE4で多数のキャラクターを生かすためのテクニック
 
【Unity道場】VectorGraphicsで作る エモい表現
【Unity道場】VectorGraphicsで作る エモい表現【Unity道場】VectorGraphicsで作る エモい表現
【Unity道場】VectorGraphicsで作る エモい表現
 
Observableで非同期処理
Observableで非同期処理Observableで非同期処理
Observableで非同期処理
 
Riderはいいぞ!
Riderはいいぞ!Riderはいいぞ!
Riderはいいぞ!
 
Sift特徴量について
Sift特徴量についてSift特徴量について
Sift特徴量について
 

Similar to OpenXR + XR Interaction Toolkit使ったHoloLensコンテンツ開発検証 ~ (私が)完全に理解できたらちゃんと作れて、いろいろ話できるはず編 ~

今改めて見る Plane finding
今改めて見る Plane finding今改めて見る Plane finding
今改めて見る Plane findingTakahiro Miyaura
 
World Locking Tools V1.0.0について~ 機能と導入 ~
World Locking Tools V1.0.0について~ 機能と導入 ~ World Locking Tools V1.0.0について~ 機能と導入 ~
World Locking Tools V1.0.0について~ 機能と導入 ~ Takahiro Miyaura
 
HoloLens1アプリをHoloLens2アプリに変換できるかチャレンジ
HoloLens1アプリをHoloLens2アプリに変換できるかチャレンジHoloLens1アプリをHoloLens2アプリに変換できるかチャレンジ
HoloLens1アプリをHoloLens2アプリに変換できるかチャレンジTakahiro Miyaura
 
Mixed Reality関連のSDKの状況を調べてみた
Mixed Reality関連のSDKの状況を調べてみたMixed Reality関連のSDKの状況を調べてみた
Mixed Reality関連のSDKの状況を調べてみたTakahiro Miyaura
 
HoloLens 1のアプリをHoloLens 2に移行する
HoloLens 1のアプリをHoloLens 2に移行するHoloLens 1のアプリをHoloLens 2に移行する
HoloLens 1のアプリをHoloLens 2に移行するTakahiro Miyaura
 
「あれ」がスマホで動くのか試してみた
「あれ」がスマホで動くのか試してみた「あれ」がスマホで動くのか試してみた
「あれ」がスマホで動くのか試してみたTakahiro Miyaura
 
UIデザイン設計から開発をつなぐ「MRTK Figma Bridge for Unity」を使ってみよう
UIデザイン設計から開発をつなぐ「MRTK Figma Bridge for Unity」を使ってみようUIデザイン設計から開発をつなぐ「MRTK Figma Bridge for Unity」を使ってみよう
UIデザイン設計から開発をつなぐ「MRTK Figma Bridge for Unity」を使ってみようTakahiro Miyaura
 
Mixed Reality Feature ToolとMixed Reality Toolkit V2.6.1
Mixed Reality Feature ToolとMixed Reality Toolkit V2.6.1Mixed Reality Feature ToolとMixed Reality Toolkit V2.6.1
Mixed Reality Feature ToolとMixed Reality Toolkit V2.6.1Takahiro Miyaura
 
HoloLensでコンテンツを操作する方法 - Gaze And Dwell -
HoloLensでコンテンツを操作する方法 - Gaze And Dwell -HoloLensでコンテンツを操作する方法 - Gaze And Dwell -
HoloLensでコンテンツを操作する方法 - Gaze And Dwell -Takahiro Miyaura
 
MixedReality技術とその活用事例~xR(VR/AR/MR...)への基礎知識~
MixedReality技術とその活用事例~xR(VR/AR/MR...)への基礎知識~MixedReality技術とその活用事例~xR(VR/AR/MR...)への基礎知識~
MixedReality技術とその活用事例~xR(VR/AR/MR...)への基礎知識~Takahiro Miyaura
 
Mixed Reality Toolkit V3について
Mixed Reality Toolkit V3についてMixed Reality Toolkit V3について
Mixed Reality Toolkit V3についてTakahiro Miyaura
 
Mixed Reality Toolkit 3 Recap
Mixed Reality Toolkit 3 RecapMixed Reality Toolkit 3 Recap
Mixed Reality Toolkit 3 RecapTakahiro Miyaura
 
Oculus Quest 2 on Mixed Reality Toolkit V2.5.0~ ハンドトラッキングする方法 ~
Oculus Quest 2 on Mixed Reality Toolkit V2.5.0~ ハンドトラッキングする方法 ~Oculus Quest 2 on Mixed Reality Toolkit V2.5.0~ ハンドトラッキングする方法 ~
Oculus Quest 2 on Mixed Reality Toolkit V2.5.0~ ハンドトラッキングする方法 ~Takahiro Miyaura
 
IoT関連のAzureを使い倒して お部屋の空気観測装置を作った話
IoT関連のAzureを使い倒して お部屋の空気観測装置を作った話IoT関連のAzureを使い倒して お部屋の空気観測装置を作った話
IoT関連のAzureを使い倒して お部屋の空気観測装置を作った話Takahiro Miyaura
 
Unreal Engine でアプリ開発~ MRTK UXTools for Unreal V0.9.0 ~
Unreal Engine でアプリ開発~ MRTK UXTools for Unreal V0.9.0 ~Unreal Engine でアプリ開発~ MRTK UXTools for Unreal V0.9.0 ~
Unreal Engine でアプリ開発~ MRTK UXTools for Unreal V0.9.0 ~Takahiro Miyaura
 
Mixed Reality Toolkit 3 のチュートリアル「Zappy’s Playground」の紹介
Mixed Reality Toolkit 3 のチュートリアル「Zappy’s Playground」の紹介Mixed Reality Toolkit 3 のチュートリアル「Zappy’s Playground」の紹介
Mixed Reality Toolkit 3 のチュートリアル「Zappy’s Playground」の紹介Takahiro Miyaura
 
クロスプラットフォーム開発としての「Mixed Reality Toolkit V2」が持つ可能性
クロスプラットフォーム開発としての「Mixed Reality Toolkit V2」が持つ可能性クロスプラットフォーム開発としての「Mixed Reality Toolkit V2」が持つ可能性
クロスプラットフォーム開発としての「Mixed Reality Toolkit V2」が持つ可能性Takahiro Miyaura
 
だんグラで「Mixed Reality Toolkit V2」のサンプルを動かしてみた
だんグラで「Mixed Reality Toolkit V2」のサンプルを動かしてみただんグラで「Mixed Reality Toolkit V2」のサンプルを動かしてみた
だんグラで「Mixed Reality Toolkit V2」のサンプルを動かしてみたTakahiro Miyaura
 
Mixed Reality Toolkit V2.2.0のMobile対応について
Mixed Reality Toolkit V2.2.0のMobile対応についてMixed Reality Toolkit V2.2.0のMobile対応について
Mixed Reality Toolkit V2.2.0のMobile対応についてTakahiro Miyaura
 
Mixed Reality Toolkit 3 のチュートリアル「Zappy’s Playground」のUXをみる
Mixed Reality Toolkit 3 のチュートリアル「Zappy’s Playground」のUXをみるMixed Reality Toolkit 3 のチュートリアル「Zappy’s Playground」のUXをみる
Mixed Reality Toolkit 3 のチュートリアル「Zappy’s Playground」のUXをみるTakahiro Miyaura
 

Similar to OpenXR + XR Interaction Toolkit使ったHoloLensコンテンツ開発検証 ~ (私が)完全に理解できたらちゃんと作れて、いろいろ話できるはず編 ~ (20)

今改めて見る Plane finding
今改めて見る Plane finding今改めて見る Plane finding
今改めて見る Plane finding
 
World Locking Tools V1.0.0について~ 機能と導入 ~
World Locking Tools V1.0.0について~ 機能と導入 ~ World Locking Tools V1.0.0について~ 機能と導入 ~
World Locking Tools V1.0.0について~ 機能と導入 ~
 
HoloLens1アプリをHoloLens2アプリに変換できるかチャレンジ
HoloLens1アプリをHoloLens2アプリに変換できるかチャレンジHoloLens1アプリをHoloLens2アプリに変換できるかチャレンジ
HoloLens1アプリをHoloLens2アプリに変換できるかチャレンジ
 
Mixed Reality関連のSDKの状況を調べてみた
Mixed Reality関連のSDKの状況を調べてみたMixed Reality関連のSDKの状況を調べてみた
Mixed Reality関連のSDKの状況を調べてみた
 
HoloLens 1のアプリをHoloLens 2に移行する
HoloLens 1のアプリをHoloLens 2に移行するHoloLens 1のアプリをHoloLens 2に移行する
HoloLens 1のアプリをHoloLens 2に移行する
 
「あれ」がスマホで動くのか試してみた
「あれ」がスマホで動くのか試してみた「あれ」がスマホで動くのか試してみた
「あれ」がスマホで動くのか試してみた
 
UIデザイン設計から開発をつなぐ「MRTK Figma Bridge for Unity」を使ってみよう
UIデザイン設計から開発をつなぐ「MRTK Figma Bridge for Unity」を使ってみようUIデザイン設計から開発をつなぐ「MRTK Figma Bridge for Unity」を使ってみよう
UIデザイン設計から開発をつなぐ「MRTK Figma Bridge for Unity」を使ってみよう
 
Mixed Reality Feature ToolとMixed Reality Toolkit V2.6.1
Mixed Reality Feature ToolとMixed Reality Toolkit V2.6.1Mixed Reality Feature ToolとMixed Reality Toolkit V2.6.1
Mixed Reality Feature ToolとMixed Reality Toolkit V2.6.1
 
HoloLensでコンテンツを操作する方法 - Gaze And Dwell -
HoloLensでコンテンツを操作する方法 - Gaze And Dwell -HoloLensでコンテンツを操作する方法 - Gaze And Dwell -
HoloLensでコンテンツを操作する方法 - Gaze And Dwell -
 
MixedReality技術とその活用事例~xR(VR/AR/MR...)への基礎知識~
MixedReality技術とその活用事例~xR(VR/AR/MR...)への基礎知識~MixedReality技術とその活用事例~xR(VR/AR/MR...)への基礎知識~
MixedReality技術とその活用事例~xR(VR/AR/MR...)への基礎知識~
 
Mixed Reality Toolkit V3について
Mixed Reality Toolkit V3についてMixed Reality Toolkit V3について
Mixed Reality Toolkit V3について
 
Mixed Reality Toolkit 3 Recap
Mixed Reality Toolkit 3 RecapMixed Reality Toolkit 3 Recap
Mixed Reality Toolkit 3 Recap
 
Oculus Quest 2 on Mixed Reality Toolkit V2.5.0~ ハンドトラッキングする方法 ~
Oculus Quest 2 on Mixed Reality Toolkit V2.5.0~ ハンドトラッキングする方法 ~Oculus Quest 2 on Mixed Reality Toolkit V2.5.0~ ハンドトラッキングする方法 ~
Oculus Quest 2 on Mixed Reality Toolkit V2.5.0~ ハンドトラッキングする方法 ~
 
IoT関連のAzureを使い倒して お部屋の空気観測装置を作った話
IoT関連のAzureを使い倒して お部屋の空気観測装置を作った話IoT関連のAzureを使い倒して お部屋の空気観測装置を作った話
IoT関連のAzureを使い倒して お部屋の空気観測装置を作った話
 
Unreal Engine でアプリ開発~ MRTK UXTools for Unreal V0.9.0 ~
Unreal Engine でアプリ開発~ MRTK UXTools for Unreal V0.9.0 ~Unreal Engine でアプリ開発~ MRTK UXTools for Unreal V0.9.0 ~
Unreal Engine でアプリ開発~ MRTK UXTools for Unreal V0.9.0 ~
 
Mixed Reality Toolkit 3 のチュートリアル「Zappy’s Playground」の紹介
Mixed Reality Toolkit 3 のチュートリアル「Zappy’s Playground」の紹介Mixed Reality Toolkit 3 のチュートリアル「Zappy’s Playground」の紹介
Mixed Reality Toolkit 3 のチュートリアル「Zappy’s Playground」の紹介
 
クロスプラットフォーム開発としての「Mixed Reality Toolkit V2」が持つ可能性
クロスプラットフォーム開発としての「Mixed Reality Toolkit V2」が持つ可能性クロスプラットフォーム開発としての「Mixed Reality Toolkit V2」が持つ可能性
クロスプラットフォーム開発としての「Mixed Reality Toolkit V2」が持つ可能性
 
だんグラで「Mixed Reality Toolkit V2」のサンプルを動かしてみた
だんグラで「Mixed Reality Toolkit V2」のサンプルを動かしてみただんグラで「Mixed Reality Toolkit V2」のサンプルを動かしてみた
だんグラで「Mixed Reality Toolkit V2」のサンプルを動かしてみた
 
Mixed Reality Toolkit V2.2.0のMobile対応について
Mixed Reality Toolkit V2.2.0のMobile対応についてMixed Reality Toolkit V2.2.0のMobile対応について
Mixed Reality Toolkit V2.2.0のMobile対応について
 
Mixed Reality Toolkit 3 のチュートリアル「Zappy’s Playground」のUXをみる
Mixed Reality Toolkit 3 のチュートリアル「Zappy’s Playground」のUXをみるMixed Reality Toolkit 3 のチュートリアル「Zappy’s Playground」のUXをみる
Mixed Reality Toolkit 3 のチュートリアル「Zappy’s Playground」のUXをみる
 

More from Takahiro Miyaura

Microsoft Ignite 2022の情報 & Microsoft Learnの整理をしてみた
Microsoft Ignite 2022の情報 & Microsoft Learnの整理をしてみたMicrosoft Ignite 2022の情報 & Microsoft Learnの整理をしてみた
Microsoft Ignite 2022の情報 & Microsoft Learnの整理をしてみたTakahiro Miyaura
 
Mixed Reality Toolkit 3 の更新状況 - 6月からもちょいちょいアップデートされてるよ
Mixed Reality Toolkit 3 の更新状況 - 6月からもちょいちょいアップデートされてるよMixed Reality Toolkit 3 の更新状況 - 6月からもちょいちょいアップデートされてるよ
Mixed Reality Toolkit 3 の更新状況 - 6月からもちょいちょいアップデートされてるよTakahiro Miyaura
 
Mixed Reality Toolkit 3 - 「MRTK XR Rig」と「Bounds Control」
Mixed Reality Toolkit 3 - 「MRTK XR Rig」と「Bounds Control」Mixed Reality Toolkit 3 - 「MRTK XR Rig」と「Bounds Control」
Mixed Reality Toolkit 3 - 「MRTK XR Rig」と「Bounds Control」Takahiro Miyaura
 
Mixed Reality Toolkit で OpenXRのEye Trackingを使う
Mixed Reality Toolkit で OpenXRのEye Trackingを使うMixed Reality Toolkit で OpenXRのEye Trackingを使う
Mixed Reality Toolkit で OpenXRのEye Trackingを使うTakahiro Miyaura
 
Mixed RealityとAzure Digital Twinsを組合わせてデジタルツインを可視化するためのTips
Mixed RealityとAzure Digital Twinsを組合わせてデジタルツインを可視化するためのTipsMixed RealityとAzure Digital Twinsを組合わせてデジタルツインを可視化するためのTips
Mixed RealityとAzure Digital Twinsを組合わせてデジタルツインを可視化するためのTipsTakahiro Miyaura
 
5周年ふりかえり!HoloLens 1とHoloLens 2のUI操作と実装の違いを改めて見てみよう
5周年ふりかえり!HoloLens 1とHoloLens 2のUI操作と実装の違いを改めて見てみよう5周年ふりかえり!HoloLens 1とHoloLens 2のUI操作と実装の違いを改めて見てみよう
5周年ふりかえり!HoloLens 1とHoloLens 2のUI操作と実装の違いを改めて見てみようTakahiro Miyaura
 
World Locking Tools でAzure Spatial Anchorsが使えるようになった
World Locking Tools でAzure Spatial Anchorsが使えるようになったWorld Locking Tools でAzure Spatial Anchorsが使えるようになった
World Locking Tools でAzure Spatial Anchorsが使えるようになったTakahiro Miyaura
 
Azure Digital TwinとUnreal Engineを統合するADTLink Pluginについて
 Azure Digital TwinとUnreal Engineを統合するADTLink Pluginについて Azure Digital TwinとUnreal Engineを統合するADTLink Pluginについて
Azure Digital TwinとUnreal Engineを統合するADTLink PluginについてTakahiro Miyaura
 
久しぶりにMicrosoft Meshを使ってみた - 色々変わってたよ編 -
久しぶりにMicrosoft Meshを使ってみた - 色々変わってたよ編 -久しぶりにMicrosoft Meshを使ってみた - 色々変わってたよ編 -
久しぶりにMicrosoft Meshを使ってみた - 色々変わってたよ編 -Takahiro Miyaura
 
Azure Object Anchors のQuick Startで理解を深めたい
Azure Object Anchors のQuick Startで理解を深めたいAzure Object Anchors のQuick Startで理解を深めたい
Azure Object Anchors のQuick Startで理解を深めたいTakahiro Miyaura
 
Build 2021のDigital Twinsセションを読み解く ~Azure関連サービス概要とラーニングパスの詳説~
Build 2021のDigital Twinsセションを読み解く ~Azure関連サービス概要とラーニングパスの詳説~Build 2021のDigital Twinsセションを読み解く ~Azure関連サービス概要とラーニングパスの詳説~
Build 2021のDigital Twinsセションを読み解く ~Azure関連サービス概要とラーニングパスの詳説~Takahiro Miyaura
 
ラーニングパス「Azure Digital Twins と Unity を使用して Mixed Reality デジタル ツインを構築する」にAzure ...
ラーニングパス「Azure Digital Twins と Unity を使用して Mixed Reality デジタル ツインを構築する」にAzure ...ラーニングパス「Azure Digital Twins と Unity を使用して Mixed Reality デジタル ツインを構築する」にAzure ...
ラーニングパス「Azure Digital Twins と Unity を使用して Mixed Reality デジタル ツインを構築する」にAzure ...Takahiro Miyaura
 
Azure Object Anchors Recap(Kobe版)
Azure Object Anchors Recap(Kobe版)Azure Object Anchors Recap(Kobe版)
Azure Object Anchors Recap(Kobe版)Takahiro Miyaura
 
Azure Object Anchors Recap
Azure Object Anchors RecapAzure Object Anchors Recap
Azure Object Anchors RecapTakahiro Miyaura
 
Unityは知ってる開発者が UE4 で HoloLens 2 アプリ開発セションを聞くために知っておくといいかもTips
Unityは知ってる開発者が UE4 で HoloLens 2 アプリ開発セションを聞くために知っておくといいかもTipsUnityは知ってる開発者が UE4 で HoloLens 2 アプリ開発セションを聞くために知っておくといいかもTips
Unityは知ってる開発者が UE4 で HoloLens 2 アプリ開発セションを聞くために知っておくといいかもTipsTakahiro Miyaura
 

More from Takahiro Miyaura (16)

Microsoft Ignite 2022の情報 & Microsoft Learnの整理をしてみた
Microsoft Ignite 2022の情報 & Microsoft Learnの整理をしてみたMicrosoft Ignite 2022の情報 & Microsoft Learnの整理をしてみた
Microsoft Ignite 2022の情報 & Microsoft Learnの整理をしてみた
 
Mixed Reality Toolkit 3 の更新状況 - 6月からもちょいちょいアップデートされてるよ
Mixed Reality Toolkit 3 の更新状況 - 6月からもちょいちょいアップデートされてるよMixed Reality Toolkit 3 の更新状況 - 6月からもちょいちょいアップデートされてるよ
Mixed Reality Toolkit 3 の更新状況 - 6月からもちょいちょいアップデートされてるよ
 
Mixed Reality Toolkit 3 - 「MRTK XR Rig」と「Bounds Control」
Mixed Reality Toolkit 3 - 「MRTK XR Rig」と「Bounds Control」Mixed Reality Toolkit 3 - 「MRTK XR Rig」と「Bounds Control」
Mixed Reality Toolkit 3 - 「MRTK XR Rig」と「Bounds Control」
 
MRTK3を調べてみた
MRTK3を調べてみたMRTK3を調べてみた
MRTK3を調べてみた
 
Mixed Reality Toolkit で OpenXRのEye Trackingを使う
Mixed Reality Toolkit で OpenXRのEye Trackingを使うMixed Reality Toolkit で OpenXRのEye Trackingを使う
Mixed Reality Toolkit で OpenXRのEye Trackingを使う
 
Mixed RealityとAzure Digital Twinsを組合わせてデジタルツインを可視化するためのTips
Mixed RealityとAzure Digital Twinsを組合わせてデジタルツインを可視化するためのTipsMixed RealityとAzure Digital Twinsを組合わせてデジタルツインを可視化するためのTips
Mixed RealityとAzure Digital Twinsを組合わせてデジタルツインを可視化するためのTips
 
5周年ふりかえり!HoloLens 1とHoloLens 2のUI操作と実装の違いを改めて見てみよう
5周年ふりかえり!HoloLens 1とHoloLens 2のUI操作と実装の違いを改めて見てみよう5周年ふりかえり!HoloLens 1とHoloLens 2のUI操作と実装の違いを改めて見てみよう
5周年ふりかえり!HoloLens 1とHoloLens 2のUI操作と実装の違いを改めて見てみよう
 
World Locking Tools でAzure Spatial Anchorsが使えるようになった
World Locking Tools でAzure Spatial Anchorsが使えるようになったWorld Locking Tools でAzure Spatial Anchorsが使えるようになった
World Locking Tools でAzure Spatial Anchorsが使えるようになった
 
Azure Digital TwinとUnreal Engineを統合するADTLink Pluginについて
 Azure Digital TwinとUnreal Engineを統合するADTLink Pluginについて Azure Digital TwinとUnreal Engineを統合するADTLink Pluginについて
Azure Digital TwinとUnreal Engineを統合するADTLink Pluginについて
 
久しぶりにMicrosoft Meshを使ってみた - 色々変わってたよ編 -
久しぶりにMicrosoft Meshを使ってみた - 色々変わってたよ編 -久しぶりにMicrosoft Meshを使ってみた - 色々変わってたよ編 -
久しぶりにMicrosoft Meshを使ってみた - 色々変わってたよ編 -
 
Azure Object Anchors のQuick Startで理解を深めたい
Azure Object Anchors のQuick Startで理解を深めたいAzure Object Anchors のQuick Startで理解を深めたい
Azure Object Anchors のQuick Startで理解を深めたい
 
Build 2021のDigital Twinsセションを読み解く ~Azure関連サービス概要とラーニングパスの詳説~
Build 2021のDigital Twinsセションを読み解く ~Azure関連サービス概要とラーニングパスの詳説~Build 2021のDigital Twinsセションを読み解く ~Azure関連サービス概要とラーニングパスの詳説~
Build 2021のDigital Twinsセションを読み解く ~Azure関連サービス概要とラーニングパスの詳説~
 
ラーニングパス「Azure Digital Twins と Unity を使用して Mixed Reality デジタル ツインを構築する」にAzure ...
ラーニングパス「Azure Digital Twins と Unity を使用して Mixed Reality デジタル ツインを構築する」にAzure ...ラーニングパス「Azure Digital Twins と Unity を使用して Mixed Reality デジタル ツインを構築する」にAzure ...
ラーニングパス「Azure Digital Twins と Unity を使用して Mixed Reality デジタル ツインを構築する」にAzure ...
 
Azure Object Anchors Recap(Kobe版)
Azure Object Anchors Recap(Kobe版)Azure Object Anchors Recap(Kobe版)
Azure Object Anchors Recap(Kobe版)
 
Azure Object Anchors Recap
Azure Object Anchors RecapAzure Object Anchors Recap
Azure Object Anchors Recap
 
Unityは知ってる開発者が UE4 で HoloLens 2 アプリ開発セションを聞くために知っておくといいかもTips
Unityは知ってる開発者が UE4 で HoloLens 2 アプリ開発セションを聞くために知っておくといいかもTipsUnityは知ってる開発者が UE4 で HoloLens 2 アプリ開発セションを聞くために知っておくといいかもTips
Unityは知ってる開発者が UE4 で HoloLens 2 アプリ開発セションを聞くために知っておくといいかもTips
 

OpenXR + XR Interaction Toolkit使ったHoloLensコンテンツ開発検証 ~ (私が)完全に理解できたらちゃんと作れて、いろいろ話できるはず編 ~

  • 1. takabrz1 大阪駆動開発 Takahiro Miyaura OpenXR + XR Interaction Toolkit 使ったHoloLensコンテンツ開発検証 ~ (私が)完全に理解できたらちゃんと作れて、いろいろ話できるはず編 ~ 2022/03 Kobe HoloLens Meetup vol.5
  • 2. 宮浦 恭弘 (Miyaura Takahiro)  大阪駆動開発(とHolomagicians)コミュニティに生息  HoloLens日本販売してからxR系技術に取組む  普段はよくMixed Reality Toolkitに関する調査している  新しい技術や、MRに使えそうな技術を調べる 技術Tips : https://qiita.com/miyaura @takabrz1 ※よかったらこれを機にお知り合いになってください  リリース機能調べたり・・・  面白い機能使ってみたり・・・  新しい実験してフィードバックしたり・・・ 最近はこちらに Come Back気味 (貢献領域:Mixed Reality) Microsoft MVP for Windows Development 2018-202 2 某会社でSE(アプリケーション領域のアーキテクト的なお仕事なはず)= XRは趣味です と思ったらDigital Twins
  • 3. この話をしようと思った経緯は Mixed Reality Toolkit V3から来ています。 2022/02/16 Copyright © 2022 Takahiro Miyaura 3
  • 4. Mixed Reality Toolkit V3について  詳細が知りたい人はアーカイブへ Tokyo HoloLens ミートアップ vol.29 ~HoloLens日本上陸五周年記念!~ 2022/01/19 Copyright © 2022 Takahiro Miyaura 動画を見たい方は・・・ HoloLens ミートアップのアーカイブは Conpass等で後日共有予定 4  Microsoft YoonさんからのV3に関する情報  経緯  アーキテクチャー  リリース計画  Etc…
  • 5. Mixed Reality Toolkit V3について - ロードマップ 2022年春~夏にPublic Preview→その後リリース予定 2022/01/19 Copyright © 2022 Takahiro Miyaura 5 Development Now • Port core UX building blocks • Internal Validation • Performance Analysis Public Preview Spring/Summer ‘22 • OpenXR • New Architecture based on XRI • New Mixed Reality Design Language • Independent Subsystems • UI Theme System • Data Binding • Collection Navigator • Volumetric Layout Tools Public Contributions
  • 6. Mixed Reality Toolkit V3について - アーキテクチャ フィードバックと業界標準のサポート 2022/01/19 Copyright © 2022 Takahiro Miyaura 6 ○非MRTKのコードと容易に統合可能 ○独立したサブシステム ○MRTK V2を使いながらMRTK V3へ移行が可能 ○エンタープライズ規模に対応したコンポーネント ○トクロスプラットフォームデバイスのサポー ○業界標準のサポート(最小要件の変更) Unity XR Interaction Toolkit(XRI) OpenXR Unity 2020.3 LTS xRコンテンツ開発を簡素化することを 目的としたクロスプラットフォームXR 体験を実現するための仕様およびSDK xRコンテンツ開発を実現する3D開発プ ラットフォーム xRデバイスとコンテンツのInteraction を抽象化しデバイス固有の実装を隠蔽 かすることでクロスプラットフォーム 開発を支援するための開発キット
  • 7. Mixed Reality Toolkit V3について - アーキテクチャ 使いたい部分を導入しながらコンテンツ開発の自由度を上げる構造 2022/01/19 Copyright © 2022 Takahiro Miyaura 7 Theming / Branding Data Binding MRTK(No dependencies) Volumetric Layout Accessibility MRTK Core UX (Buttons, sliders, etc) MRTK Interaction Layer (Pointers, Gaze, Stateful interactions) Input Simulator MRTK Subsystems (Hands, Performance data, Speech, etc) Tools (Build Window, etc) XR Interaction Toolkit Input System XR / AR Subsystems OpenXR / Microsoft Extentions Unity Visualizations (Spatial Mesh, Performance Monitor, Boundary)
  • 8. Mixed Reality Toolkit V3について - アーキテクチャ 使いたい部分を導入しながらコンテンツ開発の自由度を上げる構造 2022/01/19 Copyright © 2022 Takahiro Miyaura 8 Theming / Branding Data Binding MRTK(No dependencies) Volumetric Layout Accessibility MRTK Core UX (Buttons, sliders, etc) MRTK Interaction Layer (Pointers, Gaze, Stateful interactions) Input Simulator MRTK Subsystems (Hands, Performance data, Speech, etc) Tools (Build Window, etc) XR Interaction Toolkit Input System XR / AR Subsystems OpenXR / Microsoft Extentions Unity Visualizations (Spatial Mesh, Performance Monitor, Boundary) 【ポイント2】 Unityの標準の手段が 土台になっている 【ポイント1】 OpenXRが基本
  • 9. 本日のお題  OpenXR + XR Interaction Toolkitの話  実際にHoloLens2向けにサンプルを構築  OpenXRのみでの開発(各種トラッキング、イベントの制御)  OpenXR + XR Interaction Toolkitでの開発  と言いながらXR Interaction ToolkitのVRサンプルをコンパクトにして設定方法を調べた 2022/02/16 Copyright © 2022 Takahiro Miyaura 9 作ってみて気づいたことや、それぞれの話を簡単に。 なお、空間マッピングはまだ(ちょっとハードル高いw)
  • 11. OpenXR https://www.khronos.org/openxr/ デバイス固有の制御を隠蔽化し実装部分の共通化を図るための仕組み 2022/02/16 Copyright © 2022 Takahiro Miyaura 11 Windows XR / Legacy XRを使う開 発 HoloLens を made with Unityすると。。。 OpenXRを使う開発 (Mixed Reality OpenXR Plugin) 移植が容易
  • 12. XR Interaction Toolkit https://docs.unity3d.com/Packages/com.unity.xr.interaction.toolkit@2.0/manual/installation.html デバイス操作とコンテンツ動作を容易に相互作用する 2022/02/16 Copyright © 2022 Takahiro Miyaura 12 Interactors 選択したりするアク ションを処理 Interactables 選択したり、アクティブに することができるシーン内 のオブジェクト Controllers 入力データを抽象化し、インターアク ターがそれを使ってインタラクション の状態(特に選択と起動)に変換する 方法を提供 Interaction Manager InteractorsとInteractablesの管理と仲 介 Regist er Regist er Select Action Control 基本的な部分は Mixed Reality Toolkitの Input Systemに似ている Interactables Controllers Cursor,Focus,Pointer… MRTKが操作とコンテ ンツをつなぐ…
  • 14. OpenXRだけでHoloLens 2コンテンツ作る 環境 今回は以下の環境 2022/02/16 Copyright © 2022 Takahiro Miyaura 14  Unity 2020.3.8f1(リビジョン注意!時々HoloLensに致命的なバグあり)  Microsoft OpenXR Plugin 1.3.1 ※Mixed Reality Feature Toolでセットアップ  Visual Studio 2019
  • 15. OpenXRだけでHoloLens 2コンテンツ作る  Tracked Pose Driverでデバイス操作と紐づけ  Player Inputでデバイスのアクションと処理を紐づけ 2022/02/16 Copyright © 2022 Takahiro Miyaura 15 【結構実装しないといけないです】 ※デバイスのトラッキングまでは実装不要 オブジェクトの制御は要実装  手を認識→ハンドレイを表示  ハンドレイがオブジェクトに衝突→オブジェクトを選択  タップ→オブジェクトの色を変える
  • 16. OpenXRだけでHoloLens 2コンテンツ作る カメラ6DOF設定の例 Tracked Pose Driver(New Input System)をMainCameraに追加 2022/02/16 Copyright © 2022 Takahiro Miyaura 16 Position Actionに devicePosition [OpenXR HMD]を設定 Rotation Actionに deviceRotation [OpenXR HMD]を設定 Tracked Pose Driverを追加するとデバイスの情報がオブジェクトに反映 OpenXR HMDなので頭の動きに追従
  • 17. OpenXRだけでHoloLens 2コンテンツ作る アクションの定義 Player Inputを利用 2022/02/16 Copyright © 2022 Takahiro Miyaura 17 タップ操作でイベントを起こす場合 Input Action AssetにSelectPressedをアクションとして 定義する デバイス操作から必要なものを アクションとして定義 アクションに対応する処理を 処理するメソッドを関連付ける
  • 18. OpenXRだけでHoloLens 2コンテンツ作る アクションの定義 Input Action Assetはデバイス操作とアクションを紐づけ 2022/02/16 Copyright © 2022 Takahiro Miyaura 18 デバイス操作をアクションとして定義 (左手のタップ操作をSelectアクションで定義)
  • 19. OpenXRだけでHoloLens 2コンテンツ作る 色々頑張るといつものあれができます! 2022/02/16 Copyright © 2022 Takahiro Miyaura 19  割り当てたアクション  Head Position(6DOF)  ハンドトラッキング(Palmのみ)  ハンドレイ  タップ操作でのアクション  実装例  ハンドレイでフォーカス、タップでオブジェクトの色変更  空間でタップすると豆腐が生み出される
  • 20. OpenXR + XR Interaction Toolkit でHoloLens 2コンテンツ作る ほとんどサンプルを流用しました。 ほとんど変更いらないです。 2022/02/16 Copyright © 2022 Takahiro Miyaura 20
  • 21. OpenXR + XR Interaction Toolkit でHoloLens 2コンテンツ作る 環境 今回は以下の環境 2022/02/16 Copyright © 2022 Takahiro Miyaura 21  Unity 2020.3.8f1(リビジョン注意!時々HoloLensに致命的なバグあり)  Microsoft OpenXR Plugin 1.3.1 ※Mixed Reality Feature Toolでセットアップ  XR Interaction Toolkit 2.0.1  Visual Studio 2019 XR Interaction Toolkitのサンプル「Starter Assets」を流用 基本的にはこのサンプルの設定をHoloLens用に変えれば動きます。
  • 22. OpenXR + XR Interaction Toolkit で HoloLens 2コンテンツ作る 基本はOpenXRの時と同じ 2022/02/16 Copyright © 2022 Takahiro Miyaura 22  基本的な設定  Tracked Pose Driverでデバイス操作と紐づけ  Input Action Managerを配置  Interaction Managerを設置  ハンドトラッキング制御  Action Based Controller Manager(なくてもいいか も)  XR Controller(Action-based)  XR Ray Interactor(ハンドレイ利用の場合)  XR Direct Interactor(つかむ動作用)  操作するオブジェクト  XR Grab Interactable
  • 23. OpenXRだけでHoloLens 2コンテンツ作る カメラ6DOF設定の例 Tracked Pose Driver(Input System)をMainCameraに追加 2022/02/16 Copyright © 2022 Takahiro Miyaura 23 考え方はOpenXRの時と一緒。 デバイスの動作を定義する方法がXRIではより共通化 Position Inputに XRI Head/Positionを設定 Rotation Inputに XRI Head/Positionを設定
  • 24. OpenXRだけでHoloLens 2コンテンツ作る アクションの定義 XRIでもデバイス操作とアクションを紐づけ 2022/02/16 Copyright © 2022 Takahiro Miyaura 24 Tracked Pose Driver(カメラ用) に紐づけたのはこの定義
  • 25. OpenXRだけでHoloLens 2コンテンツ作る オブジェクトの定義 操作対象オブジェクトにInteractableを設定 2022/02/16 Copyright © 2022 Takahiro Miyaura 25  動かしたいオブジェクトに追加  実行時にInteractableをInteraction Managerに自動登録  InteractorからのアクションがInteraction Managerを経由 してInteractableに伝達  条件に応じて(フォーカス持ってる)制御 ここでInteraction Managerと紐づけ
  • 26. OpenXRだけでHoloLens 2コンテンツ作る おおむね最小限になりました 2022/02/16 Copyright © 2022 Takahiro Miyaura 26  割り当てたアクション  Head Position(6DOF)  ハンドトラッキング(Palmのみ)  ハンドレイ(左手のみ)  つかむ制御(両手)  各オブジェクトへの操作  実装内容  XRIのVRサンプルの一部を焼き直してHoloLens2用に
  • 27. まとめ  OpenXR + XR Interaction Toolkitの話  実際にHoloLens2向けにサンプルを構築  OpenXRのみでの開発(各種トラッキング、イベントの制御)  OpenXR + XR Interaction Toolkitでの開発  と言いながらXR Interaction ToolkitのVRサンプルをコンパクトにして設定方法を調べた 2022/02/16 Copyright © 2022 Takahiro Miyaura 27  OpenXRのみでやるのはなかなか面倒  その面を補完できるのがXRIで使い勝手はMRTKに近 い  XRIとMRTKが融合するととても便利そう  空間マッピングはいずれやっておきますw
  • 28. 最後に GitHubに今回作ったサンプルあげておきました 2022/02/16 Copyright © 2022 Takahiro Miyaura 28 もう少し細かいことはQiitaにも書く予定  https://github.com/TakahiroMiyaura/OpenXRHoloLensSamples