OpenXR + XR Interaction Toolkit使ったHoloLensコンテンツ開発検証～ (私が)完全に理解できたらちゃんと作れて、いろいろ話できるはず編～

takabrz1 大阪駆動開発 Takahiro Miyaura
OpenXR + XR Interaction Toolkit
使ったHoloLensコンテンツ開発検証
～ (私が)完全に理解できたらちゃんと作れて、いろいろ話できるはず編～
2022/03
Kobe HoloLens Meetup vol.5

宮浦恭弘 (Miyaura Takahiro)
 大阪駆動開発(とHolomagicians)コミュニティに生息
 HoloLens日本販売してからxR系技術に取組む
 普段はよくMixed Reality Toolkitに関する調査している
 新しい技術や、MRに使えそうな技術を調べる
技術Tips : https://qiita.com/miyaura
@takabrz1 ※よかったらこれを機にお知り合いになってください
 リリース機能調べたり・・・
 面白い機能使ってみたり・・・
 新しい実験してフィードバックしたり・・・
最近はこちらに
Come Back気味
（貢献領域：Mixed Reality）
Microsoft MVP for Windows Development 2018-202 2
某会社でSE(アプリケーション領域のアーキテクト的なお仕事なはず）＝ XRは趣味です
と思ったらDigital Twins

この話をしようと思った経緯は
Mixed Reality Toolkit V3から来ています。
2022/02/16 Copyright © 2022 Takahiro Miyaura 3

Mixed Reality Toolkit V3について
 詳細が知りたい人はアーカイブへ
Tokyo HoloLens ミートアップ vol.29
~HoloLens日本上陸五周年記念！~
2022/01/19 Copyright © 2022 Takahiro Miyaura
動画を見たい方は・・・
HoloLens ミートアップのアーカイブは
Conpass等で後日共有予定
4
 Microsoft YoonさんからのV3に関する情報
 経緯
 アーキテクチャー
 リリース計画
 Etc…

- ロードマップ
2022年春～夏にPublic Preview→その後リリース予定
Development
Now
• Port core UX building blocks
• Internal Validation
• Performance Analysis
Public Preview
Spring/Summer ‘22
• OpenXR
• New Architecture based on XRI
• New Mixed Reality Design
Language
• Independent Subsystems
• UI Theme System
• Data Binding
• Collection Navigator
• Volumetric Layout Tools
Public Contributions

- アーキテクチャ
フィードバックと業界標準のサポート
○非MRTKのコードと容易に統合可能
○独立したサブシステム
○MRTK V2を使いながらMRTK V3へ移行が可能
○エンタープライズ規模に対応したコンポーネント
○トクロスプラットフォームデバイスのサポー
○業界標準のサポート(最小要件の変更)
Unity XR Interaction Toolkit（XRI） OpenXR Unity 2020.3 LTS
xRコンテンツ開発を簡素化することを
目的としたクロスプラットフォームXR
体験を実現するための仕様およびSDK
xRコンテンツ開発を実現する3D開発プ
ラットフォーム
xRデバイスとコンテンツのInteraction
を抽象化しデバイス固有の実装を隠蔽
かすることでクロスプラットフォーム
開発を支援するための開発キット

使いたい部分を導入しながらコンテンツ開発の自由度を上げる構造
Theming / Branding
Data Binding
MRTK(No dependencies)
Volumetric Layout Accessibility
MRTK
Core UX
(Buttons, sliders, etc)
MRTK Interaction Layer
(Pointers, Gaze,
Stateful interactions)
Input Simulator
MRTK Subsystems
(Hands, Performance data, Speech, etc)
Tools
(Build Window, etc)
XR Interaction Toolkit
Input System XR / AR Subsystems
OpenXR / Microsoft Extentions
Unity
Visualizations
(Spatial Mesh, Performance
Monitor, Boundary)

使いたい部分を導入しながらコンテンツ開発の自由度を上げる構造
Theming / Branding
Data Binding
MRTK(No dependencies)
Volumetric Layout Accessibility
MRTK
Core UX
(Buttons, sliders, etc)
MRTK Interaction Layer
(Pointers, Gaze,
Stateful interactions)
Input Simulator
MRTK Subsystems
(Hands, Performance data, Speech, etc)
Tools
(Build Window, etc)
Input System XR / AR Subsystems
OpenXR / Microsoft Extentions
Unity
Visualizations
(Spatial Mesh, Performance
Monitor, Boundary)
【ポイント2】
Unityの標準の手段が
土台になっている
【ポイント1】
OpenXRが基本

本日のお題
 OpenXR + XR Interaction Toolkitの話
 実際にHoloLens2向けにサンプルを構築
 OpenXRのみでの開発（各種トラッキング、イベントの制御）
 OpenXR + XR Interaction Toolkitでの開発
 と言いながらXR Interaction ToolkitのVRサンプルをコンパクトにして設定方法を調べた
作ってみて気づいたことや、それぞれの話を簡単に。
なお、空間マッピングはまだ（ちょっとハードル高いｗ）

少しだけ技術の話
OpenXR

OpenXR
https://www.khronos.org/openxr/
デバイス固有の制御を隠蔽化し実装部分の共通化を図るための仕組み
Windows XR / Legacy XRを使う開
発
HoloLens を made with Unityすると。。。
OpenXRを使う開発
(Mixed Reality OpenXR Plugin)
移植が容易

https://docs.unity3d.com/Packages/com.unity.xr.interaction.toolkit@2.0/manual/installation.html
デバイス操作とコンテンツ動作を容易に相互作用する
Interactors
選択したりするアク
ションを処理
Interactables
選択したり、アクティブに
することができるシーン内
のオブジェクト
Controllers
入力データを抽象化し、インターアク
ターがそれを使ってインタラクション
の状態（特に選択と起動）に変換する
方法を提供
Interaction
Manager
InteractorsとInteractablesの管理と仲
介
Regist
er
Regist
er
Select
Action Control
基本的な部分は
Mixed Reality Toolkitの
Input Systemに似ている
Interactables
Controllers
Cursor,Focus,Pointer…
MRTKが操作とコンテ
ンツをつなぐ…

OpenXRだけでHoloLens 2コンテンツ作る
割と面倒でした。。。

環境
今回は以下の環境
 Unity 2020.3.8f1(リビジョン注意!時々HoloLensに致命的なバグあり)
 Microsoft OpenXR Plugin 1.3.1 ※Mixed Reality Feature Toolでセットアップ
 Visual Studio 2019

 Tracked Pose Driverでデバイス操作と紐づけ
 Player Inputでデバイスのアクションと処理を紐づけ
【結構実装しないといけないです】
※デバイスのトラッキングまでは実装不要
オブジェクトの制御は要実装
 手を認識→ハンドレイを表示
 ハンドレイがオブジェクトに衝突→オブジェクトを選択
 タップ→オブジェクトの色を変える

カメラ6DOF設定の例
Tracked Pose Driver(New Input System)をMainCameraに追加
Position Actionに
devicePosition [OpenXR HMD]を設定
Rotation Actionに
deviceRotation [OpenXR HMD]を設定
Tracked Pose Driverを追加するとデバイスの情報がオブジェクトに反映
OpenXR HMDなので頭の動きに追従

アクションの定義
Player Inputを利用
タップ操作でイベントを起こす場合
Input Action AssetにSelectPressedをアクションとして
定義する
デバイス操作から必要なものを
アクションとして定義
アクションに対応する処理を
処理するメソッドを関連付ける

Input Action Assetはデバイス操作とアクションを紐づけ
デバイス操作をアクションとして定義
(左手のタップ操作をSelectアクションで定義)

色々頑張るといつものあれができます！
 割り当てたアクション
 Head Position(6DOF)
 ハンドトラッキング（Palmのみ）
 ハンドレイ
 タップ操作でのアクション
 実装例
 ハンドレイでフォーカス、タップでオブジェクトの色変更
 空間でタップすると豆腐が生み出される

OpenXR + XR Interaction Toolkit
でHoloLens 2コンテンツ作る
ほとんどサンプルを流用しました。
ほとんど変更いらないです。

OpenXR + XR Interaction Toolkit でHoloLens 2コンテンツ作る
環境
今回は以下の環境
 Unity 2020.3.8f1(リビジョン注意!時々HoloLensに致命的なバグあり)
 Microsoft OpenXR Plugin 1.3.1 ※Mixed Reality Feature Toolでセットアップ
 XR Interaction Toolkit 2.0.1
 Visual Studio 2019
XR Interaction Toolkitのサンプル「Starter Assets」を流用
基本的にはこのサンプルの設定をHoloLens用に変えれば動きます。

OpenXR + XR Interaction Toolkit で
HoloLens 2コンテンツ作る
基本はOpenXRの時と同じ
 基本的な設定
 Tracked Pose Driverでデバイス操作と紐づけ
 Input Action Managerを配置
 Interaction Managerを設置
 ハンドトラッキング制御
 Action Based Controller Manager（なくてもいいか
も）
 XR Controller(Action-based)
 XR Ray Interactor（ハンドレイ利用の場合）
 XR Direct Interactor（つかむ動作用）
 操作するオブジェクト
 XR Grab Interactable

カメラ6DOF設定の例
Tracked Pose Driver(Input System)をMainCameraに追加
考え方はOpenXRの時と一緒。
デバイスの動作を定義する方法がXRIではより共通化
Position Inputに
XRI Head/Positionを設定
Rotation Inputに
XRI Head/Positionを設定

XRIでもデバイス操作とアクションを紐づけ
Tracked Pose Driver（カメラ用）
に紐づけたのはこの定義

オブジェクトの定義
操作対象オブジェクトにInteractableを設定
 動かしたいオブジェクトに追加
 実行時にInteractableをInteraction Managerに自動登録
 InteractorからのアクションがInteraction Managerを経由
してInteractableに伝達
 条件に応じて（フォーカス持ってる）制御
ここでInteraction Managerと紐づけ

おおむね最小限になりました
 割り当てたアクション
 Head Position(6DOF)
 ハンドトラッキング（Palmのみ）
 ハンドレイ（左手のみ）
 つかむ制御(両手)
 各オブジェクトへの操作
 実装内容
 XRIのVRサンプルの一部を焼き直してHoloLens2用に

まとめ
 OpenXR + XR Interaction Toolkitの話
 実際にHoloLens2向けにサンプルを構築
 OpenXRのみでの開発（各種トラッキング、イベントの制御）
 OpenXR + XR Interaction Toolkitでの開発
 と言いながらXR Interaction ToolkitのVRサンプルをコンパクトにして設定方法を調べた
 OpenXRのみでやるのはなかなか面倒
 その面を補完できるのがXRIで使い勝手はMRTKに近
い
 XRIとMRTKが融合するととても便利そう
 空間マッピングはいずれやっておきますｗ

最後に
GitHubに今回作ったサンプルあげておきました
もう少し細かいことはQiitaにも書く予定
 https://github.com/TakahiroMiyaura/OpenXRHoloLensSamples

大阪駆動開発
関西を中心に、IT系のおもしろそうなことを
楽しんでやるコミュニティ

OpenXR + XR Interaction Toolkit使ったHoloLensコンテンツ開発検証～ (私が)完全に理解できたらちゃんと作れて、いろいろ話できるはず編～

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Similar to OpenXR + XR Interaction Toolkit使ったHoloLensコンテンツ開発検証～ (私が)完全に理解できたらちゃんと作れて、いろいろ話できるはず編～

Similar to OpenXR + XR Interaction Toolkit使ったHoloLensコンテンツ開発検証～ (私が)完全に理解できたらちゃんと作れて、いろいろ話できるはず編～ (20)

More from Takahiro Miyaura

More from Takahiro Miyaura (16)

Recently uploaded

Recently uploaded (14)