xRLT vol.03 (2020/03/06) https://techplay.jp/event/769215

1. Unity だけど MRTKv2 使わないで
HoloLens 2 開発したい
2020/3

2. 発表する人
• ホロラボにいる
• Microsoft MVP持ってる
HoloLab Inc. Confidential 2

3. Mixed Reality Toolkit (MRTK) はいいぞ
• Unity での AR/VR/MR アプリケーション開発用ツールキット
• 開発の主導は Microsoft
https://github.com/microsoft/MixedRealityToolkit-Unity
HoloLab Inc. Confidential 3

4. MRTKv2を使わずにHoloLens 2開発
• MRTKv2を使うと不都合がある
• 既存ライブラリと競合してしまう
• 簡単なAirTapだけ追加できればいい
• ハンドトラッキングの詳細な動きを知りたい
• MRTKv2ではできないハンドトラッキングの動作を行わせたい
• Unity 2018を対象
HoloLab Inc. Confidential 4

5. MRTKv2を使わずにHoloLens 2開発
• プロジェクト設定
• PlatformをUWP
• XR SettingsのVirtual Reality Supportedにチェック
HoloLab Inc. Confidential 5

6. ハンド情報を使いたい
• 提供されているハンド情報
• Unityが提供している関数を利用
• Hand Gesture(AirTap, Hold, Manipulation, Navigation)
• Hand Pose
• Hand Pointer
• UWPが提供している関数を利用
• Hand Joint <- 今回はこちら
• Hand Mesh
https://github.com/microsoft/MixedRealityToolkit-
Unity/blob/mrtk_development/Documentation/Input/HandTracking.md
HoloLab Inc. Confidential 6

7. UnityでAirTapを使いたい
• InteractionManagerを利用(UnityEngine.XR.WSA.Input)
• 取得できる状態
• ハンドの検出(Detect, Lost)
• AirTapの状態(Press, Release)
• ハンドの位置
• ハンドの回転(HoloLens 2,WinMRのみ)
• 左右の判別(HoloLens 2,WinMRのみ)
• InteractionManagerの使い方
• https://akihiro-document.azurewebsites.net/post/hololens_input20172/
• Hand MeshやHand Jointはサポートされていない
• Unity 2019以降はWindows XR Pluginを利用
HoloLab Inc. Confidential 7

8. Hand Jointも欲しい
• 指先でつんつんしたい
• SpatialInteractionManagerを利用(Windows.UI.Input.Spatial)
HoloLab Inc. Confidential 8
// UnityのStart()内で設定
SpatialInteractionManager spatialInteraction = null;
UnityEngine.WSA.Application.InvokeOnUIThread(() =>
{
spatialInteraction = SpatialInteractionManager.GetForCurrentView();
}, true);
// Hand状態のUpdateイベント
spatialInteraction.SourceUpdated += (sender, args)=>
{
var handPose = args.State.TryGetHandPose();
if (handPose.TryGetJoints(spatialCoordinateSystem, handJoints, jointPoses))
{
UnityEngine.WSA.Application.InvokeOnAppThread(() =>
{
// ここでjointPosesのTransform情報をUnityに適応させる
}, false);
}
};

9. Hand Jointも欲しい
HoloLab Inc. Confidential 9
• ポイント
• UWP関数のためUnityEditor上では動作しない
• 実機で確認
• 関数の動作可能なThreadが決まっている
• InvokeOnUIThread, InvokeOnAppThreadで切り分け
• 人差し指の先と根元にSphereを追従した場合

10. 利用例
HoloLab Inc. Confidential 10
手の向きによってUIの表示を切り替え
https://twitter.com/i/status/1230047509336035328

11. 利用例
HoloLab Inc. Confidential 11
ハンドトラッキングの動作
https://twitter.com/i/status/1228308717386387456

12. Mixed Reality Toolkit (MRTK) 拡張
• 日本語ドキュメント公開
• https://hololabinc.github.io/MixedRealityToolkit-
Unity/Documentation.ja/GettingStartedWithTheMRTK.html
• 他デバイス拡張も公開
• MagicLeap
• https://github.com/HoloLabInc/MRTKExtensionForMagicLeap
• Nreal Light
• https://github.com/HoloLabInc/MRTKExtensionForNrealLight
• Oculus Quest
• https://github.com/HoloLabInc/MRTKExtensionForOculusQuest
HoloLab Inc. Confidential 12

13. Mixed Reality Toolkit (MRTK) はいいぞ
• Unity での AR/VR/MR アプリケーション開発用ツールキット
• 開発の主導は Microsoft
https://github.com/microsoft/MixedRealityToolkit-Unity
HoloLab Inc. Confidential 13

14. まとめ
• MRTKv2使わなくてもUnityでHoloLens 2のアプリは動く
• ただしプロジェクト設定は自分で設定
• Unity関数でAirTapと位置がわかる
• ただしUnity 2019から利用関数が変更される
• UWP関数でHoloLens 2特有のハンド情報が取得できる
• ただし実機でしか動作確認ができない
• MRTKv2は便利でいいぞ
HoloLab Inc. Confidential 14