Mixed Reality Toolkit V1であったがV2になってから機能が移動したものについての紹介。 特によく使う「Tagalong」「空間マッピング」について解説。 合わせてV2で新しくなったSolverシステムについても例を交えて解説。 スライド内の動画は以下で公開。 https://www.youtube.com/playlist?list=PLc2Vh5cXp2W2q8bOUZfT1iGiAOeajHwDo

1. takabrz1 大阪駆動開発 Takahiro Miyaura
「Mixed Reality Toolkit V1」のあの機能ってV2では？
～ 空間マッピングとTagalong ～

2. 宮浦 恭弘 (Miyaura Takahiro)
 大阪駆動開発コミュニティに生息
 HoloLens日本販売してからXR系技術に取組む
 HoloLens系技術Tipsを公開し続けた結果、よく知っている人扱いを受ける。
 Mixed Reality Toolkit(以降MRTK)のTipsが比較的多めで、普段(?)からよく
(?)MRTKの調査などを行っているうちにMRTKに詳しい人扱いを受ける。
 HoloLensを中心にXR系技術と相性のいい技術（機械学習、IOT)を組合せ
て日々遊びの中で知見を蓄えています。
技術Tips : https://qiita.com/miyaura
takabrz1 ※よかったらこれを機にお知り合いになってください
Microsoft MVP for Windows Development 2018-2020
某会社でSE(アプリケーション領域のアーキテクト的なお仕事なはず）＝ XRは趣味です
（貢献領域：Mixed Reality）

3. 本日のテーマ
Mixed Reality Toolkit V1のあの機能って・・・
2019/11/20 Copyright © 2019 Takahiro Miyaura
Microsoft社が提供するXRデバイス（HoloLens等）用ライブラリ
https://github.com/microsoft/mixedrealitytoolkit-unity/

4. 過去の経緯
Mixed Reality Toolkit V2になるまで
2019/11/20 Copyright © 2019 Takahiro Miyaura
HoloToolkit :
HoloLens用OSSライブラリとして提供開始
MixedRealityToolkit V1 :
HoloLens + WinMRデバイス対応
MixedRealityToolkit V2 :
HoloLens, HoloLens 2, WinMR, OpenVR対
応
※V2.2.0でARFoundation対応されるはず！
構造が大きく変わる

5. Mixed Reality Toolkitでよく使われる機能
～ 空間マッピングとTagalong ～
2019/11/20 Copyright © 2019 Takahiro Miyaura
空間マッピング
Tagalong
HoloLensのセンサー類の情報で計測した空間情報を可視化
メニューや看板等視野外から外れないようにオブジェクトを表示
XRコンテンツではよく使うド定番な機能

6. Mixed Reality Toolkit V2ではどうなった
2019/11/20 Copyright © 2019 Takahiro Miyaura

7. Mixed Reality Toolkitではどうなった
～ 空間マッピング ～
2019/11/20 Copyright © 2019 Takahiro Miyaura
実装不要でProfileで設定するのみになった
 MRTK V1 :
SpatialMapping.prefabを実装
 MRTK V2 :
Profile設定でONにする

8. Mixed Reality Toolkitではどうなった
～ Tagalong ～
2019/11/20 Copyright © 2019 Takahiro Miyaura
Solvers Systemに統合された
Solvers System
あらかじめ指定したトラッキング対象を監視
Head Position/Hand Joint等
その変異をSolverと呼ばれるコンポーネントに通知
Solverがオブジェクトのトラッキング対象の挙動に合わせて追従
MRTK V2では「Radial View」というSolverを利用

9. Mixed Reality Toolkitではどうなった
～ Solverの種類 ～
2019/11/20 Copyright © 2019 Takahiro Miyaura
種類 概要
Orbital BodyLockが必要なオブジェクトに利用
Radial View トラッキング対象のある範囲を超えた場合に追従
※RTKV1のTagalongはこの機能になります。
InBetween オブジェクトを2つのトラッキング対象の間に保持
SurfaceMagnetism 表面に沿って移動するオブジェクトに利用
HandConstraint 手・コントローラの動きに追従するオブジェクト利用
HoloLens 2 / MotionController向け
HandConstraintPalmUp 手のひらの向きと動きに追従するオブジェクトに利用
HoloLens 2向け

10. Mixed Reality Toolkitではどうなった
～ Orbital ～
2019/11/20 Copyright © 2019 Takahiro Miyaura
Body Lockで利用可能なSolver
トラッキング対象の位置/方向に対して常に決まった位置にオブジェクトが追従

11. Mixed Reality Toolkitではどうなった
～ Radial View ～
2019/11/20 Copyright © 2019 Takahiro Miyaura
MTRK V1で使っていたTagalongに相当するSolver
トラッキング対象の位置/方向に対してある範囲を超えるとオブジェクトが追従

12. Mixed Reality Toolkitではどうなった
～ In Between ～
2019/11/20 Copyright © 2019 Takahiro Miyaura
２つのトラッキング対象の中間にオブジェクトを配置するSolver

13. Mixed Reality Toolkitではどうなった
～ Surface Magnetism ～
2019/11/20 Copyright © 2019 Takahiro Miyaura
表面に沿って移動するオブジェクトに適用するSolver
空間マッピングなどと組合わせて床面や壁面に沿って移動するマーカーなどに利用

14. Mixed Reality Toolkitではどうなった
～ Hand Constraint ～ HoloLens 2, Motion Controllerのみ
2019/11/20 Copyright © 2019 Takahiro Miyaura
手 / Motion Controllerに追従するSolver
ト手/モーションコントローラのモデルに干渉しない位置（上下左右）のいずれかの場所でオブジェクトを追従

15. Mixed Reality Toolkitではどうなった
～ Hand Constraint Palm Up ～ HoloLens 2のみ
2019/11/20 Copyright © 2019 Takahiro Miyaura
手のひらの向きと動きに追従するSolver
Hand Constraintの動作に加え手のひらの返しをイベントで検出できる。サンプルでは手元のメニューに利用

16. まとめ
2019/11/20 Copyright © 2019 Takahiro Miyaura
Mixed Reality Toolkit V2で機能がなくなったわけじゃないよ
MRTKのドキュメント：「Upgrading from HTK」を参考にしてみてください。
https://microsoft.github.io/MixedRealityToolkit-Unity/Documentation/HTKToMRTKPortingGuide.html
Profile設定のみでできるように変更
別の類似機能の一部に吸収
Solvers Systemは一見ややこしいけど便利
今日の内容はQiitaに公開
「Mixed Reality Toolkit V1のあの機能はどこへ？ ~ Spatial MappingとTagalong編 ~」
https://qiita.com/miyaura/items/3dd046076fdbb4dc3484

17. 大阪駆動開発
関西を中心に、IT系のおもしろそうなことを楽しんでやるコミュニティ
2019/11/20 Copyright © 2019 Takahiro Miyaura