MRTKをNreal Lightに対応させてみた

MRTKをNreal Lightに
対応させてみた
AR Fukuoka暑気払いLT会2021

自己紹介
氏名：吉永崇(Takashi Yoshinaga)
所属：スチームパンクデジタル / ISIT
仕事：AR技術の活用に関するR&D
コミュニティ：ARコンテンツ作成勉強会
Twitter: #AR_Fukuoka

What’s Nreal Light？
Nreal Ltd.が開発したARグラス
[特徴]
 軽量 (約106g)
 6DOF (自由に歩き回れる)
 平面やマーカーの検出
 比較的安価 (¥129,500)
さらに
 ついにハンドトラッキングに対応

Hand Trackingデモ
https://youtu.be/QH6aPDONO5s

Hand Tracking の特徴
手の関節の取得や位置追跡

Hand Tracking の特徴
ジェスチャー認識
 手の開閉
 ポインティング(指差し)
 Vサイン
 ピンチ (つまみ)
簡単にこれらの情報をプログラムで
取得できる！

問題点
手の位置やジェスチャー認識を使ったインタラクションは
自分で実装しなくてはいけない

問題点
オブジェクトの回転や拡大縮小などARグラスで
一般的に使われる操作は楽に実現したいよね？

Related Tool: MRTK
Microsoftが提供するHoloLens向け開発キット。Oculus Questや
Magic Leap, スマートフォンなど各種XR機器に対応

MRTKの良い所
ノンプログラミングで基本的なインタラクションを実現できる！
共通の仕組みで各種XRデバイス向けアプリを開発！

ということで
MRTKをNreal Lightに対応させよう

でも...
MRTKよくわからん

Dive Into MRTK: Step 1
各デバイス用の設定の切り替えはMixedRealityToolkitでできたたはず
MixedRealityToolkit
ここで設定

ヒントがあるかもしれないのでドロップダウンメニューを開いてみよう
設定リスト

LeapMotion用の設定もある

DefaultLeapMotionConfigurationProfile
の中身を理解すればNreal Lightのハンドトラッキングと
MRTKを接続できるのでは？

関係ありそうなのはInput?

Leap Motion Device Manager

Leap Motion Device Manager
の実装はこのスクリプト

Leap Motion SDKが
提供する機能を使っている
(LeapMotionDeviceManager.cs)

MRTK⇄LeapMotion
の変換も行われている
(LeapMotionArticulatedHand.cs)

Leap Motionの手の情報の取得とMRTKの手へのマッピングを
行なう処理をNreal Lightの情報に置き換えたコードを作成

Result
https://youtu.be/26hBZX-cqiE

Now Available on GitHub
https://github.com/TakashiYoshinaga/MRTK-Profiles-for-NrealLight

More Related Content