HoloLens ミートアップ vol.30 での発表資料です。

1. 2022/06/23
福本良介とホロモン

2. ・ホロモンアプリをMRTK3環境で動かしてみました！

3. 現在 MRTK3 はパブリックプレビューです
以下の目的での利用が推奨されています
・最新の機能を試してプロトタイプを構築したい
・XR Interaction Toolkit と MRTK3 によるインフラストラクチャーの理解を深めたい
・新しいパッケージング戦略とアラカルト依存関係モデルを評価したい
・OpenXR の互換性と機能の詳細を確認したい
・新しい UX システムとビジュアルデザイン言語について学びたい
以下の目的での利用は推奨されていません
・既存のプロジェクトを 2.x から MRTK3 に移行する（現在の API の不安定性により、移行作業がスムーズに進まない可能性があるため）
・安定した API を期待する実稼働可能なコードを作成する
・アプリケーションのパフォーマンスを評価する (フルリリースでは現在のコードと比較してパフォーマンスが異なる場合があるため)

4. ホロモンアプリの以下の機能を MRTK3 でも動作するように対応
・同じジェスチャーをするためのハンドトラッキング
・コミュニケーションをとるための音声入力
・現実世界を移動するための空間認識
指定フレーズの音声入力で呼びかけ ハンドジェスチャ認識でじゃんけん

5. ハンドトラッキングと音声入力は MRTK サブシステムからアクセスできる

6. MRTKv2 における以下の機能は廃止された
・CoreService
・OnSourcePoseChanged, OnSourceDetected,
OnSourcePoseChanged のイベント
public class HandGesture : MonoBehaviour, IMixedRealityHandJointHandler
{
private void OnEnable()
{
// 登録
CoreServices.InputSystem?.RegisterHandler<IMixedRealityHandJointHandle
r>(this);
}
public void
OnHandJointsUpdated(InputEventData<IDictionary<TrackedHandJoint,
MixedRealityPose>> eventData)
{
// 手の更新イベント
}
}
MRTKv2 での実装例
こんな感じに CoreService に登録して
イベントを受け取る感じの実装

7. 以下のサブシステムからハンドジョイントを毎フレーム取得する
・HandsAggregatorSubsystem
public class HandTrackingHandlerMRTK3 : MonoBehaviour
{
private HandsAggregatorSubsystem aggregator;
void Start()
{
// HandsAggregatorSubsystem は全てのハンド情報を統括管理するサブシステム
aggregator =
XRSubsystemHelpers.GetFirstRunningSubsystem<HandsAggregatorSubsystem>();
}
void Update()
{
bool allJointsAreValid = aggregator.TryGetEntireHand(XRNode.LeftHand,
out IReadOnlyList<HandJointPose> joints);
if (allJointsAreValid)
{
// 手の更新処理
}
}
}
MRTK3 での実装例
こんな感じにサブシステムにアクセスして
ハンド情報を取得する感じの実装
型は異なるが、取れるデータはほぼ同じ

8. MRTKv2 における以下の機能は現状実装されていない
・SpeechInput のプロファイル設定
・SpeechInputHandler
MRTKv2 での利用例
プロファイルに利用する文言を定義して
SpeechInputHandler でイベントを設定

9. 以下のサブシステムを有効にしてキーワードと UnityAction を登録する
・WindowsPhraseRecognitionSubsystem
MRTK3 での利用例
キーワードと UnityAction の登録には
MRTK Speech オブジェクトを有効化して
SpeechInteractor スクリプトを介して
登録する方法と
スクリプトから手動で登録する方法がある
（今回は後者）

10. スクリプトでの登録例
public class SpeechInputHandler : MonoBehaviour
{
void Start()
{
PhraseRecognitionSubsystem phraseRecognitionSubsystem =
XRSubsystemHelpers.GetFirstRunningSubsystem<PhraseRecognitionSubsystem>();
if (phraseRecognitionSubsystem != null)
{
phraseRecognitionSubsystem.CreateOrGetEventForPhrase("おいで
").AddListener(() => {
// 音声コマンド処理
});
}
}
}
今回はこんな感じの登録用スクリプトを自作

11. 2022/6/22 時点の最新の MRTK Windows Speech Recognition の
バージョン 3.0.0-pre.6 には不具合があり、音声入力が動作しない
GitHub に issue があがっており、そちらでコードは修正済みなので
MRTK3 で音声認識を利用したい場合は修正を反映すること
詳細はブログにまとめてあるので以下参照。
https://bluebirdofoz.hatenablog.com/entry/2022/06/21/225944

12. ・新機能も使ってないので現状は本当に動いたというだけ
・現在 MRTK3 はパブリックプレビューなので
MRTKv2 に比べて不便な箇所が多い
・前述の注意でお話しした通り、特別な理由がない限りは
MRTKv2 を使った方が良い
Dev Days 2022 の Hackathon 参加者の糧になれば嬉しい
UI系の差し替えがまだだが、現状手動でやるしないのでこの差し替えが一番大変そう……

13. 福本良介（ホロモン） Twitter:@HoloAdventure
・デジモン大好き！
・HoloLens 2 大好き！
・Microsoft MVP
技術ブログ書いてます(MRが楽しい)
https://bluebirdofoz.hatenablog.com/
ホロモンアプリを紹介するYouTubeチャンネル
(ホロモン開発ラボ)
https://www.youtube.com/channel/UCOtzLPAzBsVlsWFhg9eb3EQ

14. ・Holographic Monsters というアプリをリリースしました。
・デジタルなモンスターと
現実世界で遊ぶアプリです
・HoloLens 2 をかぶって
右のQRコードを見ると
インストール画面が出ます
・個人 HoloLens 2 勢の方は
是非遊んでみてください