XRミーティング 2020/12/16登壇資料。 HoloLens 2で入力に使える操作方法を整理しつつ、Gaze And Dwellという聞きなれない言葉についてMRTKの機能を元に紹介。

1. takabrz1 大阪駆動開発 Takahiro Miyaura
HoloLensでコンテンツを操作する方法
Gaze And Dwell

2. 宮浦 恭弘 (Miyaura Takahiro)
 大阪駆動開発コミュニティに生息
 HoloLens日本販売してからXR系技術に取組む
 普段はよくMixed Reality Toolkitに関する調査している
 新しい技術や、MRに使えそうな技術を調べる
技術Tips : https://qiita.com/miyaura
takabrz1 ※よかったらこれを機にお知り合いになってください
 リリース機能調べたり・・・
 面白い機能使ってみたり・・・
 新しい実験してフィードバックしたり・・・
最近はこちらが中心
（貢献領域：Mixed Reality）
Microsoft MVP for Windows Development 2018-202 1
某会社でSE(アプリケーション領域のアーキテクト的なお仕事なはず）＝ XRは趣味です

3. 今日お題
2020/12/15 Copyright © 2020 Takahiro Miyaura 3
Mixed Reality Dev Days Japan裏話
 英語セションの日本語訳の添削をMVPsでやっていた
 結構日本語に訳すると不可解
 サニティーチェック→ダメ出しでチェックとか・・・
 そんな中Dwell is 何？で盛り上がった
Dwell自体はHoloLens でコンテンツ操作の1要素
今日はHoloLensでの操作についての整理とgaze and dwellの話

4. 本題の前に今回も少し紹介
2020/12/15 Copyright © 2020 Takahiro Miyaura 4

5. MicrosoftのMixed Reality向けライブラリ群
2020/12/15 Copyright © 2020 Takahiro Miyaura 5
用途/プラットフォームで提供
Unity向け
クロスプラットフォーム
最新バージョンはV2.5.1
UX部品
イベント制御系 etc…
Unity向け
UXデザインのサンプル
Periodic Table
Lunar Module
Surface
Unreal向け
サブセットがいくつかある
第一弾はUXTools for Unreal
 最新はV0.10.0
 Unity向けのライブラリと同等を目指す

6. Mixed Reality Toolkit V2 for Unity
概要
2020/12/15 Copyright © 2020 Takahiro Miyaura 6
Unity向けOSSライブラリ
OpenVR HMD
（HTC Vive / Oculus Rift）
iOS/Android
(ARFoundation)
HoloLens HoloLens 2
Windows Mixed Reality HMD
Oculus Quest 2
 Cross Platformでの開発可能
 XRデバイスにおけるUnity開発の基本的な構成要素を提供
 ラピッドプロトタイピングを実現
 コア機能が交換可能な拡張性の高いフレームワーク

7. Mixed Reality Toolkit V2
概要
2020/12/15 Copyright © 2020 Takahiro Miyaura 7
XRデバイスの固有機能を含め様々な補助機能を提供

8. Mixed Reality Toolkit V2
概要
2020/12/15 Copyright © 2020 Takahiro Miyaura 8
UX building blocks : 組込み済みのUX部品群

9. HoloLensでの操作方法のおさらい
2020/12/15 Copyright © 2020 Takahiro Miyaura 9

10. HoloLens 2でできる入力系操作
2020/12/15 Copyright © 2020 Takahiro Miyaura 10
HoloLens 2で使える入力
 Head Gaze
 Eye Tracking
 Hand Tracking
 Gesture(AirTap等)
 Voice Command
組合わせて操作する

11. 操作の確定
対象を決めるための操作
HoloLens 2でできる入力系操作
2020/12/15 Copyright © 2020 Takahiro Miyaura 11
HoloLens 2で使える入力
 Head Gaze
 Eye Tracking
 Hand Tracking
 Gesture(AirTap等)
 Voice Command
組合わせて操作する

12. HoloLens 2でできる入力系操作
2020/12/15 Copyright © 2020 Takahiro Miyaura 12
Head Gaze & Gesture | VoiceCommand
 いわゆるHoloLens 1 Style
 カーソルを頭の動きで操作
 確定はGesture か Voice
操作対象 : Near / Far
参考:https://docs.microsoft.com/ja-jp/windows/mixed-reality/design/gaze-and-commit-
head?WT.mc_id=MR-MVP-5003104

13. HoloLens 2でできる入力系操作
2020/12/15 Copyright © 2020 Takahiro Miyaura 13
Eye Tracking & Gesture | VoiceCommand
 視線入力を活用
 カーソルを視線で操作
 確定はGesture か Voice
参考: https://docs.microsoft.com/ja-jp/windows/mixed-reality/design/gaze-and-commit-
eyes?WT.mc_id=MR-MVP-5003104
操作対象 : Near / Far

14. HoloLens 2でできる入力系操作
2020/12/15 Copyright © 2020 Takahiro Miyaura 14
Hand Tracking
 ハンドトラッキング機能を利用
(モーションコントローラも含)
 対象を直接操作
 押して確定（ボタンの場合）
参考: https://docs.microsoft.com/ja-jp/windows/mixed-reality/design/direct-
manipulation?WT.mc_id=MR-MVP-5003104
操作対象 : Near

15. 本題のGaze And Dwellの話
2020/12/15 Copyright © 2020 Takahiro Miyaura 15

16. Gaze And Dwell
2020/12/15 Copyright © 2020 Takahiro Miyaura 16
Dwell is 何？
 意味：住む、居住する、ゆっくり考える、思案する・・・
Gazeでの選択を確定する際に思考する要素を入れる

17. Gaze And Dwell
2020/12/15 Copyright © 2020 Takahiro Miyaura 17
Gazeのみで選択と確定をするための仕組み
 注視によるタイムラグを活用
注視により処理が行われる

18. Gaze And Dwell
2020/12/15 Copyright © 2020 Takahiro Miyaura 18
MRTKではExperimentalで提供
 PackageManager経由でセットアップ可能です

19. Gaze And Dwell
2020/12/15 Copyright © 2020 Takahiro Miyaura 19
Dwell Profile - 確定までのタイムラグ設定
 Trigger Pointer Type
ポインターの種類(Head, Eye etc…)
 Dwell Intent Delay
確定の評価に移行するまでの時間
 Dwell Start Delay
確定評価開始時間
 Time To Complete Dwell
確定までの注視時間
 Time To Allow Dwell resume
注視を初期化するまでの時間

20. Gaze And Dwell
2020/12/15 Copyright © 2020 Takahiro Miyaura 20
DwellHandler -状態毎の発生イベント制御
 Dwell Intended
確定評価に移行時に発生
 Dwell Started
確定の評価の移行時に発生
 Dwell Completed
確定評価の完了時に発生
 Dwell Canceled
確定評価のキャンセル時に発生

21. Gaze And Dwell
2020/12/15 Copyright © 2020 Takahiro Miyaura 21
動きのイメージ
Intent time dwell time
Gazeを
当てる
確定の意思が
あると判断 確定と判断
経過時間
Dwell start time
確定判定開始
Dwell Intended Dwell Started Dwell Completed
この区間でGazeを外すと
Dwell Canceled(はず)

22. まとめ
2020/12/15 Copyright © 2020 Takahiro Miyaura 22
HoloLens 2の入力方法
体験に合わせて色々とチョイス
快適なMixed Reaity コンテンツをみんなも作ってね。
 Head Gaze
 Eye Tracking
 Hand Tracking
 Gesture(AirTap等)
 Voice Command

23. 大阪駆動開発
関西を中心に、IT系のおもしろそうなことを楽しんでやるコミュニティ
2020/12/15 Copyright © 2020 Takahiro Miyaura 23