SlideShare a Scribd company logo
takabrz1 大阪駆動開発 Takahiro Miyaura
HoloLensでコンテンツを操作する方法
Gaze And Dwell
宮浦 恭弘 (Miyaura Takahiro)
 大阪駆動開発コミュニティに生息
 HoloLens日本販売してからXR系技術に取組む
 普段はよくMixed Reality Toolkitに関する調査している
 新しい技術や、MRに使えそうな技術を調べる
技術Tips : https://qiita.com/miyaura
takabrz1 ※よかったらこれを機にお知り合いになってください
 リリース機能調べたり・・・
 面白い機能使ってみたり・・・
 新しい実験してフィードバックしたり・・・
最近はこちらが中心
(貢献領域:Mixed Reality)
Microsoft MVP for Windows Development 2018-202 1
某会社でSE(アプリケーション領域のアーキテクト的なお仕事なはず)= XRは趣味です
今日お題
2020/12/15 Copyright © 2020 Takahiro Miyaura 3
Mixed Reality Dev Days Japan裏話
 英語セションの日本語訳の添削をMVPsでやっていた
 結構日本語に訳すると不可解
 サニティーチェック→ダメ出しでチェックとか・・・
 そんな中Dwell is 何?で盛り上がった
Dwell自体はHoloLens でコンテンツ操作の1要素
今日はHoloLensでの操作についての整理とgaze and dwellの話
本題の前に今回も少し紹介
2020/12/15 Copyright © 2020 Takahiro Miyaura 4
MicrosoftのMixed Reality向けライブラリ群
2020/12/15 Copyright © 2020 Takahiro Miyaura 5
用途/プラットフォームで提供
Unity向け
クロスプラットフォーム
最新バージョンはV2.5.1
UX部品
イベント制御系 etc…
Unity向け
UXデザインのサンプル
Periodic Table
Lunar Module
Surface
Unreal向け
サブセットがいくつかある
第一弾はUXTools for Unreal
 最新はV0.10.0
 Unity向けのライブラリと同等を目指す
Mixed Reality Toolkit V2 for Unity
概要
2020/12/15 Copyright © 2020 Takahiro Miyaura 6
Unity向けOSSライブラリ
OpenVR HMD
(HTC Vive / Oculus Rift)
iOS/Android
(ARFoundation)
HoloLens HoloLens 2
Windows Mixed Reality HMD
Oculus Quest 2
 Cross Platformでの開発可能
 XRデバイスにおけるUnity開発の基本的な構成要素を提供
 ラピッドプロトタイピングを実現
 コア機能が交換可能な拡張性の高いフレームワーク
Mixed Reality Toolkit V2
概要
2020/12/15 Copyright © 2020 Takahiro Miyaura 7
XRデバイスの固有機能を含め様々な補助機能を提供
Mixed Reality Toolkit V2
概要
2020/12/15 Copyright © 2020 Takahiro Miyaura 8
UX building blocks : 組込み済みのUX部品群
HoloLensでの操作方法のおさらい
2020/12/15 Copyright © 2020 Takahiro Miyaura 9
HoloLens 2でできる入力系操作
2020/12/15 Copyright © 2020 Takahiro Miyaura 10
HoloLens 2で使える入力
 Head Gaze
 Eye Tracking
 Hand Tracking
 Gesture(AirTap等)
 Voice Command
組合わせて操作する
操作の確定
対象を決めるための操作
HoloLens 2でできる入力系操作
2020/12/15 Copyright © 2020 Takahiro Miyaura 11
HoloLens 2で使える入力
 Head Gaze
 Eye Tracking
 Hand Tracking
 Gesture(AirTap等)
 Voice Command
組合わせて操作する
HoloLens 2でできる入力系操作
2020/12/15 Copyright © 2020 Takahiro Miyaura 12
Head Gaze & Gesture | VoiceCommand
 いわゆるHoloLens 1 Style
 カーソルを頭の動きで操作
 確定はGesture か Voice
操作対象 : Near / Far
参考:https://docs.microsoft.com/ja-jp/windows/mixed-reality/design/gaze-and-commit-
head?WT.mc_id=MR-MVP-5003104
HoloLens 2でできる入力系操作
2020/12/15 Copyright © 2020 Takahiro Miyaura 13
Eye Tracking & Gesture | VoiceCommand
 視線入力を活用
 カーソルを視線で操作
 確定はGesture か Voice
参考: https://docs.microsoft.com/ja-jp/windows/mixed-reality/design/gaze-and-commit-
eyes?WT.mc_id=MR-MVP-5003104
操作対象 : Near / Far
HoloLens 2でできる入力系操作
2020/12/15 Copyright © 2020 Takahiro Miyaura 14
Hand Tracking
 ハンドトラッキング機能を利用
(モーションコントローラも含)
 対象を直接操作
 押して確定(ボタンの場合)
参考: https://docs.microsoft.com/ja-jp/windows/mixed-reality/design/direct-
manipulation?WT.mc_id=MR-MVP-5003104
操作対象 : Near
本題のGaze And Dwellの話
2020/12/15 Copyright © 2020 Takahiro Miyaura 15
Gaze And Dwell
2020/12/15 Copyright © 2020 Takahiro Miyaura 16
Dwell is 何?
 意味:住む、居住する、ゆっくり考える、思案する・・・
Gazeでの選択を確定する際に思考する要素を入れる
Gaze And Dwell
2020/12/15 Copyright © 2020 Takahiro Miyaura 17
Gazeのみで選択と確定をするための仕組み
 注視によるタイムラグを活用
注視により処理が行われる
Gaze And Dwell
2020/12/15 Copyright © 2020 Takahiro Miyaura 18
MRTKではExperimentalで提供
 PackageManager経由でセットアップ可能です
Gaze And Dwell
2020/12/15 Copyright © 2020 Takahiro Miyaura 19
Dwell Profile - 確定までのタイムラグ設定
 Trigger Pointer Type
ポインターの種類(Head, Eye etc…)
 Dwell Intent Delay
確定の評価に移行するまでの時間
 Dwell Start Delay
確定評価開始時間
 Time To Complete Dwell
確定までの注視時間
 Time To Allow Dwell resume
注視を初期化するまでの時間
Gaze And Dwell
2020/12/15 Copyright © 2020 Takahiro Miyaura 20
DwellHandler -状態毎の発生イベント制御
 Dwell Intended
確定評価に移行時に発生
 Dwell Started
確定の評価の移行時に発生
 Dwell Completed
確定評価の完了時に発生
 Dwell Canceled
確定評価のキャンセル時に発生
Gaze And Dwell
2020/12/15 Copyright © 2020 Takahiro Miyaura 21
動きのイメージ
Intent time dwell time
Gazeを
当てる
確定の意思が
あると判断 確定と判断
経過時間
Dwell start time
確定判定開始
Dwell Intended Dwell Started Dwell Completed
この区間でGazeを外すと
Dwell Canceled(はず)
まとめ
2020/12/15 Copyright © 2020 Takahiro Miyaura 22
HoloLens 2の入力方法
体験に合わせて色々とチョイス
快適なMixed Reaity コンテンツをみんなも作ってね。
 Head Gaze
 Eye Tracking
 Hand Tracking
 Gesture(AirTap等)
 Voice Command
大阪駆動開発
関西を中心に、IT系のおもしろそうなことを楽しんでやるコミュニティ
2020/12/15 Copyright © 2020 Takahiro Miyaura 23

More Related Content

What's hot

Hololens2 MRTK2.7(OpenXR) でのビルド環境構築(環境設定からビルドまで)
Hololens2 MRTK2.7(OpenXR) でのビルド環境構築(環境設定からビルドまで)Hololens2 MRTK2.7(OpenXR) でのビルド環境構築(環境設定からビルドまで)
Hololens2 MRTK2.7(OpenXR) でのビルド環境構築(環境設定からビルドまで)聡 大久保
 
【CEDEC2017】Unityを使ったNintendo Switch™向けのタイトル開発・移植テクニック!!
【CEDEC2017】Unityを使ったNintendo Switch™向けのタイトル開発・移植テクニック!!【CEDEC2017】Unityを使ったNintendo Switch™向けのタイトル開発・移植テクニック!!
【CEDEC2017】Unityを使ったNintendo Switch™向けのタイトル開発・移植テクニック!!Unity Technologies Japan K.K.
 
点群を使いこなせ! 可視化なんて当たり前、xRと点群を組み合わせたUnityの世界 【Interact , Stipple】
点群を使いこなせ! 可視化なんて当たり前、xRと点群を組み合わせたUnityの世界 【Interact , Stipple】点群を使いこなせ! 可視化なんて当たり前、xRと点群を組み合わせたUnityの世界 【Interact , Stipple】
点群を使いこなせ! 可視化なんて当たり前、xRと点群を組み合わせたUnityの世界 【Interact , Stipple】Unity Technologies Japan K.K.
 
Unity道場08「絵づくりの基礎」ライティング虎の巻
Unity道場08「絵づくりの基礎」ライティング虎の巻Unity道場08「絵づくりの基礎」ライティング虎の巻
Unity道場08「絵づくりの基礎」ライティング虎の巻小林 信行
 
ノンプログラミングで始める AR 開発入門
ノンプログラミングで始める AR 開発入門ノンプログラミングで始める AR 開発入門
ノンプログラミングで始める AR 開発入門Takashi Yoshinaga
 
シェーダーを活用した3Dライブ演出のアップデート ~『ラブライブ!スクールアイドルフェスティバル ALL STARS』(スクスタ)の開発事例~​
シェーダーを活用した3Dライブ演出のアップデート ~『ラブライブ!スクールアイドルフェスティバル ALL STARS』(スクスタ)の開発事例~​シェーダーを活用した3Dライブ演出のアップデート ~『ラブライブ!スクールアイドルフェスティバル ALL STARS』(スクスタ)の開発事例~​
シェーダーを活用した3Dライブ演出のアップデート ~『ラブライブ!スクールアイドルフェスティバル ALL STARS』(スクスタ)の開発事例~​KLab Inc. / Tech
 
MRTKをNreal Lightに対応させてみた
MRTKをNreal Lightに対応させてみたMRTKをNreal Lightに対応させてみた
MRTKをNreal Lightに対応させてみたTakashi Yoshinaga
 
ピクサー USD 入門 新たなコンテンツパイプラインを構築する
ピクサー USD 入門 新たなコンテンツパイプラインを構築するピクサー USD 入門 新たなコンテンツパイプラインを構築する
ピクサー USD 入門 新たなコンテンツパイプラインを構築するTakahito Tejima
 
UniRxでMV(R)Pパターン をやってみた
UniRxでMV(R)PパターンをやってみたUniRxでMV(R)Pパターンをやってみた
UniRxでMV(R)Pパターン をやってみたtorisoup
 
CEDEC2017 アーティストのためのリアルタイムシェーダー学習法
CEDEC2017 アーティストのためのリアルタイムシェーダー学習法CEDEC2017 アーティストのためのリアルタイムシェーダー学習法
CEDEC2017 アーティストのためのリアルタイムシェーダー学習法小林 信行
 
ARマーカーを利用したHoloLens同士の位置合わせ
ARマーカーを利用したHoloLens同士の位置合わせARマーカーを利用したHoloLens同士の位置合わせ
ARマーカーを利用したHoloLens同士の位置合わせTakahiro Miyaura
 
Halo2 におけるHFSM(階層型有限状態マシン) 【ビヘイビアツリー解説】
Halo2 におけるHFSM(階層型有限状態マシン)  【ビヘイビアツリー解説】Halo2 におけるHFSM(階層型有限状態マシン)  【ビヘイビアツリー解説】
Halo2 におけるHFSM(階層型有限状態マシン) 【ビヘイビアツリー解説】Youichiro Miyake
 
【Unity】より良い表現のためのライティング戦略
【Unity】より良い表現のためのライティング戦略【Unity】より良い表現のためのライティング戦略
【Unity】より良い表現のためのライティング戦略Takayasu Beharu
 
Way-Findingをやってやった ~ Azure Spatial Anchorsでね~
Way-Findingをやってやった ~ Azure Spatial Anchorsでね~Way-Findingをやってやった ~ Azure Spatial Anchorsでね~
Way-Findingをやってやった ~ Azure Spatial Anchorsでね~Takahiro Miyaura
 
CEDEC 2020 - 高品質かつ低負荷な3Dライブを実現するシェーダー開発 ~『ラブライブ!スクールアイドルフェスティバル ALL STARS』(スク...
CEDEC 2020 - 高品質かつ低負荷な3Dライブを実現するシェーダー開発 ~『ラブライブ!スクールアイドルフェスティバル ALL STARS』(スク...CEDEC 2020 - 高品質かつ低負荷な3Dライブを実現するシェーダー開発 ~『ラブライブ!スクールアイドルフェスティバル ALL STARS』(スク...
CEDEC 2020 - 高品質かつ低負荷な3Dライブを実現するシェーダー開発 ~『ラブライブ!スクールアイドルフェスティバル ALL STARS』(スク...KLab Inc. / Tech
 
【Unity道場 2月】シェーダを書けるプログラマになろう
【Unity道場 2月】シェーダを書けるプログラマになろう【Unity道場 2月】シェーダを書けるプログラマになろう
【Unity道場 2月】シェーダを書けるプログラマになろうUnity Technologies Japan K.K.
 
HoloLens 2 開発入門 (公式チュートリアルの紹介)
HoloLens 2 開発入門 (公式チュートリアルの紹介)HoloLens 2 開発入門 (公式チュートリアルの紹介)
HoloLens 2 開発入門 (公式チュートリアルの紹介)Madoka Chiyoda
 
Unity道場11 Shader Forge 101 ~ShaderForgeをつかって学ぶシェーダー入門~ 基本操作とよく使われるノード編
Unity道場11 Shader Forge 101 ~ShaderForgeをつかって学ぶシェーダー入門~ 基本操作とよく使われるノード編Unity道場11 Shader Forge 101 ~ShaderForgeをつかって学ぶシェーダー入門~ 基本操作とよく使われるノード編
Unity道場11 Shader Forge 101 ~ShaderForgeをつかって学ぶシェーダー入門~ 基本操作とよく使われるノード編小林 信行
 

What's hot (20)

Hololens2 MRTK2.7(OpenXR) でのビルド環境構築(環境設定からビルドまで)
Hololens2 MRTK2.7(OpenXR) でのビルド環境構築(環境設定からビルドまで)Hololens2 MRTK2.7(OpenXR) でのビルド環境構築(環境設定からビルドまで)
Hololens2 MRTK2.7(OpenXR) でのビルド環境構築(環境設定からビルドまで)
 
【CEDEC2017】Unityを使ったNintendo Switch™向けのタイトル開発・移植テクニック!!
【CEDEC2017】Unityを使ったNintendo Switch™向けのタイトル開発・移植テクニック!!【CEDEC2017】Unityを使ったNintendo Switch™向けのタイトル開発・移植テクニック!!
【CEDEC2017】Unityを使ったNintendo Switch™向けのタイトル開発・移植テクニック!!
 
点群を使いこなせ! 可視化なんて当たり前、xRと点群を組み合わせたUnityの世界 【Interact , Stipple】
点群を使いこなせ! 可視化なんて当たり前、xRと点群を組み合わせたUnityの世界 【Interact , Stipple】点群を使いこなせ! 可視化なんて当たり前、xRと点群を組み合わせたUnityの世界 【Interact , Stipple】
点群を使いこなせ! 可視化なんて当たり前、xRと点群を組み合わせたUnityの世界 【Interact , Stipple】
 
Unity道場08「絵づくりの基礎」ライティング虎の巻
Unity道場08「絵づくりの基礎」ライティング虎の巻Unity道場08「絵づくりの基礎」ライティング虎の巻
Unity道場08「絵づくりの基礎」ライティング虎の巻
 
ノンプログラミングで始める AR 開発入門
ノンプログラミングで始める AR 開発入門ノンプログラミングで始める AR 開発入門
ノンプログラミングで始める AR 開発入門
 
シェーダーを活用した3Dライブ演出のアップデート ~『ラブライブ!スクールアイドルフェスティバル ALL STARS』(スクスタ)の開発事例~​
シェーダーを活用した3Dライブ演出のアップデート ~『ラブライブ!スクールアイドルフェスティバル ALL STARS』(スクスタ)の開発事例~​シェーダーを活用した3Dライブ演出のアップデート ~『ラブライブ!スクールアイドルフェスティバル ALL STARS』(スクスタ)の開発事例~​
シェーダーを活用した3Dライブ演出のアップデート ~『ラブライブ!スクールアイドルフェスティバル ALL STARS』(スクスタ)の開発事例~​
 
MRTKをNreal Lightに対応させてみた
MRTKをNreal Lightに対応させてみたMRTKをNreal Lightに対応させてみた
MRTKをNreal Lightに対応させてみた
 
ピクサー USD 入門 新たなコンテンツパイプラインを構築する
ピクサー USD 入門 新たなコンテンツパイプラインを構築するピクサー USD 入門 新たなコンテンツパイプラインを構築する
ピクサー USD 入門 新たなコンテンツパイプラインを構築する
 
UniRxでMV(R)Pパターン をやってみた
UniRxでMV(R)PパターンをやってみたUniRxでMV(R)Pパターンをやってみた
UniRxでMV(R)Pパターン をやってみた
 
CEDEC2017 アーティストのためのリアルタイムシェーダー学習法
CEDEC2017 アーティストのためのリアルタイムシェーダー学習法CEDEC2017 アーティストのためのリアルタイムシェーダー学習法
CEDEC2017 アーティストのためのリアルタイムシェーダー学習法
 
ARマーカーを利用したHoloLens同士の位置合わせ
ARマーカーを利用したHoloLens同士の位置合わせARマーカーを利用したHoloLens同士の位置合わせ
ARマーカーを利用したHoloLens同士の位置合わせ
 
Halo2 におけるHFSM(階層型有限状態マシン) 【ビヘイビアツリー解説】
Halo2 におけるHFSM(階層型有限状態マシン)  【ビヘイビアツリー解説】Halo2 におけるHFSM(階層型有限状態マシン)  【ビヘイビアツリー解説】
Halo2 におけるHFSM(階層型有限状態マシン) 【ビヘイビアツリー解説】
 
【Unity】より良い表現のためのライティング戦略
【Unity】より良い表現のためのライティング戦略【Unity】より良い表現のためのライティング戦略
【Unity】より良い表現のためのライティング戦略
 
Way-Findingをやってやった ~ Azure Spatial Anchorsでね~
Way-Findingをやってやった ~ Azure Spatial Anchorsでね~Way-Findingをやってやった ~ Azure Spatial Anchorsでね~
Way-Findingをやってやった ~ Azure Spatial Anchorsでね~
 
MRTK3を調べてみた
MRTK3を調べてみたMRTK3を調べてみた
MRTK3を調べてみた
 
猫でも分かる Control Rig UE4.25 版
猫でも分かる Control Rig UE4.25 版猫でも分かる Control Rig UE4.25 版
猫でも分かる Control Rig UE4.25 版
 
CEDEC 2020 - 高品質かつ低負荷な3Dライブを実現するシェーダー開発 ~『ラブライブ!スクールアイドルフェスティバル ALL STARS』(スク...
CEDEC 2020 - 高品質かつ低負荷な3Dライブを実現するシェーダー開発 ~『ラブライブ!スクールアイドルフェスティバル ALL STARS』(スク...CEDEC 2020 - 高品質かつ低負荷な3Dライブを実現するシェーダー開発 ~『ラブライブ!スクールアイドルフェスティバル ALL STARS』(スク...
CEDEC 2020 - 高品質かつ低負荷な3Dライブを実現するシェーダー開発 ~『ラブライブ!スクールアイドルフェスティバル ALL STARS』(スク...
 
【Unity道場 2月】シェーダを書けるプログラマになろう
【Unity道場 2月】シェーダを書けるプログラマになろう【Unity道場 2月】シェーダを書けるプログラマになろう
【Unity道場 2月】シェーダを書けるプログラマになろう
 
HoloLens 2 開発入門 (公式チュートリアルの紹介)
HoloLens 2 開発入門 (公式チュートリアルの紹介)HoloLens 2 開発入門 (公式チュートリアルの紹介)
HoloLens 2 開発入門 (公式チュートリアルの紹介)
 
Unity道場11 Shader Forge 101 ~ShaderForgeをつかって学ぶシェーダー入門~ 基本操作とよく使われるノード編
Unity道場11 Shader Forge 101 ~ShaderForgeをつかって学ぶシェーダー入門~ 基本操作とよく使われるノード編Unity道場11 Shader Forge 101 ~ShaderForgeをつかって学ぶシェーダー入門~ 基本操作とよく使われるノード編
Unity道場11 Shader Forge 101 ~ShaderForgeをつかって学ぶシェーダー入門~ 基本操作とよく使われるノード編
 

Similar to HoloLensでコンテンツを操作する方法 - Gaze And Dwell -

MixedReality技術とその活用事例~xR(VR/AR/MR...)への基礎知識~
MixedReality技術とその活用事例~xR(VR/AR/MR...)への基礎知識~MixedReality技術とその活用事例~xR(VR/AR/MR...)への基礎知識~
MixedReality技術とその活用事例~xR(VR/AR/MR...)への基礎知識~Takahiro Miyaura
 
OpenXR + XR Interaction Toolkit使ったHoloLensコンテンツ開発検証 ~ (私が)完全に理解できたらちゃんと作れて、いろ...
OpenXR + XR Interaction Toolkit使ったHoloLensコンテンツ開発検証 ~ (私が)完全に理解できたらちゃんと作れて、いろ...OpenXR + XR Interaction Toolkit使ったHoloLensコンテンツ開発検証 ~ (私が)完全に理解できたらちゃんと作れて、いろ...
OpenXR + XR Interaction Toolkit使ったHoloLensコンテンツ開発検証 ~ (私が)完全に理解できたらちゃんと作れて、いろ...Takahiro Miyaura
 
もうすぐMixed Reality Toolkit V2.5.0がリリースされるはずなのでフライング調査
もうすぐMixed Reality Toolkit V2.5.0がリリースされるはずなのでフライング調査もうすぐMixed Reality Toolkit V2.5.0がリリースされるはずなのでフライング調査
もうすぐMixed Reality Toolkit V2.5.0がリリースされるはずなのでフライング調査Takahiro Miyaura
 
UIデザイン設計から開発をつなぐ「MRTK Figma Bridge for Unity」を使ってみよう
UIデザイン設計から開発をつなぐ「MRTK Figma Bridge for Unity」を使ってみようUIデザイン設計から開発をつなぐ「MRTK Figma Bridge for Unity」を使ってみよう
UIデザイン設計から開発をつなぐ「MRTK Figma Bridge for Unity」を使ってみようTakahiro Miyaura
 
Mixed Reality関連のSDKの状況を調べてみた
Mixed Reality関連のSDKの状況を調べてみたMixed Reality関連のSDKの状況を調べてみた
Mixed Reality関連のSDKの状況を調べてみたTakahiro Miyaura
 
クロスプラットフォーム開発としての「Mixed Reality Toolkit V2」が持つ可能性
クロスプラットフォーム開発としての「Mixed Reality Toolkit V2」が持つ可能性クロスプラットフォーム開発としての「Mixed Reality Toolkit V2」が持つ可能性
クロスプラットフォーム開発としての「Mixed Reality Toolkit V2」が持つ可能性Takahiro Miyaura
 
HoloLens1アプリをHoloLens2アプリに変換できるかチャレンジ
HoloLens1アプリをHoloLens2アプリに変換できるかチャレンジHoloLens1アプリをHoloLens2アプリに変換できるかチャレンジ
HoloLens1アプリをHoloLens2アプリに変換できるかチャレンジTakahiro Miyaura
 
HoloLens 1のアプリをHoloLens 2に移行する
HoloLens 1のアプリをHoloLens 2に移行するHoloLens 1のアプリをHoloLens 2に移行する
HoloLens 1のアプリをHoloLens 2に移行するTakahiro Miyaura
 
Mixed Reality Toolkit V2.2.0のMobile対応について
Mixed Reality Toolkit V2.2.0のMobile対応についてMixed Reality Toolkit V2.2.0のMobile対応について
Mixed Reality Toolkit V2.2.0のMobile対応についてTakahiro Miyaura
 
だんグラで「Mixed Reality Toolkit V2」のサンプルを動かしてみた
だんグラで「Mixed Reality Toolkit V2」のサンプルを動かしてみただんグラで「Mixed Reality Toolkit V2」のサンプルを動かしてみた
だんグラで「Mixed Reality Toolkit V2」のサンプルを動かしてみたTakahiro Miyaura
 
【続】OpenXRでHoloLensアプリを作る
【続】OpenXRでHoloLensアプリを作る【続】OpenXRでHoloLensアプリを作る
【続】OpenXRでHoloLensアプリを作るTakahiro Miyaura
 
Mixed Reality Toolkit V3について
Mixed Reality Toolkit V3についてMixed Reality Toolkit V3について
Mixed Reality Toolkit V3についてTakahiro Miyaura
 
IoT関連のAzureを使い倒して お部屋の空気観測装置を作った話
IoT関連のAzureを使い倒して お部屋の空気観測装置を作った話IoT関連のAzureを使い倒して お部屋の空気観測装置を作った話
IoT関連のAzureを使い倒して お部屋の空気観測装置を作った話Takahiro Miyaura
 
「あれ」がスマホで動くのか試してみた
「あれ」がスマホで動くのか試してみた「あれ」がスマホで動くのか試してみた
「あれ」がスマホで動くのか試してみたTakahiro Miyaura
 
HoloLens 2 TutorialをMobileARで動かす
HoloLens 2 TutorialをMobileARで動かすHoloLens 2 TutorialをMobileARで動かす
HoloLens 2 TutorialをMobileARで動かすTakahiro Miyaura
 
Mixed Reality Feature ToolとMixed Reality Toolkit V2.6.1
Mixed Reality Feature ToolとMixed Reality Toolkit V2.6.1Mixed Reality Feature ToolとMixed Reality Toolkit V2.6.1
Mixed Reality Feature ToolとMixed Reality Toolkit V2.6.1Takahiro Miyaura
 
Azure Spatial Anchorsのユースケース「Way-Finding」を実現するためのテクニック
Azure Spatial Anchorsのユースケース「Way-Finding」を実現するためのテクニックAzure Spatial Anchorsのユースケース「Way-Finding」を実現するためのテクニック
Azure Spatial Anchorsのユースケース「Way-Finding」を実現するためのテクニックTakahiro Miyaura
 
Azure Remote Renderingを試す
Azure Remote Renderingを試すAzure Remote Renderingを試す
Azure Remote Renderingを試すTakahiro Miyaura
 
久しぶりにMicrosoft Meshを使ってみた - 色々変わってたよ編 -
久しぶりにMicrosoft Meshを使ってみた - 色々変わってたよ編 -久しぶりにMicrosoft Meshを使ってみた - 色々変わってたよ編 -
久しぶりにMicrosoft Meshを使ってみた - 色々変わってたよ編 -Takahiro Miyaura
 
Oculus Quest 2 on Mixed Reality Toolkit V2.5.0~ ハンドトラッキングする方法 ~
Oculus Quest 2 on Mixed Reality Toolkit V2.5.0~ ハンドトラッキングする方法 ~Oculus Quest 2 on Mixed Reality Toolkit V2.5.0~ ハンドトラッキングする方法 ~
Oculus Quest 2 on Mixed Reality Toolkit V2.5.0~ ハンドトラッキングする方法 ~Takahiro Miyaura
 

Similar to HoloLensでコンテンツを操作する方法 - Gaze And Dwell - (20)

MixedReality技術とその活用事例~xR(VR/AR/MR...)への基礎知識~
MixedReality技術とその活用事例~xR(VR/AR/MR...)への基礎知識~MixedReality技術とその活用事例~xR(VR/AR/MR...)への基礎知識~
MixedReality技術とその活用事例~xR(VR/AR/MR...)への基礎知識~
 
OpenXR + XR Interaction Toolkit使ったHoloLensコンテンツ開発検証 ~ (私が)完全に理解できたらちゃんと作れて、いろ...
OpenXR + XR Interaction Toolkit使ったHoloLensコンテンツ開発検証 ~ (私が)完全に理解できたらちゃんと作れて、いろ...OpenXR + XR Interaction Toolkit使ったHoloLensコンテンツ開発検証 ~ (私が)完全に理解できたらちゃんと作れて、いろ...
OpenXR + XR Interaction Toolkit使ったHoloLensコンテンツ開発検証 ~ (私が)完全に理解できたらちゃんと作れて、いろ...
 
もうすぐMixed Reality Toolkit V2.5.0がリリースされるはずなのでフライング調査
もうすぐMixed Reality Toolkit V2.5.0がリリースされるはずなのでフライング調査もうすぐMixed Reality Toolkit V2.5.0がリリースされるはずなのでフライング調査
もうすぐMixed Reality Toolkit V2.5.0がリリースされるはずなのでフライング調査
 
UIデザイン設計から開発をつなぐ「MRTK Figma Bridge for Unity」を使ってみよう
UIデザイン設計から開発をつなぐ「MRTK Figma Bridge for Unity」を使ってみようUIデザイン設計から開発をつなぐ「MRTK Figma Bridge for Unity」を使ってみよう
UIデザイン設計から開発をつなぐ「MRTK Figma Bridge for Unity」を使ってみよう
 
Mixed Reality関連のSDKの状況を調べてみた
Mixed Reality関連のSDKの状況を調べてみたMixed Reality関連のSDKの状況を調べてみた
Mixed Reality関連のSDKの状況を調べてみた
 
クロスプラットフォーム開発としての「Mixed Reality Toolkit V2」が持つ可能性
クロスプラットフォーム開発としての「Mixed Reality Toolkit V2」が持つ可能性クロスプラットフォーム開発としての「Mixed Reality Toolkit V2」が持つ可能性
クロスプラットフォーム開発としての「Mixed Reality Toolkit V2」が持つ可能性
 
HoloLens1アプリをHoloLens2アプリに変換できるかチャレンジ
HoloLens1アプリをHoloLens2アプリに変換できるかチャレンジHoloLens1アプリをHoloLens2アプリに変換できるかチャレンジ
HoloLens1アプリをHoloLens2アプリに変換できるかチャレンジ
 
HoloLens 1のアプリをHoloLens 2に移行する
HoloLens 1のアプリをHoloLens 2に移行するHoloLens 1のアプリをHoloLens 2に移行する
HoloLens 1のアプリをHoloLens 2に移行する
 
Mixed Reality Toolkit V2.2.0のMobile対応について
Mixed Reality Toolkit V2.2.0のMobile対応についてMixed Reality Toolkit V2.2.0のMobile対応について
Mixed Reality Toolkit V2.2.0のMobile対応について
 
だんグラで「Mixed Reality Toolkit V2」のサンプルを動かしてみた
だんグラで「Mixed Reality Toolkit V2」のサンプルを動かしてみただんグラで「Mixed Reality Toolkit V2」のサンプルを動かしてみた
だんグラで「Mixed Reality Toolkit V2」のサンプルを動かしてみた
 
【続】OpenXRでHoloLensアプリを作る
【続】OpenXRでHoloLensアプリを作る【続】OpenXRでHoloLensアプリを作る
【続】OpenXRでHoloLensアプリを作る
 
Mixed Reality Toolkit V3について
Mixed Reality Toolkit V3についてMixed Reality Toolkit V3について
Mixed Reality Toolkit V3について
 
IoT関連のAzureを使い倒して お部屋の空気観測装置を作った話
IoT関連のAzureを使い倒して お部屋の空気観測装置を作った話IoT関連のAzureを使い倒して お部屋の空気観測装置を作った話
IoT関連のAzureを使い倒して お部屋の空気観測装置を作った話
 
「あれ」がスマホで動くのか試してみた
「あれ」がスマホで動くのか試してみた「あれ」がスマホで動くのか試してみた
「あれ」がスマホで動くのか試してみた
 
HoloLens 2 TutorialをMobileARで動かす
HoloLens 2 TutorialをMobileARで動かすHoloLens 2 TutorialをMobileARで動かす
HoloLens 2 TutorialをMobileARで動かす
 
Mixed Reality Feature ToolとMixed Reality Toolkit V2.6.1
Mixed Reality Feature ToolとMixed Reality Toolkit V2.6.1Mixed Reality Feature ToolとMixed Reality Toolkit V2.6.1
Mixed Reality Feature ToolとMixed Reality Toolkit V2.6.1
 
Azure Spatial Anchorsのユースケース「Way-Finding」を実現するためのテクニック
Azure Spatial Anchorsのユースケース「Way-Finding」を実現するためのテクニックAzure Spatial Anchorsのユースケース「Way-Finding」を実現するためのテクニック
Azure Spatial Anchorsのユースケース「Way-Finding」を実現するためのテクニック
 
Azure Remote Renderingを試す
Azure Remote Renderingを試すAzure Remote Renderingを試す
Azure Remote Renderingを試す
 
久しぶりにMicrosoft Meshを使ってみた - 色々変わってたよ編 -
久しぶりにMicrosoft Meshを使ってみた - 色々変わってたよ編 -久しぶりにMicrosoft Meshを使ってみた - 色々変わってたよ編 -
久しぶりにMicrosoft Meshを使ってみた - 色々変わってたよ編 -
 
Oculus Quest 2 on Mixed Reality Toolkit V2.5.0~ ハンドトラッキングする方法 ~
Oculus Quest 2 on Mixed Reality Toolkit V2.5.0~ ハンドトラッキングする方法 ~Oculus Quest 2 on Mixed Reality Toolkit V2.5.0~ ハンドトラッキングする方法 ~
Oculus Quest 2 on Mixed Reality Toolkit V2.5.0~ ハンドトラッキングする方法 ~
 

More from Takahiro Miyaura

Microsoft Ignite 2022の情報 & Microsoft Learnの整理をしてみた
Microsoft Ignite 2022の情報 & Microsoft Learnの整理をしてみたMicrosoft Ignite 2022の情報 & Microsoft Learnの整理をしてみた
Microsoft Ignite 2022の情報 & Microsoft Learnの整理をしてみたTakahiro Miyaura
 
Mixed Reality Toolkit 3 の更新状況 - 6月からもちょいちょいアップデートされてるよ
Mixed Reality Toolkit 3 の更新状況 - 6月からもちょいちょいアップデートされてるよMixed Reality Toolkit 3 の更新状況 - 6月からもちょいちょいアップデートされてるよ
Mixed Reality Toolkit 3 の更新状況 - 6月からもちょいちょいアップデートされてるよTakahiro Miyaura
 
Mixed Reality Toolkit 3 - 「MRTK XR Rig」と「Bounds Control」
Mixed Reality Toolkit 3 - 「MRTK XR Rig」と「Bounds Control」Mixed Reality Toolkit 3 - 「MRTK XR Rig」と「Bounds Control」
Mixed Reality Toolkit 3 - 「MRTK XR Rig」と「Bounds Control」Takahiro Miyaura
 
Mixed Reality Toolkit 3 のチュートリアル「Zappy’s Playground」のUXをみる
Mixed Reality Toolkit 3 のチュートリアル「Zappy’s Playground」のUXをみるMixed Reality Toolkit 3 のチュートリアル「Zappy’s Playground」のUXをみる
Mixed Reality Toolkit 3 のチュートリアル「Zappy’s Playground」のUXをみるTakahiro Miyaura
 
Mixed Reality Toolkit 3 のチュートリアル「Zappy’s Playground」の紹介
Mixed Reality Toolkit 3 のチュートリアル「Zappy’s Playground」の紹介Mixed Reality Toolkit 3 のチュートリアル「Zappy’s Playground」の紹介
Mixed Reality Toolkit 3 のチュートリアル「Zappy’s Playground」の紹介Takahiro Miyaura
 
Mixed Reality Toolkit 3 Recap
Mixed Reality Toolkit 3 RecapMixed Reality Toolkit 3 Recap
Mixed Reality Toolkit 3 RecapTakahiro Miyaura
 
Mixed Reality Toolkit で OpenXRのEye Trackingを使う
Mixed Reality Toolkit で OpenXRのEye Trackingを使うMixed Reality Toolkit で OpenXRのEye Trackingを使う
Mixed Reality Toolkit で OpenXRのEye Trackingを使うTakahiro Miyaura
 
Mixed RealityとAzure Digital Twinsを組合わせてデジタルツインを可視化するためのTips
Mixed RealityとAzure Digital Twinsを組合わせてデジタルツインを可視化するためのTipsMixed RealityとAzure Digital Twinsを組合わせてデジタルツインを可視化するためのTips
Mixed RealityとAzure Digital Twinsを組合わせてデジタルツインを可視化するためのTipsTakahiro Miyaura
 
5周年ふりかえり!HoloLens 1とHoloLens 2のUI操作と実装の違いを改めて見てみよう
5周年ふりかえり!HoloLens 1とHoloLens 2のUI操作と実装の違いを改めて見てみよう5周年ふりかえり!HoloLens 1とHoloLens 2のUI操作と実装の違いを改めて見てみよう
5周年ふりかえり!HoloLens 1とHoloLens 2のUI操作と実装の違いを改めて見てみようTakahiro Miyaura
 
World Locking Tools でAzure Spatial Anchorsが使えるようになった
World Locking Tools でAzure Spatial Anchorsが使えるようになったWorld Locking Tools でAzure Spatial Anchorsが使えるようになった
World Locking Tools でAzure Spatial Anchorsが使えるようになったTakahiro Miyaura
 
Azure Digital TwinとUnreal Engineを統合するADTLink Pluginについて
 Azure Digital TwinとUnreal Engineを統合するADTLink Pluginについて Azure Digital TwinとUnreal Engineを統合するADTLink Pluginについて
Azure Digital TwinとUnreal Engineを統合するADTLink PluginについてTakahiro Miyaura
 
今改めて見る Plane finding
今改めて見る Plane finding今改めて見る Plane finding
今改めて見る Plane findingTakahiro Miyaura
 
Azure Object Anchors のQuick Startで理解を深めたい
Azure Object Anchors のQuick Startで理解を深めたいAzure Object Anchors のQuick Startで理解を深めたい
Azure Object Anchors のQuick Startで理解を深めたいTakahiro Miyaura
 
Build 2021のDigital Twinsセションを読み解く ~Azure関連サービス概要とラーニングパスの詳説~
Build 2021のDigital Twinsセションを読み解く ~Azure関連サービス概要とラーニングパスの詳説~Build 2021のDigital Twinsセションを読み解く ~Azure関連サービス概要とラーニングパスの詳説~
Build 2021のDigital Twinsセションを読み解く ~Azure関連サービス概要とラーニングパスの詳説~Takahiro Miyaura
 
ラーニングパス「Azure Digital Twins と Unity を使用して Mixed Reality デジタル ツインを構築する」にAzure ...
ラーニングパス「Azure Digital Twins と Unity を使用して Mixed Reality デジタル ツインを構築する」にAzure ...ラーニングパス「Azure Digital Twins と Unity を使用して Mixed Reality デジタル ツインを構築する」にAzure ...
ラーニングパス「Azure Digital Twins と Unity を使用して Mixed Reality デジタル ツインを構築する」にAzure ...Takahiro Miyaura
 
Azure Object Anchors Recap(Kobe版)
Azure Object Anchors Recap(Kobe版)Azure Object Anchors Recap(Kobe版)
Azure Object Anchors Recap(Kobe版)Takahiro Miyaura
 
Azure Object Anchors Recap
Azure Object Anchors RecapAzure Object Anchors Recap
Azure Object Anchors RecapTakahiro Miyaura
 
Unityは知ってる開発者が UE4 で HoloLens 2 アプリ開発セションを聞くために知っておくといいかもTips
Unityは知ってる開発者が UE4 で HoloLens 2 アプリ開発セションを聞くために知っておくといいかもTipsUnityは知ってる開発者が UE4 で HoloLens 2 アプリ開発セションを聞くために知っておくといいかもTips
Unityは知ってる開発者が UE4 で HoloLens 2 アプリ開発セションを聞くために知っておくといいかもTipsTakahiro Miyaura
 

More from Takahiro Miyaura (18)

Microsoft Ignite 2022の情報 & Microsoft Learnの整理をしてみた
Microsoft Ignite 2022の情報 & Microsoft Learnの整理をしてみたMicrosoft Ignite 2022の情報 & Microsoft Learnの整理をしてみた
Microsoft Ignite 2022の情報 & Microsoft Learnの整理をしてみた
 
Mixed Reality Toolkit 3 の更新状況 - 6月からもちょいちょいアップデートされてるよ
Mixed Reality Toolkit 3 の更新状況 - 6月からもちょいちょいアップデートされてるよMixed Reality Toolkit 3 の更新状況 - 6月からもちょいちょいアップデートされてるよ
Mixed Reality Toolkit 3 の更新状況 - 6月からもちょいちょいアップデートされてるよ
 
Mixed Reality Toolkit 3 - 「MRTK XR Rig」と「Bounds Control」
Mixed Reality Toolkit 3 - 「MRTK XR Rig」と「Bounds Control」Mixed Reality Toolkit 3 - 「MRTK XR Rig」と「Bounds Control」
Mixed Reality Toolkit 3 - 「MRTK XR Rig」と「Bounds Control」
 
Mixed Reality Toolkit 3 のチュートリアル「Zappy’s Playground」のUXをみる
Mixed Reality Toolkit 3 のチュートリアル「Zappy’s Playground」のUXをみるMixed Reality Toolkit 3 のチュートリアル「Zappy’s Playground」のUXをみる
Mixed Reality Toolkit 3 のチュートリアル「Zappy’s Playground」のUXをみる
 
Mixed Reality Toolkit 3 のチュートリアル「Zappy’s Playground」の紹介
Mixed Reality Toolkit 3 のチュートリアル「Zappy’s Playground」の紹介Mixed Reality Toolkit 3 のチュートリアル「Zappy’s Playground」の紹介
Mixed Reality Toolkit 3 のチュートリアル「Zappy’s Playground」の紹介
 
Mixed Reality Toolkit 3 Recap
Mixed Reality Toolkit 3 RecapMixed Reality Toolkit 3 Recap
Mixed Reality Toolkit 3 Recap
 
Mixed Reality Toolkit で OpenXRのEye Trackingを使う
Mixed Reality Toolkit で OpenXRのEye Trackingを使うMixed Reality Toolkit で OpenXRのEye Trackingを使う
Mixed Reality Toolkit で OpenXRのEye Trackingを使う
 
Mixed RealityとAzure Digital Twinsを組合わせてデジタルツインを可視化するためのTips
Mixed RealityとAzure Digital Twinsを組合わせてデジタルツインを可視化するためのTipsMixed RealityとAzure Digital Twinsを組合わせてデジタルツインを可視化するためのTips
Mixed RealityとAzure Digital Twinsを組合わせてデジタルツインを可視化するためのTips
 
5周年ふりかえり!HoloLens 1とHoloLens 2のUI操作と実装の違いを改めて見てみよう
5周年ふりかえり!HoloLens 1とHoloLens 2のUI操作と実装の違いを改めて見てみよう5周年ふりかえり!HoloLens 1とHoloLens 2のUI操作と実装の違いを改めて見てみよう
5周年ふりかえり!HoloLens 1とHoloLens 2のUI操作と実装の違いを改めて見てみよう
 
World Locking Tools でAzure Spatial Anchorsが使えるようになった
World Locking Tools でAzure Spatial Anchorsが使えるようになったWorld Locking Tools でAzure Spatial Anchorsが使えるようになった
World Locking Tools でAzure Spatial Anchorsが使えるようになった
 
Azure Digital TwinとUnreal Engineを統合するADTLink Pluginについて
 Azure Digital TwinとUnreal Engineを統合するADTLink Pluginについて Azure Digital TwinとUnreal Engineを統合するADTLink Pluginについて
Azure Digital TwinとUnreal Engineを統合するADTLink Pluginについて
 
今改めて見る Plane finding
今改めて見る Plane finding今改めて見る Plane finding
今改めて見る Plane finding
 
Azure Object Anchors のQuick Startで理解を深めたい
Azure Object Anchors のQuick Startで理解を深めたいAzure Object Anchors のQuick Startで理解を深めたい
Azure Object Anchors のQuick Startで理解を深めたい
 
Build 2021のDigital Twinsセションを読み解く ~Azure関連サービス概要とラーニングパスの詳説~
Build 2021のDigital Twinsセションを読み解く ~Azure関連サービス概要とラーニングパスの詳説~Build 2021のDigital Twinsセションを読み解く ~Azure関連サービス概要とラーニングパスの詳説~
Build 2021のDigital Twinsセションを読み解く ~Azure関連サービス概要とラーニングパスの詳説~
 
ラーニングパス「Azure Digital Twins と Unity を使用して Mixed Reality デジタル ツインを構築する」にAzure ...
ラーニングパス「Azure Digital Twins と Unity を使用して Mixed Reality デジタル ツインを構築する」にAzure ...ラーニングパス「Azure Digital Twins と Unity を使用して Mixed Reality デジタル ツインを構築する」にAzure ...
ラーニングパス「Azure Digital Twins と Unity を使用して Mixed Reality デジタル ツインを構築する」にAzure ...
 
Azure Object Anchors Recap(Kobe版)
Azure Object Anchors Recap(Kobe版)Azure Object Anchors Recap(Kobe版)
Azure Object Anchors Recap(Kobe版)
 
Azure Object Anchors Recap
Azure Object Anchors RecapAzure Object Anchors Recap
Azure Object Anchors Recap
 
Unityは知ってる開発者が UE4 で HoloLens 2 アプリ開発セションを聞くために知っておくといいかもTips
Unityは知ってる開発者が UE4 で HoloLens 2 アプリ開発セションを聞くために知っておくといいかもTipsUnityは知ってる開発者が UE4 で HoloLens 2 アプリ開発セションを聞くために知っておくといいかもTips
Unityは知ってる開発者が UE4 で HoloLens 2 アプリ開発セションを聞くために知っておくといいかもTips
 

Recently uploaded

論文紹介:Deep Occlusion-Aware Instance Segmentation With Overlapping BiLayers
論文紹介:Deep Occlusion-Aware Instance Segmentation With Overlapping BiLayers論文紹介:Deep Occlusion-Aware Instance Segmentation With Overlapping BiLayers
論文紹介:Deep Occlusion-Aware Instance Segmentation With Overlapping BiLayersToru Tamaki
 
Amazon Cognitoで実装するパスキー (Security-JAWS【第33回】 勉強会)
Amazon Cognitoで実装するパスキー (Security-JAWS【第33回】 勉強会)Amazon Cognitoで実装するパスキー (Security-JAWS【第33回】 勉強会)
Amazon Cognitoで実装するパスキー (Security-JAWS【第33回】 勉強会)keikoitakurag
 
20240523_IoTLT_vol111_kitazaki_v1___.pdf
20240523_IoTLT_vol111_kitazaki_v1___.pdf20240523_IoTLT_vol111_kitazaki_v1___.pdf
20240523_IoTLT_vol111_kitazaki_v1___.pdfAyachika Kitazaki
 
2024年5月25日Serverless Meetup大阪 アプリケーションをどこで動かすべきなのか.pptx
2024年5月25日Serverless Meetup大阪 アプリケーションをどこで動かすべきなのか.pptx2024年5月25日Serverless Meetup大阪 アプリケーションをどこで動かすべきなのか.pptx
2024年5月25日Serverless Meetup大阪 アプリケーションをどこで動かすべきなのか.pptxssuserbefd24
 
論文紹介: Exploiting semantic segmentation to boost reinforcement learning in vid...
論文紹介: Exploiting semantic segmentation to boost reinforcement learning in vid...論文紹介: Exploiting semantic segmentation to boost reinforcement learning in vid...
論文紹介: Exploiting semantic segmentation to boost reinforcement learning in vid...atsushi061452
 
クラウド時代におけるSREとUPWARDの取組ーUPWARD株式会社 CTO門畑
クラウド時代におけるSREとUPWARDの取組ーUPWARD株式会社 CTO門畑クラウド時代におけるSREとUPWARDの取組ーUPWARD株式会社 CTO門畑
クラウド時代におけるSREとUPWARDの取組ーUPWARD株式会社 CTO門畑Akihiro Kadohata
 
Intranet Development v1.0 (TSG LIVE! 12 LT )
Intranet Development v1.0 (TSG LIVE! 12 LT )Intranet Development v1.0 (TSG LIVE! 12 LT )
Intranet Development v1.0 (TSG LIVE! 12 LT )iwashiira2ctf
 
部内勉強会(IT用語ざっくり学習) 実施日:2024年5月17日(金) 対象者:営業部社員
部内勉強会(IT用語ざっくり学習) 実施日:2024年5月17日(金) 対象者:営業部社員部内勉強会(IT用語ざっくり学習) 実施日:2024年5月17日(金) 対象者:営業部社員
部内勉強会(IT用語ざっくり学習) 実施日:2024年5月17日(金) 対象者:営業部社員Sadaomi Nishi
 
論文紹介:ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation
論文紹介:ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation論文紹介:ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation
論文紹介:ViTPose: Simple Vision Transformer Baselines for Human Pose EstimationToru Tamaki
 
ロボットマニピュレーションの作業・動作計画 / rosjp_planning_for_robotic_manipulation_20240521
ロボットマニピュレーションの作業・動作計画 / rosjp_planning_for_robotic_manipulation_20240521ロボットマニピュレーションの作業・動作計画 / rosjp_planning_for_robotic_manipulation_20240521
ロボットマニピュレーションの作業・動作計画 / rosjp_planning_for_robotic_manipulation_20240521Satoshi Makita
 
論文紹介: Offline Q-Learning on diverse Multi-Task data both scales and generalizes
論文紹介: Offline Q-Learning on diverse Multi-Task data both scales and generalizes論文紹介: Offline Q-Learning on diverse Multi-Task data both scales and generalizes
論文紹介: Offline Q-Learning on diverse Multi-Task data both scales and generalizesatsushi061452
 
5/22 第23回 Customer系エンジニア座談会のスライド 公開用 西口瑛一
5/22 第23回 Customer系エンジニア座談会のスライド 公開用 西口瑛一5/22 第23回 Customer系エンジニア座談会のスライド 公開用 西口瑛一
5/22 第23回 Customer系エンジニア座談会のスライド 公開用 西口瑛一瑛一 西口
 

Recently uploaded (12)

論文紹介:Deep Occlusion-Aware Instance Segmentation With Overlapping BiLayers
論文紹介:Deep Occlusion-Aware Instance Segmentation With Overlapping BiLayers論文紹介:Deep Occlusion-Aware Instance Segmentation With Overlapping BiLayers
論文紹介:Deep Occlusion-Aware Instance Segmentation With Overlapping BiLayers
 
Amazon Cognitoで実装するパスキー (Security-JAWS【第33回】 勉強会)
Amazon Cognitoで実装するパスキー (Security-JAWS【第33回】 勉強会)Amazon Cognitoで実装するパスキー (Security-JAWS【第33回】 勉強会)
Amazon Cognitoで実装するパスキー (Security-JAWS【第33回】 勉強会)
 
20240523_IoTLT_vol111_kitazaki_v1___.pdf
20240523_IoTLT_vol111_kitazaki_v1___.pdf20240523_IoTLT_vol111_kitazaki_v1___.pdf
20240523_IoTLT_vol111_kitazaki_v1___.pdf
 
2024年5月25日Serverless Meetup大阪 アプリケーションをどこで動かすべきなのか.pptx
2024年5月25日Serverless Meetup大阪 アプリケーションをどこで動かすべきなのか.pptx2024年5月25日Serverless Meetup大阪 アプリケーションをどこで動かすべきなのか.pptx
2024年5月25日Serverless Meetup大阪 アプリケーションをどこで動かすべきなのか.pptx
 
論文紹介: Exploiting semantic segmentation to boost reinforcement learning in vid...
論文紹介: Exploiting semantic segmentation to boost reinforcement learning in vid...論文紹介: Exploiting semantic segmentation to boost reinforcement learning in vid...
論文紹介: Exploiting semantic segmentation to boost reinforcement learning in vid...
 
クラウド時代におけるSREとUPWARDの取組ーUPWARD株式会社 CTO門畑
クラウド時代におけるSREとUPWARDの取組ーUPWARD株式会社 CTO門畑クラウド時代におけるSREとUPWARDの取組ーUPWARD株式会社 CTO門畑
クラウド時代におけるSREとUPWARDの取組ーUPWARD株式会社 CTO門畑
 
Intranet Development v1.0 (TSG LIVE! 12 LT )
Intranet Development v1.0 (TSG LIVE! 12 LT )Intranet Development v1.0 (TSG LIVE! 12 LT )
Intranet Development v1.0 (TSG LIVE! 12 LT )
 
部内勉強会(IT用語ざっくり学習) 実施日:2024年5月17日(金) 対象者:営業部社員
部内勉強会(IT用語ざっくり学習) 実施日:2024年5月17日(金) 対象者:営業部社員部内勉強会(IT用語ざっくり学習) 実施日:2024年5月17日(金) 対象者:営業部社員
部内勉強会(IT用語ざっくり学習) 実施日:2024年5月17日(金) 対象者:営業部社員
 
論文紹介:ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation
論文紹介:ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation論文紹介:ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation
論文紹介:ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation
 
ロボットマニピュレーションの作業・動作計画 / rosjp_planning_for_robotic_manipulation_20240521
ロボットマニピュレーションの作業・動作計画 / rosjp_planning_for_robotic_manipulation_20240521ロボットマニピュレーションの作業・動作計画 / rosjp_planning_for_robotic_manipulation_20240521
ロボットマニピュレーションの作業・動作計画 / rosjp_planning_for_robotic_manipulation_20240521
 
論文紹介: Offline Q-Learning on diverse Multi-Task data both scales and generalizes
論文紹介: Offline Q-Learning on diverse Multi-Task data both scales and generalizes論文紹介: Offline Q-Learning on diverse Multi-Task data both scales and generalizes
論文紹介: Offline Q-Learning on diverse Multi-Task data both scales and generalizes
 
5/22 第23回 Customer系エンジニア座談会のスライド 公開用 西口瑛一
5/22 第23回 Customer系エンジニア座談会のスライド 公開用 西口瑛一5/22 第23回 Customer系エンジニア座談会のスライド 公開用 西口瑛一
5/22 第23回 Customer系エンジニア座談会のスライド 公開用 西口瑛一
 

HoloLensでコンテンツを操作する方法 - Gaze And Dwell -

  • 1. takabrz1 大阪駆動開発 Takahiro Miyaura HoloLensでコンテンツを操作する方法 Gaze And Dwell
  • 2. 宮浦 恭弘 (Miyaura Takahiro)  大阪駆動開発コミュニティに生息  HoloLens日本販売してからXR系技術に取組む  普段はよくMixed Reality Toolkitに関する調査している  新しい技術や、MRに使えそうな技術を調べる 技術Tips : https://qiita.com/miyaura takabrz1 ※よかったらこれを機にお知り合いになってください  リリース機能調べたり・・・  面白い機能使ってみたり・・・  新しい実験してフィードバックしたり・・・ 最近はこちらが中心 (貢献領域:Mixed Reality) Microsoft MVP for Windows Development 2018-202 1 某会社でSE(アプリケーション領域のアーキテクト的なお仕事なはず)= XRは趣味です
  • 3. 今日お題 2020/12/15 Copyright © 2020 Takahiro Miyaura 3 Mixed Reality Dev Days Japan裏話  英語セションの日本語訳の添削をMVPsでやっていた  結構日本語に訳すると不可解  サニティーチェック→ダメ出しでチェックとか・・・  そんな中Dwell is 何?で盛り上がった Dwell自体はHoloLens でコンテンツ操作の1要素 今日はHoloLensでの操作についての整理とgaze and dwellの話
  • 5. MicrosoftのMixed Reality向けライブラリ群 2020/12/15 Copyright © 2020 Takahiro Miyaura 5 用途/プラットフォームで提供 Unity向け クロスプラットフォーム 最新バージョンはV2.5.1 UX部品 イベント制御系 etc… Unity向け UXデザインのサンプル Periodic Table Lunar Module Surface Unreal向け サブセットがいくつかある 第一弾はUXTools for Unreal  最新はV0.10.0  Unity向けのライブラリと同等を目指す
  • 6. Mixed Reality Toolkit V2 for Unity 概要 2020/12/15 Copyright © 2020 Takahiro Miyaura 6 Unity向けOSSライブラリ OpenVR HMD (HTC Vive / Oculus Rift) iOS/Android (ARFoundation) HoloLens HoloLens 2 Windows Mixed Reality HMD Oculus Quest 2  Cross Platformでの開発可能  XRデバイスにおけるUnity開発の基本的な構成要素を提供  ラピッドプロトタイピングを実現  コア機能が交換可能な拡張性の高いフレームワーク
  • 7. Mixed Reality Toolkit V2 概要 2020/12/15 Copyright © 2020 Takahiro Miyaura 7 XRデバイスの固有機能を含め様々な補助機能を提供
  • 8. Mixed Reality Toolkit V2 概要 2020/12/15 Copyright © 2020 Takahiro Miyaura 8 UX building blocks : 組込み済みのUX部品群
  • 10. HoloLens 2でできる入力系操作 2020/12/15 Copyright © 2020 Takahiro Miyaura 10 HoloLens 2で使える入力  Head Gaze  Eye Tracking  Hand Tracking  Gesture(AirTap等)  Voice Command 組合わせて操作する
  • 11. 操作の確定 対象を決めるための操作 HoloLens 2でできる入力系操作 2020/12/15 Copyright © 2020 Takahiro Miyaura 11 HoloLens 2で使える入力  Head Gaze  Eye Tracking  Hand Tracking  Gesture(AirTap等)  Voice Command 組合わせて操作する
  • 12. HoloLens 2でできる入力系操作 2020/12/15 Copyright © 2020 Takahiro Miyaura 12 Head Gaze & Gesture | VoiceCommand  いわゆるHoloLens 1 Style  カーソルを頭の動きで操作  確定はGesture か Voice 操作対象 : Near / Far 参考:https://docs.microsoft.com/ja-jp/windows/mixed-reality/design/gaze-and-commit- head?WT.mc_id=MR-MVP-5003104
  • 13. HoloLens 2でできる入力系操作 2020/12/15 Copyright © 2020 Takahiro Miyaura 13 Eye Tracking & Gesture | VoiceCommand  視線入力を活用  カーソルを視線で操作  確定はGesture か Voice 参考: https://docs.microsoft.com/ja-jp/windows/mixed-reality/design/gaze-and-commit- eyes?WT.mc_id=MR-MVP-5003104 操作対象 : Near / Far
  • 14. HoloLens 2でできる入力系操作 2020/12/15 Copyright © 2020 Takahiro Miyaura 14 Hand Tracking  ハンドトラッキング機能を利用 (モーションコントローラも含)  対象を直接操作  押して確定(ボタンの場合) 参考: https://docs.microsoft.com/ja-jp/windows/mixed-reality/design/direct- manipulation?WT.mc_id=MR-MVP-5003104 操作対象 : Near
  • 15. 本題のGaze And Dwellの話 2020/12/15 Copyright © 2020 Takahiro Miyaura 15
  • 16. Gaze And Dwell 2020/12/15 Copyright © 2020 Takahiro Miyaura 16 Dwell is 何?  意味:住む、居住する、ゆっくり考える、思案する・・・ Gazeでの選択を確定する際に思考する要素を入れる
  • 17. Gaze And Dwell 2020/12/15 Copyright © 2020 Takahiro Miyaura 17 Gazeのみで選択と確定をするための仕組み  注視によるタイムラグを活用 注視により処理が行われる
  • 18. Gaze And Dwell 2020/12/15 Copyright © 2020 Takahiro Miyaura 18 MRTKではExperimentalで提供  PackageManager経由でセットアップ可能です
  • 19. Gaze And Dwell 2020/12/15 Copyright © 2020 Takahiro Miyaura 19 Dwell Profile - 確定までのタイムラグ設定  Trigger Pointer Type ポインターの種類(Head, Eye etc…)  Dwell Intent Delay 確定の評価に移行するまでの時間  Dwell Start Delay 確定評価開始時間  Time To Complete Dwell 確定までの注視時間  Time To Allow Dwell resume 注視を初期化するまでの時間
  • 20. Gaze And Dwell 2020/12/15 Copyright © 2020 Takahiro Miyaura 20 DwellHandler -状態毎の発生イベント制御  Dwell Intended 確定評価に移行時に発生  Dwell Started 確定の評価の移行時に発生  Dwell Completed 確定評価の完了時に発生  Dwell Canceled 確定評価のキャンセル時に発生
  • 21. Gaze And Dwell 2020/12/15 Copyright © 2020 Takahiro Miyaura 21 動きのイメージ Intent time dwell time Gazeを 当てる 確定の意思が あると判断 確定と判断 経過時間 Dwell start time 確定判定開始 Dwell Intended Dwell Started Dwell Completed この区間でGazeを外すと Dwell Canceled(はず)
  • 22. まとめ 2020/12/15 Copyright © 2020 Takahiro Miyaura 22 HoloLens 2の入力方法 体験に合わせて色々とチョイス 快適なMixed Reaity コンテンツをみんなも作ってね。  Head Gaze  Eye Tracking  Hand Tracking  Gesture(AirTap等)  Voice Command