Submit Search
Upload
MixedReality250から見るHoloLensとImmersiveヘッドセットの連携
•
2 likes
•
2,449 views
A
Akihiro Ueyama
Follow
仙台IT文化祭(2017/10/29)で登壇した時の資料です http://2017.sendaiitfes.org/
Read less
Read more
Report
Share
Report
Share
1 of 78
Download now
Download to read offline
Recommended
HoloLens概要 仙台IT文化祭
HoloLens概要 仙台IT文化祭
Kaoru NAKAMURA
2017/10/29 仙台IT文化祭でのスライドです。
HoloLensとさまざまなデバイス連携ドドンドーン
HoloLensとさまざまなデバイス連携ドドンドーン
Satoshi Maemoto
仙台IT文化祭登壇資料です。 #sendaiitfes #s292035
xR Tech Tokyo 登壇資料 Mixed Realityではじまるコラボレーティブ・コンピューティング
xR Tech Tokyo 登壇資料 Mixed Realityではじまるコラボレーティブ・コンピューティング
Shinya Tachihara
xR Tech Tokyo #8 のロングセッションの資料です。 Mixed Realityのおさらいと、HoloLensとImmerisive、PCを交えたコラボレーティブコンピューティングを実装した話です。
最新VR・MR技術とメタデータ「MRが実現する世界」
最新VR・MR技術とメタデータ「MRが実現する世界」
Akira Hatsune
2017/10/11 日本メタデータ協議会
HoloLens概要
HoloLens概要
Kaoru NAKAMURA
HoloLens/Windows MRの概要資料です。
.NETはインテリジェントエッジの夢を見る
.NETはインテリジェントエッジの夢を見る
Akira Hatsune
FUKUOKA .NET Conf 2017
HoloLens / Windows MR開発入門
HoloLens / Windows MR開発入門
Akira Hatsune
仙台IT文化祭 #sendaiitfes #s292033
SpectatorViewで創る伝統 x MRアートの挑戦
SpectatorViewで創る伝統 x MRアートの挑戦
Akihiro Ueyama
Tokyo HoloLens ミートアップ vol.25 https://hololens.connpass.com/event/204946/ 「SpectatorViewで創る伝統 x MRアートの挑戦」
Recommended
HoloLens概要 仙台IT文化祭
HoloLens概要 仙台IT文化祭
Kaoru NAKAMURA
2017/10/29 仙台IT文化祭でのスライドです。
HoloLensとさまざまなデバイス連携ドドンドーン
HoloLensとさまざまなデバイス連携ドドンドーン
Satoshi Maemoto
仙台IT文化祭登壇資料です。 #sendaiitfes #s292035
xR Tech Tokyo 登壇資料 Mixed Realityではじまるコラボレーティブ・コンピューティング
xR Tech Tokyo 登壇資料 Mixed Realityではじまるコラボレーティブ・コンピューティング
Shinya Tachihara
xR Tech Tokyo #8 のロングセッションの資料です。 Mixed Realityのおさらいと、HoloLensとImmerisive、PCを交えたコラボレーティブコンピューティングを実装した話です。
最新VR・MR技術とメタデータ「MRが実現する世界」
最新VR・MR技術とメタデータ「MRが実現する世界」
Akira Hatsune
2017/10/11 日本メタデータ協議会
HoloLens概要
HoloLens概要
Kaoru NAKAMURA
HoloLens/Windows MRの概要資料です。
.NETはインテリジェントエッジの夢を見る
.NETはインテリジェントエッジの夢を見る
Akira Hatsune
FUKUOKA .NET Conf 2017
HoloLens / Windows MR開発入門
HoloLens / Windows MR開発入門
Akira Hatsune
仙台IT文化祭 #sendaiitfes #s292033
SpectatorViewで創る伝統 x MRアートの挑戦
SpectatorViewで創る伝統 x MRアートの挑戦
Akihiro Ueyama
Tokyo HoloLens ミートアップ vol.25 https://hololens.connpass.com/event/204946/ 「SpectatorViewで創る伝統 x MRアートの挑戦」
SpectatorViewで新しい体験
SpectatorViewで新しい体験
Akihiro Ueyama
Tokyo HoloLens ミートアップ vol.24~HoloLens日本上陸四周年記念!~ でのLT資料 https://hololens.connpass.com/event/198999/
HoloLens 2 開発入門
HoloLens 2 開発入門
Akihiro Ueyama
2019/12/3 に行われた XR Kaigi (https://xrkaigi.com/)のコミュニティオーガナイズドセッションTokyo HoloLens Meetupの登壇内容です.
HoloLensのWorldAnchorにがんばってもらう話
HoloLensのWorldAnchorにがんばってもらう話
Akihiro Ueyama
Tokyo HoloLens Meetup特別編(5/18)のLTで話したWorldAnchorについてのTipsです. https://hololens.connpass.com/event/86546/
HoloLens RS4でWindowsML入門+Research mode実装
HoloLens RS4でWindowsML入門+Research mode実装
Akihiro Ueyama
HoloLens RS4 Preview公開記念勉強会!@アカツキ(2018/4/17)での発表資料です.
MMDAgent DAYの展示説明
MMDAgent DAYの展示説明
Akihiro Ueyama
10/1のMMDAgent DAYの展示説明で利用したスライドです. http://udialogue.org/events/MMDAgentDAY/
姫路のItイベントでのoculus体験会について
姫路のItイベントでのoculus体験会について
Akihiro Ueyama
第四回バーチャルサミット関西でのスライド
オープンテック・ショーケース・ヒメジの告知
オープンテック・ショーケース・ヒメジの告知
Akihiro Ueyama
Oculus Rift勉強会 関西でLTしたときのスライドです。
OculusGameJam 1日目中間発表「追いかけっこ」
OculusGameJam 1日目中間発表「追いかけっこ」
Akihiro Ueyama
OculusGameJam大阪会場での中間発表
オープンテック・ショーケース・ヒメジ
オープンテック・ショーケース・ヒメジ
Akihiro Ueyama
遺伝的アルゴリズムと知識蒸留による大規模言語モデル(LLM)の学習とハイパーパラメータ最適化
遺伝的アルゴリズムと知識蒸留による大規模言語モデル(LLM)の学習とハイパーパラメータ最適化
t m
オープンエンドな進化から着想を得て、個々の大規模言語モデル(LLM)が、グループとして学習を進めながら、ノームエージェントとして機能するという概念を探求しています。これは、単一のモデルでは難しい複雑な問題を解決することを目的としています。具体的な方法として、遺伝的アルゴリズムと知識蒸留を組み合わせた学習プロセスを提案しています。知識蒸留によって学習を進め、同時に遺伝的アルゴリズムでハイパーパラメータを最適化することで、より効率的な学習を目指します。ドメインタスクとして、指示からPythonコードを生成するコード生成タスクを選択しました。実験では、学習に3つの学習モデルと1つの教師モデルを使用しました。その結果、HumanEvalのpass@1で精度が1.2%向上し、学習が進むにつれて学習率が最適化された兆候が見られました。しかし、大幅な精度向上を達成し、さまざまなハイパーパラメータを最適化するには、まだ課題が残っています。
ReonHata_便利の副作用に気づかせるための発想支援手法の評価---行為の増減の提示による気づきへの影響---
ReonHata_便利の副作用に気づかせるための発想支援手法の評価---行為の増減の提示による気づきへの影響---
Matsushita Laboratory
我々はこれまで,新たなモノを産出する過程において「便利にすること」によって副次的に生じる課題を「便利の副作用」と定義し,その低減を目的としてアイディアの発想支援手法を提案してきた. これまでの研究では,便利前後の行為の増減に着目することにより便利の副作用への気づきの誘発が示唆されたものの,行為の増減の提示による便利の副作用への気づきへの影響は十分に検討できていなかった. そのため,本稿では行為の提示により便利の副作用に気づき,それを防いだアイディアの発想の支援が可能かの検証を目的として実験を行い,その有効性について検証する. 実験では,行為の増減の提示の有無によりアイディア発想にどのような影響を与えるか検証を行う.
LoRaWAN 4チャンネル電流センサー・コンバーター CS01-LB 日本語マニュアル
LoRaWAN 4チャンネル電流センサー・コンバーター CS01-LB 日本語マニュアル
CRI Japan, Inc.
LoRaWAN 4チャンネル電流センサー・コンバーター CS01-LB 日本語マニュアル
Humanoid Virtual Athletics Challenge2024 技術講習会 スライド
Humanoid Virtual Athletics Challenge2024 技術講習会 スライド
tazaki1
HVAC2024第1回 技術講習会 スライド
論文紹介:Deep Learning-Based Human Pose Estimation: A Survey
論文紹介:Deep Learning-Based Human Pose Estimation: A Survey
Toru Tamaki
Ce Zheng, Wenhan Wu, Chen Chen, Taojiannan Yang, Sijie Zhu, Ju Shen, Nasser Kehtarnavaz, Mubarak Shah, "Deep Learning-Based Human Pose Estimation: A Survey" arXiv2020 https://arxiv.org/abs/2012.13392
This is the company presentation material of RIZAP Technologies, Inc.
This is the company presentation material of RIZAP Technologies, Inc.
chiefujita1
RIZAPテクノロジーズ株式会社の会社説明資料です。
「進化するアプリ イマ×ミライ ~生成AIアプリへ続く道と新時代のアプリとは~」Interop24Tokyo APPS JAPAN B1-01講演
「進化するアプリ イマ×ミライ ~生成AIアプリへ続く道と新時代のアプリとは~」Interop24Tokyo APPS JAPAN B1-01講演
嶋 是一 (Yoshikazu SHIMA)
進化するアプリ イマ×ミライ ~生成AIアプリへ続く道と新時代のアプリとは~ 2024/6/12~14まで幕張メッセで開催されました、インターロップ併設アプリジャパンの展示会場内ROOM Bで、10:30~11:10の枠で登壇させてもらいましたセッション資料を公開します。
Generating Automatic Feedback on UI Mockups with Large Language Models
Generating Automatic Feedback on UI Mockups with Large Language Models
harmonylab
Generating Automatic Feedback on UI Mockups with Large Language Modelsを和訳紹介したものです
生成AIがもたらすコンテンツ経済圏の新時代 The New Era of Content Economy Brought by Generative AI
生成AIがもたらすコンテンツ経済圏の新時代 The New Era of Content Economy Brought by Generative AI
Osaka University
、コンテンツ制作の主体をプロのクリエーターからユーザーへと移行させている現状をご存じの方も多いでしょう。現在、画像コンテンツ制作現場では生成AIがクリエーターを支援するツールとして利用されています。セミナーでは、画像生成における自動化の境界についての議論が予定されています。 AIの利用には著作権や倫理的な問題も伴いますが、クリエーターとAIが共存し、センシング技術と統合することで新しい形のコンテンツが生み出されることが期待されています。
キンドリル ネットワークアセスメントサービスご紹介 今のネットワーク環境は大丈夫? 調査〜対策までご支援します
キンドリル ネットワークアセスメントサービスご紹介 今のネットワーク環境は大丈夫? 調査〜対策までご支援します
Takayuki Nakayama
キンドリルネットワークアセスメントサービス
More Related Content
More from Akihiro Ueyama
SpectatorViewで新しい体験
SpectatorViewで新しい体験
Akihiro Ueyama
Tokyo HoloLens ミートアップ vol.24~HoloLens日本上陸四周年記念!~ でのLT資料 https://hololens.connpass.com/event/198999/
HoloLens 2 開発入門
HoloLens 2 開発入門
Akihiro Ueyama
2019/12/3 に行われた XR Kaigi (https://xrkaigi.com/)のコミュニティオーガナイズドセッションTokyo HoloLens Meetupの登壇内容です.
HoloLensのWorldAnchorにがんばってもらう話
HoloLensのWorldAnchorにがんばってもらう話
Akihiro Ueyama
Tokyo HoloLens Meetup特別編(5/18)のLTで話したWorldAnchorについてのTipsです. https://hololens.connpass.com/event/86546/
HoloLens RS4でWindowsML入門+Research mode実装
HoloLens RS4でWindowsML入門+Research mode実装
Akihiro Ueyama
HoloLens RS4 Preview公開記念勉強会!@アカツキ(2018/4/17)での発表資料です.
MMDAgent DAYの展示説明
MMDAgent DAYの展示説明
Akihiro Ueyama
10/1のMMDAgent DAYの展示説明で利用したスライドです. http://udialogue.org/events/MMDAgentDAY/
姫路のItイベントでのoculus体験会について
姫路のItイベントでのoculus体験会について
Akihiro Ueyama
第四回バーチャルサミット関西でのスライド
オープンテック・ショーケース・ヒメジの告知
オープンテック・ショーケース・ヒメジの告知
Akihiro Ueyama
Oculus Rift勉強会 関西でLTしたときのスライドです。
OculusGameJam 1日目中間発表「追いかけっこ」
OculusGameJam 1日目中間発表「追いかけっこ」
Akihiro Ueyama
OculusGameJam大阪会場での中間発表
オープンテック・ショーケース・ヒメジ
オープンテック・ショーケース・ヒメジ
Akihiro Ueyama
More from Akihiro Ueyama
(9)
SpectatorViewで新しい体験
SpectatorViewで新しい体験
HoloLens 2 開発入門
HoloLens 2 開発入門
HoloLensのWorldAnchorにがんばってもらう話
HoloLensのWorldAnchorにがんばってもらう話
HoloLens RS4でWindowsML入門+Research mode実装
HoloLens RS4でWindowsML入門+Research mode実装
MMDAgent DAYの展示説明
MMDAgent DAYの展示説明
姫路のItイベントでのoculus体験会について
姫路のItイベントでのoculus体験会について
オープンテック・ショーケース・ヒメジの告知
オープンテック・ショーケース・ヒメジの告知
OculusGameJam 1日目中間発表「追いかけっこ」
OculusGameJam 1日目中間発表「追いかけっこ」
オープンテック・ショーケース・ヒメジ
オープンテック・ショーケース・ヒメジ
Recently uploaded
遺伝的アルゴリズムと知識蒸留による大規模言語モデル(LLM)の学習とハイパーパラメータ最適化
遺伝的アルゴリズムと知識蒸留による大規模言語モデル(LLM)の学習とハイパーパラメータ最適化
t m
オープンエンドな進化から着想を得て、個々の大規模言語モデル(LLM)が、グループとして学習を進めながら、ノームエージェントとして機能するという概念を探求しています。これは、単一のモデルでは難しい複雑な問題を解決することを目的としています。具体的な方法として、遺伝的アルゴリズムと知識蒸留を組み合わせた学習プロセスを提案しています。知識蒸留によって学習を進め、同時に遺伝的アルゴリズムでハイパーパラメータを最適化することで、より効率的な学習を目指します。ドメインタスクとして、指示からPythonコードを生成するコード生成タスクを選択しました。実験では、学習に3つの学習モデルと1つの教師モデルを使用しました。その結果、HumanEvalのpass@1で精度が1.2%向上し、学習が進むにつれて学習率が最適化された兆候が見られました。しかし、大幅な精度向上を達成し、さまざまなハイパーパラメータを最適化するには、まだ課題が残っています。
ReonHata_便利の副作用に気づかせるための発想支援手法の評価---行為の増減の提示による気づきへの影響---
ReonHata_便利の副作用に気づかせるための発想支援手法の評価---行為の増減の提示による気づきへの影響---
Matsushita Laboratory
我々はこれまで,新たなモノを産出する過程において「便利にすること」によって副次的に生じる課題を「便利の副作用」と定義し,その低減を目的としてアイディアの発想支援手法を提案してきた. これまでの研究では,便利前後の行為の増減に着目することにより便利の副作用への気づきの誘発が示唆されたものの,行為の増減の提示による便利の副作用への気づきへの影響は十分に検討できていなかった. そのため,本稿では行為の提示により便利の副作用に気づき,それを防いだアイディアの発想の支援が可能かの検証を目的として実験を行い,その有効性について検証する. 実験では,行為の増減の提示の有無によりアイディア発想にどのような影響を与えるか検証を行う.
LoRaWAN 4チャンネル電流センサー・コンバーター CS01-LB 日本語マニュアル
LoRaWAN 4チャンネル電流センサー・コンバーター CS01-LB 日本語マニュアル
CRI Japan, Inc.
LoRaWAN 4チャンネル電流センサー・コンバーター CS01-LB 日本語マニュアル
Humanoid Virtual Athletics Challenge2024 技術講習会 スライド
Humanoid Virtual Athletics Challenge2024 技術講習会 スライド
tazaki1
HVAC2024第1回 技術講習会 スライド
論文紹介:Deep Learning-Based Human Pose Estimation: A Survey
論文紹介:Deep Learning-Based Human Pose Estimation: A Survey
Toru Tamaki
Ce Zheng, Wenhan Wu, Chen Chen, Taojiannan Yang, Sijie Zhu, Ju Shen, Nasser Kehtarnavaz, Mubarak Shah, "Deep Learning-Based Human Pose Estimation: A Survey" arXiv2020 https://arxiv.org/abs/2012.13392
This is the company presentation material of RIZAP Technologies, Inc.
This is the company presentation material of RIZAP Technologies, Inc.
chiefujita1
RIZAPテクノロジーズ株式会社の会社説明資料です。
「進化するアプリ イマ×ミライ ~生成AIアプリへ続く道と新時代のアプリとは~」Interop24Tokyo APPS JAPAN B1-01講演
「進化するアプリ イマ×ミライ ~生成AIアプリへ続く道と新時代のアプリとは~」Interop24Tokyo APPS JAPAN B1-01講演
嶋 是一 (Yoshikazu SHIMA)
進化するアプリ イマ×ミライ ~生成AIアプリへ続く道と新時代のアプリとは~ 2024/6/12~14まで幕張メッセで開催されました、インターロップ併設アプリジャパンの展示会場内ROOM Bで、10:30~11:10の枠で登壇させてもらいましたセッション資料を公開します。
Generating Automatic Feedback on UI Mockups with Large Language Models
Generating Automatic Feedback on UI Mockups with Large Language Models
harmonylab
Generating Automatic Feedback on UI Mockups with Large Language Modelsを和訳紹介したものです
生成AIがもたらすコンテンツ経済圏の新時代 The New Era of Content Economy Brought by Generative AI
生成AIがもたらすコンテンツ経済圏の新時代 The New Era of Content Economy Brought by Generative AI
Osaka University
、コンテンツ制作の主体をプロのクリエーターからユーザーへと移行させている現状をご存じの方も多いでしょう。現在、画像コンテンツ制作現場では生成AIがクリエーターを支援するツールとして利用されています。セミナーでは、画像生成における自動化の境界についての議論が予定されています。 AIの利用には著作権や倫理的な問題も伴いますが、クリエーターとAIが共存し、センシング技術と統合することで新しい形のコンテンツが生み出されることが期待されています。
キンドリル ネットワークアセスメントサービスご紹介 今のネットワーク環境は大丈夫? 調査〜対策までご支援します
キンドリル ネットワークアセスメントサービスご紹介 今のネットワーク環境は大丈夫? 調査〜対策までご支援します
Takayuki Nakayama
キンドリルネットワークアセスメントサービス
Recently uploaded
(10)
遺伝的アルゴリズムと知識蒸留による大規模言語モデル(LLM)の学習とハイパーパラメータ最適化
遺伝的アルゴリズムと知識蒸留による大規模言語モデル(LLM)の学習とハイパーパラメータ最適化
ReonHata_便利の副作用に気づかせるための発想支援手法の評価---行為の増減の提示による気づきへの影響---
ReonHata_便利の副作用に気づかせるための発想支援手法の評価---行為の増減の提示による気づきへの影響---
LoRaWAN 4チャンネル電流センサー・コンバーター CS01-LB 日本語マニュアル
LoRaWAN 4チャンネル電流センサー・コンバーター CS01-LB 日本語マニュアル
Humanoid Virtual Athletics Challenge2024 技術講習会 スライド
Humanoid Virtual Athletics Challenge2024 技術講習会 スライド
論文紹介:Deep Learning-Based Human Pose Estimation: A Survey
論文紹介:Deep Learning-Based Human Pose Estimation: A Survey
This is the company presentation material of RIZAP Technologies, Inc.
This is the company presentation material of RIZAP Technologies, Inc.
「進化するアプリ イマ×ミライ ~生成AIアプリへ続く道と新時代のアプリとは~」Interop24Tokyo APPS JAPAN B1-01講演
「進化するアプリ イマ×ミライ ~生成AIアプリへ続く道と新時代のアプリとは~」Interop24Tokyo APPS JAPAN B1-01講演
Generating Automatic Feedback on UI Mockups with Large Language Models
Generating Automatic Feedback on UI Mockups with Large Language Models
生成AIがもたらすコンテンツ経済圏の新時代 The New Era of Content Economy Brought by Generative AI
生成AIがもたらすコンテンツ経済圏の新時代 The New Era of Content Economy Brought by Generative AI
キンドリル ネットワークアセスメントサービスご紹介 今のネットワーク環境は大丈夫? 調査〜対策までご支援します
キンドリル ネットワークアセスメントサービスご紹介 今のネットワーク環境は大丈夫? 調査〜対策までご支援します
MixedReality250から見るHoloLensとImmersiveヘッドセットの連携
1.
Academy250から見る HoloLensとWindowsMR デバイスの連携 上山 晃弘 (株式会社ホロラボ)
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
Academy250から見る HoloLensとWindowsMR デバイスの連携 上山 晃弘 (株式会社ホロラボ)
14.
Academy250から見る HoloLensとWindowsMR デバイスの連携 上山 晃弘 (株式会社ホロラボ) Mixed
Reality Immersiveヘッドセット
15.
自己紹介 • 上山 晃弘 •
株式会社ホロラボ プログラマー • HoloLensのアプリ開発を仕事と趣味でしてます • 好きなことしてます • Twitter : @akihiro01051 • 2016年4月 社会人になる • 2017年3月 ホロラボに転職
16.
目次 • MRの確認 • HoloLensの特徴 •
Immersiveヘッドセットの特徴 • 開発したい • Academyの紹介 • MixedRealityToolkitの紹介 • 連携させたい • Mixed Reality250の紹介 • 利用技術の説明 • 複数の人に見せたい • SpectatorViewの紹介
17.
MixedReality(MR)の確認 • MRの定義 • Virtual
Reality(VR) : 没入型体験 • Augmented Reality(AR) : 拡張型体験 • Mixed Reality(MR) : VR,ARを含めた新しい現実体験
18.
• HoloLensとWindows MRデバイスの位置 •
https://developer.microsoft.com/en-us/windows/mixed-reality/mixed_reality
19.
HoloLensとImmersiveヘッドセットの確認
20.
HoloLensの特徴 • シースルー表示 • 透けて見える •
スタンドアロン動作 • どこまでも動ける • ジェスチャーを認識 • 頭にかぶるだけ • SpatialMapping利用 • オクルージョンできる
21.
現実世界とリンクさせた体験が面白い
22.
• つらい点 • 視野角が狭い •
大きいオブジェクトはつらい • まぶしい環境では表示物が見えない • 外がつらい(特に夏) • 重量がある • 長時間はつらい • CPUの性能は非力 • ハイポリモデルはつらい
23.
Immersiveヘッドセットの特徴 • インサイドアウト型 • 外部カメラ不要 •
モーションコントローラー付属 • 良いとこ取り • EdgeのWebVR機能に対応 • ブラウザからすぐに体験 • つなげば動く • USBとHDMIだけで楽
24.
手軽に現実空間と切り離された体験が面白い
25.
• いまいちな点 • デバイスのみではビデオシースルーできない •
別途カメラがあればできるかも • Spatialmapping利用不可 • 外の障害物が見えない • 酔いやすい(コンテンツによる) • 酔いやすい(コンテンツによる)
26.
コンテンツを作りたいけど作り方がわからない
27.
• 開発環境 • Windows10
Fall Creatores Update(1709) • Visual Studio 2017 • Unity 2017.2.0f3
28.
Academy https://developer.microsoft.com/ja- jp/windows/mixed-reality/academy
29.
• Holograms 100 •
Unityでの開発方法 • Holograms 101E • HoloLensエミュレーターでの動作方法 • Holograms 101 • HoloLens実機上での動作方法
30.
• Holograms 210 •
Gaze機能の実装 • Holograms 211 • Gesture機能の実装 • Holograms 212 • 音声認識機能の実装
31.
• Holograms 220 •
空間音響機能の実装 • Holograms 230 • Spatial mapping機能の実装 • Holograms 240 • Sharing機能の実装
32.
• Mixed Reality
213(未) • モーションコントローラーの利用 • Mixed Reality 250 • HoloLensとImmersiveヘッドセットの連携
33.
MixedRealityToolkitの紹介 • HoloLensとImmersiveヘッドセットの開発をサポート • https://github.com/Microsoft/MixedRealityToolkit-Unity
34.
• HoloLens,Immersiveヘッドセットで利用できる機能 Input Sharing Spatial
Sound UX Controls Utilities Build
35.
• HoloLensのみ利用可能 Spatial Mapping
Spatial Understanding • Immersiveヘッドセットのみ利用可能 Boundary • AcademyでもMRTKを利用
36.
HoloLensとImmersiveヘッドセットを 連携させたコンテンツを作りたい
37.
Mixed Reality250の紹介 • HoloLensとImmersiveヘッドセットを連携 •
https://developer.microsoft.com/en-us/windows/mixed-reality/mixed_reality_250
38.
• Chapter1-5に沿ってオブジェクトを配置すれば完成
39.
• Immersiveヘッドセットがプレイヤー • HoloLensは俯瞰視点で観察 •
プレイヤーは発射場まで移動 • 扉のロックを開いてシャトルを発射
40.
Mixed Reality250で利用された機能を知りたい
41.
• Spatialmapping • WorldAnchor •
Input • Sharing • デバイス切り分け • Log出力
42.
Spatialmapping
43.
• HoloLensが認識した現実世界の形状をUnityで取得 • MRTKから手軽に利用可能 •
現実世界の障害物に3Dモデルが遮られる表現が可能
44.
• Unityで利用 • MRTKのSpatialmappingで簡単に利用可能 •
SpatialMappingManager.cs • 取得開始 • StartObserver() • 停止 • StopObserver()
45.
• つらいところ • 自動でColliderが挿入される •
壁の向こう側のオブジェクトに触れない
46.
Spatialmappingに当たり判定つけたくない
47.
• SpatialmappingにColliderをつけない方法 • MRTKのSpatialMappingから •
SpatialMappingSource.cs 116行目の後に • surfaceObject.Collider.enabled = falseでColliderを無効化する • ただし • Mixed Reality250にはsurfaceObject.Colliderは無いです
48.
• HoloLensが周囲の形状(Spatialmapping)からオブジェクトの位 置を補正する機能 • ホーム画面のウィンドもWorldAnchor利用 WorldAnchor
49.
• デバイスポータルから確認可能
50.
• Unityでの利用 • Worldanchor取得 •
WorldAnchorStore.GetAsync()よりWorldAnchorStore取得 • 検索 • WorldAnchorStoreのGetAllIds()より登録したAnchorの名前を検索 • 復帰 • WorldAnchorStoreから登録された名前をLoad() • WorldAnchorがアタッチされたGameObjectの位置が復帰 • 登録 • GameObjectにWorldAnchorをアタッチ • 名前とアタッチされたWorldAnchorをWorldAnchorStoreにSave() • 再起動後でも復帰処理でしっかり再設置
51.
• 移動 • 一旦WorldAnchorStoreから対象の名前をDelete() •
移動後に再度登録を行う • 削除 • WorldAnchorStoreから対象の名前をDelete() • すべてのWorldAnchorを削除する場合はWorldAnchorStoreをClear()
52.
• つらいところ • 埋まる •
認識がずれる場合あり • 例 部屋の対角から起動した場合 • Mixed Reality250の島は3m先 • 部屋はそんなに広くない
53.
• Sharing時のWorldAnchor位置合わせ • Worldanchor設置時の情報を他のHoloLensに共有 •
Anchor周辺の形状情報 • 受信したHoloLensは受信情報と自分の形状情報から再設置を行 う • 一番近い形状情報の位置に設置
54.
うまくいかない
55.
• 原因 • 送信に失敗する •
Anchor周辺の形状情報の変換に失敗 • 受信に失敗する • 形状情報の復元に失敗 • 各HoloLensが認識している形状が異なる • 人や物の位置,自分の位置も異なる • 再設置に失敗する • 形状の似た全然違う場所に設置されてしまう
56.
簡単に位置合わせしたい
57.
• 位置共有には画像認識がいい • Vuforiaのマーカー認識 •
位置,方向が取得可能 • Unity 2017.2から標準で利用可能 • マルチプラットフォーム対応 • 各HoloLensが固定されたマーカーを認識 • マーカーを基準点として共有オブジェクトを配置 • 基準点からの相対位置の共有で位置合わせができる
58.
Input • HoloLensはハンドジェスチャー • ImmersiveヘッドセットはXboxコントローラーのボタン
59.
もっと細かくInputを取りたい
60.
実は • HoloLensのハンドジェスチャー • ハンドトラッキングできる •
AirTapの認識が可能 • 両手もいける • Immersiveヘッドセットのモーションコントローラー • コントローラーのポジショントラッキングもできる • もちろん両手も • ボタン入力も取得可能 • Unityでの利用 • 共通関数で利用可能
61.
• InteractionManagerに各イベントを登録することで取得可能 • InteractionSourceDetected •
手の認識開始すると呼ばれる • InteractionSourceUpdated • 手を認識していると呼ばれる • InteractionSourceLost • 手をロストすると呼ばれる • InteractionSourcePressed • AirTap (ボタン押下)すると呼ばれる • InteractionSourceReleased • AirTap (ボタン押下)をやめると呼ばれる
62.
• ただし • HoloLensのハンドジェスチャー •
人差し指を立てた状態でないと認識しない • Immersiveヘッドセットのモーションコントローラー • 途中で接続を切ってもわからない • Unity上ではコントローラーはロストしない(HoloLensとは異なる) • Unity2017.2からnamespaceから大きく変更されている • 関数名と引数が変更になってた • UnityEngine.VR.WSA.Input → UnityEngine.XR.WSA.Input
63.
Sharing • MRTKではUNETとSharingServerを利用 • Mixed
Reality250ではUNETを利用 • 各デバイスの位置とアクションの共有を行っている
64.
• UNET • Unityが提供 •
ルーム作成,マッチグ,gameobject共有など多彩な機能を提供 • 外部サーバーを不要にできる • 通信しているデバイスの一台がサーバーの代わりになる • マルチプラットフォームで利用可能
65.
• Sharing Server •
MRTKが提供 • サーバーを必要とする • SharingService.exeでサーバー起動 • 標準でオブジェクトの位置や音声が共有可能
66.
自前で実装したい
67.
• 自前で実装する場合 • HoloLens,
Immersiveヘッドセット以外でも動かしたい • スタンドアロン(.exe),Editor実行とか • Thread内,Task内で通信したい • 細かい通信制御をしたい • C#実装でもUWPは利用できる関数が異なる
68.
• TCP • UWP以外 •
TcpClientとTcpListnerで実装 • Threadで制御可能 • UWP • StreamSocketとStreamSocketListenerで実装 • Taskで制御可能 • UDP • UWP以外 • UdpClientで実装可能 • Threadで制御可能 • UWP • DatagramSocketで実装可能 • Taskで制御可能
69.
デバイスの切り分け • UWPではtaskが使える • Unity5.x系ではtaskが使えない •
UnityのBuildSettingからPlatformをUWPにするとMixedReality ポータルが立ち上がってしまう • Editor上で手軽に確認したい • Editor上で動作してUWP上で動作しない関数がある • UWP上で動作してEditor上で動作しない関数がある
70.
• HoloLensとImmersiveヘッドセットの切り分け • Mixed
Reality250のskyboxの切り替え • HoloLensはsolidの黒を適応, Immersiveヘッドセットはskybox適応 • MixedRealityCameraManager.cs 55行目 • HolographicSettings.IsDisplayOpaque • trueならWindows MRデバイス • falseならHoloLens
71.
スタンドアロンでも動かしたい
72.
• UWPとUWP以外の切り分け • #defineで切り分け •
UNITY_UWP • UNITY_STANDALONE • UNITY_EDITOR • 組み合わせて動作させたい環境にあわせる #if UNITY_EDITOR Unity Editorで動作させたい処理 #elif UNITY_STAMDALONE スタンドアロンビルド時に動作させたい処理 #elif UNITY_UWP UWPアプリの時に動作させたい処理 #else それ以外で動作させたい処理 #endif
73.
Logを確認したい • Unity内でのlogの取得 • BasicSharingStatus.cs
28行目 • Application.logMessageReceivedThreaded • 関数登録でlogイベントを受け取る • 取得できる引数は • string Message : ログの文字列 • string stack : スタックトレース • LogType logType : ログのタイプ(errorとかwarning)
74.
複数の人にMixed Realityを見せたい
75.
SpectatorView • HoloLensと連携することで第三者に表示物を共有 • 高品質のカメラをパソコンと接続し映像を合成 •
https://developer.microsoft.com/ja-jp/windows/mixed-reality/spectator_view
76.
• Unity Editor上で動作 •
Sharingが必要 • カメラとHoloLensを固定 • カメラとHoloLens相対位置を測定 • カメラの映像をパソコンで取得 • カメラに固定されたHoloLensの位置情報を取得 • 測定されたカメラとHoloLensの相対位置からカメラから見たUnity映像を 作成 • カメラの映像とUnity映像を合成 • https://github.com/Microsoft/MixedRealityCompanionKit/tree/master/SpectatorView
77.
• つらいところ • カメラとビデオキャプチャーの相性がある •
キャリブレーションが失敗する • Unity Editor上でしか動作しない • HoloLensとwifi接続のためカメラを動かすとUnity映像がずれる • バージョンが安定しない • 動作が安定しない • 公式パッケージではWindows MRデバイスは想定されていない
78.
まとめ • HoloLens, Immersiveヘッドセットの開発はAcademyで確認 •
Mixed Reality250でデバイス連携を手軽に確認できる • デバイスの連携には複数の技術を組み合わせる必要がある • MRTKは便利
Download now