HoloLensで仮想と現実をMixする方法

HoloLensで仮想と現実をMixする方
法
株式会社ホロラボ

自己紹介
Copyright© HoloLab Inc. 2020 All rights reserved 2
• Twitter : akihiro01051
• ホロラボ
• Microsoft MVP(Windows Mixed Reality)
• MixedRealityな技術を使っていろいろ作って
る
•

もっとMixedなRealityを作りた
い！

MixedRealityなコンテンツを作るために
• 地面の上に綺麗にモデルを配置したい
• 床や椅子の上にモデルを配置したい
• 動く物体をトラッキングしたい
• 特定の物を認識してモデルを配置したい
• 複数人で同じモデルを見て操作したい
• 自分の見ているものを他の視点から見たい
• 複数のプラットフォームで動くようにしたい

固定
- 現実空間の形状認識
- 現実空間とデバイスの位置合わせ
共有
- デバイス間での位置合わせ
- 異なるプラットフォーム間での位置合わせ

現実空間に固定したい

Webカメラベース位置合わせ
• Webカメラから取得した画像処理ライブラリを利用して現実の位置を認識
• OpenCV
• Vuforia
• VisionLibなど
• カメラが付いているデバイスで利用できる(Windows,iOS,Android)
• 機能例
• マーカー認識(画像，QRコード)
• 3Dオブジェクト認識
• 空間エリア認識
• デバイス間位置合わせ
• デバイスのカメラ性能に認識性能が依存
• HoloLensではカメラ使用時に描画FPSが30に制限

QRコード位置合わせ
• HoloLens 2 の環境認識カメラを利用
• Webカメラよりも広範囲を認識できる
• Webカメラを利用しないので描画FPS低下が起こらない
• OS提供の機能なのでHome画面からでも利用できる
• 他デバイスで表示したQRコードでデバイス間位置合わせが可能
• 認識できるQRコードのサイズが5cm以上必要
• QRコードの認識更新速度は遅い
• 移動するQRコードのリアルタイムトラッキングには不向き
• https://docs.microsoft.com/ja-jp/windows/mixed-reality/develop/platform-capabilities-and-apis/qr-code-tracking

World Anchor
• HoloLens 独自の空間アンカー
• OS機能として提供
• 現実空間に3Dモデルを固定
• Wifiのアクセスポイントで空間の復帰が可能
• アプリの再起動でも自動復帰可能
• 初回の設置は別手法で行う必要あり
• WorldAnchorをそのまま他のHoloLens，デバイスと共有は難しい
• WorldAnchorを変換することでアンカーの共有が可能
• 例 : Azure Spatial Anchors
• https://docs.microsoft.com/ja-jp/windows/mixed-reality/design/spatial-anchors

Azure Object Anchors
• HoloLens 2 の独自機能
• 3Dモデルから現実のオブジェクトを認識，位置合わせを行う
• 3Dモデルを Azure で学習させ，学習済みデータをHoloLensで利用
• 詳しくは16日のMRDevDaysJPの「セッション 7: Azure Object Anchors」
• https://microsoft-events.connpass.com/event/187143/
• https://www.microsoft.com/ja-jp/events/azurebase/blog/azure-object-anchors-is-now-in-private-preview/

見ている物を共有したい

Sharing
• デバイス同士をWifiネットワークで接続してコンテンツの共有，同期を行う
• ネットワークライブラリを利用することで簡単に実装可能(Photon,Unet,Mirrorとか)
• 異なるデバイス間での利用が可能
• 共有するデバイス全てに同じコンテンツを入れておく必要がある
• デバイス間，現実との位置合わせは別途行う必要がある
• 位置合わせ，トラッキングには各デバイス固有の機能を利用する必要がある
• https://docs.microsoft.com/ja-jp/windows/mixed-reality/develop/unity/tutorials/mr-learning-sharing-01

Azure Spatial Anchors
• Azure を介した複数デバイス間の位置合わせサービス
• HoloLens,iOS,Androidをサポート
• デバイス固有のアンカー機能,Wifi,GPSを組み合わせることが可能
• HoloLens，iOSのARKit，AndroidのARCoreのアンカー機能を統一的に利用できる
• 複数デバイスの現実空間との位置合わせを行う機能なので，内容の共有は別途実装
• 空間固定用のアンカーの永続化には別途ストレージへの保存，読み込み処理が必要
• https://azure.microsoft.com/ja-jp/services/spatial-anchors/

Spectator View
• HoloLens で見ているオブジェクトを第三者視点から見ることができる
• HoloLens,iOS,Androidデバイス対応
• スマートフォン(iPhone,Android)から簡単第三者視点
• 位置合わせはQRコード，Azure Spatial Anchorsが利用可能
• SpectatorView側(スマホ側)では表示オブジェクトのリソースのみ必要
• リソース = Meshデータ，音声，テクスチャ，シェーダーなど
• 制御のためのスクリプトはHoloLens側のみで動作可能
• リソースの変更が無ければSpectatorView側は変更の必要なし
• SpectatorView側(スマホ側)は見るだけ
• https://docs.microsoft.com/ja-jp/windows/mixed-reality/develop/platform-capabilities-and-apis/spectator-view

組み合わせ例

まとめ
• 現実とのMixのポイント
• 利用デバイスの構成を知る
• 利用デバイスの機能を知る
• 利用される現実環境を知る
•最高の体験を創り上げよう！

HoloLensで仮想と現実をMixする方法

HoloLensで仮想と現実をMixする方法

Recommended

Recommended

More Related Content

Featured

Featured (20)

HoloLensで仮想と現実をMixする方法