Mixed Reality関連のSDKの状況を調べてみた

takabrz1 大阪駆動開発 Takahiro Miyaura
Mixed Reality関連のSDKの状況を
調べてみた
2021/07/21
XR ミーティング

宮浦恭弘 (Miyaura Takahiro)
 大阪駆動開発コミュニティに生息
 HoloLens日本販売してからXR系技術に取組む
 普段はよくMixed Reality Toolkitに関する調査している
 新しい技術や、MRに使えそうな技術を調べる
技術Tips : https://qiita.com/miyaura
@takabrz1 ※よかったらこれを機にお知り合いになってください
 リリース機能調べたり・・・
 面白い機能使ってみたり・・・
 新しい実験してフィードバックしたり・・・
最近はこちらに
Come Back気味
（貢献領域：Mixed Reality）
Microsoft MVP for Windows Development 2018-202 2
某会社でSE(アプリケーション領域のアーキテクト的なお仕事なはず）＝ XRは趣味です
と思ったらDigital Twins

お題：
Mixed Reality関連のSDKの状況を調べてみた
最近SDK周りの調査を忘れていた・・・
Copyright © 2021 Takahiro Miyaura
2021/7/21

リストはこれをベースにしました
Microsoft Mixed Reality Feature Tool
2021/7/21 Copyright © 2021 Takahiro Miyaura
1. Unityプロジェクト作成後に利用
2. 使いたいMR系SDKを選択
3. インポート
4. (ﾟдﾟ)ｳﾏｰ
Unity用のSDKをインポートできる便利ツール

折角なので概要も交えて紹介
最近は便利なものがいっぱい増えてましたね
 それぞれのSDK紹介
 トピックがあればそれも紹介
6つのカテゴリ

Azure Mixed Reality Services
Azue系のMixed Realityサービス用のSDK

クラウド上で提供されるサービスを利用
 Microsoft Azure Object Anchors
 Microsoft Azure Remote Rendering
 Microsoft Azure Spatial Anchors
3つのSDK

Microsoft Azure Object Anchors
3Dモデルを使用して現実環境の物体検知＆6DoF推定
https://github.com/Azure/azure-object-anchors
https://docs.microsoft.com/ja-jp/azure/object-anchors/?WT.mc_id=MR-MVP-5003104
 Object Anchors Runtime SDK
 物体検知用SDK
 最新は0.12.0
 Object Anchors Conversion SDK
 Azure Service上で3Dモデル変換用SDK
 最新は0.3.0-beta.1
SDKの概要
引用元:Microsoft, Azure Object Anchorsの概要, https://docs.microsoft.com/ja-jp/azure/object-anchors/overview, 2021/03/02(閲覧日:2021/07/21)
Object Anchors Runtime SDK V0.11.0でHoloLensのLED点灯を制御
（PGでいじれるんだ・・・）
トピック

Microsoft Azure Remote Rendering
Azure上でレンダリングしストリーミング配信
https://github.com/Azure/azure-remote-rendering
https://docs.microsoft.com/ja-jp/azure/remote-rendering/?WT.mc_id=MR-MVP-5003104
高品質でインタラクティブな3Dコンテ
ンツをクラウド上でレンダリングしス
トリーミング配信
概要
引用元:Microsoft, Azure Remote Renderingについて, https://docs.microsoft.com/ja-jp/azure/remote-rendering/overview/about, 2020/02/05(閲覧日:2021/07/21)
SDK 1.0.15でOpenXRをサポート
トピック

Microsoft Azure Spatial Anchors
現実環境内でデジタルコンテンツの位置合わせを実現
https://github.com/Azure/azure-remote-rendering
https://docs.microsoft.com/ja-jp/azure/spatial-anchors/?WT.mc_id=MR-MVP-5003104
 現実空間の地点にコンテンツを固定
 複数のデバイスで共有が可能
 HoloLens
 iOS
 Android
概要
引用元:Microsoft, Azure Spatial Anchorsの概要, https://docs.microsoft.com/ja-jp/azure/spatial-anchors/overview, 2020/11/20(閲覧日:2021/07/21)
SDK 2.10.0でOpenXRに対応
SDK 2.7.0より古いライブラリは動かない（署名の問題）
トピック

Mixed Reality Toolkit
いつものあれですね！

様々なxRデバイスに対応できるクロスプラットフォームライブラリ
 Mixed Reality Toolkit
 Examples
 Extensions
 Foundation
 Standard Assets
 Tools
 GPU Stats
 Microphone Stream Selector
 Plane Finding
 Test Utilities
大きくは4つの部品群

クロスプラットフォーム開発可能なxR向けライブラリ
https://github.com/microsoft/MixedRealityToolkit-Unity
https://docs.microsoft.com/ja-jp/windows/mixed-reality/mrtk-unity/?view=mrtkunity-2021-05&WT.mc_id=MR-MVP-5003104
 最新は V2.7.2
(Feature Toolからはv2.6.2が落とせる)
 様々なデバイスへの対応
 HoloLens/HoloLens 2
 Mobile Devices
 VR HMD
 more…
 組込み済みUX部品
概要
引用元:Microsoft, Mixed Reality Toolkitとは, https://docs.microsoft.com/ja-jp/windows/mixed-reality/mrtk-unity, 2021/03/03(閲覧日:2021/07/21)
V2.7.0からはOpen XRに正式対応
コンフィギュレータの設定方法がとても便利になった
トピック

V2.7.2のConfigurator
以前は手作業と合わせて必要だった部分がUIだけでできる
 従来からあった設定
 Player – XR Settingsで設定
 HoloLensの場合はWinMRのSDKをセッ
ト
Legacy XR(recommended)
 これからのXR
 XR Plugin Managementで設定
XR SDK/XR Management
いずれかを選択するとプラグインが自動でセットアップされる！
ポイント！

V2.7.2のConfigurator
以前は手作業と合わせて必要だった部分がUIだけでできる
Legacy XR(recommended)の時
XR SDK/XR Managementの時

残りはまとめて
開発を支援するツールやライブラリ
 GPU Stats
 フレームレートやVRAM等のGPUに関する情報アクセスを支援するライブラリ
 Microphone Stream Selector
 Windows 10アプリからマイクの音声ストリーミングを支援するライブラリ
 Plane Finding
 空間マッピングで利用する平面検出ライブラリ
 Test Utilities
 UI操作（ハンドトラッキング等）をスクリプト化して自動テストを可能にするライ
ブラリ

Platform Support

Platform Support
HoloLensで活用できるプラットフォームライブラリ
 Mixed Reality Scene Understanding
 Mixed Reality WinRT Projections
2つのSDK

Mixed Reality Scene Understanding
空間のシーンを分析して可視化する
https://github.com/microsoft/MixedReality-SceneUnderstanding-Samples
https://docs.microsoft.com/ja-jp/windows/mixed-reality/develop/platform-capabilities-and-apis/scene-understanding-sdk?WT.mc_id=MR-MVP-5003104
 HoloLensで認識したある空間を分析
 壁や床といった特徴物を部類/可視化
概要
引用元: Microsoft Developer, Digitizing the physical world: An intro to Mixed Reality Scene Understanding, https://www.youtube.com/watch?v=Pcmo0PPB9eI, 2020/11/20(閲覧日:2021/07/21)

Mixed Reality WinRT Projections
Windows SDKの一部のラッピングライブラリ
https://docs.microsoft.com/ja-jp/windows/mixed-reality/develop/unity/using-the-windows-namespace-with-unity-apps-for-hololens /?WT.mc_id=MR-MVP-5003104
 .NET Standardと互換性のあるWindows SDKのサブセット
 以下の名前空間配下のWindows SDKの機能を利用できる
 Windows.UI.Input.Spatial
 視線、ハンドジェスチャー、モーションコントローラ、音声などの状況を取得/活用できる
 Windows.Perception
 ユーザーの周囲の表面やホログラムに対するデバイスの位置を特定し、推論することができる

Spatial Audio
空間音響機能
いわゆる音源との位置関係等で音を減衰させたりするあれです

Spatial Audio
機能紹介のみ
HoloLens, Windows Mixed Reality向け空間音響ライブラリ
https://github.com/microsoft/spatialaudio-unity
https://docs.microsoft.com/ja-jp/windows/mixed-reality/develop/unity/spatial-sound-in-unity/?WT.mc_id=MR-MVP-5003104
 Microsoft Spatializer
 実質のデファクト
 実行コストが低
 HoloLens 2ではハードウェアアクセラ
レーターが効く
 （参考）MS HRTF Spatializer
 下位互換用
 実行コスト高
概要

World Locking Tools
広域で現実空間とデジタルコンテンツの位置関係を維持する

World Locking Tools
広域な空間を扱うコンテンツで位置精度を保つためのSDK
https://github.com/microsoft/MixedReality-WorldLockingTools-Unity
https://microsoft.github.io/MixedReality-WorldLockingTools-Unity/README.html
 Microsoft.MixedReality.Unity.Frozen
World.Engineのラッパー
 利用者の移動を伴うコンテンツ等
 最新版はV1.4.0
 V1.3.5との下位互換性あり
概要
Azure Spatial Anchorsとの連携が可能に（サンプルあり）
HoloLens, Andoroid, iOSに対応、Open XRも対応済
トピック

Other Features
その他の“文字通り”便利な部品

Other features
そのほかの便利なツールたち
 Mixed Reality Input
 Microsoft Mixed Reality モーションコン
トローラの入力にアクセスできるSDK
 Mixed Reality WebRTC
 Mixed Reality でWebRTCを実現するため
のSDK
2つのSDK

まとめ
Mixed Reality 関連のライブラリを改めて確認
 大半のSDKがOpen XR対応
 以前は一部のみOpenXR対応だったためバージョンそろえるのが大変だった
 それぞれの部品が連携して活用できるようになっている
 ほとんどのSDKのサンプルはMRTKを利用
 World Locking Tools × Azure Spatial Anchors等よく使いたくなる組合せ
便利でかつ面白い部品が色々あるので使えるものは使ってコンテンツ開発を楽しめる！

大阪駆動開発
関西を中心に、IT系のおもしろそうなことを楽しんでやるコミュニティ

Mixed Reality関連のSDKの状況を調べてみた

More Related Content

What's hot

Similar to Mixed Reality関連のSDKの状況を調べてみた

More from Takahiro Miyaura

Mixed Reality関連のSDKの状況を調べてみた