XRミーティング 2020/04/15登壇資料。 Azure Remote RenderingがPublic Previewとなったため、昨日調査を実施しその内容を共有。 HoloLens 2実機の代わりにHoloLens 2 Emulator上での動作検証も併せて実施。 https://youtu.be/0925wH0oETE

1. takabrz1 大阪駆動開発 Takahiro Miyaura
Azure Remote Renderingについて
～ 概要(まずはQuick Start) ～

2. 宮浦 恭弘 (Miyaura Takahiro)
 大阪駆動開発コミュニティに生息
 HoloLens日本販売してからXR系技術に取組む
 HoloLens系技術Tipsを公開し続けた結果、よく知っている人扱いを受ける。
 Mixed Reality Toolkit(以降MRTK)のTipsが比較的多めで、普段(?)からよく
(?)MRTKの調査などを行っているうちにMRTKに詳しい人扱いを受ける。
 HoloLensを中心にXR系技術と相性のいい技術（機械学習、IOT)を組合せ
て日々遊びの中で知見を蓄えています。
技術Tips : https://qiita.com/miyaura
takabrz1 ※よかったらこれを機にお知り合いになってください
Microsoft MVP for Windows Development 2018-2020
某会社でSE(アプリケーション領域のアーキテクト的なお仕事なはず）＝ XRは趣味です（貢献領域：Mixed Reality）

3. Azure Remote Renderingの話
2020/4/15

4. Azure Remote Renderingについて
～ クラウド上3Dコンテンツをストリーミング ～
Azure Spatial Anchorsとともに提供されるMR系Azure サービス
2020/4/15
 ドキュメント
 https://docs.microsoft.com/ja-jp/azure/remote-rendering/
クラウド上で高品質な３Dコンテンツのレンダリングを行い、
端末のスペック以上の表現を可能にするサービス

5. Azure Remote Renderingについて
～クラウド上3Dコンテンツをストリーミング～
利用できるハードウェア
2020/4/15
 HoloLens 2
 Windows 10 PC
 HoloLens 2 Emulatorも一応動いた
※HEVC ビデオコーデックは最新のものを利用するとパフォー
マンスが向上している
HoloLens 2だけではなく
Windows 10 PCも利用できるので用途は広そう

6. Azure Remote Renderingについて
～ 高品位な3Dコンテンツを扱うための特徴 ～
大きく3つのポイント
2020/4/15
 Hybrid Rendering
 Remote Rendering用のUIは不要
 MRTK等独自のUIで様々なレンダリング表現が可能
 Multi GPU Rendering
 ハイエンドGPUでも処理しきれない産業用の3Dコンテンツを扱える
 複数のGPUに負荷分散
 処理結果はマージ
 High-level architecture
 ストリーミングレンダリングを実現する高度なアーキテクチャ

7. Azure Remote Renderingについて
～ アーキテクチャ ～
描画用のHoloLens 2やWindows 10と制御用PCを構成可能らしい
2020/4/15
 Ｊ
 Remote Renderingは専用のSDK
 Azure VM上でサービスが稼働
 API経由で処理を実施
 サーバサイド部分は関知不要
 Render制御用のTooling API
ARR API
クライアントサイド
リモートレンダリング
サーバサイド

8. Azure Remote Renderingについて
～ アーキテクチャ ～
一連の処理の流れ
2020/4/15
 Ｊ
 リモートレンダリングの実施
 レンダリングエンジンは、利用可能なGPUにレンダリングを分
散
 複数のGPUからの出力を1つの画像に合成
 画像はビデオストリームとしてエンコードされ送信
リモートレンダリングなのでネットワーク帯域はそれなりに必要
ARR API
クライアントサイド
リモートレンダリング
サーバサイド
クライアントサイド
サーバサイド
 クライアント側：描画の確定
 ユーザ実装部：コンテンツ（UI、マーカー等）がレンダリング
 ARR API：レンダリングコンテンツは自動的にビデオストリー
ムにマージ
 フレームのセットアップの実施
 ユーザ実装部： ユーザー入力に応じて、シーングラフが更新
 ARR API：シーングラフの更新と予測された頭部位置を送信
クライアントサイド

9. Quick Startをやってみる
2020/4/15

10. Azure Remote Renderingについて
～まずはチュートリアルで ～
開発環境
2020/4/15
 ハードウェア
 Windows 10 version 1903 or higher.
 グラボのドライバは最新で
 任意：H265 hardware video decoder（Unityでリモートレンダリングされたコンテンツを見る際利
用）
 NVIDIA - Check the NVDEC Support Matrix. Your GPU needs a YES in the H.265 4:2:0 8-bit column.
 AMD - GPUs with at least version 6 of AMD's Unified Video Decoder.
 Intel Skylake and newer CPUs
 ソフトウェア
 最新の Visual Studio 2019 (試したときは16.5.3)
 Windows SDK 10.0.18362.0
 Unity 2019.3.1
 UWP - Universal Windows Platform Build Support
 IL2CPP - Windows Build Support (IL2CPP)
 任意：HEVC ビデオ拡張機能

11. Azure Remote Renderingについて
～ まずはチュートリアルで ～
Quick Startでみられるモデルについて
2020/4/15
ポリゴン数 18.7百万
可動パーツ数 2073
マテリアリアル数 94
 これをしれっと鑑賞できる

12. Azure Remote Renderingについて
～まずはチュートリアルで ～
サービスのデプロイは相変わらず簡単
2020/4/15

13. Azure Remote Renderingについて
～まずはチュートリアルで ～
必要な情報
2020/4/15
 Remote Rendering Acount
 Region
 Account ID
 Access Key

14. Azure Remote Renderingについて
～まずはチュートリアルで ～
Githubのサンプルを取得してビルド＆デプロイ
2020/4/15
 GitのURL ⇒ https://github.com/Azure/azure-remote-rendering
 QuickStartをUnityで開く
 Azure-remote-renderingUnityQuickStart

15. Azure Remote Renderingについて
～まずはチュートリアルで ～
Githubのサンプルを取得してビルド＆デプロイ
2020/4/15
 Remote Renderingコンポーネント
控えておいた値を入力
 Account Domain
 Account Id
 Account Key
リージョン毎のドメインは以下のリンク先
https://docs.microsoft.com/en-us/azure/remote-rendering/reference/regions

16. Azure Remote Renderingについて
～まずはチュートリアルで ～
HoloLens 2にデプロイする場合
2020/4/15
 以下の通りに設定
パラメータ 設定
Target Device HoloLens
Architecture ARM64
Build Type D3D Project
Target SDK Version 10.0.18362.0
Virtual Reality
Supported
チェック有
SDK : Windows Mixed Reality

17. Azure Remote Renderingについて
～まずはチュートリアルで ～
HoloLens 2 Emulatorにデプロイする場合
2020/4/15
 以下の通りに設定
パラメータ 設定
Target Device HoloLens
Architecture X86
Build Type D3D Project
Target SDK Version 10.0.18362.0
Virtual Reality
Supported
チェック有
SDK : Windows Mixed Reality

18. Azure Remote Renderingについて
～まずはチュートリアルで ～
Windows 10 PCにデプロイする場合
2020/4/15
 以下の通りに設定
パラメータ 設定
Target Device PC
Architecture X86
Build Type D3D Project
Target SDK Version 10.0.18362.0
Virtual Reality
Supported
チェック無

19. Azure Remote Renderingについて
～ Unityプロジェクトの取得とデプロイ ～
実行するとこうなる
2020/4/15
動画上げたので各自で見てね。

20. Azure Remote Renderingについて
～ 実機がないからあれですがとんでもなくポテンシャルのある機能が満載～
観察するという観点の豊富な機能
2020/4/15
1. Cut planes
2. Hierarchical state override
3. Late stage reprojection
4. Lights
5. PBR materials
6. Color materials
7. Outline rendering
8. Single-sided rendering
9. Spatial queries
10.Sky reflections
11.Z-fighting mitigation
12.Server-side performance queries
カット面の処理は
Remote Renderingの機能

21. Azure Remote Renderingについて
まとめ
2020/4/15
 高品位な3Dモデルをリモートでレンダリングできるサービス
 HoloLens 2とWindows 10 PCで利用可能
 フレームレート劣化なども少ない
 ネットワークの帯域はそれなりに必要そう
 観測者が頻繁に動き回るコンテンツは帯域がないと厳しい（みたい）
⇒頭の位置が変わることでクラウド側にレンダリングの指示が出てる
HoloLens 2だけではなく
Windows 10 PCも利用できるので用途は広そう

22. 大阪駆動開発
関西を中心に、IT系のおもしろそうなことを楽しんでやるコミュニティ
2020/4/15