SlideShare a Scribd company logo
1 of 22
takabrz1 大阪駆動開発 Takahiro Miyaura
Azure Remote Renderingについて
~ 概要(まずはQuick Start) ~
宮浦 恭弘 (Miyaura Takahiro)
 大阪駆動開発コミュニティに生息
 HoloLens日本販売してからXR系技術に取組む
 HoloLens系技術Tipsを公開し続けた結果、よく知っている人扱いを受ける。
 Mixed Reality Toolkit(以降MRTK)のTipsが比較的多めで、普段(?)からよく
(?)MRTKの調査などを行っているうちにMRTKに詳しい人扱いを受ける。
 HoloLensを中心にXR系技術と相性のいい技術(機械学習、IOT)を組合せ
て日々遊びの中で知見を蓄えています。
技術Tips : https://qiita.com/miyaura
takabrz1 ※よかったらこれを機にお知り合いになってください
Microsoft MVP for Windows Development 2018-2020
某会社でSE(アプリケーション領域のアーキテクト的なお仕事なはず)= XRは趣味です(貢献領域:Mixed Reality)
Azure Remote Renderingの話
2020/4/15
Azure Remote Renderingについて
~ クラウド上3Dコンテンツをストリーミング ~
Azure Spatial Anchorsとともに提供されるMR系Azure サービス
2020/4/15
 ドキュメント
 https://docs.microsoft.com/ja-jp/azure/remote-rendering/
クラウド上で高品質な3Dコンテンツのレンダリングを行い、
端末のスペック以上の表現を可能にするサービス
Azure Remote Renderingについて
~クラウド上3Dコンテンツをストリーミング~
利用できるハードウェア
2020/4/15
 HoloLens 2
 Windows 10 PC
 HoloLens 2 Emulatorも一応動いた
※HEVC ビデオコーデックは最新のものを利用するとパフォー
マンスが向上している
HoloLens 2だけではなく
Windows 10 PCも利用できるので用途は広そう
Azure Remote Renderingについて
~ 高品位な3Dコンテンツを扱うための特徴 ~
大きく3つのポイント
2020/4/15
 Hybrid Rendering
 Remote Rendering用のUIは不要
 MRTK等独自のUIで様々なレンダリング表現が可能
 Multi GPU Rendering
 ハイエンドGPUでも処理しきれない産業用の3Dコンテンツを扱える
 複数のGPUに負荷分散
 処理結果はマージ
 High-level architecture
 ストリーミングレンダリングを実現する高度なアーキテクチャ
Azure Remote Renderingについて
~ アーキテクチャ ~
描画用のHoloLens 2やWindows 10と制御用PCを構成可能らしい
2020/4/15
 J
 Remote Renderingは専用のSDK
 Azure VM上でサービスが稼働
 API経由で処理を実施
 サーバサイド部分は関知不要
 Render制御用のTooling API
ARR API
クライアントサイド
リモートレンダリング
サーバサイド
Azure Remote Renderingについて
~ アーキテクチャ ~
一連の処理の流れ
2020/4/15
 J
 リモートレンダリングの実施
 レンダリングエンジンは、利用可能なGPUにレンダリングを分
散
 複数のGPUからの出力を1つの画像に合成
 画像はビデオストリームとしてエンコードされ送信
リモートレンダリングなのでネットワーク帯域はそれなりに必要
ARR API
クライアントサイド
リモートレンダリング
サーバサイド
クライアントサイド
サーバサイド
 クライアント側:描画の確定
 ユーザ実装部:コンテンツ(UI、マーカー等)がレンダリング
 ARR API:レンダリングコンテンツは自動的にビデオストリー
ムにマージ
 フレームのセットアップの実施
 ユーザ実装部: ユーザー入力に応じて、シーングラフが更新
 ARR API:シーングラフの更新と予測された頭部位置を送信
クライアントサイド
Quick Startをやってみる
2020/4/15
Azure Remote Renderingについて
~まずはチュートリアルで ~
開発環境
2020/4/15
 ハードウェア
 Windows 10 version 1903 or higher.
 グラボのドライバは最新で
 任意:H265 hardware video decoder(Unityでリモートレンダリングされたコンテンツを見る際利
用)
 NVIDIA - Check the NVDEC Support Matrix. Your GPU needs a YES in the H.265 4:2:0 8-bit column.
 AMD - GPUs with at least version 6 of AMD's Unified Video Decoder.
 Intel Skylake and newer CPUs
 ソフトウェア
 最新の Visual Studio 2019 (試したときは16.5.3)
 Windows SDK 10.0.18362.0
 Unity 2019.3.1
 UWP - Universal Windows Platform Build Support
 IL2CPP - Windows Build Support (IL2CPP)
 任意:HEVC ビデオ拡張機能
Azure Remote Renderingについて
~ まずはチュートリアルで ~
Quick Startでみられるモデルについて
2020/4/15
ポリゴン数 18.7百万
可動パーツ数 2073
マテリアリアル数 94
 これをしれっと鑑賞できる
Azure Remote Renderingについて
~まずはチュートリアルで ~
サービスのデプロイは相変わらず簡単
2020/4/15
Azure Remote Renderingについて
~まずはチュートリアルで ~
必要な情報
2020/4/15
 Remote Rendering Acount
 Region
 Account ID
 Access Key
Azure Remote Renderingについて
~まずはチュートリアルで ~
Githubのサンプルを取得してビルド&デプロイ
2020/4/15
 GitのURL ⇒ https://github.com/Azure/azure-remote-rendering
 QuickStartをUnityで開く
 Azure-remote-renderingUnityQuickStart
Azure Remote Renderingについて
~まずはチュートリアルで ~
Githubのサンプルを取得してビルド&デプロイ
2020/4/15
 Remote Renderingコンポーネント
控えておいた値を入力
 Account Domain
 Account Id
 Account Key
リージョン毎のドメインは以下のリンク先
https://docs.microsoft.com/en-us/azure/remote-rendering/reference/regions
Azure Remote Renderingについて
~まずはチュートリアルで ~
HoloLens 2にデプロイする場合
2020/4/15
 以下の通りに設定
パラメータ 設定
Target Device HoloLens
Architecture ARM64
Build Type D3D Project
Target SDK Version 10.0.18362.0
Virtual Reality
Supported
チェック有
SDK : Windows Mixed Reality
Azure Remote Renderingについて
~まずはチュートリアルで ~
HoloLens 2 Emulatorにデプロイする場合
2020/4/15
 以下の通りに設定
パラメータ 設定
Target Device HoloLens
Architecture X86
Build Type D3D Project
Target SDK Version 10.0.18362.0
Virtual Reality
Supported
チェック有
SDK : Windows Mixed Reality
Azure Remote Renderingについて
~まずはチュートリアルで ~
Windows 10 PCにデプロイする場合
2020/4/15
 以下の通りに設定
パラメータ 設定
Target Device PC
Architecture X86
Build Type D3D Project
Target SDK Version 10.0.18362.0
Virtual Reality
Supported
チェック無
Azure Remote Renderingについて
~ Unityプロジェクトの取得とデプロイ ~
実行するとこうなる
2020/4/15
動画上げたので各自で見てね。
Azure Remote Renderingについて
~ 実機がないからあれですがとんでもなくポテンシャルのある機能が満載~
観察するという観点の豊富な機能
2020/4/15
1. Cut planes
2. Hierarchical state override
3. Late stage reprojection
4. Lights
5. PBR materials
6. Color materials
7. Outline rendering
8. Single-sided rendering
9. Spatial queries
10.Sky reflections
11.Z-fighting mitigation
12.Server-side performance queries
カット面の処理は
Remote Renderingの機能
Azure Remote Renderingについて
まとめ
2020/4/15
 高品位な3Dモデルをリモートでレンダリングできるサービス
 HoloLens 2とWindows 10 PCで利用可能
 フレームレート劣化なども少ない
 ネットワークの帯域はそれなりに必要そう
 観測者が頻繁に動き回るコンテンツは帯域がないと厳しい(みたい)
⇒頭の位置が変わることでクラウド側にレンダリングの指示が出てる
HoloLens 2だけではなく
Windows 10 PCも利用できるので用途は広そう
大阪駆動開発
関西を中心に、IT系のおもしろそうなことを楽しんでやるコミュニティ
2020/4/15

More Related Content

What's hot

What's hot (20)

MixedReality技術とその活用事例~xR(VR/AR/MR...)への基礎知識~
MixedReality技術とその活用事例~xR(VR/AR/MR...)への基礎知識~MixedReality技術とその活用事例~xR(VR/AR/MR...)への基礎知識~
MixedReality技術とその活用事例~xR(VR/AR/MR...)への基礎知識~
 
Azure Object Anchors Recap(Kobe版)
Azure Object Anchors Recap(Kobe版)Azure Object Anchors Recap(Kobe版)
Azure Object Anchors Recap(Kobe版)
 
Scrolling CollectionsとElastic System(Mixed Reality Toolkit V2.5.1)
Scrolling CollectionsとElastic System(Mixed Reality Toolkit V2.5.1)Scrolling CollectionsとElastic System(Mixed Reality Toolkit V2.5.1)
Scrolling CollectionsとElastic System(Mixed Reality Toolkit V2.5.1)
 
久しぶりにMicrosoft Meshを使ってみた - 色々変わってたよ編 -
久しぶりにMicrosoft Meshを使ってみた - 色々変わってたよ編 -久しぶりにMicrosoft Meshを使ってみた - 色々変わってたよ編 -
久しぶりにMicrosoft Meshを使ってみた - 色々変わってたよ編 -
 
Azure Spatial Anchorsのユースケース「Way-Finding」を実現するためのテクニック
Azure Spatial Anchorsのユースケース「Way-Finding」を実現するためのテクニックAzure Spatial Anchorsのユースケース「Way-Finding」を実現するためのテクニック
Azure Spatial Anchorsのユースケース「Way-Finding」を実現するためのテクニック
 
World Locking Toolについて
World Locking ToolについてWorld Locking Toolについて
World Locking Toolについて
 
Build 2021のDigital Twinsセションを読み解く ~Azure関連サービス概要とラーニングパスの詳説~
Build 2021のDigital Twinsセションを読み解く ~Azure関連サービス概要とラーニングパスの詳説~Build 2021のDigital Twinsセションを読み解く ~Azure関連サービス概要とラーニングパスの詳説~
Build 2021のDigital Twinsセションを読み解く ~Azure関連サービス概要とラーニングパスの詳説~
 
Unityは知ってる開発者が UE4 で HoloLens 2 アプリ開発セションを聞くために知っておくといいかもTips
Unityは知ってる開発者が UE4 で HoloLens 2 アプリ開発セションを聞くために知っておくといいかもTipsUnityは知ってる開発者が UE4 で HoloLens 2 アプリ開発セションを聞くために知っておくといいかもTips
Unityは知ってる開発者が UE4 で HoloLens 2 アプリ開発セションを聞くために知っておくといいかもTips
 
Oculus Quest 2 on Mixed Reality Toolkit V2.5.0~ ハンドトラッキングする方法 ~
Oculus Quest 2 on Mixed Reality Toolkit V2.5.0~ ハンドトラッキングする方法 ~Oculus Quest 2 on Mixed Reality Toolkit V2.5.0~ ハンドトラッキングする方法 ~
Oculus Quest 2 on Mixed Reality Toolkit V2.5.0~ ハンドトラッキングする方法 ~
 
もうすぐMixed Reality Toolkit V2.5.0がリリースされるはずなのでフライング調査
もうすぐMixed Reality Toolkit V2.5.0がリリースされるはずなのでフライング調査もうすぐMixed Reality Toolkit V2.5.0がリリースされるはずなのでフライング調査
もうすぐMixed Reality Toolkit V2.5.0がリリースされるはずなのでフライング調査
 
Mixed Reality Toolkit V3について
Mixed Reality Toolkit V3についてMixed Reality Toolkit V3について
Mixed Reality Toolkit V3について
 
Mixed Reality Toolkit V2のMixed Reality Scene Systemを使う
Mixed Reality Toolkit V2のMixed Reality Scene Systemを使うMixed Reality Toolkit V2のMixed Reality Scene Systemを使う
Mixed Reality Toolkit V2のMixed Reality Scene Systemを使う
 
Mixed Reality Feature ToolとMixed Reality Toolkit V2.6.1
Mixed Reality Feature ToolとMixed Reality Toolkit V2.6.1Mixed Reality Feature ToolとMixed Reality Toolkit V2.6.1
Mixed Reality Feature ToolとMixed Reality Toolkit V2.6.1
 
IoT関連のAzureを使い倒して お部屋の空気観測装置を作った話
IoT関連のAzureを使い倒して お部屋の空気観測装置を作った話IoT関連のAzureを使い倒して お部屋の空気観測装置を作った話
IoT関連のAzureを使い倒して お部屋の空気観測装置を作った話
 
Mixed Reality Toolkit V2におけるマルチデバイス対応 ~ Azure Spatial Anchorsとphotonによるシェアリング...
Mixed Reality Toolkit V2におけるマルチデバイス対応~ Azure Spatial Anchorsとphotonによるシェアリング...Mixed Reality Toolkit V2におけるマルチデバイス対応~ Azure Spatial Anchorsとphotonによるシェアリング...
Mixed Reality Toolkit V2におけるマルチデバイス対応 ~ Azure Spatial Anchorsとphotonによるシェアリング...
 
HoloLens 1のアプリをHoloLens 2に移行する
HoloLens 1のアプリをHoloLens 2に移行するHoloLens 1のアプリをHoloLens 2に移行する
HoloLens 1のアプリをHoloLens 2に移行する
 
Azure Spatial Anchorsを活用したHoloLens & Androidシェアリングアプリ
Azure Spatial Anchorsを活用したHoloLens & AndroidシェアリングアプリAzure Spatial Anchorsを活用したHoloLens & Androidシェアリングアプリ
Azure Spatial Anchorsを活用したHoloLens & Androidシェアリングアプリ
 
XRマルチデバイス開発を可能にするOSSライブラリ「MRTK-vNEXT」について
XRマルチデバイス開発を可能にするOSSライブラリ「MRTK-vNEXT」についてXRマルチデバイス開発を可能にするOSSライブラリ「MRTK-vNEXT」について
XRマルチデバイス開発を可能にするOSSライブラリ「MRTK-vNEXT」について
 
UIデザイン設計から開発をつなぐ「MRTK Figma Bridge for Unity」を使ってみよう
UIデザイン設計から開発をつなぐ「MRTK Figma Bridge for Unity」を使ってみようUIデザイン設計から開発をつなぐ「MRTK Figma Bridge for Unity」を使ってみよう
UIデザイン設計から開発をつなぐ「MRTK Figma Bridge for Unity」を使ってみよう
 
Azure Spatial Anchorについて少し調べた話
Azure Spatial Anchorについて少し調べた話Azure Spatial Anchorについて少し調べた話
Azure Spatial Anchorについて少し調べた話
 

Similar to Azure Remote Renderingを試す

Windows 8 Developers カンファレンス
Windows 8 Developers カンファレンスWindows 8 Developers カンファレンス
Windows 8 Developers カンファレンス
Kaoru NAKAMURA
 

Similar to Azure Remote Renderingを試す (20)

ラーニングパス「Azure Digital Twins と Unity を使用して Mixed Reality デジタル ツインを構築する」にAzure ...
ラーニングパス「Azure Digital Twins と Unity を使用して Mixed Reality デジタル ツインを構築する」にAzure ...ラーニングパス「Azure Digital Twins と Unity を使用して Mixed Reality デジタル ツインを構築する」にAzure ...
ラーニングパス「Azure Digital Twins と Unity を使用して Mixed Reality デジタル ツインを構築する」にAzure ...
 
Azure Digital TwinとUnreal Engineを統合するADTLink Pluginについて
 Azure Digital TwinとUnreal Engineを統合するADTLink Pluginについて Azure Digital TwinとUnreal Engineを統合するADTLink Pluginについて
Azure Digital TwinとUnreal Engineを統合するADTLink Pluginについて
 
Ma8 Caravan 大阪 rev1
Ma8 Caravan 大阪 rev1Ma8 Caravan 大阪 rev1
Ma8 Caravan 大阪 rev1
 
MRTK3を調べてみた
MRTK3を調べてみたMRTK3を調べてみた
MRTK3を調べてみた
 
IoTでAzureのサービス利用~専門知識なしで始める超入門~
IoTでAzureのサービス利用~専門知識なしで始める超入門~IoTでAzureのサービス利用~専門知識なしで始める超入門~
IoTでAzureのサービス利用~専門知識なしで始める超入門~
 
クロスプラットフォーム開発としての「Mixed Reality Toolkit V2」が持つ可能性
クロスプラットフォーム開発としての「Mixed Reality Toolkit V2」が持つ可能性クロスプラットフォーム開発としての「Mixed Reality Toolkit V2」が持つ可能性
クロスプラットフォーム開発としての「Mixed Reality Toolkit V2」が持つ可能性
 
覗いてみよう。with/afterコロナ時代に輝くMixedRealityの世界。
覗いてみよう。with/afterコロナ時代に輝くMixedRealityの世界。覗いてみよう。with/afterコロナ時代に輝くMixedRealityの世界。
覗いてみよう。with/afterコロナ時代に輝くMixedRealityの世界。
 
2014 0228 OSC-Spring Tokyo NETMF
2014 0228 OSC-Spring Tokyo NETMF2014 0228 OSC-Spring Tokyo NETMF
2014 0228 OSC-Spring Tokyo NETMF
 
さくらのIoT Platformを使ってみよう ~OSC大阪編~
さくらのIoT Platformを使ってみよう ~OSC大阪編~さくらのIoT Platformを使ってみよう ~OSC大阪編~
さくらのIoT Platformを使ってみよう ~OSC大阪編~
 
Microsoft Intelligent Edge Technologies
Microsoft Intelligent Edge TechnologiesMicrosoft Intelligent Edge Technologies
Microsoft Intelligent Edge Technologies
 
ETロボコン2020 競技会場システムのおはなし
ETロボコン2020 競技会場システムのおはなしETロボコン2020 競技会場システムのおはなし
ETロボコン2020 競技会場システムのおはなし
 
続・Kinect v2を通してMicrosoft技術を考える
続・Kinect v2を通してMicrosoft技術を考える続・Kinect v2を通してMicrosoft技術を考える
続・Kinect v2を通してMicrosoft技術を考える
 
Microsoft Intelligent Edge Technologies
Microsoft Intelligent Edge TechnologiesMicrosoft Intelligent Edge Technologies
Microsoft Intelligent Edge Technologies
 
Windows 8 Developers カンファレンス
Windows 8 Developers カンファレンスWindows 8 Developers カンファレンス
Windows 8 Developers カンファレンス
 
2014 1018 OSC-Fall Tokyo NETMF
2014 1018 OSC-Fall Tokyo NETMF2014 1018 OSC-Fall Tokyo NETMF
2014 1018 OSC-Fall Tokyo NETMF
 
.NET Coreから概観する.NETのOSSへの取り組み
.NET Coreから概観する.NETのOSSへの取り組み.NET Coreから概観する.NETのOSSへの取り組み
.NET Coreから概観する.NETのOSSへの取り組み
 
.NET Micro Framework で IoT
.NET Micro Framework で IoT.NET Micro Framework で IoT
.NET Micro Framework で IoT
 
【de:code 2020】 『RE:BEL ROBOTICA レベルロボチカ』の世界と現代をミックス! MR で変わるライフスタイルとワークスタイル ...
【de:code 2020】 『RE:BEL ROBOTICA レベルロボチカ』の世界と現代をミックス!  MR で変わるライフスタイルとワークスタイル ...【de:code 2020】 『RE:BEL ROBOTICA レベルロボチカ』の世界と現代をミックス!  MR で変わるライフスタイルとワークスタイル ...
【de:code 2020】 『RE:BEL ROBOTICA レベルロボチカ』の世界と現代をミックス! MR で変わるライフスタイルとワークスタイル ...
 
Way-Findingをやってやった ~ Azure Spatial Anchorsでね~
Way-Findingをやってやった ~ Azure Spatial Anchorsでね~Way-Findingをやってやった ~ Azure Spatial Anchorsでね~
Way-Findingをやってやった ~ Azure Spatial Anchorsでね~
 
Mixed Reality Toolkit 3 Recap
Mixed Reality Toolkit 3 RecapMixed Reality Toolkit 3 Recap
Mixed Reality Toolkit 3 Recap
 

More from Takahiro Miyaura

More from Takahiro Miyaura (16)

Microsoft Ignite 2022の情報 & Microsoft Learnの整理をしてみた
Microsoft Ignite 2022の情報 & Microsoft Learnの整理をしてみたMicrosoft Ignite 2022の情報 & Microsoft Learnの整理をしてみた
Microsoft Ignite 2022の情報 & Microsoft Learnの整理をしてみた
 
Mixed Reality Toolkit 3 の更新状況 - 6月からもちょいちょいアップデートされてるよ
Mixed Reality Toolkit 3 の更新状況 - 6月からもちょいちょいアップデートされてるよMixed Reality Toolkit 3 の更新状況 - 6月からもちょいちょいアップデートされてるよ
Mixed Reality Toolkit 3 の更新状況 - 6月からもちょいちょいアップデートされてるよ
 
Mixed Reality Toolkit 3 - 「MRTK XR Rig」と「Bounds Control」
Mixed Reality Toolkit 3 - 「MRTK XR Rig」と「Bounds Control」Mixed Reality Toolkit 3 - 「MRTK XR Rig」と「Bounds Control」
Mixed Reality Toolkit 3 - 「MRTK XR Rig」と「Bounds Control」
 
Mixed Reality Toolkit 3 のチュートリアル「Zappy’s Playground」のUXをみる
Mixed Reality Toolkit 3 のチュートリアル「Zappy’s Playground」のUXをみるMixed Reality Toolkit 3 のチュートリアル「Zappy’s Playground」のUXをみる
Mixed Reality Toolkit 3 のチュートリアル「Zappy’s Playground」のUXをみる
 
Mixed Reality Toolkit 3 のチュートリアル「Zappy’s Playground」の紹介
Mixed Reality Toolkit 3 のチュートリアル「Zappy’s Playground」の紹介Mixed Reality Toolkit 3 のチュートリアル「Zappy’s Playground」の紹介
Mixed Reality Toolkit 3 のチュートリアル「Zappy’s Playground」の紹介
 
【続】OpenXRでHoloLensアプリを作る
【続】OpenXRでHoloLensアプリを作る【続】OpenXRでHoloLensアプリを作る
【続】OpenXRでHoloLensアプリを作る
 
OpenVRやOpenXRの基本的なことを調べてみた
OpenVRやOpenXRの基本的なことを調べてみたOpenVRやOpenXRの基本的なことを調べてみた
OpenVRやOpenXRの基本的なことを調べてみた
 
OpenXR + XR Interaction Toolkit使ったHoloLensコンテンツ開発検証 ~ (私が)完全に理解できたらちゃんと作れて、いろ...
OpenXR + XR Interaction Toolkit使ったHoloLensコンテンツ開発検証 ~ (私が)完全に理解できたらちゃんと作れて、いろ...OpenXR + XR Interaction Toolkit使ったHoloLensコンテンツ開発検証 ~ (私が)完全に理解できたらちゃんと作れて、いろ...
OpenXR + XR Interaction Toolkit使ったHoloLensコンテンツ開発検証 ~ (私が)完全に理解できたらちゃんと作れて、いろ...
 
Mixed Reality Toolkit で OpenXRのEye Trackingを使う
Mixed Reality Toolkit で OpenXRのEye Trackingを使うMixed Reality Toolkit で OpenXRのEye Trackingを使う
Mixed Reality Toolkit で OpenXRのEye Trackingを使う
 
Mixed RealityとAzure Digital Twinsを組合わせてデジタルツインを可視化するためのTips
Mixed RealityとAzure Digital Twinsを組合わせてデジタルツインを可視化するためのTipsMixed RealityとAzure Digital Twinsを組合わせてデジタルツインを可視化するためのTips
Mixed RealityとAzure Digital Twinsを組合わせてデジタルツインを可視化するためのTips
 
5周年ふりかえり!HoloLens 1とHoloLens 2のUI操作と実装の違いを改めて見てみよう
5周年ふりかえり!HoloLens 1とHoloLens 2のUI操作と実装の違いを改めて見てみよう5周年ふりかえり!HoloLens 1とHoloLens 2のUI操作と実装の違いを改めて見てみよう
5周年ふりかえり!HoloLens 1とHoloLens 2のUI操作と実装の違いを改めて見てみよう
 
World Locking Tools でAzure Spatial Anchorsが使えるようになった
World Locking Tools でAzure Spatial Anchorsが使えるようになったWorld Locking Tools でAzure Spatial Anchorsが使えるようになった
World Locking Tools でAzure Spatial Anchorsが使えるようになった
 
Azure Object Anchors のQuick Startで理解を深めたい
Azure Object Anchors のQuick Startで理解を深めたいAzure Object Anchors のQuick Startで理解を深めたい
Azure Object Anchors のQuick Startで理解を深めたい
 
「あれ」がスマホで動くのか試してみた
「あれ」がスマホで動くのか試してみた「あれ」がスマホで動くのか試してみた
「あれ」がスマホで動くのか試してみた
 
Azure Object Anchors Recap
Azure Object Anchors RecapAzure Object Anchors Recap
Azure Object Anchors Recap
 
HoloLens1アプリをHoloLens2アプリに変換できるかチャレンジ
HoloLens1アプリをHoloLens2アプリに変換できるかチャレンジHoloLens1アプリをHoloLens2アプリに変換できるかチャレンジ
HoloLens1アプリをHoloLens2アプリに変換できるかチャレンジ
 

Recently uploaded

研究紹介スライド: オフライン強化学習に基づくロボティックスワームの制御器の設計
研究紹介スライド: オフライン強化学習に基づくロボティックスワームの制御器の設計研究紹介スライド: オフライン強化学習に基づくロボティックスワームの制御器の設計
研究紹介スライド: オフライン強化学習に基づくロボティックスワームの制御器の設計
atsushi061452
 

Recently uploaded (14)

MPAなWebフレームワーク、Astroの紹介 (その1) 2024/05/17の勉強会で発表されたものです。
MPAなWebフレームワーク、Astroの紹介 (その1) 2024/05/17の勉強会で発表されたものです。MPAなWebフレームワーク、Astroの紹介 (その1) 2024/05/17の勉強会で発表されたものです。
MPAなWebフレームワーク、Astroの紹介 (その1) 2024/05/17の勉強会で発表されたものです。
 
20240523_IoTLT_vol111_kitazaki_v1___.pdf
20240523_IoTLT_vol111_kitazaki_v1___.pdf20240523_IoTLT_vol111_kitazaki_v1___.pdf
20240523_IoTLT_vol111_kitazaki_v1___.pdf
 
論文紹介:Deep Occlusion-Aware Instance Segmentation With Overlapping BiLayers
論文紹介:Deep Occlusion-Aware Instance Segmentation With Overlapping BiLayers論文紹介:Deep Occlusion-Aware Instance Segmentation With Overlapping BiLayers
論文紹介:Deep Occlusion-Aware Instance Segmentation With Overlapping BiLayers
 
Amazon Cognitoで実装するパスキー (Security-JAWS【第33回】 勉強会)
Amazon Cognitoで実装するパスキー (Security-JAWS【第33回】 勉強会)Amazon Cognitoで実装するパスキー (Security-JAWS【第33回】 勉強会)
Amazon Cognitoで実装するパスキー (Security-JAWS【第33回】 勉強会)
 
研究紹介スライド: オフライン強化学習に基づくロボティックスワームの制御器の設計
研究紹介スライド: オフライン強化学習に基づくロボティックスワームの制御器の設計研究紹介スライド: オフライン強化学習に基づくロボティックスワームの制御器の設計
研究紹介スライド: オフライン強化学習に基づくロボティックスワームの制御器の設計
 
ロボットマニピュレーションの作業・動作計画 / rosjp_planning_for_robotic_manipulation_20240521
ロボットマニピュレーションの作業・動作計画 / rosjp_planning_for_robotic_manipulation_20240521ロボットマニピュレーションの作業・動作計画 / rosjp_planning_for_robotic_manipulation_20240521
ロボットマニピュレーションの作業・動作計画 / rosjp_planning_for_robotic_manipulation_20240521
 
5/22 第23回 Customer系エンジニア座談会のスライド 公開用 西口瑛一
5/22 第23回 Customer系エンジニア座談会のスライド 公開用 西口瑛一5/22 第23回 Customer系エンジニア座談会のスライド 公開用 西口瑛一
5/22 第23回 Customer系エンジニア座談会のスライド 公開用 西口瑛一
 
Hyperledger Fabricコミュニティ活動体験& Hyperledger Fabric最新状況ご紹介
Hyperledger Fabricコミュニティ活動体験& Hyperledger Fabric最新状況ご紹介Hyperledger Fabricコミュニティ活動体験& Hyperledger Fabric最新状況ご紹介
Hyperledger Fabricコミュニティ活動体験& Hyperledger Fabric最新状況ご紹介
 
論文紹介:ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation
論文紹介:ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation論文紹介:ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation
論文紹介:ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation
 
Intranet Development v1.0 (TSG LIVE! 12 LT )
Intranet Development v1.0 (TSG LIVE! 12 LT )Intranet Development v1.0 (TSG LIVE! 12 LT )
Intranet Development v1.0 (TSG LIVE! 12 LT )
 
Keywordmap overview material/CINC.co.ltd
Keywordmap overview material/CINC.co.ltdKeywordmap overview material/CINC.co.ltd
Keywordmap overview material/CINC.co.ltd
 
情報を表現するときのポイント
情報を表現するときのポイント情報を表現するときのポイント
情報を表現するときのポイント
 
部内勉強会(IT用語ざっくり学習) 実施日:2024年5月17日(金) 対象者:営業部社員
部内勉強会(IT用語ざっくり学習) 実施日:2024年5月17日(金) 対象者:営業部社員部内勉強会(IT用語ざっくり学習) 実施日:2024年5月17日(金) 対象者:営業部社員
部内勉強会(IT用語ざっくり学習) 実施日:2024年5月17日(金) 対象者:営業部社員
 
クラウド時代におけるSREとUPWARDの取組ーUPWARD株式会社 CTO門畑
クラウド時代におけるSREとUPWARDの取組ーUPWARD株式会社 CTO門畑クラウド時代におけるSREとUPWARDの取組ーUPWARD株式会社 CTO門畑
クラウド時代におけるSREとUPWARDの取組ーUPWARD株式会社 CTO門畑
 

Azure Remote Renderingを試す

  • 1. takabrz1 大阪駆動開発 Takahiro Miyaura Azure Remote Renderingについて ~ 概要(まずはQuick Start) ~
  • 2. 宮浦 恭弘 (Miyaura Takahiro)  大阪駆動開発コミュニティに生息  HoloLens日本販売してからXR系技術に取組む  HoloLens系技術Tipsを公開し続けた結果、よく知っている人扱いを受ける。  Mixed Reality Toolkit(以降MRTK)のTipsが比較的多めで、普段(?)からよく (?)MRTKの調査などを行っているうちにMRTKに詳しい人扱いを受ける。  HoloLensを中心にXR系技術と相性のいい技術(機械学習、IOT)を組合せ て日々遊びの中で知見を蓄えています。 技術Tips : https://qiita.com/miyaura takabrz1 ※よかったらこれを機にお知り合いになってください Microsoft MVP for Windows Development 2018-2020 某会社でSE(アプリケーション領域のアーキテクト的なお仕事なはず)= XRは趣味です(貢献領域:Mixed Reality)
  • 4. Azure Remote Renderingについて ~ クラウド上3Dコンテンツをストリーミング ~ Azure Spatial Anchorsとともに提供されるMR系Azure サービス 2020/4/15  ドキュメント  https://docs.microsoft.com/ja-jp/azure/remote-rendering/ クラウド上で高品質な3Dコンテンツのレンダリングを行い、 端末のスペック以上の表現を可能にするサービス
  • 5. Azure Remote Renderingについて ~クラウド上3Dコンテンツをストリーミング~ 利用できるハードウェア 2020/4/15  HoloLens 2  Windows 10 PC  HoloLens 2 Emulatorも一応動いた ※HEVC ビデオコーデックは最新のものを利用するとパフォー マンスが向上している HoloLens 2だけではなく Windows 10 PCも利用できるので用途は広そう
  • 6. Azure Remote Renderingについて ~ 高品位な3Dコンテンツを扱うための特徴 ~ 大きく3つのポイント 2020/4/15  Hybrid Rendering  Remote Rendering用のUIは不要  MRTK等独自のUIで様々なレンダリング表現が可能  Multi GPU Rendering  ハイエンドGPUでも処理しきれない産業用の3Dコンテンツを扱える  複数のGPUに負荷分散  処理結果はマージ  High-level architecture  ストリーミングレンダリングを実現する高度なアーキテクチャ
  • 7. Azure Remote Renderingについて ~ アーキテクチャ ~ 描画用のHoloLens 2やWindows 10と制御用PCを構成可能らしい 2020/4/15  J  Remote Renderingは専用のSDK  Azure VM上でサービスが稼働  API経由で処理を実施  サーバサイド部分は関知不要  Render制御用のTooling API ARR API クライアントサイド リモートレンダリング サーバサイド
  • 8. Azure Remote Renderingについて ~ アーキテクチャ ~ 一連の処理の流れ 2020/4/15  J  リモートレンダリングの実施  レンダリングエンジンは、利用可能なGPUにレンダリングを分 散  複数のGPUからの出力を1つの画像に合成  画像はビデオストリームとしてエンコードされ送信 リモートレンダリングなのでネットワーク帯域はそれなりに必要 ARR API クライアントサイド リモートレンダリング サーバサイド クライアントサイド サーバサイド  クライアント側:描画の確定  ユーザ実装部:コンテンツ(UI、マーカー等)がレンダリング  ARR API:レンダリングコンテンツは自動的にビデオストリー ムにマージ  フレームのセットアップの実施  ユーザ実装部: ユーザー入力に応じて、シーングラフが更新  ARR API:シーングラフの更新と予測された頭部位置を送信 クライアントサイド
  • 10. Azure Remote Renderingについて ~まずはチュートリアルで ~ 開発環境 2020/4/15  ハードウェア  Windows 10 version 1903 or higher.  グラボのドライバは最新で  任意:H265 hardware video decoder(Unityでリモートレンダリングされたコンテンツを見る際利 用)  NVIDIA - Check the NVDEC Support Matrix. Your GPU needs a YES in the H.265 4:2:0 8-bit column.  AMD - GPUs with at least version 6 of AMD's Unified Video Decoder.  Intel Skylake and newer CPUs  ソフトウェア  最新の Visual Studio 2019 (試したときは16.5.3)  Windows SDK 10.0.18362.0  Unity 2019.3.1  UWP - Universal Windows Platform Build Support  IL2CPP - Windows Build Support (IL2CPP)  任意:HEVC ビデオ拡張機能
  • 11. Azure Remote Renderingについて ~ まずはチュートリアルで ~ Quick Startでみられるモデルについて 2020/4/15 ポリゴン数 18.7百万 可動パーツ数 2073 マテリアリアル数 94  これをしれっと鑑賞できる
  • 12. Azure Remote Renderingについて ~まずはチュートリアルで ~ サービスのデプロイは相変わらず簡単 2020/4/15
  • 13. Azure Remote Renderingについて ~まずはチュートリアルで ~ 必要な情報 2020/4/15  Remote Rendering Acount  Region  Account ID  Access Key
  • 14. Azure Remote Renderingについて ~まずはチュートリアルで ~ Githubのサンプルを取得してビルド&デプロイ 2020/4/15  GitのURL ⇒ https://github.com/Azure/azure-remote-rendering  QuickStartをUnityで開く  Azure-remote-renderingUnityQuickStart
  • 15. Azure Remote Renderingについて ~まずはチュートリアルで ~ Githubのサンプルを取得してビルド&デプロイ 2020/4/15  Remote Renderingコンポーネント 控えておいた値を入力  Account Domain  Account Id  Account Key リージョン毎のドメインは以下のリンク先 https://docs.microsoft.com/en-us/azure/remote-rendering/reference/regions
  • 16. Azure Remote Renderingについて ~まずはチュートリアルで ~ HoloLens 2にデプロイする場合 2020/4/15  以下の通りに設定 パラメータ 設定 Target Device HoloLens Architecture ARM64 Build Type D3D Project Target SDK Version 10.0.18362.0 Virtual Reality Supported チェック有 SDK : Windows Mixed Reality
  • 17. Azure Remote Renderingについて ~まずはチュートリアルで ~ HoloLens 2 Emulatorにデプロイする場合 2020/4/15  以下の通りに設定 パラメータ 設定 Target Device HoloLens Architecture X86 Build Type D3D Project Target SDK Version 10.0.18362.0 Virtual Reality Supported チェック有 SDK : Windows Mixed Reality
  • 18. Azure Remote Renderingについて ~まずはチュートリアルで ~ Windows 10 PCにデプロイする場合 2020/4/15  以下の通りに設定 パラメータ 設定 Target Device PC Architecture X86 Build Type D3D Project Target SDK Version 10.0.18362.0 Virtual Reality Supported チェック無
  • 19. Azure Remote Renderingについて ~ Unityプロジェクトの取得とデプロイ ~ 実行するとこうなる 2020/4/15 動画上げたので各自で見てね。
  • 20. Azure Remote Renderingについて ~ 実機がないからあれですがとんでもなくポテンシャルのある機能が満載~ 観察するという観点の豊富な機能 2020/4/15 1. Cut planes 2. Hierarchical state override 3. Late stage reprojection 4. Lights 5. PBR materials 6. Color materials 7. Outline rendering 8. Single-sided rendering 9. Spatial queries 10.Sky reflections 11.Z-fighting mitigation 12.Server-side performance queries カット面の処理は Remote Renderingの機能
  • 21. Azure Remote Renderingについて まとめ 2020/4/15  高品位な3Dモデルをリモートでレンダリングできるサービス  HoloLens 2とWindows 10 PCで利用可能  フレームレート劣化なども少ない  ネットワークの帯域はそれなりに必要そう  観測者が頻繁に動き回るコンテンツは帯域がないと厳しい(みたい) ⇒頭の位置が変わることでクラウド側にレンダリングの指示が出てる HoloLens 2だけではなく Windows 10 PCも利用できるので用途は広そう