【Unite Tokyo 2019】Render Streaming - WebRTC を用いたストリーミングソリューション

1. Unity Render Streaming WebRTC を用いたストリーミングソリューション Unity Technologies Japan 合同会社松本一輝 / 林石

2. 前半開発背景と技術詳細 (話者: 松本) 後半ビジネスシーンでの運用と拡張 (話者: 林) 講演の構成 2

3. 松本一輝 Kazuki Matsumoto 3 — ソフトウェアハウス、モバイルゲームメーカーを経て、ユニティ・テクノロジーズ・ジャパン合同会社に入社。 — 現在は主に自動車業界などのノンゲーム分野のカスタマーサポートを行っている。

5. 5 Unity Render Streaming 開発の背景

8. — 2018年1月に Experimental パッケージとして公開 — 忠実度の高いビジュアル表現を重視 — ゲームの他にも多くの産業分野での利用を想定 HDRP - High-Definition Render Pipeline 8

10. 10 モバイル端末で HDRP を動かすには？

11. 11 Unity Render Streaming

12. 12 Unity Render Streaming 技術詳細

13. 13 WebRTC

14. 14 Real-Time Communication

15. 15 WebRTC — Google が 2011年から開発 — オープンソースプロジェクト — ブラウザ間のピアツーピア通信 — ビデオ/オーディオストリーミング

16. 16

17. ブラウザー WebRTC JavaScript API (W3G WG が策定) WebRTC ネイティブ C++ API セッションマネジメント / シグナリング抽象化音声エンジン映像エンジン通信

18. Unity WebRTC C# API WebRTC ネイティブ C++ API セッションマネジメント / シグナリング抽象化音声エンジン映像エンジン通信

19. — Unity テンプレート — Web アプリケーション — WebRTC パッケージ Unity Render Streaming の構成要素 19 Web アプリケーション WebRTC パッケージ Unity テンプレート

20. — セットアップ済み Unity プロジェクト — HDRP テンプレートベースで開発 — パッケージの依存関係を自動解決 Unity テンプレート 20

21. 21

22. 22

23. — Webフロントエンド & バックエンド — Node.js の Express で実装 — シグナリングサーバ機能 Web アプリケーション 23

24. 24

25. — WebRTC API の C# 対応 — Package Manager で公開 — Apache 2.0 ライセンス WebRTC パッケージ 25

26. Unity Render Streaming - システムの構成 26 Unity シグナリングサーバブラウザシグナリングシグナリング JavaScript API C# API ビデオ / オーディオ / バイナリ

27. シグナリング 27 ファイアウォールピア1 ピア2 シグナリングサーバファイアウォール P2P通信シグナリングシグナリング

28. シグナリング 28 SDP 映像や音声のコーデックの他、セッションを確立するための情報 ICE Candidate IP アドレス、ポート番号、プロトコルなどの通信経路の情報 SDP … Session Description Protocol ICE … Interactive Connectivity Establishment

29. Unity シグナリングサーバブラウザ Offer SDP Offer SDP Answer SDP Answer SDP ICE Candidate ICE Candidate ICE Candidate ICE Candidate

30. シグナリング — ピア間で通信経路を確立するための処理 — ICE Candidate と SDP を交換 — Unity Render Streaming では HTTP 通信で実装

31. 31

32. 32 Input System がイベントを受信ブラウザでタッチイベントを取得ブラウザからUnity にイベント送信イベントを処理してUnityに反映

33. — WebSocket にとてもよく似た API — ピア間でのバイナリ、文字列の送受信 — SCTP (Stream Control Transmission Protocol) を利用 WebRTC DataChannel 33

34. — JavaScript から C# への入力イベントの送信 — イベント通信は WebRTC の DataChannel を使用 — 新しい Input System で入力処理をエミュレート入力処理 34

35. — エンコーディングのCPU負荷削減 — NVIDIA Video Codec SDK を採用 — NVIDIA のボードが必須ハードウェアエンコーディング 35

36. — 通常利用で5台程度の同時配信 — 動画 / 音声の配信に対応複数端末への配信 36

37. 37

38. 今後対応する機能 38 — リアルタイムレイトレーシング (DirectX12) — マルチカメラ — Linux サポート — 複数解像度の同時配信（サイマルキャスト） — ハードウェアエンコーダの追加

39. 39

40. — GitHub リポジトリを公開 — 日英対応ドキュメント — うまく動かないときは FAQ を参考 — 質問は Unity フォーラム（英語）か GitHub Issue（英語、日本語）利用を開始するには 40

41. — WebRTC パッケージは Apache 2.0 ライセンス — 改変した上で商用利用が可能です — ぜひ開発にご協力くださいオープンソースプロジェクト 41

42. 42

43. 43 Unity Render Streaming ビジネスシーンでの運用と拡張

44. 石林 Shi Lin 44 — 長年、車のプロモーション用コンテンツ制作マネージメントを経て、プロジェクトマネージャーとして Unityへ入社。 — 車業界でUnityを使った全く新しいデジタル体験の普及に努めている。

45. ZeroDaysbyScatter–MadewithUnity 45 DIGITAL EXPERIENCEprovide tools to accelerate your production

46. Unity Render Streaming 技術のメリット 46 1. ロースペックのデバイスで、ハイエンドなビジュアライゼーションを実現 2. 初期投資の負担激減 3. 大人数を収容する会議室が必要ない 4. 機材運搬しやすい 5. 維持費用の負担減 6. ブラウザー経由で同時アクセスが可能 7. 簡単に使える 8. 「伝わる」、「使える」表現手法が増える

47. ターゲット・マーケット 47 自動車建築製造業デザイン＆エンジニアリング • 小規模デザインチーム • 社内デザイン、プロダクトレビュー • デザイン・プレゼンテーションマーケティング販促 • ブランド旗艦店での販促用コンテンツの展示 • モバイル端末による潜在顧客へのブランディングアプローチサービス＆トレーニング • 遠隔地での作業トレーニング • 遠隔での機体トラブル対処アドバイスデザイン＆エンジニアリング • 小規模デザインチーム • 社内デザイン、プロダクトレビュー • デザイン・プレゼンテーションマーケティング販促 • 展示場での販促用コンテンツの展示 • モバイル端末による潜在顧客のリーチ工務店向け営業ツール • 遠隔地での営業用ビジュアルツール • 住宅関連のコンフィグレーター物流＆設計 • 工場のレイアウト設計確認 • 作業検証レビュー • 危険回避シミュレーション • 作業操作手順確認＆指導 • 遠隔での機体トラブル対処

48. Unity Render Streaming V1.0.0 48 現行バージョンでの使用例

49. 50

50. イントラネットでの使用想定(Version 1.0.0) Work Station Internal Web Server Internal Wifi • Unity Editor • Runtime App • Unity Render Streaming • HDRP • Realtime Raytracing • User management • Security system • Control setting • Chrome • Firefox • Safari • Internet explore Browsers Users • Limited User • Smart phone • Tablet • Low spec PC

51. イントラネットでの使用想定(Version 1.0.0) 52 l リモート・トレーニング l 開発の進行確認 Room A Room B 同一のWIFI環境下での稼働

52. イントラネットでの使用想定(Version 1.0.0) 53 社内の小規模の開発チームでの進行確認同一のWIFI環境下での稼働配信受信

53. イントラネットでの使用想定(Version 1.0.0) 54 リモートでのデモ展示、発表会同一のWIFI環境下での稼働配信受信受信

54. イントラネットでの使用想定(Version 1.0.0) 55 24時間コンテンツへアクセスが可能同一のWIFI環境下での稼働配信受信

55. Unity Render Streaming 56 今後の拡張に関して

56. 57 Web Server Web Application • Unity Editor • Runtime App • Unity Render Streaming • HDRP • Realtime Raytracing Internet • User management • Security system • Control setting Browsers • Smart phone • Tablet • Low spec PC インターネット経由での使用想定 One to Multi User Work Station • Chrome • Firefox • Safari • Internet explore

57. インターネット経由での使用想定 58 Web Server Web Application Location B Location C Location D Unity Contents 自動車、建築、製造業（参考例） • プロダクトのレビュー • プロダクトの発表会のリアルタイム・デモンストレーション • プロダクト使用トレーニング • 展示場のバーチャル内覧会 • 他 Location A

58. 59 Web Server Web Application • Unity Runtime App • Unity Render Streaming • HDRP • Realtime Raytracing • User management • Security system • Control setting Browsers Internet • Smart phone • Tablet • Low spec PC Unity + Cloud の使用想定 One to One / one to Multi / Multi to Multi Unity + Cloud

59. Unity + Cloud の使用想定 60 Unity + Cloud Location B Location C Location D Unity Contents 自動車、建築、製造業（参考例） • 車のショールームの体験コンテンツ • 販売店での車のイメージ制作とダウンロード • 製造現場でのトレーニング用コンテンツの確認 • 潜在顧客が遠隔で自社コンテンツを体験

60. ZeroDaysbyScatter–MadewithUnity 61 DIGITAL EXPERIENCEprovide tools to accelerate your production

61. ご清聴ありがとうございました 62

【Unite Tokyo 2019】Render Streaming - WebRTC を用いたストリーミングソリューション

You are reading a preview.

Check these out next

【Unite Tokyo 2019】Render Streaming - WebRTC を用いたストリーミングソリューション

More Related Content

Slideshows for you (20)

Similar to 【Unite Tokyo 2019】Render Streaming - WebRTC を用いたストリーミングソリューション (20)

More from UnityTechnologiesJapan002 (20)

Recently uploaded (20)