とっとるびー第29回発表資料

1. RICOH THETAの全天球画像
を部分転送して遠隔地の
Oculusでみる
@mechamogera

2. 自己紹介
• @mechamogera
• GithubやQiitaメインで活動
• 最近のお仕事：Unityを用いた3Dアプリ開発、AWS lambdaやBatch・Serverless
Frameworkを用いたAPI開発
• ロボ部：上司の代わりになるロボの開発
• THETAライブストリーミング on レゴマインドストームEv3 - Qiita
• RICOH THETA Advent Calendar 2015 LT大会！ : ATND
• 今日の話はこの続き

3. 今日お話すること
• 前提知識
• THETAのライブストリーミング機能
• WebRTCとは？
• オーソドックスな全天球画像の転送
• 全天球画像の部分転送をやってみた

4. 今日お話すること
• 前提知識
• THETAのライブストリーミング機能
• WebRTCとは？
• オーソドックスな全天球画像の転送
• 全天球画像の部分転送をやってみた

5. THETAのライブストリーミング機能
• UVC対応でUSB接続することでWebカメラとして利用可能
• 一部HDMI出力対応

6. ライブストリーミング画像2つの形式
• Dualfisheye形式(機器からは基本的にこれで出力)
• 一般的な形式ではないため球面へ
貼り付けるためのコードが必要
• Equirectangular形式(THETAのUVC
Blenderアプリなどを利用すればで変換可能)
• 一般的な形式で３Dライブラリで球面
への貼り付けがサポート

7. THETAのライブストリーミング対応機種
• 基本的にはDualfisheye形式
• Equirectangular形式はPCのUVC Blenderアプリで変換する必要がある(RICOH
Rは本体で変換)。
※ 2018/2/9現在の個人で調べた結果です。将来仕様が変わる可能性があります。
機種 解像度 DF=>Equiへのステッチ
RICOH THETA S FullHD UVC Blenderアプリ
RICOH THETA V 4K UVC Blenderアプリ
RICOH R FullHD 本体

8. WebRTCとは？
• ブラウザ同士P2Pでリアルタイムコミュニケーションをするための仕組み
• 通信プロトコルの集合体なのでブラウザ以外でも実装可
(ただし、PCネイティブのクライアントはまだ世の中にあまり出回っていなさそう)
• 通信インフラとしてセッション確立前の情報をやり取りするシグナリングサーバー
やNAT越えのTURN、STUNサーバーが必要
• 人数が多くなるとフルメッシュになりきつくなるのでSFUやMCUサーバが必要
• VoIPスペシャリストでなくてもブラウザに用意されたAPIを利用すればリアルタイ
ムコミュケーションのパワーを得られる
• WebRTC コトハジメ あたりが詳しい

9. 現状使っているプラットフォーム
Skyway
• WebRTCプラットフォームの１つ
• とりあえず無料で利用可能
• 日本語資料充実
• シグナリングサーバ、NAT、SFUあり
• Javascript/Android/iOSクライアントあり
• ひとまず始めるには良い

10. 今日お話すること
• 前提知識
• THETAのライブストリーミング機能
• WebRTCとは？
• オーソドックスな全天球画像の転送
• 全天球画像の部分転送をやってみた

11. WebRTCでのEqui画像の転送
• 比較的簡単に実装可能
• WebRTCでの送受信は
ほぼサンプルのまま
• 受信側での描画、WebVRでの
閲覧も比較的簡単なコードで
実現可能

12. 球面への描画
• Equirectangular形式は3Dライブラリを利用すると簡単に球面に描画可能
• カメラを球面に入れて表示する => 用意されている球のテクスチャは外側を向いて
いることが多いので対応する必要あり
• 球面を均一に照らすように環境光を設定
• Unity+THETA S+UVC Blenderでライブストーリミング画像を表示してみ
る - Qiita
• THETAのDualfisheye動画をThree.jsで表示してみた - Qiita

13. 球面の描画とVR HMDで見るための
3Dライブラリ
• Three.js：WebGLやWebVR直接触るよりは断然楽
• A-Frame：htmlのタグで定義、見るだけなら簡単
• ...etc

14. Unity、UE4での描画
• Unity、UE4をなるべく利用したい
• ３Ｄゲーム開発プラットフォームなので3D系の描画、演算が視覚的に楽に実現可
• Assetのエコシステムがあり他人の作った機能を手軽に利用可能
• 利用するにあたっての現状の課題
• THETAがUVC接続なので基本的にPC環境で実行となるがWebRTCのPCネイティブク
ライアントがまだない
• AndroidクライアントはあるのでAndroid環境ではいける？
• 標準で3D空間内部でＨＴＭＬ、Javascriptを実行できる機能がない(有料Assetではある)
• ＡｍａｚｏｎのSumerianはできるらしい期待

15. WebRTCでのEqui画像の送信の課題
• 全天球画像のサイズが大きくて転送量大
• ＷｅｂＲＴＣは帯域に応じて解像度を下げてビットレートを抑える仕組あり
• => 回線によってはどんどん解像度を下げられてモザイク状態に

16. 今日お話すること
• 前提知識
• THETAのライブストリーミング機能
• WebRTCとは？
• オーソドックスな全天球画像の転送
• 全天球画像の部分転送をやってみた

17. WebRTCでのEqui画像の部分送信
• Unity+WebRTC+three.js+WebVRを使ってRICOH THETAの全天球画
像を遠隔地のOculusでみる - Qiita