Recommended
Recommended
More Related Content
What's hot
What's hot (20)
Similar to バーチャルライブプラットフォーム 「INSPIX」を支える技術とその活用法
Similar to バーチャルライブプラットフォーム 「INSPIX」を支える技術とその活用法 (17)
バーチャルライブプラットフォーム 「INSPIX」を支える技術とその活用法
- 2. © 2019 pulse.Inc 自己紹介 加田 健志 パルス株式会社 / VR Live Engineer アーケードゲーム開発会社、 VRゲーム開発会社を経て 2018年パルス株式会社に入社。 2015年より公私にわたって VRコンテンツの制作に従事 現在はVRデバイス制御、クライアント通信、サウンド制御が主な担当範囲 登壇 - CEDEC2018 おうちでVRライブ体験 バーチャルライブプラットフォーム「INSPIX」のこれまでと今後 - UNREAL FEST EAST 2017 脱Unity！？ UE4でVR開発のここが変わった
- 3. © 2019 pulse.Inc パルス株式会社 株式会社イグニスの子会社 VRコンテンツの企画・開発・運営 岩本町芸能社・株式会社ミラクルプロと 業務提携中 えのぐ 馬越健太郎 米(マイ)プリンセス
- 4. © 2019 pulse.Inc アジェンダ ● バーチャルライブプラットフォーム「INSPIX」とは ● VRライブを支える技術 ○ 光学式モーションキャプチャシステム ○ ライブプラットフォームに求められる技術 ● ライブ以外の活用法 ● 今後の展望
- 9. © 2019 pulse.Inc フルタイムリアルタイムライブ ● 全てがリアルタイム ○ リアルタイム体験こそライブ ○ 歌とダンスも生 ○ 実在感を表現 歌 MC 歌 生 生 生
- 10. © 2019 pulse.Inc スマホVRから出発 ● ユーザーが高価な機材を買わなくても体験できる ● VRライブの認知度を上げてから専用デバイスに拡大 ● エンジニア・デザイナ的には厳しいところからスタート
- 11. © 2019 pulse.Inc 多人数出演 ● 理論上は何人でも出演可能 ● 光学式モーションキャプチャシステムで実現 ○ あとで詳しく話します
- 12. © 2019 pulse.Inc 2018年INSPIX活用年表 誕生祭 VR お話会 2月 誕生祭 VR お話会 3月 4月 初ライブ 5月 6月 誕生祭 VR お話会 7月 誕生祭 VR お話会 8月 9月 10月 誕生祭 VR お話会 11月 12月 ライブ ライブ ライブ ライブ ライブ ライブ CD リリースイ ベント 360度 ライブ バーチャル 握手会 一日店長 イベント 360度 生放送 ライブ8回 VRお話会5回＋お話会2回
- 13. © 2019 pulse.Inc アジェンダ ● バーチャルライブプラットフォーム「INSPIX」とは ● VRライブを支える技術 ○ 光学式モーションキャプチャシステム ○ ライブプラットフォームに求められる技術 ● ライブ以外の活用法 ● 今後の展望
- 19. © 2019 pulse.Inc アジェンダ ● バーチャルライブプラットフォーム「INSPIX」とは ● VRライブを支える技術 ○ 光学式モーションキャプチャシステム ○ ライブプラットフォームに求められる技術 ● ライブ以外の活用法 ● 今後の展望
- 22. © 2019 pulse.Inc ライブプラットフォームに求められる通信 リアルタイム通信で送らなければいけないデータ - アクターのモーション・表情 - 音楽・歌声 - ライトやビジョンの演出 - 観客の動き タイミングが揃わないとライブ感は得られない
- 26. © 2019 pulse.Inc 通信量の削減 通信量を減らすために効果的だったこと 〇送信モーションデータの削減 ・毎フレーム送らず受信側で補間 ・見た目に影響しないボーン情報を送信しない 〇ボーン情報をQuaternionではなくEulerで送信 ・float4個からfloat3個に削減 〇ボーンの回転情報をfloat[3]ではなくintに圧縮 ・x軸とy軸は11bit z軸は10bitに圧縮 →合計32bit 通信量約90%減を達成 改善前 改善後
- 28. © 2019 pulse.Inc 今日から始められる描画の工夫 ● モバイル端末で描画可能な仕様を作成 ● 描画の最適化は難しいことが多い＆すぐできない事が多い ○ ポリゴン数減らす ○ ボーン数減らす ○ シェーダーのロジックを工夫して最適化する etc... アセットを導入するだけの 簡単な描画最適化法2種類を紹介
- 29. © 2019 pulse.Inc 観客描画 ● ライブ感を出すためにモブ観客が必要 ● 立ってるだけじゃつまらないので動かしたい ● Skinned MeshとAnimatorでは数10体が限界・・・ ● Animation Texture Baker for Unityを導入 ○ シェーダーで頂点アニメーションさせる ● 10倍以上の数の描画が可能に ● https://github.com/sugi-cho/Animation-Texture-Baker
- 30. © 2019 pulse.Inc 揺れもの最適化 ● 以前は揺れものにDynamic Boneを使用 ○ めっちゃ重い・・・ ○ モバイルで5人出すのは辛い ● Unity Chan Spring Boneを導入 ○ Dynamic Boneに比べて軽量 ○ 日本語UIなので非エンジニアでも パラメータ調整が可能に ○ https://github.com/unity3d-jp/UnityChanSpringBone
- 31. © 2019 pulse.Inc アジェンダ ● バーチャルライブプラットフォーム「INSPIX」とは ● VRライブを支える技術 ○ 光学式モーションキャプチャシステム ○ ライブプラットフォームに求められる技術 ● ライブ以外の活用法 ● 今後の展望
- 32. © 2019 pulse.Inc 2018年INSPIX活用年表 誕生祭 VR お話会 2月 誕生祭 VR お話会 3月 4月 初ライブ 5月 6月 誕生祭 VR お話会 7月 誕生祭 VR お話会 8月 9月 10月 誕生祭 VR お話会 11月 12月 ライブ ライブ ライブ ライブ ライブ ライブ CD リリースイ ベント 360度 ライブ バーチャル 握手会 一日店長 イベント 360度 生放送
- 34. © 2019 pulse.Inc アイドルと直接会話を楽しむイベント ● アイドルは接近戦が楽しい！ ○ 双方向コミュニケーション ● VRお話会 ○ Viveを装着し、アイドルと1分程度の話を楽しめる ● お話会 ○ スクリーン越しにアイドルと1分程度の会話を楽しめる
- 36. © 2019 pulse.Inc バーチャル握手会 ● デビューシングル発売イベントとして実施 ● 会場に人を集めて2日間開催 ● 11〜13時、14〜16時、17〜19時の三部構成 ● のべ体験人数約1000人
- 39. © 2019 pulse.Inc 触覚デバイスについて ● 握手会なので触覚デバイス？ →付け外しの手間がかなりかかる →衛生的にも懸念がある →断念
- 40. © 2019 pulse.Inc Daydream Mirage Solo ● AndroidベースのスタンドアローンVR HMD ○ HMDは6DoF対応 ● コントローラーは3DoF・振動なし ○ エフェクトやサウンドで握手やハイタッチしている感を演出 ● バッテリーは処理負荷が高いと1時間半程度 ○ モバイルバッテリーを接続してサブバッテリーとして運用 ● HMD内蔵のマイクの精度が結構高い ○ 外部機器を使わなくても双方向の会話が可能 ● 当日は予備も含め40台用意 ○ アクセスポイントは2か所用意 モバイルバッテリー
- 41. © 2019 pulse.Inc スタンドアローンHMDイベント運用での工夫 ● お客さんが何を見ているか分からない ● バッテリー残量がわからない ● 通信が生きているのかわからない →端末の情報を定期的に現地のPCに送信 視線情報(数フレーム間隔) バッテリー情報(数秒間隔)
- 43. © 2019 pulse.Inc 360度配信 = お気軽VR配信 配信者：専用の動画フォーマットで収録 or 生配信するだけ ユーザー：専用デバイスが無くても視聴可能 2018年は2回 360度生配信を実施 - 11月 実験！360度生放送！【VRアイドルえのぐ】 - 12月 【360度LIVE】VRアイドル｢えのぐ｣クリスマス特別生ライブ開催！ Equirectangularフォーマット エクイレクタングラー
- 44. © 2019 pulse.Inc 安定した360度動画を得るまで ● 専用のアセットを使ってみる ○ 360 Panorama Capture ○ 360 VR Camera Capture Rig ○ Facebook 360-Capture-SDK ■ 生配信対応 ■ 動画エンコードもアセット内で行う ■ https://github.com/facebook/360-Capture-SDK ● 1回目の生配信は「Facebook 360-Capture-SDK」を使った ○ PCが負荷に耐え切れず画質が低下・・・ ○ 音もなぜか高くなっていく・・・
- 45. © 2019 pulse.Inc 自前で360度動画フォーマットにする Unity単体で360度動画フォーマットにする方法 1. カメラからCube Mapを生成 2. Cube Mapを RenderTexture.ConvertToEquirect を使って変換 3. 画面の最前面に描画 音声 OBSなどの 配信ソフト 合成 送信
- 46. © 2019 pulse.Inc ソースコード using UnityEngine ; [RequireComponent (typeof(Camera))] public class EquirectRenderer : MonoBehaviour { RenderTexture m_cubemap ; [SerializeField ] RenderTexture m_EquirectTexture ; //このテクスチャを Canvasなどを使って最前面に描画 Camera m_Camera ; void Start() { m_Camera = this.GetComponent <Camera>(); m_cubemap = new RenderTexture (1024, 1024, 24); m_cubemap .dimension = UnityEngine .Rendering .TextureDimension .Cube; //Cubemap 形式に設定 } private void LateUpdate () { m_Camera .RenderToCubemap (m_cubemap ); //カメラの映像を Cubemapに撮像 m_cubemap .ConvertToEquirect (m_EquirectTexture ); //Cubemap をEquirectangular に変換 } } https://github.com/tkada/UnityEquirectRenderer
- 48. © 2019 pulse.Inc アジェンダ ● バーチャルライブプラットフォーム「INSPIX」とは ● VRライブを支える技術 ○ 光学式モーションキャプチャシステム ○ ライブプラットフォームに求められる技術 ● ライブ以外の活用法 ● 今後の展望
- 49. © 2019 pulse.Inc 今後の展望 ● スマホ版INSPIXリリース ● 不定期で行われるイベント対応＆機能拡張 ● コラボ案件にも柔軟に対応できるよう機能拡張
- 50. © 2019 pulse.Inc INSPIX Support Program INSPIXを使ってライブがしてみたい！ INSPIXを使って握手会がしてみたい！ VTuberさんや企業の方 お問い合わせはこちら https://1923.co.jp/inspix-inquiry
- 51. © 2019 pulse.Inc 【VRアイドル】えのぐチャンネル 馬越健太郎チャンネル 米プリンセスチャンネル チャンネル登録よろしくお願いします！
- 52. © 2019 pulse.Inc 2月20日 TOKYO MXの番組に「えのぐ」が出演 放送日：2019年2月20日(水)20:27〜20:56 放送局：TOKYO MX 番組名：ソーシャルジン 公式サイト：http://socialzine.love/