Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

【CEDEC2018】おうちでVRライブ体験 バーチャルライブプラットフォーム 「INSPIX」のこれまでと今後

本資料はCEDEC2018で公開された資料です。

2018年に入ってから勢いを増すVR/AR業界
その中で弊社はVirtual Live Platform「INSPIX」の開発を行っています。
システムを作るにあたって導入したモーションキャプチャシステム、VRデバイスについてご紹介します。
さらに、今後「INSPIX」がどのように家庭にVRライブを届けていくかをお話しします。

  • Be the first to comment

【CEDEC2018】おうちでVRライブ体験 バーチャルライブプラットフォーム 「INSPIX」のこれまでと今後

  1. 1. © 2018 pulse.Inc おうちでVRライブ体験 バーチャルライブプラットフォーム 「INSPIX」のこれまでと今後 パルス株式会社 加田健志 2018.8.22
  2. 2. © 2018 pulse.Inc 自己紹介 加田 健志 パルス株式会社 / VR Live Engineer アーケードゲーム開発会社、 VRゲーム開発会社を経て 2018年パルス株式会社に入社。 2015年より公私にわたって VRコンテンツの制作に従事 現在はVRデバイス制御、クライアント通信、サウンド制御が主な担当範囲
  3. 3. © 2018 pulse.Inc パルス株式会社 株式会社イグニスの子会社 VRコンテンツの企画・開発・運営 岩本町芸能社と業務提携中 岩本町芸能社所属タレント VRアイドル「えのぐ」 馬越健太郎
  4. 4. © 2018 pulse.Inc アジェンダ ● バーチャルライブプラットフォーム「INSPIX」とは ● モーショントラッキングシステム ● VR HMD ● ライブプラットフォームに求められる通信 ● 今後と本日のまとめ
  5. 5. © 2018 pulse.Inc バーチャルライブプラットフォーム「INSPIX」 https://1923.co.jp/wp-content/uploads/2018/02/20180227_pulse_products.pdf ・仮想空間 ・リアルタイム ・インタラクション
  6. 6. © 2018 pulse.Inc 先日のライブイベントの様子 8月10日 岩本町芸能社所属VRアイドル「えのぐ」 VR・Youtube・UDXライブビューイングの 3会場で実施 UDX VR
  7. 7. © 2018 pulse.Inc アジェンダ ● バーチャルライブプラットフォーム「INSPIX」とは ● モーショントラッキングシステム ● VR ヘッドマウントディスプレイ ● ライブプラットフォームに求められる通信 ● 今後と本日のまとめ
  8. 8. © 2018 pulse.Inc システムの入口
  9. 9. © 2018 pulse.Inc モーショントラッキングシステム アクターの動きを取り込むためのシステム ゲーム・映画・VTuberなど応用範囲は広い 磁気式・光学カメラ式・VRデバイスを使ったシステムなどがある ボーンの位置・回転情報をデータとして出力
  10. 10. © 2018 pulse.Inc プロジェクト初期(2017年夏) Perception Neuron - 磁気を利用して全身をキャプチャ - 約20万円 - 磁場によるキャプチャ崩れ Vive Tracker - VRデバイスのViveを利用 - 足や腰などにVive Trackerを装着 - 約10万円 - 1PCで使えるTracker数に制限
  11. 11. © 2018 pulse.Inc 光学式モーショントラッキングシステム アクターはマーカーを取り付けた専用のスーツを着用 マーカーの位置を専用のカメラが撮影し、モーションをトラッキング トラッキングスペース内であれば、理論上何人でもトラッキングが可能 とても高価
  12. 12. © 2018 pulse.Inc モーショントラッキングシステムの特徴 メリット デメリット Perception Neuron 安価 磁気によるキャプチャ崩れ 1PCで1人キャプチャ Vive Tracker 安価 複数人対応 デバイスが重い 1PCのTracker数に制限 光学式 正確なキャプチャ 複数人対応 高価(数百万円以上)
  13. 13. © 2018 pulse.Inc Unityで使うとこんな感じ
  14. 14. © 2018 pulse.Inc リアルタイムモーションキャプチャの難しさ 常に正しい動きが出力されるわけではない →想定していない方向に関節が曲がっている 一般のモーションキャプチャ →キャプチャ後にアニメーターがデータを編集 リアルタイムモーションキャプチャ →キャプチャデータ自体の編集はできない →キャラクターにモーションを適用する際に制御を加える →ボーンの角度制限・IKなど
  15. 15. © 2018 pulse.Inc 他にも・・・ ・アクターとキャラクターの対格差  →小物を持たせると破綻が発生  →IKなどを駆使し解決 ・ポーズがうまく決まらない  →アクターのポーズとキャラクターのポーズに差異  →キャプチャされたポーズがカッコよくなるようにアクターが調整 課題はアクターの練習とエンジニアリング両面で解決
  16. 16. © 2018 pulse.Inc アジェンダ ● バーチャルライブプラットフォーム「INSPIX」とは ● モーショントラッキングシステム ● VR ヘッドマウントディスプレイ ● ライブプラットフォームに求められる通信 ● 今後と本日のまとめ
  17. 17. © 2018 pulse.Inc システムの出口
  18. 18. © 2018 pulse.Inc 今回のイベントの前提条件 いきなり様々なデバイス・通信環境に対応するのは難しい 最初はクローズドな環境でイベントを行う →ターゲットVRデバイスの選定
  19. 19. © 2018 pulse.Inc VRヘッドマウントディスプレイ(HMD)選定 大人数の使用に耐えうるHMD →ワイヤレス 来場していただくのでリッチな体験が必要 →Cardboardのような簡易デバイスではない ライブだからサイリウムも振りたい →コントローラがあるデバイス
  20. 20. © 2018 pulse.Inc 6DoFと3DoFの違い 6DoF 頭の回転と前後左右上下への動きが VR内に反映される 3DoF 頭の回転の動きのみが VR内に反映される 音楽にノッてくると体が動くので3DoFだと酔い易い
  21. 21. © 2018 pulse.Inc HMD比較 プラットフォーム ヘッドトラッキング コントローラ フレーム欠損時の補間 Vive PC 6DoF あり あり Oculus Rift PC 6DoF あり あり Cardboard スマホ 3DoF なし なし Gear VR スマホ(Galaxy) 3DoF あり あり Oculus Go スタンドアローン 3DoF あり あり Mirage Solo スタンドアローン 6DoF あり あり
  22. 22. © 2018 pulse.Inc Lenovo Mirage Solo with Daydream スタンドアローンヘッドセットながら6DoF コントローラは3DoF 中身はAndroid+Snapdragon 835 バッテリー稼働時間 約2時間半 定価 ¥55,296
  23. 23. © 2018 pulse.Inc サイリウム サイリウムとは →アイドルのコンサートでファンが振っている光る棒 →昔は単色で化学発光 →現在は電気式で複数色を切り替え可能 VR内でもサイリウムを振られるように実装 ボタンを押すことで好きな色に切り替え可能 ユーザー⇔アクター ユーザー⇔ユーザーの インタラクションに活用
  24. 24. © 2018 pulse.Inc エージング どれくらい連続稼働できるか調べる必要があった →HMDを被っていないとスリープしてしまう 対策 1.装着センサーを無効にするため、シールで隠した 2.動きがないとスリープしてしまうので、ターンテーブルで回し続けた
  25. 25. © 2018 pulse.Inc スピーカーvsヘッドフォン VR体験ではヘッドフォンがいいと言われる ライブだと大きな音、振動、一体感などが求められる → 逆に立体音響のような繊細な指向性は求められない 今回はヘッドフォンを使用したが、今後はスピーカーの使用も検討中
  26. 26. © 2018 pulse.Inc アジェンダ ● バーチャルライブプラットフォーム「INSPIX」とは ● モーショントラッキングシステム ● VR ヘッドマウントディスプレイ ● ライブプラットフォームに求められる通信 ● 今後と本日のまとめ
  27. 27. © 2018 pulse.Inc ライブプラットフォームに求められる通信 リアルタイム通信で送らなければいけないデータ - アクターのモーション・表情 - 音楽・歌声 - ライトやビジョンの演出 - 観客の動き タイミングが揃わないとライブ感は得られない
  28. 28. © 2018 pulse.Inc 単純に各データを送ってしまうと 音声データ モーションデータ 音声データと モーションデータの タイミングがそろわない イマイチなライブ体験
  29. 29. © 2018 pulse.Inc モーションデータにタイミング情報を付与 音声データ モーションデータ エモいライブ体験 何秒目の音声の時の モーションだったか タ イ ミ ン グ を そ ろ え て か ら 再 生
  30. 30. © 2018 pulse.Inc 通信の安定化 通信が不安定になると・・・ →音やモーションが途切れる →ライブ体験の質が大幅に下がる 通信を安定させるために効果的なこと →強力なインフラを準備する →高スペックなマシンを用意する →通信量を減らす
  31. 31. © 2018 pulse.Inc 通信量の削減 通信量を減らすために効果的だったこと 〇送信モーションデータの削減  ・毎フレーム送らず受信側で補間  ・見た目に影響しないボーン情報を送信しない 〇ボーン情報をQuaternionではなくEulerで送信  ・float4個からfloat3個に削減 × ボーンの回転情報をfloatではなくbyteに圧縮  ・通信量は削減できたが動きがカクカクしてしまった 通信量約90%減を達成 改善前 改善後
  32. 32. © 2018 pulse.Inc アジェンダ ● バーチャルライブプラットフォーム「INSPIX」とは ● モーショントラッキングシステム ● VR ヘッドマウントディスプレイ ● ライブプラットフォームに求められる通信 ● 今後と本日のまとめ
  33. 33. © 2018 pulse.Inc 今後 ● より多くの人が体験できるように ○ アプリとして一般配布 ○ クローズドイベントの規模拡大 ● アクター⇔観客および観客同士のインタラクションの改善 ● 様々なVRデバイスに対応
  34. 34. © 2018 pulse.Inc まとめ ● バーチャルライブプラットフォーム「INSPIX」の現状と今後 ● モーショントラッキングシステムの特徴 ● VRヘッドマウントディスプレイの特徴 ● ライブプラットフォームに求められる通信
  35. 35. © 2018 pulse.Inc 【VRアイドル】えのぐチャンネル 馬越健太郎チャンネル えのぐ@VRアイドル 馬越健太郎 / UK
  36. 36. © 2018 pulse.Inc ご清聴ありがとうございました

    Be the first to comment

    Login to see the comments

  • AkioHigasa

    Aug. 27, 2018
  • tsuyoshicho

    Nov. 3, 2020
  • happy1st

    Feb. 10, 2021

本資料はCEDEC2018で公開された資料です。 2018年に入ってから勢いを増すVR/AR業界 その中で弊社はVirtual Live Platform「INSPIX」の開発を行っています。 システムを作るにあたって導入したモーションキャプチャシステム、VRデバイスについてご紹介します。 さらに、今後「INSPIX」がどのように家庭にVRライブを届けていくかをお話しします。

Views

Total views

3,322

On Slideshare

0

From embeds

0

Number of embeds

1,682

Actions

Downloads

19

Shares

0

Comments

0

Likes

3

×