Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

バーチャルライブプラットフォーム「INSPIX」におけるVRM活用事例

1,398 views

Published on

2019/11/29
VRMコンソーシアム セミナー 第1回「ビジネスにおけるアバター活用術」
で発表した資料です
https://vrmc.connpass.com/event/154631/

Published in: Engineering
  • Be the first to comment

バーチャルライブプラットフォーム「INSPIX」におけるVRM活用事例

  1. 1. © 2019 pulse Inc. バーチャルライブプラットフォーム 「INSPIX」におけるVRM活用事例 パルス株式会社 加田健志 2019.11.29
  2. 2. © 2019 pulse Inc. 自己紹介 加田 健志 パルス株式会社 / VR Live Engineer アーケードゲーム開発会社、 VRゲーム開発会社を経て 2018年パルス株式会社に入社 2015年より公私にわたって VRコンテンツの制作に従事 現在はINSPIXにおけるクライアント開発全般を担当 登壇 - xR Tech Tokyo #14 バーチャルライブプラットフォーム「INSPIX」を支える技術とその活用法 - CEDEC2018 おうちでVRライブ体験 バーチャルライブプラットフォーム「INSPIX」のこれまでと今後 - UNREAL FEST EAST 2017 脱Unity!? UE4でVR開発のここが変わった
  3. 3. © 2019 pulse Inc. パルス株式会社 株式会社イグニスの子会社 「INSPIX」開発・運営 岩本町芸能社・株式会社ミラクルプロと業務提携中 えのぐ 馬越健太郎 米米米(マイベイベー)Marpril
  4. 4. © 2019 pulse Inc. アジェンダ ● バーチャルライブプラットフォーム「INSPIX」とは ● VRM活用事例 ● INSPIXでのアバター活用事例 ● 今後の展開
  5. 5. © 2019 pulse Inc. とは? バーチャルライブプラットフォーム
  6. 6. © 2019 pulse Inc. 生放送 ライブビューイング 握手会 MV ARライブ VRライブ バーチャルタレントが活躍できるシステムの総称
  7. 7. © 2019 pulse Inc. 「INSPIX」の特徴 https://1923.co.jp/press-release/2019/07/03_01.html ・フルタイムリアルタイムライブ ・スマホVRに対応 ・多人数出演
  8. 8. © 2019 pulse Inc. フルタイムリアルタイムライブ ● 全てがリアルタイム ○ リアルタイム体験こそライブ ○ 歌とダンスも生 ○ 実在感を表現 ● 要望によっては部分的なリアルタイムにも対応可能 ○ MCだけ生、モーションだけ生、歌だけ生 etc. 歌 MC 歌 生 生 生
  9. 9. © 2019 pulse Inc. スマホVRに対応 ● ユーザーが高価な機材を買わなくても体験できる ● VRライブの認知度を上げてから専用デバイスに拡大 ● エンジニア・デザイナ的には厳しいところからスタート
  10. 10. © 2019 pulse Inc. 多人数リアルタイム出演 ● 光学式モーションキャプチャシステムで実現 ● 理論上は何人でも出演可能 ● 専用スタジオを完備
  11. 11. © 2019 pulse Inc. アジェンダ ● バーチャルライブプラットフォーム「INSPIX」とは ● VRM活用事例 ● INSPIXでのアバター活用事例 ● 今後の展開
  12. 12. © 2019 pulse Inc. アバター活用 今回は主に こちら タレント側 観客側
  13. 13. © 2019 pulse Inc. VRM活用事例(1) - 株式会社サンリオ - バーチャルタレント「となりの研究生マ シマヒメコ。」 - MV作成にINSPIXを活用 - モデルのインポートにVRM マシマヒメコ『Arco Color』short ver./Music Video
  14. 14. © 2019 pulse Inc. VRM活用事例(2) - 斗和キセキ×Marprilコラボ動画 - 提供していただいたVRMを インポートしコラボ動画を撮影 やたのメンタルクリニック 斗和キセキ編@Marprilチャンネル
  15. 15. © 2019 pulse Inc. INSPIXのランタイムモデル操作機能 - 表情変更 - まばたき - 目線操作 - 口パク - マテリアル変更 - オブジェクトON/OFF - 小物を持たせる - 特定の関節を固定 - 全身トラッキング - 揺れ物
  16. 16. © 2019 pulse Inc. マテリアル変更 / オブジェクトON/OFF - マテリアル変更 - 紅潮表現などに使用 - 顔の表現を大きく変えたいとき - オブジェクトのON/OFF - >< のようなBlendShapeで表現が難しい表情時に使用
  17. 17. © 2019 pulse Inc. 小物を持たせる / 特定の関節を固定 - マイクやアクセサリの追加に使用 - 手先のトラッキングは不安定になることが多い → マイクを持つ手などは特定のポーズで固定 → ピースや指さしなどに応用
  18. 18. © 2019 pulse Inc. モデル実装ワークフロー VRMがないとき FBX書き出し 表情毎にブレンドシェ イプの値を設定 揺れモノを設定 QAチェック 1ヶ月
  19. 19. © 2019 pulse Inc. モデル実装ワークフロー VRMがあるとき VRM書き出し QAチェックINSPIX用にコンバート 1週間
  20. 20. © 2019 pulse Inc. モデル実装工数 VRMがないとき 1キャラクターあたり1か月 VRMがあるとき 1キャラクターあたり1週間
  21. 21. © 2019 pulse Inc. VRM+INSPIXの実装 - INSPIX側からコンバート層を経てVRMの表情システムを叩く - 揺れ物はVRM Spring Boneをそのまま使う VRM表情システム Unity モーション キャプチャシ ステム VRM Spring Bone Unity Chan Spring Bone 揺れ物INSPIX表情システム INSPIX→VRMコンバート
  22. 22. © 2019 pulse Inc. 他プラットフォームへのVRMコンバート - INSPIXで使っているキャラクターをVRMで出力 - 様々なプラットフォームで使用することが可能 - バーチャルキャスト - REALITY など コラボ案件などに容易に対応可能
  23. 23. © 2019 pulse Inc. VRM Viewer - 作成したVRMファイルの挙動確認に使用 - Unityを使わなくてもアプリ単体で確認可能 - イテレーションを早く回せる - VRMビューワー( https://w.atwiki.jp/beamman/ ) - VRM Live Viewer( http://fantom1x.blog130.fc2.com/blog-entry-309.html )
  24. 24. © 2019 pulse Inc. VRライブでVRMを使うとき
  25. 25. © 2019 pulse Inc. INSPIXの基本構成 スタジオ 各家庭 中継サーバ モーション 表情 ボイス 演出 etc.
  26. 26. © 2019 pulse Inc. 単純に各データを送ってしまうと 音声データ モーションデータ 音声データと モーションデータの タイミングがそろわない イマイチなライブ体験
  27. 27. © 2019 pulse Inc. モーションデータにタイミング情報を付与 音声データ モーションデータ エモいライブ体験 何秒目の音声の時の モーションだったか タ イ ミ ン グ を そ ろ え て か ら 再 生
  28. 28. © 2019 pulse Inc. 処理負荷の分散 - モバイル端末で動かすために、重い処理を送信元で実行する モバイルは結果を受け取るだけ - 送信元で行なっている処理 - 揺れ骨の計算 - 補助骨の計算 - リップシンクの解析 PCで計算を行い 結果を送信
  29. 29. © 2019 pulse Inc. 揺れ骨の送信 - 1キャラクターにつき100以上の揺れ骨が付いていることがある - 揺れ骨の回転情報を送信する - INSPIXでは下記の揺れ骨ライブラリに対応 - Unity Chan Spring Bone - VRM Spring Bone - モバイルでは揺れ骨Componentをdisable - 受け取った回転情報で描画
  30. 30. © 2019 pulse Inc. 通信量の削減 通信は無尽蔵に使えない 通信量は減らした方が安定する 〇送信モーションデータの削減  ・毎フレーム送らず受信側で補間  ・見た目に影響しないボーン情報を送信しない 〇ボーンの回転情報をfloat[4]ではなくintに圧縮  ・参考:Quaternionを16byteから3byteへ圧縮  http://cottonia-cotton.cocolog-nifty.com/backyard/2017/11/quaternion16byt.html
  31. 31. © 2019 pulse Inc. VRM活用事例まとめと今後 - VRMを使うことでモデル実装工数の削減 - INSPIXへのコンバート機能を実装して実現 - export機能を使って他プラットフォームにも展開 - 重い処理は送信元で処理することでモバイルでも動作 - VRMの機能拡充で、モデル実装工数がさらに低く、表現豊かに - クロス、カプセルコライダー - アタッチターゲット etc.
  32. 32. © 2019 pulse Inc. アジェンダ ● バーチャルライブプラットフォーム「INSPIX」とは ● VRM活用事例 ● INSPIXでのアバター活用事例 ● 今後の展開
  33. 33. © 2019 pulse Inc. 生放送 ライブビューイング 握手会 MV ARライブ VRライブ
  34. 34. © 2019 pulse Inc. リアルタイム性を活かしたコミュニケーション - ロケーションでも自宅でもリアルタイムコミュニケーション - リアルタイムにバーチャルタレントと交流 - タレントが安全 気軽で安全に交流できるのがバーチャルタレントの強み
  35. 35. © 2019 pulse Inc. INSPIX LIVE - iOS / Android向けスマートフォンアプリ - どこでもVRライブが楽しめる - お見送り会・トーク会機能もあり - Ver.1.1からはタレントとの双方向会話も実装
  36. 36. © 2019 pulse Inc. ロケーションライブイベント - ライブハウス・映画館などのビジョンに投影してイベントを開催 - お客さんに集まってもらってイベントを実施 - ARライブ / ロケーションVRライブも実施実績あり 第32回東京国際映画祭  Virtual×Real×Techライブ ~featuring 直感×アルゴリズム♪~ えのぐ1周年記念ARライブ
  37. 37. © 2019 pulse Inc. バーチャル握手会 ● えのぐデビューシングル発売イベントとして2018年12月初実施 ● その後も全国各地でイベントを実施 ● のべ体験人数5000人以上
  38. 38. © 2019 pulse Inc. チェキ会 / 呼び込み - お客さんと2ショットチェキを撮影 - 撮影前に会話を楽しむこともできる - イベントの呼び込みに応用
  39. 39. © 2019 pulse Inc. INSPIXでのアバター活用事例まとめ - リアルタイム性を活かしたイベントを数多く実施 - タレントとお客さんが気軽に安全にコミュニケーション - コミュニケーションができるとお客さんの満足度UP コミュニケーションはいつの時代もキラーコンテンツ
  40. 40. © 2019 pulse Inc. アジェンダ ● バーチャルライブプラットフォーム「INSPIX」とは ● VRM活用事例 ● INSPIXでのアバター活用事例 ● 今後の展開
  41. 41. © 2019 pulse Inc. 大型アップデート予定 https://1923.co.jp/press-release/2019/11/13-01.html
  42. 42. © 2019 pulse Inc.
  43. 43. © 2019 pulse Inc.
  44. 44. © 2019 pulse Inc. INSPIX LIVE App Store/Google Playで配信中 定期的に「えのぐ」がライブ開催中 次回は11月30日 双方向会話が楽しめる 個別トーク会が12月より開催予定 11/30 18:00 (OPEN 17:30) えのぐ定期公演~Jump out!
  45. 45. © 2019 pulse Inc. 開催予定のロケーションイベント 12/8~12  えのぐに逢いに恋‼ IN秋葉原 12/15  ナゴヤVTuberまつり 12/22  Marpril 1st LIVE 2/16  えのぐ結成2周年ライブ
  46. 46. © 2019 pulse Inc. INSPIX Support Program - INSPIXを使ってみたい - ライブ・握手会・チェキ会・生放送・MV収録 etc. - 詳しく話を聞きたい - 下記のURLからお問い合わせください! https://pulse227.com/products.html
  47. 47. © 2019 pulse Inc. ご清聴ありがとうございました

×