Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

【Unite Tokyo 2019】ライブエンターテイメントにおけるUnity

1,928 views

Published on

2019/9/25-6に開催されたUnite Tokyo 2019の講演スライドです。
すぎの ひろのり(株式会社stu)
高尾 航大(株式会社stu)
今村 理人(株式会社stu)

こんな人におすすめ
・ゲーム以外でUnityを使いたい人
・リアル空間の演出をしたい人
・バーチャル空間の演出をしたい人


受講者が得られる知見
・Unityのライブ分野への活用
・実際のライブの開発方法
・バーチャルライブにおけるキャラクターの表現方法

Unityのイベント資料はこちらから:
https://www.slideshare.net/UnityTechnologiesJapan/clipboards

Published in: Technology
  • Be the first to comment

  • Be the first to like this

【Unite Tokyo 2019】ライブエンターテイメントにおけるUnity

  1. 1. ライブエンターテイメント における
  2. 2. Twice Dome Tour 2019 #DreamDay
  3. 3. ディスプレイ Twice Dome Tour 2019 #DreamDay
  4. 4. ムービングライト — ムービングライトにはいろいろな機 能がある – ライトビーム – カラーホイール – ズーム – フォーカス – ゴボ(影絵のようなフィルタ) – プリズム(光線が分かれる) それぞれの機能に対して、DMXのチャン ネルが割り振られていて、DMXの値で操 作できる
  5. 5. 電飾 — DMXの各チャンネルの値で、対応 するLEDのRGB値を設定する — LED1個につき、RGB3チャンネル分 のDMXチャンネルを使用 — セットに入れ込む電飾の規模で使 用するDMXチャンネルの数が膨大 な数になる
  6. 6. ● LTC(タイムコード)をもとに各 曲の始まり、演出の始まりを 判定 ○ 背景の動画の切り替え ○ 環境光設定の切り替え ○ セットの切り替え ● Art-NetをもとにUnity内の照 明、電飾を操作 ● 最終レンダリング結果を LED ディスプレイの入力に合わせ てチャートに分け、送出 照明卓 電飾卓 Audio Interface 副調整室 LTC(Linear Time Code) Art-Net(照明・電飾信号) 音源を再生したり、全体のコントロールをするセクション LEDパネル送出 リアル照明 リアル電飾 USB LTC DMX
  7. 7. 最終出力 映像を で出力 内で、 ディスプ レイ左右のエリア、セ ンターのエリアが分け られている 各エリアの映像が各 ディスプレイに映し 出される
  8. 8. での開発
  9. 9. での開発 いくつか、エピソードを交えながら解説します — 連動の開発 – Art-Netでオブジェクトを操作可能にする – UDPデータのレコーダー/プレーヤー — ボリュームライトの開発 – AssetStoreのアセットを使用 – アセットの修正・改良 — カメラの開発 – LEDディスプレイへの最終レンダリング
  10. 10. — ムービングライトやLED電飾はDMXという信号を用いて操作する — Art-NetはEthernetネットワーク上でUDPを使用して照明信号を送る – デファクトスタンダード — 照明さん電飾さんには照明卓、電飾卓からArt-Netを送ってもらう Lanケーブル(or Wifi) Art-Net (UDP信号) 照明・電飾卓 映像制御システム卓(stu)
  11. 11. — Art-NetをUnityで使用する — ArtNet.Netという.Net用のライブラリを 利用した – Art-Netの送受信を行う – https://github.com/sugi-cho/ArtNet.Unity – [Unity ArtNet] 同じArtNetをUnityと実機材に送り、バーチャ ルの照明とリアルのムービングライトが同じ 動きをするように開発
  12. 12. — 実際の照明、電飾の動きは照明さん、電飾さんの卓から送ってもらう – 実際の照明、電飾の動きを見るためにデータを打ってもらう必要があった(基本、照明・電飾のオ ペレーションは手打ちのところが多い) – デバッグが大変 — 送られてきたUDPのデータを記録・再生する仕組みを作った – https://github.com/sugi-cho/UdpData-Unity – [Unity UdpData]
  13. 13. Art-Net信号 (UdpData) UdpRecorder data.udp
  14. 14. UdpPlayer data.udp Art-Net Debug & Develop
  15. 15. — – Unity Asset Store – Volume Shadow – 軽量(それなりに重い – Goboのシミュレーション可能 ムービングライトの開発
  16. 16. — Art-Netで操作可能 – Pan/Tilt – Color (Wheel) – Gobo – Prizm – Focus – Etc.. — 機種によって変わる – Sharpy – Mytos – B-EYE ムービングライトの開発
  17. 17. 照明のセットアップ 照明デザイナーさんの照明 計画の図面をもとに、 Unity 内に照明を配置 1ステージ当たり、50-100灯 体設置 → Light Objectの数
  18. 18. NHK紅白、実際の曲の照明キューを送るテスト 2018 12/14
  19. 19. 、光の調整 — HxVolumetricSpotLight.shader
  20. 20. の 行目を修正
  21. 21. 本番直前、同じ曲 2018 12/30
  22. 22. ボリュームライトの減衰の調整結果 Original Shader調整後
  23. 23. 実空間の延長線上にある 内の世界 — LEDディスプレイの向こう側にも 空間繋がっているように見せる – 連動感 – スケール感 – パースを合わせる
  24. 24. 実空間との連動感 — ステージ上の照明・電飾 — ディスプレイ内のバーチャル照明 ・電飾 — リアルタイムで同じように制御す る – 同じ信号で、同じ動きをす る
  25. 25. パースを合わせるカメラの実装 — Unity内のカメラの位置を現実空間上のカメラの 位置(想定視点)に配置 — カメラからLEDディスプレイへのプロジェクション 行列(Frustum Matrix)を計算 — Camera.projectionMatrixに行列を設定 →設定した位置からLEDディスプレイを見たとき、リア ル空間とバーチャル空間でパースが合うようになる
  26. 26. — 開発 — — 照明 – HxVolumetricLighting(AssetStore) – アセットの修正 — 電飾の開発 – エディター拡張 — 安定化、チューニング — 現場、リハ、本番! ( )開発プロセスまとめ
  27. 27. — 本番直前での色調整が可能 – 映像だと、1曲分レンダリングするのに 数十分~数時間かかる – リアルタイムだと即座に反映 — 熟練の照明オペレーターさんがそのまま映像内の照明演出をつく ることができる – リアル照明とバーチャル照明を同じ操作で制御できる – リアルとバーチャルの統一感を出せる — 音楽に合わせた映像演出の作りこみが可能 – 1つのセットでも照明演出次第で 複数の楽曲に対応可能 — 舞台セットの転換を一瞬で行える – 物理セットだと大道具小道具等 たくさんの人手が必要 — リアルタイムレンダリングで生放送 ライブに挑むドキドキ感を味わ える ライブの映像を でリアルタイムに出す利点
  28. 28. Real - Virtual
  29. 29. どういうイベント バーチャル空間上でのライブ 輝夜月さんを主人公に、 世界初の商業リアルタイム 音楽ライブ を実現 全国の映画館・特設会場でライブビュー イングを実施
  30. 30. 過去 回開催
  31. 31. さっそくですが、仕組みの話
  32. 32. 配信方法
  33. 33. ライブ開催プラットフォーム — バーチャルイベント空間 — ユーザーが自由にイベントを開催・参加できる — クライアントは 製
  34. 34. ライブ参加方法は 通り ライブビューイング
  35. 35. ライブビューイング ライブ参加方法は 通り
  36. 36. ライブ配信構成
  37. 37. トリガー トリガーを打つことによって、次の曲の演出が走る
  38. 38. ライブビューイング配信構成 会場 ライブビューイング 配信機 スイッチ
  39. 39. リアルタイム カメラマン — コントローラを接続、視点を操作 – Clusterさんの機能 — その絵をスイッチャーに送る ゲームが得意な人をアサイン
  40. 40. 開発
  41. 41. ライブセットリスト やりたい演出をセットリストに落とし込む。 ワンシーンでどのように実現するか
  42. 42. ライブ全体をタイムライン 本で制作 演出のタイムライン制御 分業効率化のため、セクションごとにタイムライ ンを用意 タイムラインと同時にセット切り替え
  43. 43. ユーザ間同期 トリガーが打たれた時刻でタイムスタンプ が保存される ログインしたときの時刻差分 でタイ ムラインの再生位置を把握 ここから 再生 トリガー ログイン
  44. 44. 分業体制 各セクションでシーンを分け、それぞれで開発。
  45. 45. 各作業のマージ マスターシーンにすべての個別シーンを マージする。 、必要な だけ を引っ張ってきて、 この際、各 が、 セクション外部のオブジェクトを参照してい る場合、挿しなおしてあげる
  46. 46. 結合フロー — ライブ制作ユニット — 本 リポジトリが走っている状態
  47. 47. 結合フロー — さんのリポジトリに直接自分がコ ミット – 1stの時はunitypackageを納品していたが、 先方のアセット階層に最適化しなければなら ず2度手間だった — ブランチに すると、自動的に会場 がビルドされる仕組み – 先方を煩わせることなく確認可能
  48. 48. VRライブならではの制作
  49. 49. 制作コアメンバー プロデューサ ディレクター サウンドエンジニア モデラー アニメーター エンジニア 当時全員フリーランス プロデューサ ディレクター サウンドエンジニア モデラー エンジニア 1stライブ ライブ
  50. 50. 制作期間 カ月
  51. 51. ブレスト 曲が決定していない中で、 演出や各セットのイメージ・つなぎを固める エンジニアがこの時点で参加 → ダイナミックにステージが動いても というき わどい判断が可能だった
  52. 52. 演者との共創感 — 演者と一緒に移動する — 会話する
  53. 53. ストーリー — 曲個別の演出ではなく、全体を見通 した演出設計 – ステージが上がっていくなど — ライン – 期待値を高める — オチ – 余韻・儚さ・壮大さ – よかったなと思わせる – 2度驚かせる
  54. 54. ライン — ディズニーリゾートのアトラクション に乗る前の待機列の高揚感 — 初めから抽象空間だと驚きが半減 する – 物理・心理的に正しい空間 – 写実的な床や壁を用意する 待機時間は、ライブ本編よりも長い https://castel.jp/p/720
  55. 55. ライブの盛り上がりから一気に感動に落とし込む演出 感動した後にうしろを振り返ると、さらにフォトスポットなどが出現 → ユーザ同士で余韻に浸る オチ
  56. 56. 進行絵コンテ・ コンテ
  57. 57. プレビズ — で見たときのスケール感の調整用 — 簡単なウォークスルーアプリ – シーンを分離しておくことですぐにアプリが出力できた
  58. 58. モデリング — ラフネスマップを必ず入れる – 均等な反射だとVRで安く見える — 影 – ワンシーン解決なので、ベイク不可 – 半透明影オブジェクトを 1層重ねる — でのスケール感の確認 – 思った以上に大きいサイズの方が良 かったり... 度きちんと作る
  59. 59. サウンド 作曲家と協力 — 劇伴 – 落とすピアノ – 壮大なオーケストラ — 効果音 – 拍手 – クラッカーの音 — 音が途切れる時間を作らない – 拍手の余韻 – 薄く流れる機械音 絵的な演出がうまくいかなくても、音でカバーできる
  60. 60. ライブカメラワーク あまりキメすぎず、ライブカメラっぽい追い方 – レールカメラ – LookAtカメラ – 遠景固定カメラ
  61. 61. タイポグラフィックス — タイムライン拡張 — テキストモーションの演出 – ダイレクトに観客へ飛んでくる今まで にない演出
  62. 62. ムービングライト — タイムライン拡張 — 実際の照明の動きを参考に – 将来的にはアセット化したい
  63. 63. シェーダー — の文脈も取り込みたい気持ち — 抽象的な演出 — ボディ周りに出てくるネオンオブジェクト — 服の模様 – 特殊な手法 – UTSをオーバーライド
  64. 64. ライブ 現実ライブ — 演出の幅が実質無限大 – 現実と違い、物理的な制約を受けない — ライブビューイング・ 参加それぞれに良さがある – お互いがどちらも体験したいとの声が多かった — 演者と触れ合える – 身体的な危険性がない — 地理的・人数的な入場制限がない – 世界中からログイン可能
  65. 65. ライブの今後の可能性 — 現場のノウハウを持ち込みたい – プロの照明・電飾・カメラマンの使用に耐えるシステム作り — 表現をしたい方との密な演出設計 – 演者さんの目指す世界観に入り込めるような演出 ライブならではの演出や機構を「 」の垣根を超えて模索していく
  66. 66. https://stu.inc

×