【Unite Tokyo 2019】ライブエンターテイメントにおけるUnity

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

ライブエンターテイメント
における

Twice Dome Tour 2019 #DreamDay

ディスプレイ
Twice Dome Tour 2019 #DreamDay

ムービングライト
— ムービングライトにはいろいろな機
能がある
– ライトビーム
– カラーホイール
– ズーム
– フォーカス
– ゴボ（影絵のようなフィルタ）
– プリズム（光線が分かれる）
それぞれの機能に対して、DMXのチャン
ネルが...

電飾
— DMXの各チャンネルの値で、対応
するLEDのRGB値を設定する
— LED1個につき、RGB3チャンネル分
のDMXチャンネルを使用
— セットに入れ込む電飾の規模で使
用するDMXチャンネルの数が膨大
な数になる

● LTC（タイムコード）をもとに各
曲の始まり、演出の始まりを
判定
○ 背景の動画の切り替え
○ 環境光設定の切り替え
○ セットの切り替え
● Art-NetをもとにUnity内の照
明、電飾を操作
● 最終レンダリング結果を LED
デ...

最終出力
映像をで出力
内で、ディスプ
レイ左右のエリア、セ
ンターのエリアが分け
られている
各エリアの映像が各
ディスプレイに映し
出される

での開発

での開発
いくつか、エピソードを交えながら解説します
— 連動の開発
– Art-Netでオブジェクトを操作可能にする
– UDPデータのレコーダー／プレーヤー
— ボリュームライトの開発
– AssetStoreのアセットを使用
– アセット...

— ムービングライトやLED電飾はDMXという信号を用いて操作する
— Art-NetはEthernetネットワーク上でUDPを使用して照明信号を送る
– デファクトスタンダード
— 照明さん電飾さんには照明卓、電飾卓からArt-Netを送って...

— Art-NetをUnityで使用する
— ArtNet.Netという.Net用のライブラリを
利用した
– Art-Netの送受信を行う
– https://github.com/sugi-cho/ArtNet.Unity
– [Unity...

— 実際の照明、電飾の動きは照明さん、電飾さんの卓から送ってもらう
– 実際の照明、電飾の動きを見るためにデータを打ってもらう必要があった（基本、照明・電飾のオ
ペレーションは手打ちのところが多い）
– デバッグが大変
— 送られてきたUDPの...

Art-Net信号
（UdpData）
UdpRecorder
data.udp

UdpPlayer
data.udp
Art-Net
Debug & Develop

—
– Unity Asset Store
– Volume Shadow
– 軽量（それなりに重い
– Goboのシミュレーション可能
ムービングライトの開発

— Art-Netで操作可能
– Pan/Tilt
– Color (Wheel)
– Gobo
– Prizm
– Focus
– Etc..
— 機種によって変わる
– Sharpy
– Mytos
– B-EYE
ムービングライトの開発

照明のセットアップ
照明デザイナーさんの照明
計画の図面をもとに、 Unity
内に照明を配置
1ステージ当たり、50-100灯
体設置
→ Light Objectの数

NHK紅白、実際の曲の照明キューを送るテスト
2018 12/14

、光の調整
— HxVolumetricSpotLight.shader

の行目を修正

本番直前、同じ曲
2018 12/30

ボリュームライトの減衰の調整結果
Original Shader調整後

実空間の延長線上にある内の世界
— LEDディスプレイの向こう側にも
空間繋がっているように見せる
– 連動感
– スケール感
– パースを合わせる

実空間との連動感
— ステージ上の照明・電飾
— ディスプレイ内のバーチャル照明
・電飾
— リアルタイムで同じように制御す
る
– 同じ信号で、同じ動きをす
る

パースを合わせるカメラの実装
— Unity内のカメラの位置を現実空間上のカメラの
位置（想定視点）に配置
— カメラからLEDディスプレイへのプロジェクション
行列(Frustum Matrix)を計算
— Camera.projection...

— 開発
—
— 照明
– HxVolumetricLighting（AssetStore）
– アセットの修正
— 電飾の開発
– エディター拡張
— 安定化、チューニング
— 現場、リハ、本番！
（）開発プロセスまとめ

— 本番直前での色調整が可能
– 映像だと、1曲分レンダリングするのに数十分～数時間かかる
– リアルタイムだと即座に反映
— 熟練の照明オペレーターさんがそのまま映像内の照明演出をつく
ることができる
– リアル照明とバーチャル照明を同じ操...

Real - Virtual

どういうイベント
バーチャル空間上でのライブ
輝夜月さんを主人公に、
世界初の商業リアルタイム音楽ライブ
を実現
全国の映画館・特設会場でライブビュー
イングを実施

過去回開催

さっそくですが、仕組みの話

配信方法

ライブ開催プラットフォーム
— バーチャルイベント空間
— ユーザーが自由にイベントを開催・参加できる
— クライアントは製

ライブ参加方法は通り
ライブビューイング

ライブビューイング
ライブ参加方法は通り

ライブ配信構成

トリガー
トリガーを打つことによって、次の曲の演出が走る

ライブビューイング配信構成
会場
ライブビューイング
配信機
スイッチ

リアルタイムカメラマン
— コントローラを接続、視点を操作
– Clusterさんの機能
— その絵をスイッチャーに送る
ゲームが得意な人をアサイン

ライブセットリスト
やりたい演出をセットリストに落とし込む。
ワンシーンでどのように実現するか

ライブ全体をタイムライン本で制作
演出のタイムライン制御
分業効率化のため、セクションごとにタイムライ
ンを用意
タイムラインと同時にセット切り替え

ユーザ間同期
トリガーが打たれた時刻でタイムスタンプ
が保存される
ログインしたときの時刻差分でタイ
ムラインの再生位置を把握
ここから再生
トリガー
ログイン

分業体制
各セクションでシーンを分け、それぞれで開発。

各作業のマージ
マスターシーンにすべての個別シーンを
マージする。
、必要なだけ
を引っ張ってきて、
この際、各が、
セクション外部のオブジェクトを参照してい
る場合、挿しなおしてあげる

結合フロー
— ライブ制作ユニット
—
本リポジトリが走っている状態

結合フロー
— さんのリポジトリに直接自分がコ
ミット
– 1stの時はunitypackageを納品していたが、
先方のアセット階層に最適化しなければなら
ず2度手間だった
— ブランチにすると、自動的に会場
がビルドされる仕組み
– 先方...

VRライブならではの制作

制作コアメンバー
プロデューサ
ディレクター
サウンドエンジニア
モデラー
アニメーター
エンジニア
当時全員フリーランス
プロデューサ
ディレクター
サウンドエンジニア
モデラー
エンジニア
1stライブライブ

制作期間
カ月

ブレスト
曲が決定していない中で、
演出や各セットのイメージ・つなぎを固める
エンジニアがこの時点で参加
→ ダイナミックにステージが動いてもというき
わどい判断が可能だった

演者との共創感
— 演者と一緒に移動する
— 会話する

ストーリー
— 曲個別の演出ではなく、全体を見通
した演出設計
– ステージが上がっていくなど
— ライン
– 期待値を高める
— オチ
– 余韻・儚さ・壮大さ
– よかったなと思わせる
– 2度驚かせる

ライン
— ディズニーリゾートのアトラクション
に乗る前の待機列の高揚感
— 初めから抽象空間だと驚きが半減
する
– 物理・心理的に正しい空間
– 写実的な床や壁を用意する
待機時間は、ライブ本編よりも長い
https://castel.jp...

ライブの盛り上がりから一気に感動に落とし込む演出
感動した後にうしろを振り返ると、さらにフォトスポットなどが出現
→ ユーザ同士で余韻に浸る
オチ

進行絵コンテ・コンテ

プレビズ
— で見たときのスケール感の調整用
— 簡単なウォークスルーアプリ
– シーンを分離しておくことですぐにアプリが出力できた

モデリング
— ラフネスマップを必ず入れる
– 均等な反射だとVRで安く見える
— 影
– ワンシーン解決なので、ベイク不可
– 半透明影オブジェクトを 1層重ねる
— でのスケール感の確認
– 思った以上に大きいサイズの方が良
かったり......

サウンド
作曲家と協力
— 劇伴
– 落とすピアノ
– 壮大なオーケストラ
— 効果音
– 拍手
– クラッカーの音
— 音が途切れる時間を作らない
– 拍手の余韻
– 薄く流れる機械音
絵的な演出がうまくいかなくても、音でカバーできる

ライブカメラワーク
あまりキメすぎず、ライブカメラっぽい追い方
– レールカメラ
– LookAtカメラ
– 遠景固定カメラ

タイポグラフィックス
— タイムライン拡張
— テキストモーションの演出
– ダイレクトに観客へ飛んでくる今まで
にない演出

ムービングライト
— タイムライン拡張
— 実際の照明の動きを参考に
– 将来的にはアセット化したい

シェーダー
— の文脈も取り込みたい気持ち
— 抽象的な演出
— ボディ周りに出てくるネオンオブジェクト
— 服の模様
– 特殊な手法
– UTSをオーバーライド

ライブ現実ライブ
— 演出の幅が実質無限大
– 現実と違い、物理的な制約を受けない
— ライブビューイング・参加それぞれに良さがある
– お互いがどちらも体験したいとの声が多かった
— 演者と触れ合える
– 身体的な危険性がない
— 地理的...

ライブの今後の可能性
— 現場のノウハウを持ち込みたい
– プロの照明・電飾・カメラマンの使用に耐えるシステム作り
— 表現をしたい方との密な演出設計
– 演者さんの目指す世界観に入り込めるような演出
ライブならではの演出や機構を「」の垣根を...

https://stu.inc

Share Slideshare

LinkedIn
Facebook
Twitter

Embed

Size (px)

Show related Slideshows at end

WordPress Shortcode

Link

Share
Email

2024 Trend Updates: What Really Wor... by Search Engine Jou... 1047773 views
Storytelling For The Web: Integrate... by Chiara Aliotta 961940 views
Artificial Intelligence, Data and C... by OECD Directorate ... 891371 views
How to Leverage AI to Boost Employe... by SocialHRCamp 375955 views
2024 State of Marketing Report – by... by Marius Sescu 213320 views
Everything You Need To Know About C... by Expeed Software 232066 views

View on Slideshare

1 of 70 Ad

View on Slideshare

1 of 70 Ad