60fpsアクションを実現する秘訣を伝授 解析編
Your SlideShare is downloading.
×
Check these out next
Recommended
More Related Content
Slideshows for you (20)
More from UnityTechnologiesJapan002 (20)
Recently uploaded (20)
【Unite Tokyo 2019】ライブエンターテイメントにおけるUnity
- 1. ライブエンターテイメント における
- 2. Twice Dome Tour 2019 #DreamDay
- 3. ディスプレイ Twice Dome Tour 2019 #DreamDay
- 4. ムービングライト — ムービングライトにはいろいろな機 能がある – ライトビーム – カラーホイール – ズーム – フォーカス – ゴボ（影絵のようなフィルタ） – プリズム（光線が分かれる） それぞれの機能に対して、DMXのチャン ネルが割り振られていて、DMXの値で操 作できる
- 5. 電飾 — DMXの各チャンネルの値で、対応 するLEDのRGB値を設定する — LED1個につき、RGB3チャンネル分 のDMXチャンネルを使用 — セットに入れ込む電飾の規模で使 用するDMXチャンネルの数が膨大 な数になる
- 6. ● LTC（タイムコード）をもとに各 曲の始まり、演出の始まりを 判定 ○ 背景の動画の切り替え ○ 環境光設定の切り替え ○ セットの切り替え ● Art-NetをもとにUnity内の照 明、電飾を操作 ● 最終レンダリング結果を LED ディスプレイの入力に合わせ てチャートに分け、送出 照明卓 電飾卓 Audio Interface 副調整室 LTC(Linear Time Code) Art-Net(照明・電飾信号） 音源を再生したり、全体のコントロールをするセクション LEDパネル送出 リアル照明 リアル電飾 USB LTC DMX
- 7. 最終出力 映像を で出力 内で、 ディスプ レイ左右のエリア、セ ンターのエリアが分け られている 各エリアの映像が各 ディスプレイに映し 出される
- 8. での開発
- 9. での開発 いくつか、エピソードを交えながら解説します — 連動の開発 – Art-Netでオブジェクトを操作可能にする – UDPデータのレコーダー／プレーヤー — ボリュームライトの開発 – AssetStoreのアセットを使用 – アセットの修正・改良 — カメラの開発 – LEDディスプレイへの最終レンダリング
- 10. — ムービングライトやLED電飾はDMXという信号を用いて操作する — Art-NetはEthernetネットワーク上でUDPを使用して照明信号を送る – デファクトスタンダード — 照明さん電飾さんには照明卓、電飾卓からArt-Netを送ってもらう Lanケーブル(or Wifi) Art-Net （UDP信号） 照明・電飾卓 映像制御システム卓(stu)
- 11. — Art-NetをUnityで使用する — ArtNet.Netという.Net用のライブラリを 利用した – Art-Netの送受信を行う – https://github.com/sugi-cho/ArtNet.Unity – [Unity ArtNet] 同じArtNetをUnityと実機材に送り、バーチャ ルの照明とリアルのムービングライトが同じ 動きをするように開発
- 12. — 実際の照明、電飾の動きは照明さん、電飾さんの卓から送ってもらう – 実際の照明、電飾の動きを見るためにデータを打ってもらう必要があった（基本、照明・電飾のオ ペレーションは手打ちのところが多い） – デバッグが大変 — 送られてきたUDPのデータを記録・再生する仕組みを作った – https://github.com/sugi-cho/UdpData-Unity – [Unity UdpData]
- 13. Art-Net信号 （UdpData） UdpRecorder data.udp
- 14. UdpPlayer data.udp Art-Net Debug & Develop
- 15. — – Unity Asset Store – Volume Shadow – 軽量（それなりに重い – Goboのシミュレーション可能 ムービングライトの開発
- 16. — Art-Netで操作可能 – Pan/Tilt – Color (Wheel) – Gobo – Prizm – Focus – Etc.. — 機種によって変わる – Sharpy – Mytos – B-EYE ムービングライトの開発
- 17. 照明のセットアップ 照明デザイナーさんの照明 計画の図面をもとに、 Unity 内に照明を配置 1ステージ当たり、50-100灯 体設置 → Light Objectの数
- 18. NHK紅白、実際の曲の照明キューを送るテスト 2018 12/14
- 19. 、光の調整 — HxVolumetricSpotLight.shader
- 20. の 行目を修正
- 21. 本番直前、同じ曲 2018 12/30
- 22. ボリュームライトの減衰の調整結果 Original Shader調整後
- 23. 実空間の延長線上にある 内の世界 — LEDディスプレイの向こう側にも 空間繋がっているように見せる – 連動感 – スケール感 – パースを合わせる
- 24. 実空間との連動感 — ステージ上の照明・電飾 — ディスプレイ内のバーチャル照明 ・電飾 — リアルタイムで同じように制御す る – 同じ信号で、同じ動きをす る
- 25. パースを合わせるカメラの実装 — Unity内のカメラの位置を現実空間上のカメラの 位置（想定視点）に配置 — カメラからLEDディスプレイへのプロジェクション 行列(Frustum Matrix)を計算 — Camera.projectionMatrixに行列を設定 →設定した位置からLEDディスプレイを見たとき、リア ル空間とバーチャル空間でパースが合うようになる
- 26. — 開発 — — 照明 – HxVolumetricLighting（AssetStore） – アセットの修正 — 電飾の開発 – エディター拡張 — 安定化、チューニング — 現場、リハ、本番！ （ ）開発プロセスまとめ
- 27. — 本番直前での色調整が可能 – 映像だと、1曲分レンダリングするのに 数十分～数時間かかる – リアルタイムだと即座に反映 — 熟練の照明オペレーターさんがそのまま映像内の照明演出をつく ることができる – リアル照明とバーチャル照明を同じ操作で制御できる – リアルとバーチャルの統一感を出せる — 音楽に合わせた映像演出の作りこみが可能 – １つのセットでも照明演出次第で 複数の楽曲に対応可能 — 舞台セットの転換を一瞬で行える – 物理セットだと大道具小道具等 たくさんの人手が必要 — リアルタイムレンダリングで生放送 ライブに挑むドキドキ感を味わ える ライブの映像を でリアルタイムに出す利点
- 28. Real - Virtual
- 29. どういうイベント バーチャル空間上でのライブ 輝夜月さんを主人公に、 世界初の商業リアルタイム 音楽ライブ を実現 全国の映画館・特設会場でライブビュー イングを実施
- 30. 過去 回開催
- 31. さっそくですが、仕組みの話
- 32. 配信方法
- 33. ライブ開催プラットフォーム — バーチャルイベント空間 — ユーザーが自由にイベントを開催・参加できる — クライアントは 製
- 34. ライブ参加方法は 通り ライブビューイング
- 35. ライブビューイング ライブ参加方法は 通り
- 36. ライブ配信構成
- 37. トリガー トリガーを打つことによって、次の曲の演出が走る
- 38. ライブビューイング配信構成 会場 ライブビューイング 配信機 スイッチ
- 39. リアルタイム カメラマン — コントローラを接続、視点を操作 – Clusterさんの機能 — その絵をスイッチャーに送る ゲームが得意な人をアサイン
- 40. 開発
- 41. ライブセットリスト やりたい演出をセットリストに落とし込む。 ワンシーンでどのように実現するか
- 42. ライブ全体をタイムライン 本で制作 演出のタイムライン制御 分業効率化のため、セクションごとにタイムライ ンを用意 タイムラインと同時にセット切り替え
- 43. ユーザ間同期 トリガーが打たれた時刻でタイムスタンプ が保存される ログインしたときの時刻差分 でタイ ムラインの再生位置を把握 ここから 再生 トリガー ログイン
- 44. 分業体制 各セクションでシーンを分け、それぞれで開発。
- 45. 各作業のマージ マスターシーンにすべての個別シーンを マージする。 、必要な だけ を引っ張ってきて、 この際、各 が、 セクション外部のオブジェクトを参照してい る場合、挿しなおしてあげる
- 46. 結合フロー — ライブ制作ユニット — 本 リポジトリが走っている状態
- 47. 結合フロー — さんのリポジトリに直接自分がコ ミット – 1stの時はunitypackageを納品していたが、 先方のアセット階層に最適化しなければなら ず2度手間だった — ブランチに すると、自動的に会場 がビルドされる仕組み – 先方を煩わせることなく確認可能
- 48. VRライブならではの制作
- 49. 制作コアメンバー プロデューサ ディレクター サウンドエンジニア モデラー アニメーター エンジニア 当時全員フリーランス プロデューサ ディレクター サウンドエンジニア モデラー エンジニア 1stライブ ライブ
- 50. 制作期間 カ月
- 51. ブレスト 曲が決定していない中で、 演出や各セットのイメージ・つなぎを固める エンジニアがこの時点で参加 → ダイナミックにステージが動いても というき わどい判断が可能だった
- 52. 演者との共創感 — 演者と一緒に移動する — 会話する
- 53. ストーリー — 曲個別の演出ではなく、全体を見通 した演出設計 – ステージが上がっていくなど — ライン – 期待値を高める — オチ – 余韻・儚さ・壮大さ – よかったなと思わせる – 2度驚かせる
- 54. ライン — ディズニーリゾートのアトラクション に乗る前の待機列の高揚感 — 初めから抽象空間だと驚きが半減 する – 物理・心理的に正しい空間 – 写実的な床や壁を用意する 待機時間は、ライブ本編よりも長い https://castel.jp/p/720
- 55. ライブの盛り上がりから一気に感動に落とし込む演出 感動した後にうしろを振り返ると、さらにフォトスポットなどが出現 → ユーザ同士で余韻に浸る オチ
- 56. 進行絵コンテ・ コンテ
- 57. プレビズ — で見たときのスケール感の調整用 — 簡単なウォークスルーアプリ – シーンを分離しておくことですぐにアプリが出力できた
- 58. モデリング — ラフネスマップを必ず入れる – 均等な反射だとVRで安く見える — 影 – ワンシーン解決なので、ベイク不可 – 半透明影オブジェクトを 1層重ねる — でのスケール感の確認 – 思った以上に大きいサイズの方が良 かったり... 度きちんと作る
- 59. サウンド 作曲家と協力 — 劇伴 – 落とすピアノ – 壮大なオーケストラ — 効果音 – 拍手 – クラッカーの音 — 音が途切れる時間を作らない – 拍手の余韻 – 薄く流れる機械音 絵的な演出がうまくいかなくても、音でカバーできる
- 60. ライブカメラワーク あまりキメすぎず、ライブカメラっぽい追い方 – レールカメラ – LookAtカメラ – 遠景固定カメラ
- 61. タイポグラフィックス — タイムライン拡張 — テキストモーションの演出 – ダイレクトに観客へ飛んでくる今まで にない演出
- 62. ムービングライト — タイムライン拡張 — 実際の照明の動きを参考に – 将来的にはアセット化したい
- 63. シェーダー — の文脈も取り込みたい気持ち — 抽象的な演出 — ボディ周りに出てくるネオンオブジェクト — 服の模様 – 特殊な手法 – UTSをオーバーライド
- 64. ライブ 現実ライブ — 演出の幅が実質無限大 – 現実と違い、物理的な制約を受けない — ライブビューイング・ 参加それぞれに良さがある – お互いがどちらも体験したいとの声が多かった — 演者と触れ合える – 身体的な危険性がない — 地理的・人数的な入場制限がない – 世界中からログイン可能
- 65. ライブの今後の可能性 — 現場のノウハウを持ち込みたい – プロの照明・電飾・カメラマンの使用に耐えるシステム作り — 表現をしたい方との密な演出設計 – 演者さんの目指す世界観に入り込めるような演出 ライブならではの演出や機構を「 」の垣根を超えて模索していく
- 66. https://stu.inc
