Sync -Realtime Camera Tracking 民主化と展望

Creative Conference 2019 / Realtime Camera Tracking の民主化と展望 / © 2019 Sync. Some Rights Reserved.
Realtime Camera Tracking
民主化と展望

質問・感想は #cgwsync にて
2

ご注意
3
● 一部、写真撮影を禁止させていただく要素があります
都度ご説明しますが、ご留意のほどお願いいたします
● 時間の都合で駆け足になる部分もあるかと思いますが
後ほどこのスライドはWeb上に公開いたしますので
お許しください

チーム紹介
4
SyncはR&Dを軸にしたクリエイティブチームです
元々映像/放送/CG業界に居る人間が集まりましたが、最近はカメラ/オブ
ジェクトのリアルタイムトラッキングに関わることが多いです
https://www.sync.dev

自己紹介
5
岡田太一
Editor/Compositer/Technical Director
CGI GeneralistからキャリアをスタートしCM業界におい
て一通りのポスプロ工程を経験
最近は映像制作だけでなくUnity/UE4によるリアルタイム
CG案件に関わる
Sync所属
株式会社スタッド代表取締役
株式会社カットバック取締役
Twitter: @minami_kikukawa

自己紹介
6
小枝繁之
Editor/Programmer
都内ポスプロにてTV番組の編集を11年担当
テレビ朝日・フジテレビ・スカパーJSATの4K HDR番組を
初期から手掛ける
去年よりプログラミングを担当
2019年8月に株式会社G-CaLを設立
Sync所属
株式会社G-CaL代表取締役
Twitter: @kowaza31

自己紹介
7
渡邉祐貴
CG Director
TV 映画 CM業界におけるCG Animater／CG Directorと
して活動
映像作品以外にもグラフィックデザイン作品におけるCG製
作を担当
アート作品への参加も試みながらCGデザインを模索中
Sync所属
デザインプロダクション YAR所属
株式会社ルアー代表取締役

もくじ
8
● リアルタイムカメラトラッキングとは
● 事例バーチャルスタジオをVIVEで作ってみた
● 事例生放送やってみた
● 事例イベント展示やってみた
● まとめ

リアルタイムカメラトラッキングとは
9

というか、まずカメラトラッキングとは
10

CGと実写を合成するときに
カメラの位置を合わせるやつのこと
12

AfterEﬀectsとかにも
入ってますよね

それをリアルタイムでやるには

いろんなトラッキング方法がある
15
● 光学式
● 磁気式
● 機械式
● 特徴点式
これらは、いわゆるモーションキャプチャに使われる技術

ただし、カメラであることの特殊性を考慮
16
● FOV(レンズ、センサーサイズ、フランジバック)
● センサー位置(ノーダルオフセット)
● レンズ歪み(レンズキャリブレーション)

リアルタイムでカメラトラッキングを
するとどんなことができるのか

例えばこんなことができる
18
Virtual Studio and AR Solution: Reality Engine's 3rd Year
https://www.youtube.com/watch?v=U1cyWcXItu4

最近の主なプレイヤー
19

事例
バーチャルスタジオをVIVEで作ってみた
20

先ほどの動画みたいなバーチャルスタジオ
触ってみたいですよね

でもお高いんでしょう？

あんまりお金を使いたくないから
自分で作ってみよう

Unreal Engineはゲーム以外の用途では無料
25
Unreal Engine よくある質問(FAQ) より引用
https://www.unrealengine.com/ja/faq

VIVEはちょっと頑張れば個人でも買える
26
VIVE™ 日本公式サイトより引用
https://www.vive.com/jp/

というわけで方針
27
● Unreal Engineで開発
● カメラトラッキングにはVIVE Trackerを採用
● グリーンバックの実写をクロマキー合成する
● なるべく手持ちの機材を流用

なるべく手持ちの機材を流用
● PC (Ryzen Threadripper 1950X / 128GB RAM / Geforce RTX 2080 Ti)
● VIVE Pro
● Blackmagic Ultimatte
● Blackmagic Ursa Mini Pro (EF)
● なんかEFマウントの単焦点レンズ
28

カメラとVIVE Trackerを固定
29
● ちゃんと固定したいのでカメラ上部のハンドルに固定
● Arca Swiss互換クイックを探してくる
● フネの方に、ズレ防止のボッチがあるのが大事

VIVE Trackerとカメラセンサー位置の計測
30

VIVE Trackerとカメラセンサー位置の計測
31
● まっとうなビデオカメラだと
図のようにセンサー位置を示すマークがある
● VIVE Trackerの固定位置と
センサー位置のオフセットを計測

Unreal側でカメラリグを組む
32
● VIVE Trackerを親、Unrealのカメラを子にする
● その際、先ほど計測したオフセットを調整
● 装着したレンズのスペックに合わせてFOV調整

Blackmagic Ultimatteで合成
33
実写カメラの出力と
UnrealのCGカメラの出力を
Ultimatteでクロマキー合成

とりあえず動いた
34

でもなんかおかしい
35

PANすると足元がズレる
36
● あ、単焦点だけど魚眼レンズだった
● レンズ歪みを考慮するため、
OpenCVでレンズキャリブレーションをする
● キャリブレーション結果を使って、
CG側をディストーションする

PANすると動きのタイミングがズレる
37
● 歪みは直ったけど、CGのタイミングが遅い
● 実写側にディレイを入れてタイミングを合わせる

おおむねできました
38

できたし発表しよう
39

Siggraph Asia 2018に出展

こんなんなりました
ViewﬁndR : Siggraph Asia 2019
https://www.youtube.com/watch?v=evjoZejy9is

まとめ
42
● とにかく安い
○ 計30万くらい
■ VIVE + VIVE Trackerで15万
■ PCは安く済ませるなら15万くらいので動く
■ カメラ、レンズ、三脚とかは別ね
○ 放送用のソリューションだと300万～1億くらい(スタジオ施工も)
○ 今回はUltimatte使ってるけど、無くてもなんとかなる

まとめ
43
● 場所の制限がほぼない
○ VIVE Stationが置ければ良いので、スタジオ施工が要らない
○ 仮設も容易
○ 自宅でもいい＝Youtuberでも使える

まとめ
44
● 自前で組んでる分、柔軟性が高い
○ 他のソリューションを使う仕事の際もテスト環境に使える

事例生放送やってみた
45

先ほどのようなことをやってたら
生放送の案件が来ました
46

要件
47
● スタジオの演者さんと10代の子のアバター(以下CGキャラクター)が
生放送でやりとり
● 演者さんの目線とCGキャラクターの目線が合うようにしたい
● Unity、Shotoku、VizRTの組み合わせでやってほしい
実写男 CG子

CGキャラクターってどう表示されるの？
48
● 普通に考えたら選択肢は以下
○ AR合成
○ グリーンバック合成

AR合成だと
49
● 実写の上にCGを重ねることになる
● 演者は合成結果をチェック用モニターでしか見れない

グリーンバック合成だと
50
● CGの上に実写を重ねることになる
● 演者は合成結果をチェック用モニターでしか見れない

＿人人人人人人人人人人人人人人人人人人人人人＿
＞　演者は合成結果をモニターでしか見れない　＜
￣Y^Y^Y^Y^Y^Y^Y^Y^Y^Y^Y^Y^Y^Y^Y^Y^￣
51

そりゃ目線は合わない
52
実写男
CG子

考えた結果
53

スタジオの壁に
CGを投影しちゃおう
54

つまりこういうこと
実写男 CG子

ただ、これだけだと…
56

実写カメラが斜め位置の時にCGが破綻する
57

破綻した画
本来出てほしい画

そこで
59
カメラ位置に対して正しい画に更新し続けよう

講演時はここでUnityの操作プレゼンがありました

さて、大ネタが決まって安心していたら
61

他にも色々要件が
62

追加要件一覧
63
● 尺は2時間あるよ
● 絶対コマ落ちは許さん
● やっぱりARも欲しい
● スクリーンは4Kで出したい
● スタジオのスケジュールがなかなか取れない
● 当日まで変更するよ

追加要件尺は2時間あるよ
64

マジですか？
65

PCが落ちないか不安で夜も眠れません
66

せめて一番いいやつ使わせてください
67

hp z8 (200万円の構成) Quadro RTX 8000 (90万円) x2

しかし
69

どんなにいいPCを使っても
しばらく動かしてるとなんか調子悪くなるときはある

落ちたら即バックアップ機に切り替え

つまり、こうなる
72

● メイン機
○ hp z8 (Xeon Gold 6128/6C12T x2) + Quadro RTX 8000 x2
● バックアップ機
○ hp z8 (Xeon Gold 6128/6C12T x2) + Quadro RTX 6000 x2
● 3系統目バックアップに、メディアサーバから静止画出しの準備
最終的に3系統バックアップ

ここまでやれば何とかなるでしょ
74

そう思っていた時期がありました
75

追加要件
絶対コマ落ちは許さない
76

やっぱり放送なので
コマ落ちは放送事故
77

(なるべく)全部ベイクしよう
78

最適化祭り
79
● 基本は 3ds max + VRAY で制作
● ポリゴン数は少な目に(100万以下)
● なるべくオブジェクトを結合する
● ﬂatiron で UV 展開
● 1テクスチャの中に、基本的な質感は全部詰め込む
● ダイナミックなライトは必要最低限に
● 出力はDeckLinkを諦めGPUから直接HDMIアウトに
● NVIDIA Control Panelの詰め
● Unityは最後絶対ビルドする

それでも謎のコマ落ちが出てきたら以下略
80

追加要件やっぱりARも欲しい
81

スクリーンとARを共存させるためには
82
● 同じカメラトラッキングに紐づいた別系統が必要

でも用意できてるPCは2台
83

でも用意できてるPCは2台
84
役割分担してしまうと、バックアップにならない

マルチディスプレイするか…
85

追加要件
スクリーンは4Kで出したい
86

寄りの画ってあるんですよね
87
余裕があればUnityで見てみる

● 色々試した結果、Unityは複数画面出力時に違う解像度
を混ぜると動作がおかしくなりがち
ハードウェア的には行けると思うけど…

● AR
● スクリーン
● 操作画面←NEW!
改めて必要な画面数は

● 生放送なので、演出や展開に合わせたシーン遷移や、
状況確認の為の操作画面が必要
● 本来操作画面に高解像度は必要ないけれど、前述の
Unityの制限のため同じ解像度で動かしたほうが無難
あ、操作画面のこと忘れてた

● AR 3840x2160
● スクリーン 3840x2160
● 操作画面 3840x2160
● 合計 11520x2160
改めて必要な解像度は

…無理じゃね？
92

● AR系統はHDでRenderTexture化してUHD出力
○ その後別のハードウェアでHDに信号変換
● スクリーン系統は最初から最後までUHDで押し通す
● 操作画面は必要な要素を超低解像度(640x360)でRenderTexture化
● GPU(VRAM)の節約になる
RenderTextureで解像度を最適化

追加要件
スタジオのスケジュールが
なかなか取れない件
94

現場はTV局のスタジオ
95
● 本番ではスタジオの機材を使わなければならない
○ Shotoku / VizRT
● だったら本番機材で実験したい
● でもスタジオと機材のスケジュールが自由にならない
● 更にはスタジオを動かす為に数十人規模のスタッフが必要

気軽に実験ができない
96

そういえば以前自分で
バーチャルスタジオ作ったなぁ
97

テスト環境を手元に構築
98
● VIVEで作ったバーチャルスタジオをテスト環境にする
○ Unrealで作ったものをUnityに移植
■ これはこれで色々大変だった
● 局のスタジオとテスト環境で縮尺を変える
○ スタジオのスクリーンを手元のTVサイズに
● チェックボックス一つで本番とテスト環境を切り替えられるようにした

追加要件
当日まで変更するよ
99

オブジェクト結合してテクスチャ焼きこんじゃったよ！

オブジェクトの配置とライティングが変わる
101
＝ベイクやり直し

そんなときは
102

スタジオまで持ち込みました
103
● Ryzen Threadripper 2990WX (32C64T)でベイク
○ 本番機のz8より2倍以上速い
● 10g LANで本番PCとSMB接続
● ローカルでgit建てての同時作業
○ gitの詳細はググってね
アップグレードしたよ

構成図
104

採用したソリューション
105

まとめ
106
● 本番ではバックアップ機を使用せずに済んだ
● 全編通して目立ったコマ落ちなし
● 変なことやっているのを視聴者に気付かれなかった
○ これは良いこと…でもさみしい

事例
イベント展示やってみた
107

イベント展示の案件が来ました
108

要件
109
　　　　　　のソリューションをアピールしたい

Zero Density (Reality)とは
110
Unrealベースのバーチャルスタジオ
全部入りみたいな

実は講演冒頭で例として流した動画が
ZeroDensityのRealityという
ソリューションのデモです
112

めっさハイエンド機材
わくわくしますね
113

で、どこで何やるの？
114

改めて要件
115
東京ゲームショーで　　　　　　　を
放送業界以外にアピールしたいので
企画出しからよろしく

課題の洗い出し
116
● 東京ゲームショー(以下TGS)でInterBEE(放送機器展)と同じことをやって
もしょうがない
● イチからレベルを全部作っている時間がない
● 被写体は返しのモニターを見るしかない
● 同行者が居ても順番に被写体になるしか参加手段がない
● なにより、普通の展示方法では我々が面白くない
● バーチャルスタジオをTGSの来場者向けに楽しんでもらうためには？

体験型で触れる何かを作ろう
117

118
TOKYO GAME SHOW 2019 Rundown
https://www.youtube.com/watch?v=70LaMrYoiNA

119

やったこと
120
● レベルはアセットで頑張る
● レベルの模型を物理で制作
● 模型上に自キャラを表す人形を物理で配置
● 人形を動かした位置にシーン全体がジャンプ

ちなみに
121
今回のカメラトラッキングはstYpeでした

レベルの模型を物理で制作
122

　物理頑張った

● Unrealレベルから模型用に3面図を起こす
● 造形屋さんを探して発注
● 信じて待つ
● さすがです
レベルの模型を物理で制作

模型上に自キャラを表す人形を
物理で配置
125

　物理で作った

● モーショントラッキングにはVICONを採用
● 造形屋さんにマーカー装着前提の人形を発注
● LiveLinkで人形位置をReality(Unreal)に渡す
● サブレベルで人形と模型のコリジョンを制御
模型上に自キャラを表す人形を物理で配置

人形を動かした位置に
シーン全体がジャンプ
128

案外バーチャルスタジオで
シーンが移動することって
ないんですよね
129

Unrealのカメラはそもそも物理カメラにトラッキングしている
＝Unrealのカメラ位置にオフセットかけるのは現実的ではない
いろいろ難しいのは分かる

世界の方を動かしましょう

人形を動かした位置にシーン全体がジャンプ
132
● RealityEngine側の原点位置をオフセット
● 相対的には空を飛んでいくように見える
● ただし、モーションブラーの設定注意

大変だったこと
133
正直、情報が少なすぎて
かなり謎ノウハウのR&Dが必要だった部分が

大変だったこと
134
● VICON Unreal Pluginが動かなかった
○ RealityはUnrealのFork版の為、サポート対象外
■ 対応を要望として提出
○ Motion Builder経由でLiveLink制御することに
● LiveLinkの情報がWeb上にあんまりない
○ 公式がすべて
○ その公式リファレンスも情報量少ない
● RealityEditor上ではLiveLink動いたけど、Cookできない！
○ メーカー的にはLiveLinkは標準機能じゃないのでサポート外
■ 要望提出2
○ Editor上のStandAloneモードで乗り切る

まとめ
135
● TGS内でも異色の展示で好評いただきました
● 体験の為には物理大事

まとめ
136
● ZeroDensity(Reality)は非常に高機能だった
○ キーイングの画質すごい
○ 放送レベルの業務に対応するための機能がたくさん
● stYpeの精度すごい
○ ズームレンズの対応もバッチリ
○ 足元キッチリ
○ 一度セッティングできたら、会期中キャリブレー
ション要らず

まとめ
137
● 色々壁には当たるけど、やってみよう精神大事
● LiveLinkは掘り甲斐がある
○ PiStageとか触ってみたい

全体まとめ

機材の選択肢も増え
ローエンドからミドルレンジでも良いものが増えました

VIVE Trackerのようなローエンドでも
用途如何によっては使い物になりますし
より気軽にカメラトラッキングができるようになれば
用途自体も増えていくように思います

これまでリアルタイムカメラトラッキングに
触れたことが無かった方にも
少しでも興味を持っていただけたら幸いです

結論
リアルタイムカメラトラッキング楽しいよ

Syncではカメラトラッキングだけでなく
ビジュアライズに関わるR&Dを進めています
CG Worldでも求人をしていますので
ご興味があれば是非お問い合わせください

質問・感想は #cgwsync にて
144

Sync -Realtime Camera Tracking 民主化と展望

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Similar to Sync -Realtime Camera Tracking 民主化と展望

Similar to Sync -Realtime Camera Tracking 民主化と展望 (20)

Sync -Realtime Camera Tracking 民主化と展望