講演動画：https://www.youtube.com/watch?v=5AJ-G-WvHH0 2018年10月14日に行われた「UNREAL FEST EAST 2018」におけるThe Mill様の講演で使用されたスライドです。 ●公式サイト https://unrealengine.jp/unrealfest/ ＝＝＝ 斬新なライブデジタルパペットパフォーマンスキャプチャーを通して次世代の仮装生産技術を使用しているアニメーションの将来を一覧します。

1. モンスター、マスコットとアニメーションの将来
Jeffrey Dates
Creative Director – Mill+

3. This document contains confidential material of The Mill Group, Inc. Copyright © The Mill Group 2018
リアルタイムに移行するVFXのワークフロー

4. This document contains confidential material of The Mill Group, Inc. Copyright © The Mill Group 2018
課題：
アニメーションをどう リアルタイムにするか？

5. This document contains confidential material of The Mill Group, Inc. Copyright © The Mill Group 2018
解決策：
スピードを重視した媒体への対応＝パペット！

6. This document contains confidential material of The Mill Group, Inc. Copyright © The Mill Group 2018
我々の答え:
ＭＩＬＬ マスコット
ゲームエンジンとモーションセンサーを融合したバーチャルパペッ
トシステム。リアルタイムでインタラクティブに演じることができ
るハイエンドなＣＧアニメーションの表現方法です。

7. プロトタイプ

8. This document contains confidential material of The Mill Group, Inc. Copyright © The Mill Group 2018
レシピ:
o MILL Cyclops:
トラッキングとリアルタイムのライティ
ングとリフレクション用
o Leap Motion:
キャラクター操作のためのインプット用
o Unreal Engine 4

9. This document contains confidential material of The Mill Group, Inc. Copyright © The Mill Group 2018
ポップラマ
o クライアントのイベントにおける
Karaoke / Music Video
o ラマ
• デザイン
• モデリング
• リギング
• アニメーション
o 体験
• 独自のデザイン
• ダイナミックライティング
• リアルタイム・トラッキング
• リアルタイム・コンポジット
• ジュークボックスカラオケ体験
• ビデオをメール

10. This document contains confidential material of The Mill Group, Inc. Copyright © The Mill Group 2018
課題：
どうやって毛むくじゃらのキャラクターをリアルタ
イムに動かせるようにするか？

11. This document contains confidential material of The Mill Group, Inc. Copyright © The Mill Group 2018
リアルタイムファー
o NVIDIA Hairworks
o カスタム UE4 Branch

12. MONSTER.COM

13. This document contains confidential material of The Mill Group, Inc. Copyright © The Mill Group 2018
今までのVFX:
50人以上の手作業で８週間以上必要
だったプロジェクト
パイプライン
• モデラー
• リガー
• アニメーター
• ルックデブ
• グルーミング
• エフェクト
• ライティング
• マットペイント
• コンポジット
• エディット
• カラー

14. This document contains confidential material of The Mill Group, Inc. Copyright © The Mill Group 2018

15. This document contains confidential material of The Mill Group, Inc. Copyright © The Mill Group 2018
必要なファイル
o モデル：
ダウンレゾしたもの
o リグ：
マスコットのテンプレートを使用
o ルックデブ:
簡略化 UV リマップ テクスチャー
o グルーム:
ポートヘヤー ガイドのカーブ

16. This document contains confidential material of The Mill Group, Inc. Copyright © The Mill Group 2018
UE4へ
o キャラクター
• リグ
• ルックデブ
• インプットコネクション
o プロップ
• マイク
• バスケットボール
o セットでのツール
• カメラ
• バーチャルカチンコ

17. This document contains confidential material of The Mill Group, Inc. Copyright © The Mill Group 2018
ルックデブ+ファー（毛）
o モデル
o テクスチャ
o ガイドカーブ
o 初期ファー設定
o 最終的なファールックデブ

18. This document contains confidential material of The Mill Group, Inc. Copyright © The Mill Group 2018
撮影
o ディレクター
o パフォーマー
o エンジニア
o 録画係
o プロデューサー
o クライアント

19. This document contains confidential material of The Mill Group, Inc. Copyright © The Mill Group 2018
30スポット
3週間
1日

20. This document contains confidential material of The Mill Group, Inc. Copyright © The Mill Group 2018
学んだ事：
o リハーサルと撮影の日の間に１日空ける必要がある。
o パフォーマーによってカスタム設定が必要になる。
o よい結果を求めるのなら Leap Motion データが必要。
o センサーオクルージョンには限界がある。
o １日だけでも相当数の撮影ができる。

21. This document contains confidential material of The Mill Group, Inc. Copyright © The Mill Group 2018
アップグレード！
o CGのワークフローを最適化
o カメラコントロール：FOV, ドリー、パン、レンズ
o Leap Motion を入力デバイスとしている
o 手によって、FABRIK IK または伝統的なIKを使い分ける
o 3Dの演技はシーケンサーで収録
o キャラクターによってパフォーマー各自のセッティング

22. HPE Discover

23. This document contains confidential material of The Mill Group, Inc. Copyright © The Mill Group 2018
HPE DISCOVER
o キーノートプレゼンテーション
• バーチャルパペットとのライブイ
ンタラクション
o エキスポフロア
• The Mimic Wall
• The Take Control Wall

24. This document contains confidential material of The Mill Group, Inc. Copyright © The Mill Group 2018
表情豊かな顔
o フェイシャルリグ
• ジョイントドリブン
• リップ
• より個性的に

25. This document contains confidential material of The Mill Group, Inc. Copyright © The Mill Group 2018
ヘアースタイル
o 複雑な毛並み
• 直毛、縮毛のミックス
• 風の影響も含めたテスト

26. This document contains confidential material of The Mill Group, Inc. Copyright © The Mill Group 2018
グリッチ
o ある種の味付け
o ライブと録画された映像の間で起こる

27. This document contains confidential material of The Mill Group, Inc. Copyright © The Mill Group 2018
撮影
o リハーサル
o 複数のセットアップ
o 微調整
o 事前収録アニメーションの
使用

28. This document contains confidential material of The Mill Group, Inc. Copyright © The Mill Group 2018
キーノート
o スピーカーとのインタラク
ション
• 小道具
• モッキング
• アドリブ
o Back of House with cameras
o キーノートのディレクター
との打ち合わせ

29. This document contains confidential material of The Mill Group, Inc. Copyright © The Mill Group 2018
MIMIC WALL
o 来場者とのインタラクション
o 写真を一緒に撮れる

30. This document contains confidential material of The Mill Group, Inc. Copyright © The Mill Group 2018
操作
o 来場者が自分で操作できる
o シンプルな操作性
o Tame It Button
o スタンドアローンとして動く

31. This document contains confidential material of The Mill Group, Inc. Copyright © The Mill Group 2018
使って分かったこと：
o 演出は劇的に良くなった。収録とは全く違う感覚になる。
o HAIRWORKSのクオリティーとグルーミングを深く理解できた。
o バージョン2、パフォーマンスとクオリティーにおいてさらなる進化ができた。
o LeapMotionへの深い理解とその限界を知ることもできた。
o グリッチは見ている人にはそれがライブだとすぐには気付かれなかった。

32. This document contains confidential material of The Mill Group, Inc. Copyright © The Mill Group 2018
アップグレード!
o 複数人数でのプレイを可能に。

33. マスコットを長編作品に使用

34. シエナの海の仲間たち

35. This document contains confidential material of The Mill Group, Inc. Copyright © The Mill Group 2018
マルチプレイヤー
o ２人以上のプレイヤーが同時に演じることができる
o サーバーネットワーク周りの構築が必要になる
o 音声も同時に収録できる
o 演者は声優が行う

36. This document contains confidential material of The Mill Group, Inc. Copyright © The Mill Group 2018
使って分かったこと：
o マルチプレーヤーをサポートする為にはロジックを一から構築する必要がある。
o オクルージョン問題を解決する為には精度の高いインプットが必要になる。
o システムのすべての面で改良が必要になる。
o マルチプレーヤーパペットは単純に面白い！

37. This document contains confidential material of The Mill Group, Inc. Copyright © The Mill Group 2018
現在開発中
o 全身のコントロール
o iPhoneによるフェイシャル
キャプチャー
o Niagara との連携

38. 未来のアニメーション

39. This document contains confidential material of The Mill Group, Inc. Copyright © The Mill Group 2018
メディアの移り変わり
o テレビ業界はどんどんオンデマンド
になる
o ソーシャルメディアがニュースやエ
ンタメ等の発表の場になる
o それらのコンテンツにはアニメー
ションが必要になる
o アニメーションの需要は様々なメ
ディアに必要になりつつある
o メディア ＞＞ AR ＞＞ VR

40. This document contains confidential material of The Mill Group, Inc. Copyright © The Mill Group 2018
今後の展望
o リアルタイムキャプチャーは
素晴らしい可能性を秘めてい
る
o 現段階で何に応用可能か?
• ストップモーション
• 劇場用コスチューム
• ロボット操作・パペット
o MILLマスコットのシステムが
未来のライブキャプチャーの
スタンダードになり得る
o リアルタイムパフォーマンス
は新しい非常に刺激的な分野
である

41. This document contains confidential material of The Mill Group, Inc. Copyright © The Mill Group 2018
LONDON
11-14 Windmill
Street
London, W1T 2JG
T:+44 20 7287 4041
NEW YORK
451 Broadway 4th/5th/6th Floor
New York, NY 10013
T: +1 212 337 3210
LOS ANGELES
3233 S. La Cienega Boulevard
Los Angeles, CA, 90016
T: +1 310 566 3111
CHICAGO
1000 West Fulton Market, Suite 250
Chicago, IL, 60607
T: +1 312 605 8900
ご清聴ありがとうございました
Jeffrey Dates
jdates@themill.com