【出張ヒストリア2019】COLORSプロジェクトフォトグラメトリに挑戦してみた！

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

COLORS プロジェクト、
フォトグラメトリに挑戦してみた！
株式会社ヒストリア
背景アーティスト
小林大輔

以前ゲーム/遊技機/映像/その他
現職背景アーティスト/モデラー
ヒストリア 2018年7月入社
自己紹介
3DCG
PS1～2
プリレンダ
ゲーム映像
3DCG
遊技機/映像/
その他色々
3DCG
PS4・Swich
アーケード
ゲーム

COLORSプロジェクトとは
1人1か月好きのものを作れる制度今までの事例はゲーム
スペースペンギンズダンジョン＆バークラーナイトフライト
モデラーなので背景アセットの制作になる (UE4マーケットプレイス販売を想定）
フォトグラメトリで...

直訳すると写真測量
様々なアングルで被写体の写真を撮り専用ソフトで解析し
立体の3Dデータにする手法の事
「フォトグラメトリ（Photogrammetry）とは」

「フォトグラメトリ（Photogrammetry）とは」
現在は、スタジオで数百台のカメラで人物などを同時撮影して3DCG
アバターを作成したり、ドローンで空撮したものを解析、地形や巨
大な建築物を作成したりと、さまざまな撮影方法がある。
今回...

動画紹介
作成した動画をご覧ください。
https://www.youtube.com/watch?v=Zzaad1jln2Q&t=7s

岩
フォトグラメトリで作成したもの

筧（かけひ）竹垣（たけがき）
フォトグラメトリで作成したもの
水鉢（みずばち）

燈篭（とうろう）井戸砂利
フォトグラメトリで作成したもの

フォトグラメトリで作成したもの
紅葉（もみじ）※幹のみフォトグラメトリ竹 ※幹のみフォトグラメトリ

日本家屋、（畳・襖・瓦・こけら葺きの屋根）等
フォトグラメトリは行わなかったもの

向いて
いる
ざらざらした物（ラフネスが高い）
ディティールが細かい物（模様が多い）
向いて
いない
鏡や、金属などの反射が強い物
透明の物（水、ガラス）
細すぎる物
フォトグラメトリの向き不向き
動くもの（風で揺れている木の枝葉等）

失敗例
車の撮影、黒い金属ボディーは反射が強い
メッシュ化した際に凹凸や、穴ができる
窓ガラスも穴空き状態 → 回避策は艶消しスプレーでコーティング！
メッシュ
カメラ
位置
写真
透明の物のスキャンのチュートリアルはこちらが参考になります。
...

制作の流れに沿って順に以下をお話しして
最後にまとめます
企画
目的
撮影
機材
許可
撮影方法
カメラ設定
現像
フォトグラメトリ
ソフトウェア
Reality Capture工程
アライン
点群
メッシュ
テクスチャメッシュ
アセット化
H...

企画（目的）
目的
フォトグラメトリ技術検証
UE4の基本機能の習得
出張ヒストリアで公表
企画
背景アセットの制作
（マーケットプレイス販売想定）

■ カメラ：EOS RP （フルサイズミラーレス）
選んだ理由
・センサーが大きい
（解像度が高い・ダイナミックレンジが広く高感度耐性も高い）
・軽量 (APSCの一眼レフと同じくらいの重さ）
・バリアングル液晶で様々なアングルで撮影しやすい
...

ポール:Velbon Polepob
少し高いところから撮影する際に使用
手元にスマホを固定し、リモートで撮影
燈篭、竹垣、大きな岩で使用
ポールにした理由
・三脚は庭園や神社など禁止の所が多い
・自撮り棒的な撮影をする許可を得た
・手元を安定...

撮影許可
庭園を管理している東京都に電話で交渉、メールで撮影許可用の企画書添付

■苔を探し回り、自宅近くのお寺で苔が綺麗な庭を発見、
直接交渉して撮影許可頂きました。
『美しい苔ですね！』が大事。
許可をいただいても、撮影マナーは大事！
周りの人に配慮が必要。
三脚禁止、フラッシュ禁止の所は多い。
撮影許可

画像は実際に撮影した岩のgifアニメです。※この例は露出は固定せず撮影後に調整しています。
岩の撮影方法
2週目、真横
3周目さらに斜め上
1週目、斜め上
中間にも数枚
初めの一枚目と最後の一枚が重なるようにループ
する形で撮影したほうが良いら...

画像は実際に撮影した岩の画像です。
※番号順に撮影しています。（講演ではgifアニメでしたので連番画像にしました。）
岩の撮影方法

■ 360°を低中高で1周～3周（多いのは6周）回って撮影。
岩など、被写体から近距離の場合20～30cm間隔で撮影。
燈篭など、被写体まで距離がある場合は一歩づつ（肩幅くらい）移動して撮影した。
■ 画像に60％～80％重なりが必要
■ 同じ...

116枚 107枚（未使用） 70枚
枯山水の砂利はアマゾンで購入して撮影。
・白川みかげ砂利 3分（3-12mm） 20kg（12.5L）
広げると大体1.5ｍ四方に。平、波、山の三パターンを撮影。→波は未使用。
砂利の撮影方法

実際に撮影した写真のgifアニメ
低、中、高の三段階
さらに中心に寄って一回転
周辺も寄りで一回転
心配だったのでもう一回転
今回は砂利のサイズは1.5ｍ四方だが、
プロジェクトのテクセルに合わせて
広範囲に撮影したほうが良いかも。
砂利の撮影...

実際に撮影した写真
（講演ではgifアニメでしたので
連番の画像にしています。）
6周回って撮影しました
計116枚です
砂利の撮影方法

合計枚数
■ 実際に映像で使用しているアセット
多いもので340枚（燈篭）、少ないもので70枚（竹垣）
全10アセット合計1,178枚
■ 他、アセット化までいかなかったもの、保険で撮影したもの
合計1,014枚
◼ リファレンス・テクスチャ...

カメラの設定・レンズ
解像度 4160×6240
6240×4160
最大解像度
横長、縦長どちらでも問題なし
ファイル形式 RAW+jpeg
RAWのみ
キャノンのCR3というRAW形式はwindowsのサムネ
イル表示に対応していない
Fa...

カラーチェッカー
カラーチェッカー・パスポートを撮影
現実の色を再現するプロファイル作成
18％グレーでホワイトバランスの修正
アマゾンで購入￥11,413
X-rite (エックスライト) ColorChecker Passport (カラー...

カラーチェッカープロファイル
まずPhotoshopでRAW画像を開き、Dng画像として保存
ColorChecker Camera CalibrationでDng画像を読み込むと自動でプロファイルが作
成される
Photoshopのプロファイ...

カラーチェッカープロファイル
■ ニュートラルグレイ18％下列左から4番目
・ホワイトバランスの修正が可能
・現実の色を忠実に再現できる。
30

RAW現像
1、ホワイトバランスツールでニュートラルグレイ18％下列左から4番目を
クリック
2、色温度微調整
3、シャドウとハイライト
4、全画像に設定を同期
1
2
3
4

フォトグラメトリソフトウェア
3つのソフトを試した
Agisoft社
MetaShape
CapturingReality社
RealityCapture
3DFLOW社
3DFZephyr
フォトグラメトリ用のソフトウェアの比較はこちらが参考...

RealityCaptureを採用
■ RealityCaptureを選んだ理由
1例ですが、難しい条件の燈篭アセットを計算させたときに他のソフトでは手前
の葉っぱが奥の岩に描かれてしまう現象があったのですが、リアリティーキャ
プチャではその現...

アライン
点群生成
メッシュ
生成
カラー化
テクスチャ
メッシュ
生成
エクスポー
ト
RealityCapture工程
写真読み込み後 → ワンクリックでテクスチャメッシュ生成まで可能！

RealityCapture工程
アライン
点群生成
画像のオーバーラップ設定をLOW
EXIFによるカメラのグルーピング
誤ったカメラとレンズの推定を防ぐ（特にターンテーブルスキャンにおすすめ）
アラインの失敗を減らす
センサー感度を設定（デ...

RealityCapture工程
アライン
点群生成
Cドラ圧迫防ぐ
キャッシュの位置を別のドライブに移動
Align Imagesを押下

RealityCapture工程
アライン
点群生成
点群とカメラの位置が生成されます。

RealityCapture工程
アライン
点群生成
必要なところに絞る

RealityCapture工程
Calculate Model
Normal Quality
メッシュ
生成
Triangles 16.5M (16,479,084)

RealityCapture工程
Colorizeで色を付けます
カラー化

RealityCapture工程
テクスチャメッシュを生成
テクスチャ
メッシュ
生成
Texture Resolution 16,384 x 16,384

RealityCapture工程
objでエクスポートします。
エクスポート
Texture Resolution 8092 x 8092

RealityCapture工程
Simpleメッシュ化（ RealityCapture内でのリダクション）が可能
Triangles 16.5M (16,479,084) Triangles 100.0K (1,00,000)
30秒

ハイポリ作
成
ローポリ・
UV作成
ベイク
テクスチャ
作成
UE4イン
ポート
UE4設定
ゲーム用アセット化工程
基本的に近年のゲームはローポリにハイポリ形状を転写するなどして、
ノーマルなどのテクスチャで複雑なディティールを表現していま...

ベイク用ハイポリ
ハイポリ・ローポリ作成
ZBrushにインポート
地面削除して裏面作成
不要なサブツール削除
Maya
UV展開
ダイナメッシュ化
プロジェクション等
リメッシュ
リダクション
物によってはスカルプトで凹凸を修正
ベイク用のハ...

ハイポリ・ローポリ作成
ZBrushにインポート
ベイク用ハイポリ
地面削除して裏面作成
不要なサブツール削除
Substance
Painter
xNomal
Maya
UV展開
ダイナメッシュ化
プロジェクション等
リメッシュ
リダクション...

Simplify
RealityCapture
Simplify書き出し xNomal
Maya
軽いから
Mayaでリトポロジーしやすい
UV展開
ベイク用ローポリ
Simplify書き出し
Substance
Painter
カラーテクスチ...

ベイク・テクスチャ
■ 基本的にハイポリからローポリへのベイクはSubstance Painterを使用
・岩の裏や、うまく撮影できなかったところは合成方法をパススルーにしてク
ローンツール使用（Vキーでコピー元を指定）

ベイク・テクスチャ
■ ラフネス
カラーテクスチャやオクルージョン等から、必要な要素をチョイスし加工する

デライト
■ Substance Painter 、 Substance Designer、Maya、 Photoshopなどでも
工夫すれば、陰影を消去することは可能
■ 最近発表されたAgisoft Delighterを使用してみたのでご紹...

デライト
■ Agisoft Delighter 無料
Shadow scale mapを追加
カラーに残したい黒い箇所を緑で塗る
明るいところを黄色、
影を青で塗る

デライト
■ Agisoft Delighter 結果
黒いシミは残したまま、陰影を除去

UE4での基本的なマテリアル
■ マスターマテリアル
葉・苔、以外の全アセットに使用

UE4での基本的なマテリアル
■ テクスチャ
カラー
マスク(noSRGB)
ノーマル
ディティールノーマル

UE4での基本的なマテリアル
■ ベースカラーの調整
・彩度の調整
Desaturation
・色相の変更
HueShift
・コントラストの調整
CheapContrast_RGB

UE4での基本的なマテリアル
■ ラフネスの調整
強度Multiply（掛け算）
ラフネス
メタル
オクルー
ジョン

■ ノーマルの強度の調整
UE4での基本的なマテリアル

■ ノーマルの強度の調整
UE4での基本的なマテリアル
Flatness 0(default) Flatness 1Flatness -1

■ ディティールノーマル
岩をスケールで変形させたときに、不自然さを緩和させるために細かいノーマ
ルを合成する
UE4での基本的なマテリアル

■ ディティールノーマル
UE4での基本的なマテリアル
Flatness 1(default)
DitailNormal無し
Flatness 0.5 Tile 10
DitailNormal弱、少
Flatness 0 Tile 2
Dita...

■ エミッシブで灯篭の光。
UE4での基本的なマテリアル
マスクマップのアルファチャンネルで光る箇所を指定

UE4での基本的なマテリアル
■ 苔のマテリアル

UE4での基本的なマテリアル
■ Fresnelの調整
スターターコンテンツの苔マテリアルを参考に少し変えて作成しています。
Fresnel無し
Fresnelありベース暗く
Fresnelあり

UE4での基本的なマテリアル
■ WorldPositionのXと Yの座標をUVに使用することで
別れた別々のメッシュでもつながってみえる（テクスチャはシームレスの為）
複数メッシュを重ねて作られた苔山

UE4コンストラクションスクリプト
■ 砂利のメッシュをタイリングが目立たないようランダムに配置！
極め本Appendix_B参考に。
https://www.borndigital.co.jp/book/6359.html

UE4コンストラクションスクリプト
■ メッシュの配置、変更、ランダムに回転、間隔の調整などができます。
（講演では動画でしたので、切り取った静止画にしています。）

UE4コンストラクションスクリプト
■ 砂利の波紋にはスプラインを使用。
スプライン形状に合わせてメッシュが変形するように
コンストラクションスクリプトを組みました。

UE4コンストラクションスクリプト
■ 砂利の波紋にはスプラインを使用。
以下を参考にしました。
Unreal Japan Stream | スプラインとスプラインメッシュを利用しましょう！
https://www.youtube.com/wa...

動画作成にシーケンサーを使用
■ 昼から夜への切り替えにライトシナリオを使用
詳しい説明は今回は省きます。
※基本的な操作方法などは公式をご覧ください。
シーケンサークイックスタート
http://api.unrealengine.com/...

まとめ
フォトグラメトリ注意と利点
今プロジェクトで得たこと
おすすめな事

フォトグラメトリ注意点
まとめ
少々お金がかかった
ソフトウェア・撮影用機材
取材費・被写体の購入
データ容量増し増し
写真データ・ワークデータ
・中間データ・一時データ
計算時間が気になった
フォトグラメトリの計算、
リダクション・リメッシュ...

フォトリアルなハイ
ポリ、カラーマップ
が手に入る！UV付き
職人技無しで！
フォトグラメトリの計算
結果を見るのは楽しい
感動がある
まとめ
フォトグラメトリ良かったところ3つ
実物を観察できる！
リファレンスも
同時に撮影できる！
取材旅...

まとめ
今プロジェクトで自分が得たもの・良かったこと
モデラーとして、モデリングの選択肢が増えた。
武器になると良いなぁ
個人的なフォトグラメトリの今後の気になること
計算用PCで効率化
ラフネスの取得ってどうやるの？
ドローン、360度カメラ...

おすすめな事
無料のフォトグラメトリツールがある！
リトポ、デライト、ベイクも無料！スマホのカメラで撮った写真でもできるらしい！
自分が試したのは3DFZepher 体験版写真50枚までモデル書き出しも可能
https://www.3dflow...

まとめ
フォトグラメトリチュートリアルリンク集
■ Epicのフォトグラメトリチュートリアル
https://www.unrealengine.com/ja/blog/imperfection-for-perfection?sessionInv...

今からあなたもUE4フォトグラメトラー
Ready Go

ご清聴ありがとうございました。
アセットはUE4マーケットプレイスで販売予定！（時期は未定、申請通れば）
よかったら買ってみてください！

Share Slideshare

LinkedIn
Facebook
Twitter

Embed

Size (px)

Show related Slideshows at end

WordPress Shortcode

Link

Share
Email

2024 Trend Updates: What Really Wor... by Search Engine Jou... 1033581 views
Storytelling For The Web: Integrate... by Chiara Aliotta 945137 views
Artificial Intelligence, Data and C... by OECD Directorate ... 865593 views
How to Leverage AI to Boost Employe... by SocialHRCamp 363144 views
2024 State of Marketing Report – by... by Marius Sescu 206375 views
Everything You Need To Know About C... by Expeed Software 226977 views

View on Slideshare

1 of 77 Ad

View on Slideshare

1 of 77 Ad