第５回3D勉強会＠関東(2019.08.31) Neural Rerendering in the Wild (CVPR2019)

1. Version: [###] Classification: Internal Owner: [Insert name]31/08/2019 1
第5回
3D勉強会
論文紹介
2019/08/31
稲場 大樹
@initial_D_0601
Neural Rerendering in the Wild
(CVPR2019)

2. 自己紹介
 あなた誰？
 氏名： 稲場 大樹
 Twitter: @initial_D_0601
 社外勉強会はCV, 3D含め今回が初参加
 専門：
 機械学習・データマイニング
 コンピュータビジョン
 ロボティクス
 経歴（略歴）：
 2013.4～現在 株式会社リコー
 入社から5年弱は屋外自律走行ロボット開発、2年前よりインフラ点検テーマに異動
 2011.4～2013.3 大阪大学 大学院 情報科学研究科 情報数理学専攻
 研究室： 知能アーキテクチャ講座（沼尾研究室）
 2007.4～2011.3 大阪大学 工学部 応用自然科学科 応用物理学コース
 ※出身は関西方面ではない
2

3. お仕事（研究開発テーマ）
 インフラ点検（トンネル点検）システム/サービスの開発
 詳細はこちら：
 https://jp.ricoh.com/technology/tech/087_tunnel_monitoring.html
3
トンネル壁面展開図画像トンネル点検撮影装置

4. 本日紹介する論文
4
“Neural Rerendering in the Wild”
Meshry, M., Goldman, D.B., Khamis, S., Hoppe, H., Pandey, R.,
Snavely, N., Martin-Brualla, R.
Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition,
pp.6878-6887, 2019

5. 本日紹介する論文
 どんな論文？（一言で）：
 ネット上にある様々なシーンの大量の画像と、機械学習（深層学習）とを用いて、
よりリアリティ感のある3Dシーンをレンダリングする
 Contributions:
 total scene capture
 画像収集～レンダリングまでの処理を全て行い、最終的にありとあらゆる様々なシーンを再現
 入力画像をviewpoint, appearance, semantic labelingに分解し、さらに3Dシーンをもとにして
再レンダリングするフレームワークの提案
 appearanceに関して、pretrainingを用いた効率的な学習を提案
 提案手法を5つのデータセットで評価し、従来手法とも比較評価
5

6. 参考情報
 Seamlessの記事（2019.6.23）に本論文が掲載
 URL: https://shiropen.com/seamless/neural-rerendering-in-the-wild
6

7. Demo動画
7
URL: https://youtu.be/E1crWQn_kmY

8. RICOH Group Confidential
17/01/2013 8
Neural Rerendering in the Wild
(CVPR2019)

9. 3D reconstruction
 様々な3D復元ライブラリがあり、自前で写真を用意すれば手軽に3Dモデリング
可能
 Bundler, VisualSFM, OpenMVG, OpenMVS, Theia, COLMAP, MVE, etc.
 自前で用意する代わりに、Internet上にある大量の画像から観光スポット等の
3D復元を行う手法もある
 例： Building Rome in a Day[Agarwal, ICCV09]
9
dense reconstruction
[Furukawa, PAMI10]
sparse reconstruction
[Agarwal, ICCV09]
PMVS/CMVS

10. 3D reconstruction
 ところが、実際のシーンと比較して復元した3Dモデルは、
 1. あまりリアリティ感がない
 3D復元に使用された画像のシーンが一貫していない
 CG効果(シェーディングやシャドウイングなど)を考慮していない
 2. シーンの多様性に欠ける
 昼夜、天候、季節、観光客の有無、など
10
照明の効果 天候・時間帯のシーン変化

11. 論文の目的
 インターネット上にある大量の様々なシーンの画像を使って、よりリアリティ感が
あり、かつ様々なシーンを再現できるようにしたい（= total scene capture）
11
total
scene
capture
インターネット上の画像
様々なシーンを再現

12. リアリティのあるシーンの再現 – CG的アプローチ
 古典的なCGレンダリング： deferred shading法
 アルベド（テクスチャカラー）、法線、depth（position）などの情報をG-Buffer（framebuffer）として
GPU側に一時的にストック
 エフェクトを付加する際、それらのbuffer情報を呼び出して後処理的に計算し再レンダリング
 3D空間ではなく、フレーム(2D)だけで処理が完結するので効率的
 表示に関係しない領域の無駄な計算を行わない
12
G-Buffer レンダリング画像
lightning
図は「LEARN OpenGL」 (https://learnopengl.com/Advanced-Lighting/Deferred-Shading) より引用

13. 関連研究 – Appearance modeling
 画像からシーンのモデリングをやる方法（モデルベース）：
 単一光源（太陽の位置など）情報をもとにレンダリング [Garg, ICCV09],etc.
 昼夜それぞれのシーンを再構成[Radenovic, CVPR16]
 ただし、
 夜のライトアップや、複雑な形状の建物のレンダリングなどには対応が困難
 ドメイン間でのスムーズなinterpolationが困難
13
BRDFを推定してレンダリング
[Garg, ICCV09]
pointcloudを昼夜シーン変換しレンダリング
[Radenovic, CVPR16]

14. 関連研究 - Deep image synthesis
 学習ベースでシーンをレンダリングすることも可能
 i.e. image-to-image(I2I)変換モデルによるレンダリング[Isola, CVPR17], etc.
 ただし、
 基本的には1対1のドメイン変換にしか対応していない
 表情同士[Kim, SIGGRAPH18]、viewpoint変換、など
 training datasetの環境条件をけっこうコントロールしないといけない
 照明の位置、不要なオブジェクトやノイズの除去、など
14
I2I変換(pix2pix)
[Isola, CVPR17]
表情変換
[Kim, SIGGRAPH18]
datasetをしっかりコントロールしなくても（in the wildに）
様々なシーンをレンダリングできるようにする

15. RICOH Group Confidential
17/01/2013 15
Total Scene Capture

16. Total scene capture
 やりたいこと：
 シーンの3D構造をエンコードし、変化するviewpoint（virtual camera path）に対して
レンダリング
 様々なシーン（時間帯、天候、など）をレンダリングし再現
 人や車などの一時的なオブジェクトの位置を特定し、それらを後で追加または削除
可能にする
16

17. Neural rerendering framework
 アーキテクチャ概略：
17
アルベド（カラー）
depth
semantic labels
appearance
styles

18. 前処理 – deep buffer作成
 deep bufferの作成（semantic label以外）
 1. 収集した画像群に対し、COLMAP[Schonberger, CVPR16]でdense pointcloudへと3D復元
 2. 復元したpointcloudをdeep bufferにエンコード
 3. 復元の際に使用した各画像のviewpointをもとに、buffer画像にpointcloudを再投影
 4. アルベド（≒RGB色情報）とdepthをbufferへ格納
 depthはpointcloudの各点を半径1の範囲に拡散させて、dense補完
18
アルベド（RGB）+depthdense pointcloud
(from COLMAP)
reprojection

19. Appearance modeling
 encoder(Ea)とrerenderer(R)は、以下2種類の方法にてtrainingを行った：
 Baseline appearance training
 encoderとrerendererを同時にtrainingする
 学習はBicycleGAN[Zhu, NeurIPS17]を使用
 Staged appearance training
 ネットワークのtrainingを以下の3段階に分けて行う：
 encoder → rerenderer(Eは固定) → 両方のfine-tuning(E, R)
 なるべくrerendererの学習をシンプルにし、学習を安定化させるため
19

20. Baseline appearance training
 BicycleGAN[Zhu, NeurIPS17]のアーキテクチャ
20
Loss function:

21. Baseline appearance training
 BicycleGAN[Zhu, NeurIPS17]のアーキテクチャ
21
Loss function:
R REa Ea
E a(R(B2,z1),
B2)
R(B2,z1)
R(B2,z1)

22. Staged appearance training
 1. appearance encoderのpretraining
22
training

23. Staged appearance training
 2. rerendererのtraining
23
ここは固定
training

24. Staged appearance training
 3. appearance encoder & rerendererのfine-tuning
24
training
training

25. Appearance encoder pretraining
 staged trainingにおけるencoderのpretrainingはtriplet lossを使用
 triplet loss:
 類似サンプル同士は集結させ、非類似サンプル同士のマージンは広がるように学習させる
metrics
 各サンプルに対し、それと最も近いものと最も遠いものをセットとする
25
Loss function:
Ii
In
Ip
• Φj： j番目のlayerの活性化関数の値
• C, H, W： それぞれ、画像のチャンネル数、縦、横サイズ
g：以下のGram行列 [Johnson, ECCV16]

26. Semantic conditioning
 transient objectsの存在
 観光客や車などの動的に変化するオブジェクト(= transient objects)があると、I2I変換そ
のままだとうまくレンダリングできない
 このせいで、本来存在しないはずの位置にオブジェクトが来たり、ゴーストみたいなオブ
ジェクトが生じたりする
 viewpointとappearanceを関連付けて丸暗記学習している可能性があるため
26

27. Semantic conditioning
 そこで、各original画像に対しsemantic conditioningを行うことで：
 オブジェクトの位置をきちんと特定可能
 復元した3Dモデルで欠損してた部分を推論し、補完することが可能
 semantic segmentationはADE20K datasetで学習したDeepLab[Chen, PAMI18]を使用
 ただし、virtual camera pathでレンダリングする場合は、人や車などは出たり消えたりす
るので、マスクアウトして再学習しsegmentationし直す
27

28. RICOH Group Confidential
17/01/2013 28
Evaluation

29. 学習の詳細
 Implementationの詳細一覧
29
関連項目 詳細
rerenderer network
(generator)
• PG-GAN[Karras, ICLR18] と同じgenerator
(※progressive growingなし),
• skip-connectionを独自に追加,
• lossはVGG perceptual loss [Johnson, ECCV16]
discriminator
• multiscale-patchGAN [Wang, CVPR18],
• lossはLSGANのGAN loss [Mao,ICCV17]
encoder
• [Lee, ECCV18] と同じ構成,
• 8次元のlatent vectorに圧縮,
• lossはtriplet loss (前述)
training
• 8 GPUs (Titan V),
• ～40 epochs,
• 入力画像サイズ： 256×256 (テスト時は600×900),
• Validation： 各datasetごとに100サンプル

30. Datasets
 以下5つのデータセットで評価：
30
画像枚数が少ない場合は
Baseline(BicycleGAN)のほうが良かった
（Stagedは若干over-fitting気味）

31. Evaluation
 semantic conditioning と staged appearance trainingの効果
31

32. Evaluation
 appearanceのinterpolation, およびそのstaged appearance trainingの効果
32
real image real image

33. Evaluation
 appearanceのtransfer
33
originalimage
input to rerenderer (deep buffer)

34. Evaluation
 viewpoint + appearanceのinterpolation
34
real image real image

35. Evaluation
 既存手法との比較
35
(a) [Shan, 3DV13]

36. Evaluation
 被験者実験による官能評価：
 既存手法と本手法で生成した画像からそれぞれランダムで20セットのペアを選び、評価用デー
タセットを作成
 200人の被験者に対し、「どちらがよりリアルに見えるか？」を判定してもらう
 結果、69.9%の確率で本手法で生成した画像が選択された
36
被験者実験用データセット
（奇数列が[Shan, 3DV13]の手法、偶数列が本手法）

37. Limitations
37
Neural artifacts
convolution構造特有の格子状パターンが現れることがある
Sparse reconstructions
3D復元がスパースor不完全だと
うまくレンダリングできない
Segmentation artifacts
segmentationの結果が間違っていると
変なオブジェクトが出現する
Temporal artifacts
時系列で連続して表示すると、フリッカーのような現象が
発生する（特にilluminationが複雑なシーン）

38. まとめ
 インターネット上の画像を用いて、total scene captureを行った
 画像収集～レンダリングまでの処理を全て行い、ありとあらゆる様々なシーンを再現
 シーンのappearanceに関しては個別にpretrainingを行うアプローチによって、
よりうまくレンダリングできることを示した
 5つのデータセットによる評価、および既存手法との比較評価した結果により、
これまでよりもより現実に近いリアリティ感のあるシーンを再現できた
38

39. 所感・個人的に気になったこと、など
 Pros:
 精巧な3DCGモデルがなくてもレンダリングできるのは面白いしありがたい
 ひとつのモデルで、様々なシーンのレンダリングに対応できるのはよい
 Cons:
 あんまり有名ではない建物や、完成したばっかりの建物に対してはどうすべきか・・・
 なんとなく力技感がある（いかにもGoogleっぽい）
 疑問：
 virtual camera path作成の具体的な処理内容について
 法線情報はdeep bufferに使っていない → なぜ？
 その他：
 Seamlessの記事で気になって読んではみたものの、思ったよりあまり3D関係なかった
 むしろstyle-transfer系の論文な気が…
 CG分野 + Deep Learning（特に生成モデル系）のアプリケーションは今後も増えそうな予感
 精度に対してcriticalなアプリケーションが少ない、多少ごまかしが利く（騙してナンボ）、何となくそ
れっぽく出来ていればOK、など
39

40. サンプルコード
 あります！
 https://github.com/google/neural_rerendering_in_the_wild
 Requirements:
 TensorFlow
 PIL
 scikit-image
 DeepLabの学習済みモデル
(※各ライブラリのminimum versionは不明)
 注意点：
 datasetの画像収集やdeep buffer作成は各自でやる必要あり
 setup.pyやdocker imageもないので難易度やや高め
 動作確認未実施です、すみません・・・
40

41. References
 [Agarwal, ICCV09] S. Agarwal, N. Snavely, I. Simon, S. M. Seitz, and R. Szeliski. Building Rome in a
day. In ICCV, 2009.
 [Chen, PAMI18] L.-C. Chen, G. Papandreou, I. Kokkinos, K. Murphy, and A. L. Yuille. DeepLab:
Semantic image segmentation with deep convolutional nets, atrous convolution, and fully
connected crfs. IEEE Trans. PAMI, 2018.
 [Furukawa, PAMI10] Y. Furukawa and J. Ponce. Accurate, dense, and robust multiview stereopsis.
IEEE Trans. PAMI, 2010.
 [Garg, ICCV09] R. Garg, H. Du, S. M. Seitz, and N. Snavely. The dimensionality of scene
appearance. In ICCV, 2009.
 [Isola, CVPR17] P. Isola, J.-Y. Zhu, T. Zhou, and A. A. Efros. Image-to-image translation with
conditional adversarial networks. In CVPR, 2017.
 [Johnson, ECCV16] J. Johnson, A. Alahi, and L. Fei-Fei. Perceptual losses for real-time style
transfer and super-resolution. In ECCV, 2016.
 [Karras, ICLR18] T. Karras, T. Aila, S. Laine, and J. Lehtinen. Progressive growing of GANs for
improved quality, stability, and variation. In ICLR, 2018.
 [Kim, SIGGRAPH18] H. Kim, P. Garrido, A. Tewari, W. Xu, J. Thies, M. Niessner, P. P´erez, C.
Richardt, M. Zollh¨ofer, and C. Theobalt. Deep video portraits. In Proc. SIGGRAPH, 2018.
 [Lee, ECCV18] H.-Y. Lee, H.-Y. Tseng, J.-B. Huang, M. K. Singh, and M.-H. Yang. Diverse image-
to-image translation via disentangled representations. In ECCV, 2018.
41

42. References
 [Mao, ICCV17] X. Mao, Q. Li, H. Xie, R. Y. Lau, Z. Wang, and S. P. Smolley. Least squares
generative adversarial networks. In ICCV, 2017.
 [Radeenovic, CVPR16] F. Radenovi´c, J. L. Sch¨onberger, D. Ji, J.-M. Frahm, O. Chum, and J.
Matas. From dusk till dawn: Modeling in the dark. In CVPR, 2016.
 [Schonberger, CVPR16] J. L. Sch¨onberger and J.-M. Frahm. Structure-from-motion revisited. In
CVPR, 2016.
 [Shan, 3DV13] Q. Shan, R. Adams, B. Curless, Y. Furukawa, and S. M. Seitz. The Visual Turing
Test for scene reconstruction. In Proc. 3DV, 2013.
 [Wang, CVPR18] T.-C. Wang, M.-Y. Liu, J.-Y. Zhu, A. Tao, J. Kautz, and B. Catanzaro. High-
resolution image synthesis and semantic manipulation with conditional gans. In CVPR, 2018.
 [Zhu, NeurIPS17] J.-Y. Zhu, R. Zhang, D. Pathak, T. Darrell, A. A. Efros, O. Wang, and E.
Shechtman. Toward multimodal image-to-image translation. In NeurIPS, 2017.
42

43. RICOH Group Confidential
17/01/2013 43

44. RICOH Group Confidential
17/01/2013 44
Appendix

45. VGG perceptual loss
45
[Johnson, ECCV16] の論文で提案
style-transferや超解像の学習向けのlossとして使用されている
R
ここで、
• Φj： j番目のlayerの活性化関数の値
• C, H, W： それぞれ、画像のチャンネル数、縦、横サイズ
Loss function:

46. Triplet loss
 Appearance encoder pretraining後の各サンプルの分布（t-SNEで2Dに可視化）
46
島っぽいものがいくつか出来ており、
上手く分離して分布している