※現在・過去の所属組織とは関係ありません 「第49回 コンピュータビジョン勉強会＠関東」での発表資料です。 https://kantocv.connpass.com/event/101101/

1. Materials for Masses:
SVBRDF Acquisition
with a Single Mobile Phone Image
#cvsaisentan
ECCV ‘18 読み会
@mhr380

2. 2
In ECCV 2018 (Oral Presentation)
Presenter: @mhr380
Zhengqin Li1, Kalyan Sunkavalli2, Manmohan Chandraker1
1, University of California, San Diego 2, Adobe Research
Materials for Masses:
SVBRDF Acquisition
with a Single Mobile Phone Image

3. どんな論文？
3
フラッシュをOnにしたスマホで
1枚撮影するだけで
被写体の反射特性 （SVBRDF）がわかる！
✓ レンダリング
✓ リライティング
✓ 材質推定
✓ ・・・
CNNにより

4. おしながき
◼ 基礎知識（BRDF, SVBRDFについて）
◼ 論文で提案されている手法について
◼ 結果など
◼ 所感
4

5. BRDF とは
◼ BRDF: Bidirectional Reflection Distribution Function (双方向反射率分布関数)
 入射光照度 に対する 出射光輝度 の比
5
x
y
z
3次元極座標系
𝜃: 天頂角
𝜙: 方位角
ベクトル
被写体表面
法線
光源
（𝜃𝑖, 𝜙𝑖）
視点
（𝜃𝑟, 𝜙 𝑟）
入射光
反射光
ある点におけるBRDF: 𝜌 𝜃𝑖, 𝜙𝑖, 𝜃𝑟, 𝜙 𝑟 =
方向 𝜃𝑖, 𝜙𝑖 からの入射光強度
方向 𝜃𝑟, 𝜙 𝑟 で観測される反射光強度

6. BRDF計測の難しさ
◼ 4つの角度を振りながら光源・カメラを移動させないといけない
6
光源位置を変える
カメラ位置を変える
キャプチャして
反射率を計算
[Boucher+, 1999]
けっこうしんどい・・・
※ こんなコードを書くと多分怒られます

7. SVBRDF とは
◼ SVBRDF: Spatially Varying BRDF, 「空間的に一様でないBRDF」
◼ つまり、点ごと or エリアごとにBRDFをもつような表現
7
法線
光源
（𝜃𝑖, 𝜙𝑖）
視点
（𝜃𝑟, 𝜙 𝑟）
入射光 反射光
4次元 x 空間方向（2次元 or 3次元）の計測が必要

8. 効率よくBRDFを計測 or 推定
◼ 光学系を工夫して、効率よく密なBRDFをサンプリング
◼ 少数のサンプルを計測して (SV)BRDF を復元
8
[Miyashita+, ‘14]
高速撮像系でSparseに撮って
DenseなSVBRDFを復元
[Ono+, ‘17]
多視点撮像による3次元復元との組み合わせ
[Debevec+ ’00] [Mukaigawa+ ’07] [Ghosh+ ’07] [Canon Inc.]
方式は未調査
[Wang+, ‘16]
Light Field Cameraで撮影し
３次元形状と反射特性を同時復元

9. おしながき
◼ 基礎知識（BRDF, SVBRDFについて）
◼ 論文で提案されている手法について
◼ 結果など
◼ 所感
9

10. DeepでSVBRDF推定
10
フラッシュをOnにしたスマホで
1枚撮影するだけで
被写体の反射特性 （SVBRDF）がわかる！
✓ レンダリング
✓ リライティング
✓ 材質推定
✓ ・・・
CNNにより

11. SVBRDF推定 = ?
◼ SVBRDFそのものを推定するわけではない
◼ SVBRDFを表現するモデル式のパラメータ（後述）を推定する
11
SVBRDF
パラメータ１
パラメータ2
パラメータ3
モデル式
SVBRDF

12. SVBRDFモデル式
◼ 本論文では、下記のモデルをBRDFモデルとして採用
12
𝐯𝒊: 視線方向
𝐥𝒊: 光源方向
𝐡𝑖: ハーフベクトル
パラメータ
１
パラメータ
2
パラメータ
3
モデル式
SVBRDF
𝐝𝒊: diffuse color
𝐧𝒊: Surface Normal
𝑟𝑖 : Roughness
※ 式の意味は本論文のSupplemental Materialあるいは
下記の文献* を参照
*B. Burley, “Physically-based shading at Disney”, In SIGGRAPH Courses, 2012. (Online available)
𝐧𝑖
光源
視点
𝐯𝑖𝐥𝑖
𝐡𝑖
BRDFパラメータ
CNNでの推定対象！

13. ネットワークの全体像
◼ CNN入力: スマホでフラッシュ撮影した画像 ＋ 座標系
◼ CNN出力: diffuse画像、Normal画像、Roughness画像
13
※ U-Netベース

14. 3つの工夫
１. 入力に座標系の追加
14
https://iphone-mania.jp/news-125969/
スマホのフラッシュを点光源とみなす 中心が明るく、周囲が暗い画像が撮れる
点光源
等エネルギ面
被写体
明暗 暗
位置不変性のあるCNNに対して
明るい領域 / 暗い領域を
明示的に示す工夫

15. 3つの工夫
２. 材質分類器の追加
15
◼ 画像特徴から８種の材質を分類するclassifierも同時に学習
◼ 分類結果をDecoderで利用
有無
ちょっと良くなる

16. Diffuseのスムージング
Normalのスムージング
Roughnessのスムージング
スムージング後のdiffuse画像を利用
𝜅: ガウシアンカーネル
3つの工夫
３. CRF最適化レイヤによる
CNN出力のスムージング
16 パラメータは学習ベース。 Xu+, Multi-Scale Continuous CRFs as Sequential Deep Networks for Monocular Depth Estimation, in CVPR ’17.

17. その他ネットワークについて
◼ Rendering Layer
 Diffuse, Normal, Roughnessを受け取り、 モデル式に則って 画像を再構成するレイヤ
 モデル式自体は微分可能なので、ちゃんと勾配が流れる
◼ Loss
 diffuse, Normal, Roughness, レンダリング結果のL2ロス + 材質分類のクロスエントロピーとの和
17

18. Training Data
◼ Mitsuba Rendererを使ってレンダリング
 49種の光源マップ、688種（train 588, test 100）のBRDFデータから 4096x4096の画像を生成
 被写体が遠い・近い 条件に対して不変性を学習させるため
4096x4096の画像から 512, 1024,2048, 3072, 4096サイズでクロップし、256x256にリサイズ して入力
 その他回転などの Data Augmentation
◼ BRDFの教師データはAdobe Stock Datasetを利用
 CG アーティストのために有償公開されている
 Ground Truth取得方法は不明
18
https://stock.adobe.com/3d-assets

19. おしながき
◼ 基礎知識（BRDF, SVBRDFについて）
◼ 論文で提案されている手法について
◼ 結果など
◼ 所感
19

20. 結果 （Rendered data）
20

21. 結果 （Rendered data）
◼ ３つの工夫（座標の入力・材質分類器の追加・CRFによるスムージング）での精度比較
21
Enc-decのみ
Enc-dec
Classifier
Enc-dec
Classifier
CRF平滑化
Enc-dec
Classifier
座標系の入力無し
Enc-decのみ
Enc-dec
Classifier
Enc-dec
Classifier
CRF平滑化

22. 結果 （Real data）
22

23. 結果 （Real data）
23
Huawei P9
Google Tango
iPhone 6s
Huawei P9
Huawei P9

24. その他
◼ 実写での法線推定比較
 Photometric Stereoで取得した法線と
CNNで推定した法線を比較
 それっぽく見える （定量値はなし）
◼ ミスったケース
 材質分類で “Wood”ではなく “Metal”と間違ったため、Albedo (diffuse) 画像が破綻した
 入力画像のスペキュラーが強いから？
24
Photometric Stereoによる
法線推定結果

25. Limitations
◼ 明示されていなかった… が、私が感じたこと
◼ 平面に近い被写体であることは必要だと思われる
 フラッシュ撮影 ＋ 座標系の制約観点
◼ 画像中の被写体は、ある程度同じような構造で構成されている必要がありそう
同じような構造が異なる強度で照らされている領域が画像内に存在することが大事？
25
点光源
等エネルギ面
明暗 暗

26. 発展
◼ 同じグループにより、より一般的な物体に対応したBRDF推定手法が発表された
@SIGGRAPH ASIA 2018 (Tokyo)
 CNNによって Diffuse Albedo, Normal, Roughness, Depth, 光源環境 を推定
26 https://cseweb.ucsd.edu/~ravir/single-image-svbrdf.pdf

27. おしながき
◼ 基礎知識（BRDF, SVBRDFについて）
◼ 論文で提案されている手法について
◼ 結果など
◼ 所感
27

28. 所感
◼ Technical に突飛なものはなく、やるべきアイデアを堅実に実装したという印象
◼ 性能評価が真面目
 Photometric Stereoで法線取って・・・ までやっている論文は、なかなかないのでは？
 紹介しなかったが、既存のDeep SVBRDF推定技術 x2とも比較している
◼ 「使える技術」としての完成度が高そう。デモアプリとかないですかね・・・
28

29. 本資料の作成にあたって参考にした文献（書籍、Web上の情報）
◼ 向川康博, 「コンピュータビジョン最先端ガイド 4 第5章 『反射・散乱の計測とモデル化』」
CVIMチュートリアル版がWeb上に公開されている
http://omilab.naist.jp/~mukaigawa/papers/CVIM2010-Tutorial.pdf
◼ “Lecture 8: Basic Principles of Surface Reflectance”
 Prof. S. Narasimhan (CMU) の Computer Graphics 講義資料
https://www.cs.cmu.edu/afs/cs/academic/class/15462-f09/www/lec/lec8.pdf
◼ Specular BRDF (Bidirectional Reflectance Distribution Function) in Arnold
Solid Angle社の3ds Max向けレンダリングエンジン Arnold のチュートリアル
https://area.autodesk.com/tutorials/specular-brdf-bidirectional-reflectance-distribution-function-in-arnold/
◼ 佐藤洋一, 「インバースレンダリング －画像からの光学情報の復元－」
 SSII2005 チュートリアル資料
 http://www.mtl.t.u-tokyo.ac.jp/~katsu-t/slide_ysato.pdf
29

30. 本資料の作成にあたって参考にした文献（論文）
BRDF 計測（non Deep）
◼ Y. Boucher, H. Cosnefroy, A. D. Petit, G. Serrot, X. Briottet, “Comparison of measured and modeled BRDF of natural
targets”, in Proc. of SPIE, 1999.
◼ J. B. Nielsen, H. W. Jensen, R. Ramamoorthi, “On Optimal, Minimal BRDF Sampling for Reflectance Acquisition”, ACM
Transactions on Graphics, 2015.
◼ P. Debevec, T. Hawkins, C. Tchou, H-P. Duiker, W. Sarokin, M. Sagar, “Acquiring the Reflectance Field of a Human Face”,
Proc. of SIGGRAPH, 2000.
◼ Y. Mukaigawa, K. Sumino, Y. Yagi, "Multiplexed Illumination for Measuring BRDF using an Ellipsoidal Mirror and a
Projector", in Proc. of ACCV, 2007.
◼ A. Ghosh, W. Heidrich, S. Achutha, M. O'Toole, “A Basis Illumination Approach to BRDF Measurement”, in Proc. of ICCV,
2007.
◼ T. Ono, H. Kubo, T. Funatomi, Y. Mukaigawa, “BRDF Reconstruction from Real Object using Reconstructed Geometry of
Multi-view Images”, in Proc. of SIGGRPAH ASIA (Technical Brief), 2017.
◼ L. Miyashita, Y. Watanabe, M. Ishikawa, “Rapid SVBRDF Measurement by Algebraic Solution Based on Adaptive
Illumination”, in Proc. of 3DV, 2014.
◼ T-C. Wang, M. Chandrakaer, A. Efros, R. Ramamoorthi, “SVBRDF-Invariant Shape and Reflectance Estimation from
Light-Field Cameras”, in Proc. of CVPR, 2016.
30

31. 本資料の作成にあたって参考にした文献（論文）
CNNによるSVBRDF推定の既存研究
◼ Z. Li, K. Sunkavalli, M.K. Chandraker, “Materials for Masses: SVBRDF Acquisition with a Single Mobile Phone Image”,
in Proc. of ECCV, 2018.
◼ V. Deschaintre, M. Aittala, F. Durand, G. Drettakis, A. Bousseau, “Single-Image SVBRDF Capture with a Rendering-
Aware Deep Network”, in Proc. of SIGGRAPH, 2018.
◼ X. Li, Y. Dong, P. Peers, X. Tong, “Modeling Surface Appearance from a Single Photograph using Self-augmented
Convolutional Neural Networks”, in Proc. of SIGGRAPH, 2017.
◼ Z. Li, Z. Xu, R. Ramamoorthi, K. Sunkavalli and M.K. Chandraker, Learning to Reconstruct Shape and Spatially-Varying
Reflectance with a Single Image, in Proc. of SIGGRAPH ASIA, 2018.
31