イメージベーストライティングによる写実的な画像の生成 １．鏡面球を用いた光源環境の獲得 ２．POV-Rayを用いた合成画像に対するライティング ３．ランバート物体を仮定した実画像に対するライティング

1. イメージベーストライティング
による写実的な画像の生成
コンピュータ実習Ⅳ 自由課題
2019/01/28
1

2. 概要
実画像のIBLライトプローブ画像の獲得 合成画像のIBL
撮影した光源分布を用いてライティングを行う
（イメージベーストライティング:IBL）
2

3. イメージベーストライティング
• 実写画像から得られた照明環境を用いて3次元モデルのライ
ティングを行うことで，シーンに対するフォトリアルな画像を
生成する方法．映画などで一般的に使われている．
Debevec, SIGGRAPH98
映画「寄生獣」
[CGWORD.jp, https://cgworld.jp/feature/201607-cgw215t1-kiseijyu-2.html]
3

4. 実験器具と開発環境
実験器具
• 鏡面球（ステンレス球，径 50
mm ）
• カメラ（EOS 50D，EOS 6D）
• レンズ（EF-S60mm F2.8 macro
USM，Super-Multi-Coated
Takumar 200mm F4 ）
• 三脚
• 光源（白色チップLED）
• LED駆動回路
開発環境
• Python
• メインの言語
• OpenCV
• 画像処理ライブラリ
• POV-Ray
• CGのレンダラー
• dcraw
• RAW画像現像ソフト
4

5. 実験１
5
実画像のIBLライトプローブ画像の獲得 合成画像のIBL
撮影した光源分布を用いてライティングを行う
（イメージベーストライティング:IBL）

6. ライトプローブ
• 鏡面球を撮影すると，全方向からの光の強さを測定できる．
[Debevec, SIGGRAPH98] 6

7. 実験１:ライトプローブ画像の獲得
• 鏡面球を露光量を変えて撮影，HDR画像を生成する．
• 獲得したライトプローブ画像からパノラマ画像に変換する．
[Debevec]
7

8. 鏡面球の撮影
• 撮影を行なった．
撮影の様子 8

9. 鏡面球からのパノラマ画像の生成
• 撮影した鏡面球の画像から，パノラマ画像に変換した．
9

10. 実験２
10
実画像のIBLライトプローブ画像の獲得 合成画像のIBL
撮影した光源分布を用いてライティングを行う
（イメージベーストライティング:IBL）

11. 合成画像に対するIBL
• 光源分布が遠方にあると考えて仮想物体を配置した際の画像を
合成する．
11

12. 実験２: 合成画像のIBL
• POV-Rayを用いてレンダリング
• 光源として，パノラマ画像を適用
POV-Ray
シーンファイル
パノラマ画像
レンダリング結果
12

13. 実験２: 合成画像のIBL
ガラス球
拡散球
鏡面球
光沢のある球
stanford dragon
13

14. レンダリング結果１
14

15. レンダリング結果２
15

16. レンダリング結果３
16

17. レンダリング結果４
17

18. レンダリング結果（まとめ）
18

19. 実験３
19
実画像のIBLライトプローブ画像の獲得 合成画像のIBL
撮影した光源分布を用いてライティングを行う
（イメージベーストライティング:IBL）

20. Reflectance Field
• Light Stageによる密な光源移動
• Reflectance Fieldの計測
• 再合成による任意照明の顔画像生成
[Debevec, SIGGRAPH00]
Reflectance Field
20

21. ランバート拡散反射
• 反射光が様々な方向に反射すること．
• 拡散反射の明るさは視点方向にほとんど依存しない.
𝐼 = 𝜌𝒏 ∙ 𝒍
𝐼 : 点pにおける明るさ
𝜌: 反射率
𝒏:法線ベクトル
𝒍 :光源ベクトル
21

22. 照度差ステレオ法
• 3方向の光源方向からの画像から法線と反射率を測定できる．
[Woodham, 1980]
𝐼1 = 𝜌𝒏 ∙ 𝒍 𝟏
𝐼3 = 𝜌𝒏 ∙ 𝒍 𝟑
𝐼2 = 𝜌𝒏 ∙ 𝒍 𝟐
22
法線𝒏と反射率𝜌
が定まる

23. 実験３: 実画像のIBL
• 対象のシーンはランバート拡散反射面であると仮定
法線と反射率
の測定
Reflectance Field
の計算
ライティング
パノラマ画像
ライティング結果
照度差ステレオ法による測定
23

24. 法線と反射率の測定
• Woodhamの照度差ステレオ法を用いて，シーンの法線と反射率
を測定
target
camera
light sources
対象物体
24

25. 法線と反射率の測定
• 測定結果
法線 反射率
25

26. 単一光源によるリライティング
• 法線と反射率から，単一の平行光源によるリライティング
26

27. イメージベーストライティング結果１
27

28. イメージベーストライティング結果２
28

29. イメージベーストライティング結果３
29

30. イメージベーストライティング結果４
30

31. イメージベーストライティング結果５
31

32. イメージベーストライティング結果（まとめ）
32

33. 背景と合成した結果
33

34. まとめ
34
実画像のIBLライトプローブ画像の獲得 合成画像のIBL
撮影した光源分布を用いてライティングを行う
（イメージベーストライティング:IBL）

35. まとめ
• 鏡面球を撮影し，パノラマ画像への変換を行なった．
• 合成画像に対するIBLを行なった．
• 実画像の法線と反射率を測定し，IBLを行なった．
35