1. SSII2011 IS2-05:
３D映像のための自動色補正
Auto Color Correction for Stereoscopic 3D Video
松永 力 趙 延軍 和田 雅徳
Chikara Matsunaga, Yanjun Zhao and Masanori Wada
株式会社朋栄 佐倉研究開発センター
FOR-A Co., Ltd. Sakura R&D Center
E-mail: matsunaga@for-a.co.jp

2. ３D映画の盛り上がり
３D映画の盛り上がり
『センター・オブ・ジ・アース（映画）』（原題：Journey to the Center of the Earth）（2008年米）
SSII2011 第17回画像センシングシンポジウム

3. ３D映画の盛り上がり
３D映画の盛り上がり
A Chinese audience takes in James Cameron's 'Avatar.' The government plans to limit the number of theaters
that can show the film in 2-D. (Getty)
http://articles.nydailynews.com/2010-01-19/entertainment/17944399_1_paul-degarabedian-box-office-avatar
SSII2011 第17回画像センシングシンポジウム

4. ３Dテレビの発売
３Dテレビの発売
SSII2011 第17回画像センシングシンポジウム

5. ３D映像の撮影
３D映像の撮影
SSII2011 第17回画像センシングシンポジウム

6. ハーフミラー方式の３Dリグによる撮影
ハーフミラー方式の３Dリグによる撮影
SSII2011 第17回画像センシングシンポジウム

7. ３D映像処理
３D映像処理
【朋栄3Dプロセッサ/カラーイコライザCEQ-100HS とその３D撮影の活用例】
ステレオカメラ ■ 光軸補正および視差調整機能
■ 視差計算機能
■ カラーチャートなしでの自動色補正
■ 左右反転補正
■ ３Dモニタリング
左映像（反射） ・ サイドバイサイド 左映像
・ アナグリフなど
CEQ-100HS
３Dリグ
（ハーフミラー） 右映像（透過） 右映像
ハーフミラー方式の３Dリグで撮影された映像では透過映像と左右反転映像が生成されます。
左右反転映像を正常な状態に補正した上で、更に左右の明るさ、色を自動補正することが可能です。
http://www.for-a.co.jp/products/ceq100hs/ceq100hs.html
SSII2011 第17回画像センシングシンポジウム

8. カラーチャートを用いた色補正
カラーチャートを用いた色補正
SSII2011 第17回画像センシングシンポジウム

9. カラーチャートを用いた色補正
カラーチャートを用いた色補正
松永 力，趙 延軍，和田 雅徳，カラーチャートを用いた複数の再撮モニタとカメラの最適色補正，
第16回画像センシングシンポジウム(SSII2010)講演論文集，横浜(パシフィコ横浜)．
SSII2011 第17回画像センシングシンポジウム

10. カラーチャートを用いない色補正
カラーチャートを用いない色補正
（独）情報通信研究機構「超高精細ステレオ３ D 映像コンテンツ」より．
http://3d-contents.nict.go.jp/ SSII2011 第17回画像センシングシンポジウム

11. カラーチャートを用いない色補正
カラーチャートを用いない色補正
（独）情報通信研究機構「超高精細ステレオ３ D 映像コンテンツ」より．
http://3d-contents.nict.go.jp/ SSII2011 第17回画像センシングシンポジウム

12. 核関数による確率密度関数の計算
核関数による確率密度関数の計算
画素値（G）のヒストグラム 確率密度関数（PDF）
2500 2
1.8
2000 1.6
1.4
＊
1500 1.2
1
1000 0.8
0.6
500 0.4
0.2
0 0
0 50 100 150 200 250 0 0.2 0.4 0.6 0.8 1
核関数
画像
： 画素数
： ヒストグラムの階級数
： 画素値の標本標準偏差
SSII2011 第17回画像センシングシンポジウム

13. 色補正モデル
色補正モデル
【1次元アフィン変換】
→ シフト → スケール
SSII2011 第17回画像センシングシンポジウム

14. 色補正パラメータのロバスト推定（１）
色補正パラメータのロバスト推定（１）
【最小二乗推定】
SSII2011 第17回画像センシングシンポジウム

15. 色補正パラメータのロバスト推定（１）
色補正パラメータのロバスト推定（１）
【最小二乗推定】
・ 左右映像間の視差によるオクルージョン（隠れ）
・ レベル飽和によるガマット（色域）誤差
【ロバストM推定】
SSII2011 第17回画像センシングシンポジウム

16. 色補正パラメータのロバスト推定（２）
色補正パラメータのロバスト推定（２）
1
【ロバストM推定】
0.8
0.6
0.4
0.2 2 2
x /1x 
x2
0
-10 -5 0 5 10
SSII2011 第17回画像センシングシンポジウム

17. 色補正パラメータのロバスト推定（３）
色補正パラメータのロバスト推定（３）
反復のための初期値は，オフセット項 は，ヒストグラムのメジアン値を
揃える様に，ゲイン項 は，メジアン絶対偏差 MADから推定される
（標準偏差の）比として計算する．
SSII2011 第17回画像センシングシンポジウム

18. 色補正パラメータのレベル制約付き推定
色補正パラメータのレベル制約付き推定
： 左右画像において対応するレベル制約
： ラグランジュ未定乗数
SSII2011 第17回画像センシングシンポジウム

19. 時系列推定の安定化
時系列推定の安定化
： 前フレームにおける推定パラメータ
： 正則化パラメータ
SSII2011 第17回画像センシングシンポジウム

20. 画像シミュレーション（１）
画像シミュレーション（１）
【同一画像による擬似３Ｄ画像シミュレーション】
真のパラメータによる
色補正画像
R 二乗誤差画像
SQR
ノイズ + L R ＾
R PSNR[dB]
推定パラメータによる
色補正画像
１．同一画像の一部分を切り出して一方をシフトしたものを擬似的な３Ｄ画像とする．
２．左画像を色変換して，右画像を左画像に揃えるための色補正パラメータを推定する．
３．推定パラメータによる色補正画像と真のパラメータによる色補正画像の二乗誤差画像
のピークSN比（PSNR）を計算する．
SSII2011 第17回画像センシングシンポジウム

21. 画像シミュレーション（１）
画像シミュレーション（１）
【同一画像による擬似３Ｄ画像シミュレーション】
http://vision.middlebury.edu/stereo/
SSII2011 第17回画像センシングシンポジウム

22. 画像シミュレーション（１）結果
画像シミュレーション（１）結果
【同一画像による擬似３Ｄ画像シミュレーション】
3
Reference Left
2.5 Original Right
Corrected Right
2
1.5
1
0.5
0
0 0.2 0.4 0.6 0.8 1
左右画像の画素値（R）の確率密度関数．
SSII2011 第17回画像センシングシンポジウム

23. 画像シミュレーション（１）結果
画像シミュレーション（１）結果
【同一画像による擬似３Ｄ画像シミュレーション】
80
PSNR [dB]
70
60
50
40
30
20
10
0
-5 -4 -3 4-2 5-1 0 1 2 3
d [%]
シフト量に対する推定した色補正パラメータによる二乗誤差画像のピークSN 比．
SSII2011 第17回画像センシングシンポジウム

24. 画像シミュレーション（２）
画像シミュレーション（２）
【擬似３Ｄ画像によるレベル制約付き推定のシミュレーション】
http://vision.middlebury.edu/stereo/
SSII2011 第17回画像センシングシンポジウム

25. 画像シミュレーション（２）結果
画像シミュレーション（２）結果
【擬似３Ｄ画像によるレベル制約付き推定のシミュレーション】
20 20
Cr Reference
Corrected Cr Reference
Corrected
10 10
0 0
-10 -10
-20 -20
-20 -10 0 10 20 -20 -10 0 10 20
Cb Cb
(b) (c)
(b) 白レベル領域における画素値の２次元色差空間表示
（レベル制約付き推定の場合）．
(c) レベル制約なしの推定の場合．
SSII2011 第17回画像センシングシンポジウム

26. 画像シミュレーション（３）
画像シミュレーション（３）
【実際の３Ｄ画像シミュレーション】
（独）情報通信研究機構「超高精細ステレオ３ D 映像コンテンツ」より．
http://3d-contents.nict.go.jp/ SSII2011 第17回画像センシングシンポジウム

27. 画像シミュレーション（３）結果
画像シミュレーション（３）結果
【実際の３Ｄ画像シミュレーション】
（独）情報通信研究機構「超高精細ステレオ３ D 映像コンテンツ」より．
http://3d-contents.nict.go.jp/ SSII2011 第17回画像センシングシンポジウム

28. 画像シミュレーション（３）結果
画像シミュレーション（３）結果
【実際の３Ｄ画像シミュレーション】
5
Reference Left
4 Original Right
Corrected Right
3
2
1
0
0 0.2 0.4 0.6 0.8 1
左右画像の画素値（G）の確率密度関数．
SSII2011 第17回画像センシングシンポジウム

29. 画像シミュレーション（４）
画像シミュレーション（４）
【３Ｄ映像における時系列推定シミュレーション】
（独）情報通信研究機構「超高精細ステレオ３ D 映像コンテンツ」より．
http://3d-contents.nict.go.jp/ SSII2011 第17回画像センシングシンポジウム

30. 画像シミュレーション（４）結果
画像シミュレーション（４）結果
【３Ｄ映像における時系列推定シミュレーション】
1.20
β
1.15
1.10
1.05
-6
γ
-8
-10
-12
0 50 100 150 200 250 300 350 [frame] 400
３D映像の色補正パラメータ（R）の推定結果．
SSII2011 第17回画像センシングシンポジウム

31. まとめと今後の課題
まとめと今後の課題
３D映像における左右映像の色・明るさを揃えるために，
画素値のヒストグラムから核関数により確率密度関数を
計算し，その差を最小にする色補正パラメータをロバスト
に推定して色補正を行った．
ビデオ信号において標準的に用いられる輝度色差色空間
における色補正モデルによる色補正も検討することである．
色補正モデルとして，簡易な１次元アフィン変換モデルを
用いたが，その他のモデルとして，高次，多次元のモデル
も検討したい．
SSII2011 第17回画像センシングシンポジウム