カラーチャートを用いた複数の再撮モニタ とカメラの最適色補正スライド
- 1. IS2-04:
SSII2010
カラーチャートを用いた複数の再撮モニタ
とカメラの最適色補正
Optimal Color Correction for Multiple On-set Monitors
or Cameras by Using Color Checker Chart
松永 力 趙 延軍 和田 雅徳
Chikara Matsunaga, Yanjun Zhao and Masanori Wada
株式会社朋栄 佐倉研究開発センター
FOR-A Co., Ltd. Sakura R&D Center
E-mail: matsunaga@for-a.co.jp
- 5. 再撮モニタの色補正
再撮モニタの色補正
色補正装置
① 色補正装置から色校正用カラーチャート
画像を発生
② カメラ映像を
キャプチャする．
マスタモニタ
（カメラ映像）
スタジオ内
再撮モニタ
カメラ
SSII2010 第16回画像センシングシンポジウム
- 6. 再撮モニタの色補正
再撮モニタの色補正
色補正装置
① 色補正装置から色校正用カラーチャート
画像を発生
③ 自動色校正処理
（オートカラーキャリブレーション）
カメラ映像のカラーチャートを
② カメラ映像を 認識して色補正パラメータを計算
キャプチャする．
マスタモニタ
（カメラ映像）
スタジオ内
再撮モニタ
カメラ
SSII2010 第16回画像センシングシンポジウム
- 7. 再撮モニタの色補正（続き）
再撮モニタの色補正（続き）
色補正装置
④ 色校正処理の結果により
VTR カラーイコライ 再撮モニタ映像を色補正する．
ザ
（仮称）
マスタモニタ
（カメラ映像）
スタジオ内
再撮モニタ
カメラ
SSII2010 第16回画像センシングシンポジウム
- 8. 複数カメラの色補正
複数カメラの色補正
色補正装置
ビデオ
スイッチャ
SSII2010 第16回画像センシングシンポジウム
- 11. 何が問題か？
何が問題か？
・ カラーチャートから抽出した色レベルには
観測誤差が含まれている．
・ 色空間にはレベル制限があり，レベルを越えると
ガマット誤差になる．
SSII2010 第16回画像センシングシンポジウム
- 12. 何が問題か？
何が問題か？
・ カラーチャートから抽出した色レベルには
観測誤差が含まれている．
・ 色空間にはレベル制限があり，レベルを越えると
ガマット誤差になる．
⇒ 色補正パラメータの推定に影響を及ぼす．
SSII2010 第16回画像センシングシンポジウム
- 13. 何が問題か？
何が問題か？
・ カラーチャートから抽出した色レベルには
観測誤差が含まれている．
・ 色空間にはレベル制限があり，レベルを越えると
ガマット誤差になる．
⇒ 色補正パラメータの推定に影響を及ぼす．
⇒ 金谷の統計的最適化の理論を用いて，
観測誤差，ガマット誤差を考慮した
最適な色補正パラメータを推定する．
SSII2010 第16回画像センシングシンポジウム
- 14. 色変換モデル（３次元アフィン変換）
色変換モデル（３次元アフィン変換）
x=(r g b)T x=(r g b)T
T3x3 +
β3x1
SSII2010 第16回画像センシングシンポジウム
- 15. 色変換モデル（３次元アフィン変換）
色変換モデル（３次元アフィン変換）
x=(r g b)T x=(r g b)T
T3x3 +
β3x1
SSII2010 第16回画像センシングシンポジウム
- 16. 色変換モデル（３次元アフィン変換）
色変換モデル（３次元アフィン変換）
x=(r g b)T x=(r g b)T
T3x3 +
β3x1
“逆変換”である色補正パラメータを推定する．
⇒ 入力と出力を入れ替える（入力誤差モデル）．
SSII2010 第16回画像センシングシンポジウム
- 21. 数値シミュレーション結果
数値シミュレーション結果
E 0.12
KCRLB
FNS
0.1
LS
0.08
0.06
0.04
0.02
0
0 2 4 6 8 10 12
σ
計算した3次元アフィン変換のRMS誤差
SSII2010 第16回画像センシングシンポジウム
- 25. レベル制約付き最適推定とモデル選択
レベル制約付き最適推定とモデル選択
ガマット誤差が含まれている場合，
素朴な方法 ⇒ 色空間の上限下限近傍の色データを用いない
⇒ 色空間の上限下限の色レベルにおいて，
正しい色補正の結果が得られない．
色空間の上限下限における色データの対応を拘束条件とした
レベル制約付き最適化によって色補正パラメータを推定する．
最適化の手法には，拡張FNS法を用いる．
十分な色補正を行うためには，，
⇒ 線形の色変換であっても，逆変換としては高次の色補正モデルが
必要
⇒ ガマット誤差が含まれているか未知，色補正モデルも未知
一般に高次項を含む色補正モデルによる色補正は不安定
複数の色補正モデルを当てはめた結果から，モデル選択によって
現実的な色補正モデルを選択する．
SSII2010 第16回画像センシングシンポジウム
- 27. 300
Ideal
250
200
150
100
50
0
0 50 100 150 200 250
(a) 理想画像と波形表示
SSII2010 第16回画像センシングシンポジウム
- 28. 300
Ideal
Transformed
250
Data
200
150
100
50
0
0 50 100 150 200 250
(b) 色変換画像と波形表示
SSII2010 第16回画像センシングシンポジウム
- 29. 300
Ideal
1st Correction
250
Data
200
150
100
50
0
0 50 100 150 200 250
(c) クリップされたデータを除外した場合の
１次式による色補正モデル
SSII2010 第16回画像センシングシンポジウム
- 30. 300
Ideal
Corrected
250
200
150
100
50
0
0 50 100 150 200 250
(d) 色補正モデル(c)による補正画像と波形表示
SSII2010 第16回画像センシングシンポジウム
- 31. 300
Ideal
1st Correction
250
200
Data
150
100
50
0
0 50 100 150 200 250
(e) レベル制約を課した多項式色補正モデル
SSII2010 第16回画像センシングシンポジウム
- 32. 300
Ideal
1st Correction
250
2nd Correction
200
Data
150
100
50
0
0 50 100 150 200 250
(e) レベル制約を課した多項式色補正モデル
SSII2010 第16回画像センシングシンポジウム
- 33. 300
Ideal
1st Correction
250
2nd Correction
3rd Correction
200
Data
150
100
50
0
0 50 100 150 200 250
(e) レベル制約を課した多項式色補正モデル
SSII2010 第16回画像センシングシンポジウム
- 34. 300
Ideal
1st Correction
250
2nd Correction
3rd Correction
200
4th Correction
Data
150
100
50
0
0 50 100 150 200 250
(e) レベル制約を課した多項式色補正モデル
SSII2010 第16回画像センシングシンポジウム
- 35. 色補正モデルのモデル選択
色補正モデルのモデル選択
【幾何学的AIC】
【幾何学的MDL】
未知パラメータの自由度
基準長．データが になるように選ぶ．
【二乗ノイズレベル】
一般モデル（最も自由度の高いモデル）から計算する．
１次元４次多項式モデルを一般モデルとすると，
⇒ 幾何学的AICあるいはMDLが最小になるモデルを選択する．
SSII2010 第16回画像センシングシンポジウム
- 36. 300
Ideal
Corrected
250
200
150
100
50
0
0 50 100 150 200 250
(f) 色補正モデル(e)の４次多項式による
補正画像と波形表示
SSII2010 第16回画像センシングシンポジウム
- 43. まとめと今後の課題
まとめと今後の課題
再撮モニタの色補正を行うために，既知の色レベルからなる
カラーチャートをモニタに表示したものをカメラで撮影して，
撮影画像中のカラーチャートの色レベルを自動的に検出した．
観測誤差やガマット誤差を考慮した最適なパラメータ推定による
色補正を行った．
ビデオ信号において標準的に用いられる輝度色差色空間における
色補正モデルによる色補正も検討することである．
色補正モデルとして，３次元アフィン変換モデル，１次元多項式モデル
を用いたが，その他のモデルも検討したい．
立体視映像の撮影への適用も検討したい．
SSII2010 第16回画像センシングシンポジウム
