Download as PDF, PPTX
More Related Content
Similar to カラーチャートを用いた複数の再撮モニタ とカメラの最適色補正スライド
カラーチャートを用いた複数の再撮モニタ とカメラの最適色補正スライド
- 1. IS2-04: SSII2010 カラーチャートを用いた複数の再撮モニタ とカメラの最適色補正 Optimal Color Correction for Multiple On-set Monitors or Cameras by Using Color Checker Chart 松永 力 趙 延軍 和田 雅徳 Chikara Matsunaga, Yanjun Zhao and Masanori Wada 株式会社朋栄 佐倉研究開発センター FOR-A Co., Ltd. Sakura R&D Center E-mail: matsunaga@for-a.co.jp
- 2. 再撮モニタの例 再撮モニタの例 SSII2010 第16回画像センシングシンポジウム
- 3. 再撮モニタの例 再撮モニタの例 SSII2010 第16回画像センシングシンポジウム
- 4. 再撮モニタの色補正 再撮モニタの色補正 色補正装置 ① 色補正装置から色校正用カラーチャート 画像を発生 マスタモニタ （カメラ映像） スタジオ内 再撮モニタ カメラ SSII2010 第16回画像センシングシンポジウム
- 5. 再撮モニタの色補正 再撮モニタの色補正 色補正装置 ① 色補正装置から色校正用カラーチャート 画像を発生 ② カメラ映像を キャプチャする． マスタモニタ （カメラ映像） スタジオ内 再撮モニタ カメラ SSII2010 第16回画像センシングシンポジウム
- 6. 再撮モニタの色補正 再撮モニタの色補正 色補正装置 ① 色補正装置から色校正用カラーチャート 画像を発生 ③ 自動色校正処理 （オートカラーキャリブレーション） カメラ映像のカラーチャートを ② カメラ映像を 認識して色補正パラメータを計算 キャプチャする． マスタモニタ （カメラ映像） スタジオ内 再撮モニタ カメラ SSII2010 第16回画像センシングシンポジウム
- 7. 再撮モニタの色補正（続き） 再撮モニタの色補正（続き） 色補正装置 ④ 色校正処理の結果により VTR カラーイコライ 再撮モニタ映像を色補正する． ザ （仮称） マスタモニタ （カメラ映像） スタジオ内 再撮モニタ カメラ SSII2010 第16回画像センシングシンポジウム
- 8. 複数カメラの色補正 複数カメラの色補正 色補正装置 ビデオ スイッチャ SSII2010 第16回画像センシングシンポジウム
- 9. カラーチャートによる色補正 カラーチャートによる色補正 SSII2010 第16回画像センシングシンポジウム
- 10. カラーチャートによる色補正 カラーチャートによる色補正 SSII2010 第16回画像センシングシンポジウム
- 11. 何が問題か？ 何が問題か？ ・ カラーチャートから抽出した色レベルには 観測誤差が含まれている． ・ 色空間にはレベル制限があり，レベルを越えると ガマット誤差になる． SSII2010 第16回画像センシングシンポジウム
- 12. 何が問題か？ 何が問題か？ ・ カラーチャートから抽出した色レベルには 観測誤差が含まれている． ・ 色空間にはレベル制限があり，レベルを越えると ガマット誤差になる． ⇒ 色補正パラメータの推定に影響を及ぼす． SSII2010 第16回画像センシングシンポジウム
- 13. 何が問題か？ 何が問題か？ ・ カラーチャートから抽出した色レベルには 観測誤差が含まれている． ・ 色空間にはレベル制限があり，レベルを越えると ガマット誤差になる． ⇒ 色補正パラメータの推定に影響を及ぼす． ⇒ 金谷の統計的最適化の理論を用いて， 観測誤差，ガマット誤差を考慮した 最適な色補正パラメータを推定する． SSII2010 第16回画像センシングシンポジウム
- 14. 色変換モデル（３次元アフィン変換） 色変換モデル（３次元アフィン変換） x=(r g b)T x=(r g b)T T3x3 + β3x1 SSII2010 第16回画像センシングシンポジウム
- 15. 色変換モデル（３次元アフィン変換） 色変換モデル（３次元アフィン変換） x=(r g b)T x=(r g b)T T3x3 + β3x1 SSII2010 第16回画像センシングシンポジウム
- 16. 色変換モデル（３次元アフィン変換） 色変換モデル（３次元アフィン変換） x=(r g b)T x=(r g b)T T3x3 + β3x1 “逆変換”である色補正パラメータを推定する． ⇒ 入力と出力を入れ替える（入力誤差モデル）． SSII2010 第16回画像センシングシンポジウム
- 17. ３次元アフィン変換 ３次元アフィン変換 色データを４次元同次ベクトルで表す． は４次元ベクトルの第４成分を１とする正規化作用素である． SSII2010 第16回画像センシングシンポジウム
- 18. ３次元アフィン変換（続き） ３次元アフィン変換（続き） １３次元ベクトル SSII2010 第16回画像センシングシンポジウム
- 19. ３次元アフィン変換の最適計算 ３次元アフィン変換の最適計算 組の色データ 期待値0，標準偏差 の正規分布に従う誤差が加わる． 次の目的関数を最小化するパラメータ を最適推定する． 最適化には多拘束FNS法を用いる． SSII2010 第16回画像センシングシンポジウム
- 20. 数値シミュレーション 数値シミュレーション 基準画像 観測画像 SSII2010 第16回画像センシングシンポジウム
- 21. 数値シミュレーション結果 数値シミュレーション結果 E 0.12 KCRLB FNS 0.1 LS 0.08 0.06 0.04 0.02 0 0 2 4 6 8 10 12 σ 計算した3次元アフィン変換のRMS誤差 SSII2010 第16回画像センシングシンポジウム
- 22. 色変換モデル（３次元アフィン変換＋クリップ処理） 色変換モデル（３次元アフィン変換＋クリップ処理） x=(r g b)T x=(r g b)T T3x3 + β3x1 色空間における色変換処理であることから， 厳密にはレベルに関する制限であるクリップ処理が付く． SSII2010 第16回画像センシングシンポジウム
- 23. 色変換モデル（３次元アフィン変換＋クリップ処理） 色変換モデル（３次元アフィン変換＋クリップ処理） x=(r g b)T x=(r g b)T T3x3 + Clip β3x1 色空間における色変換処理であることから， 厳密にはレベルに関する制限であるクリップ処理が付く ⇒ 色空間のレベルに関する制限であるクリップ処理によって生じる ガマット誤差は，色補正パラメータの推定に影響を及ぼす． SSII2010 第16回画像センシングシンポジウム
- 24. レベル制約付き最適推定とモデル選択 レベル制約付き最適推定とモデル選択 ガマット誤差が含まれている場合， 素朴な方法 ⇒色空間の上限下限近傍の色データを用いない ⇒ 色空間の上限下限の色レベルにおいて， 正しい色補正の結果が得られない． 色空間の上限下限における色データの対応を拘束条件とした レベル制約付き最適化によって色補正パラメータを推定する． 最適化の手法には，拡張FNS法を用いる． SSII2010 第16回画像センシングシンポジウム
- 25. レベル制約付き最適推定とモデル選択 レベル制約付き最適推定とモデル選択 ガマット誤差が含まれている場合， 素朴な方法 ⇒色空間の上限下限近傍の色データを用いない ⇒ 色空間の上限下限の色レベルにおいて， 正しい色補正の結果が得られない． 色空間の上限下限における色データの対応を拘束条件とした レベル制約付き最適化によって色補正パラメータを推定する． 最適化の手法には，拡張FNS法を用いる． 十分な色補正を行うためには，， ⇒ 線形の色変換であっても，逆変換としては高次の色補正モデルが 必要 ⇒ ガマット誤差が含まれているか未知，色補正モデルも未知 一般に高次項を含む色補正モデルによる色補正は不安定 複数の色補正モデルを当てはめた結果から，モデル選択によって 現実的な色補正モデルを選択する． SSII2010 第16回画像センシングシンポジウム
- 26. 数値シミュレーション（２） 数値シミュレーション（２） 多項式モデルによる色補正パラメータの レベル制約付き最適推定とモデル選択 【２次多項式モデル】 【内部拘束】 ある特定の色レベル が特定の色レベル に補正される． 【目的関数】 SSII2010 第16回画像センシングシンポジウム
- 27. 300 Ideal 250 200 150 100 50 0 0 50 100 150 200 250 (a) 理想画像と波形表示 SSII2010 第16回画像センシングシンポジウム
- 28. 300 Ideal Transformed 250 Data 200 150 100 50 0 0 50 100 150 200 250 (b) 色変換画像と波形表示 SSII2010 第16回画像センシングシンポジウム
- 29. 300 Ideal 1st Correction 250 Data 200 150 100 50 0 0 50 100 150 200 250 (c) クリップされたデータを除外した場合の １次式による色補正モデル SSII2010 第16回画像センシングシンポジウム
- 30. 300 Ideal Corrected 250 200 150 100 50 0 0 50 100 150 200 250 (d) 色補正モデル(c)による補正画像と波形表示 SSII2010 第16回画像センシングシンポジウム
- 31. 300 Ideal 1st Correction 250 200 Data 150 100 50 0 0 50 100 150 200 250 (e) レベル制約を課した多項式色補正モデル SSII2010 第16回画像センシングシンポジウム
- 32. 300 Ideal 1st Correction 250 2nd Correction 200 Data 150 100 50 0 0 50 100 150 200 250 (e) レベル制約を課した多項式色補正モデル SSII2010 第16回画像センシングシンポジウム
- 33. 300 Ideal 1st Correction 250 2nd Correction 3rd Correction 200 Data 150 100 50 0 0 50 100 150 200 250 (e) レベル制約を課した多項式色補正モデル SSII2010 第16回画像センシングシンポジウム
- 34. 300 Ideal 1st Correction 250 2nd Correction 3rd Correction 200 4th Correction Data 150 100 50 0 0 50 100 150 200 250 (e) レベル制約を課した多項式色補正モデル SSII2010 第16回画像センシングシンポジウム
- 35. 色補正モデルのモデル選択 色補正モデルのモデル選択 【幾何学的AIC】 【幾何学的MDL】 未知パラメータの自由度 基準長．データが になるように選ぶ． 【二乗ノイズレベル】 一般モデル（最も自由度の高いモデル）から計算する． １次元４次多項式モデルを一般モデルとすると， ⇒ 幾何学的AICあるいはMDLが最小になるモデルを選択する． SSII2010 第16回画像センシングシンポジウム
- 36. 300 Ideal Corrected 250 200 150 100 50 0 0 50 100 150 200 250 (f) 色補正モデル(e)の４次多項式による 補正画像と波形表示 SSII2010 第16回画像センシングシンポジウム
- 37. 実画像実験 実画像実験 モニタ撮影画像 SSII2010 第16回画像センシングシンポジウム
- 38. 実画像実験 実画像実験 理想カラーチャート SSII2010 第16回画像センシングシンポジウム
- 39. 実画像実験 実画像実験 レベル制約なしの最適推定による色補正画像 SSII2010 第16回画像センシングシンポジウム
- 40. 実画像実験 実画像実験 理想カラーチャート SSII2010 第16回画像センシングシンポジウム
- 41. 実画像実験 実画像実験 レベル制約付き最適推定による色補正画像 SSII2010 第16回画像センシングシンポジウム
- 42. 実画像実験 実画像実験 レベル制約なしの最適推定による色補正画像 SSII2010 第16回画像センシングシンポジウム
- 43. まとめと今後の課題 まとめと今後の課題 再撮モニタの色補正を行うために，既知の色レベルからなる カラーチャートをモニタに表示したものをカメラで撮影して， 撮影画像中のカラーチャートの色レベルを自動的に検出した． 観測誤差やガマット誤差を考慮した最適なパラメータ推定による 色補正を行った． ビデオ信号において標準的に用いられる輝度色差色空間における 色補正モデルによる色補正も検討することである． 色補正モデルとして，３次元アフィン変換モデル，１次元多項式モデル を用いたが，その他のモデルも検討したい． 立体視映像の撮影への適用も検討したい． SSII2010 第16回画像センシングシンポジウム