1. ３ D 映像のための自動色補正
Auto Color Correction for Stereoscopic 3D Video
松永 力 趙 延軍 和田 雅徳
Chikara Matsunaga, Yanjun Zhao and Masanori Wada
株式会社 朋栄 佐倉研究開発センター
FOR-A Co., Ltd. Sakura R&D Center
E-mail: matsunaga@for-a.co.jp
(a) (b) (c)
図1 (a) ３ D リグ．(b) シミュレーションに用いた３ D 画像例．(c) 左右画像の画素値（G）の確率密度関数．
Abstract とともに，反射と透過による色・明るさの違いを揃え
る色補正処理が必要になる．
３ D 映像における左右の映像を幾何学的・光学的に 色補正処理には，既知の色レベルからなるカラーチ
一致させることは，実写とコンピュータグラフィックス ャート（色票）を用いる方法があるが [11]，必ずカラー
（Computer Graphics, CG）の合成における実カメラと チャートを撮影することは運用上困難な場合も考えら
仮想カメラの間の幾何学的・光学的な一致と同様に必 れる．そこで，任意の撮影画像からの自己校正手法を
須である．見やすく，かつ安全な３ D 映像を制作する 考える．これには，画像中のコーナー等の特徴点を抽
ためにも欠かせない． 出し，左右の画像において特徴点を対応付ける方法が
本研究は，そのような３ D 映像における左右の映像 考えられるが，処理コストが掛かる．
の色・明るさのずれを，カラーチャート（色票）のよう 本研究では，左右画像の画素値のヒストグラムから
な特別な参照板を用いずに，映像のみから自動的に計 核関数により確率密度関数を計算し，その差を最小に
算して色補正を行うものである． する色補正パラメータを推定する．推定には，左右映像
間の視差によるオクルージョンや，レベル飽和による
ガマット誤差 [12] の影響を考慮して，ロバスト M 推定
1 はじめに
[6] を用いる．さらに，レベル制約を課すことによりカ
ラーバランスを保った色補正や，時間方向に滑らかさ
人間は左右の目に映る像の見え方の違いである両眼
の制約を課すことにより時系列推定の安定化も試みる．
視差により奥行きや立体感を感じている．これを利用
画像のヒストグラムは濃淡画像処理をはじめとして，
した３ D 映像 [13] が映画をはじめとして，近年大きな
類似画像の検索ための特徴量として用いられた [20]．医
盛り上がりを見せている．
用画像では，ヒストグラムから計算される相互情報量
３ D 映像の撮影には，３ D リグと呼ばれる左右２
（Mutual Information, MI）を最大にするように，複数
台のカメラを水平・垂直に設置する器具を用いる（図
のモダリティによる異種画像間の位置合わせに用いら
1(a)）．これは，人間の目と同じ間隔による撮影を可能
れた [9, 22]．Comaniciu ら [4] は，移動物体の追跡処理
とするものであり，ハーフミラーにより反射・透過する
のために画素値の色ヒストグラムから核関数を用いて
映像を撮影することになる．反射映像を左右反転する
類似度を計算する平均値シフト法を用いた．松永 [10]

2. は，視程障害映像のコントラスト補正処理のために画 σ はブロック領域中の画素値の標本標準偏差である．式
素値のヒストグラムから核関数を用いて確率密度関数 （1）をヒストグラム h(Ij ) を用いて次のように書き直す
を計算し，コントラスト補正のためのパラメータをカ [10]．
ルバック‐ライブラー情報量を最小化するように最適 N
1 I − Ij
に推定した． p(I) = h(Ij )K . (4)
nW W
色補正処理としては，松永ら [11] は，再撮モニタや j=1
複数台のカメラ間の色を合わせるために，先頭フレー ここで，N はヒストグラムの階級数である．注意すべ
ムに撮影した基準となるカラーチャート（色票）を自 きは，式（1）は，ブロック領域中のすべての標本画素
動認識して，観測誤差を考慮して色補正パラメータを 値 {Ij | j = 1, . . . , n} をそのまま用いているが，式（4）
最適に推定するとともに，ガマット誤差 [12] が含まれ では，ヒストグラムの階級における画素値（階級値）
ている映像に対しても，レベル制約付き最適推定とモ {Ij | j = 1, . . . , N } を用いることである．
デル選択を組み合わせることによって妥当な色補正結 式（4）はヒストグラムと核関数のたたみ込みと見な
果を得るための方法を示した．Reinhard ら [16] は，画 すことができる．核関数がガウス関数の場合，人工神
像間の見た目の色を揃えるために，画像を LMS 色空間 経回路網のひとつである放射基底関数（Radial Basis
に変換して，それらの平均値，分散値を揃える処理を Function, RBF）ネットワーク [15] としても知られて
行った． いる．
複数台のカメラにより撮影された多視点映像の動画
像圧縮符号化は，H.264/MPEG-4 AVC の追加規格と 3 色補正モデル
して標準化がなされ [7, 21]，Blu-ray Disc TM
に記録し
色補正モデルとしては，RGB ３次元色空間において，
た３ D 映像の再生・表示を実現するための規格として
RGB 毎に独立に次のような１次元アフィン補正を行う
も採用された [3]．多視点映像において複数台のカメラ
ものとする．
の色補正を行う研究がある [14, 23]．
本論文の構成は，2 章で画素値のヒストグラムから核 I = βI + γ, I ∈ {R, G, B}, I ∈ {R , G , B }. (5)
関数により確率密度関数を計算する方法を説明し，3 章
で色補正に用いる色補正モデルとそれによる確率密度 そのような色補正を行った場合の確率密度関数は式（4）
関数の変換について説明する．4 章で色補正パラメータ より，次のようになる．
のロバスト推定方法について，5 章でレベル制約付きパ 1
N
I − Ij
p(I ) = h(Ij )K
ラメータ推定によるカラーバランスを保った色補正に nW W
j=1
ついて，6 章で時系列推定を安定化するための時間方向 N
1 I − (βIj + γ)
の滑らかさの制約付きパラメータ推定について，それ = h(Ij )K . (6)
nW W
ぞれ説明する．7 章で，それらの推定方法を確認するた j=1
めの画像シミュレーションを行い，8 章でまとめる． ヒストグラム h(Ij ) ≡ h(Ij ) であるから，色補正を行っ
た画像の確率密度関数は，補正前の原画像のヒストグ
2 核関数による確率密度関数の計算 ラムのみから計算することができる．
画像中のブロック領域における画素値に関する１次
4 色補正パラメータのロバスト推定
元のヒストグラムから核関数を用いて次のように確率
密度関数を計算する [19]． ３ D 映像における左右画像 I (L) , I (R) の確率密度関
1
n
I − Ij 数を p(I (L) ), p(I (R) ) と表す．左画像 I (L) を基準画像と
p(I) = K . (1)
nW W して，右画像 I (R) を色補正すると仮定する（勿論逆で
j=1
も構わない）．色補正パラメータを推定するために，左
ここで，Ij はブロック領域中の画素値であり，n はブ
右画像の画面中央領域における各々の画素値に関する
ロック領域中の総画素数である．K( · ) は核関数であり，
ヒストグラムから計算される確率密度関数の差が最小
例えば，次のようなガウス関数を用いる．
になる色補正パラメータを計算する．よく用いられる
1 x2
K(x) = √ exp − . (2) のは次のような最小二乗法である．
2π 2
N
W は核関数表現におけるバンド幅であり，ガウス関数
2
(L) (R)
J= p(Ii ) − p(Ii ) . (7)
を用いる場合には，次のように最適に決定される [19]． i=1
4
1/5 左右画像のヒストグラムの計算を行う領域には，視差
W = σn−1/5 . (3)
3 によるオクルージョンのために，一方には含まれてい

3. ない画素が発生する．そのような画素の影響を避ける
ためには，例えば，左右画像間の動き推定・補正処理
を行うことが考えられるが，動き推定・補正処理には
コストが掛かる．そのような画素が画像全体に占める
領域は，局所的なものであるだろうから，ロバスト M
推定 [6, 2, 18] により対応が可能と考える．ロバスト M
推定はレベル飽和によりクリップされた画素によるガ
マット誤差 [12] への対応も期待される．
３次元 RGB 色空間における RGB 毎の１次元アフィ
ン変換（5）による色補正を用いると，ロバスト M 推
定により，次の目的関数を最小化する色補正パラメー 図2 ロバスト推定関数と二乗関数．
タを推定する．
色補正パラメータのレベル制約付き推定
N
J = ρ(ri ), 5
i=1
ri = p(Ii
(L)
) 色データは，例えば，RGB ３次元色空間のようにベ
N (R) (R) クトルデータであり，RGB 毎に独立に色補正を行った
1 Ii − (βIj + γ)
場合には，白は厳密に白レベルに，黒は厳密に黒レベ
(R)
− h(Ij )K .(8)
nW W
j=1 ルに補正されるとは限らない．すなわち，RGB 毎に独
ここで，ρ( · ) は二乗よりは増加が遅く，0 において最 立な推定では，カラーバランスを厳密に保つことがで
小値を取る対称で正の推定関数であり，例えば，次の きない．
ようなものがある [2]． そこで，厳密にカラーバランスを保つように色補正
x2 パラメータを推定するために，白は白レベルにする等，
ρ(x) =
σ M + x2
. (9) 特定の色レベルが必ず特定の色レベルになるような色
σM は次のように推定される [17, 18]． レベルに関する制約条件を課す [11]．例えば，RGB ３
次元色空間における RGB 毎の１次元アフィン変換補正
σM = 1.4826 mediani |ri |.
ˆ (10) モデルにおいて，そのようなレベル制約を課した場合
σM = 1 としたときの，ロバスト推定関数（9）を二乗 の目的関数 K は次のように書ける．
関数とともに図 2 に示す． N
(L) (R)
色補正パラメータのロバスト M 推定の計算はガウス・ K = ρ p(Ii ) − p(Ii )
i=1
ニュートン法により行う [10, 18]．目的関数 J （8）を
(L) (R)
+λ Ia − (βIa + γ) . (13)
未知パラメータ β, γ に関して微分すると，勾配は微分
の連鎖則から計算できる．核関数により確率密度関数 ここで，λ はラグランジュ未定乗数である．右画像の特
を計算するためのバンド幅 W （3）は，ブロック領域の 定の色レベル Ia ∈ {Ra , Ga , Ba } が，左画像の
(R) (R) (R) (R)
画素値の標準偏差によるから，反復毎に計算する． 特定の色レベル Ia ∈ {Ra , Ga , Ba } になるよう
(L) (L) (L) (L)
パラメータの初期値には，オフセット項 γ はヒスト に，RGB 毎に目的関数 K を最小化する未知パラメー
グラムの重心（平均） ，あるいはメジアン値を揃えるよ タ β, γ, λ を計算すればよい．
うに計算する．ゲイン項 β はヒストグラムの標準偏差， 白レベルを揃えるためには，左画像における輝度値
あるいはメジアン値から計算される次のようなメジア 最大になる画素を探索して，その画素位置を中心とす
ン絶対偏差（Median Absolute Deviation，MAD）[17] る適当なブロック領域に対応する右画像の領域におい
による（標準偏差の）比として計算する． て輝度値が最大になる画素を探索して，それらの色レ
ベルを対応させる．黒レベルを揃えるためには，左画
MAD = mediani (|h(Ii ) − medianj (h(Ij ))|), (11)
像における輝度値最小になる画素を探索して，その画
σ = 1.4826 MAD.
ˆ (12)
素位置を中心とする適当なブロック領域に対応する右
いずれもヒストグラムから簡単に計算することが可能 画像の領域において輝度値が最小になる画素を探索し
である．最適化のための反復処理もすべてヒストグラ て，それらの色レベルを対応させる．その他，画像中
ムから核関数を用いて計算される確率密度関数による の特定の色レベルを手動により指定することもできる
計算処理のため，画像に戻って画素毎の色補正処理と だろう．RGB 信号から輝度色差信号 YCbCr への変換
ヒストグラムの計算を繰り返す必要がない．したがっ は [10] の付録参照．レベル制約を課した場合にも，同
て，処理コストが劇的に低減可能である． 様にガウス・ニュートン法により最適な色補正パラメー

4. タを推定することが可能である．初期値には，レベル
制約を課さない場合の推定結果を用いる．
6 時系列推定の安定化
３ D 映像における自動色補正処理は，ヒストグラム
上での色補正パラメータ推定のため，処理コストが劇
的に減少することが期待できる．しかし，フレーム毎
の独立した推定結果による色補正は時間変動による妨
害が生じるかもしれない．推定したパラメータに対す (a)
る平滑化処理等の何らかの時系列処理が必要になるが，
RGB 毎に独立に補正パラメータに対して平滑化処理を
行うと，レベル制約を課すことによって保持したカラー
バランスが崩れてしまうかもしれない．そこで，補正
パラメータの時系列平滑化とレベル制約を同時に満た
すために，次のような目的関数の最小化を行う．
N
(L) (R)
L= ρ p(Ii ) − p(Ii )
i=1
(L) (R)
+λ Ia − (βIa + γ)
(b)
ˆ
+µ (β − β)2 + (γ − γ )2 .
ˆ (14)
ここで，Ia , Ia はそれぞれ左右画像において対応
(L) (R)
するレベル制約であり，λ はラグランジュ未定乗数で
ある．β, γ は前フレームにおける推定パラメータであ
ˆ ˆ
る．つまり，レベル制約に加えて時間方向に滑らかさの
制約を課した正則化により色補正パラメータを推定す
るものである．µ は正則化パラメータである．Horn &
Schunck[5] はオプティカルフローの推定において，空
間的な滑らかさの制約による正則化を用いた．明示的
な平滑化処理を行わずとも，パラメータ推定自体に平
(c)
滑化作用が内在している．
図3 (a) 色補正パラメータ推定のための同一画像か
7 画像シミュレーション らの擬似３ D 画像例（サイドバイサイド表示） (b) 左
．
右画像の画素値（R）の確率密度関数．(c) シフト量に
対する推定した色補正パラメータによる二乗誤差画像
同一画像による擬似３ D 画像シミュレーション のピーク SN 比．
３ D 画像1 の左画像の一部分を切り出して，擬似的
な３ D 画像の左右画像とする．左画像は画像の中央領
域から切り出したものとして，右画像は，そのような左 1 の正規乱数誤差を加える．画素値の量子化数は 8 ビッ
画像に対して e 画素だけ水平方向にシフトさせて切り出 ト 256 階調である．真の色補正パラメータは色変換パ
したものとする．シフト量（視差量に相当する）は，左 ラメータになる．色変換パラメータを固定して，シフ
画像に対して右にシフトする場合を正の方向とする．切 ト量を変えたときの色補正パラメータを推定する．こ
り出し画像の水平サイズ H に対する比 d = e/H × 100 れを様々な画像を用いて行う．
（%）で表す [1]． 色補正のモデルとしては，式（5）の RGB 毎に独立な
そのようにして１枚の画像から生成した擬似的な３ １次元アフィン変換モデルを用いる．擬似的な３ D 画
D 画像において，左画像を RGB 毎に独立に適当な色変 像のサイズは 1280 × 720 である．シフト量は d = ±5%
換する．色変換を受けた左画像を基準画像として，右画 の範囲で 0.1% 刻みとする．量子化誤差，観測誤差を防
像を左画像に揃える色補正パラメータを推定する．この ぐために平滑化した左右画像の 80% 中央領域における
とき，右画像には RGB 毎に独立に期待値 0，標準偏差 画素を用いて色補正パラメータを推定する．推定した
1 http://vision.middlebury.edu/stereo/ 色補正パラメータにより（誤差を含む）右画像を色補

5. (a) (b) (c)
図4 (a) レベル制約付き推定のための擬似３ D 画像例（サイドバイサイド表示）と白レベル領域（赤枠） (b) 白レ
．
ベル領域における画素値の２次元色差空間表示（レベル制約付き推定の場合） (c) レベル制約なしの推定の場合．
．
正したものと真の色補正パラメータにより（誤差を含 図 1(b) はシミュレーションに用いた実際の３ D 画像
まない）右画像を色補正したものとの二乗誤差画像の をサイドバイサイド表示したものである．RGB 毎に既
ピーク SN 比（PSNR）を計算して評価する． 知の１次元アフィン変換により色変換した左画像を基
図 3(a) はシミュレーションに用いた擬似的な３ D 画 準画像として，右画像を揃えるように色補正処理を行
像例をサイドバイサイド表示したものである（シフト う．基準となる左画像の確率密度関数に，レベル飽和
量は d = 2.9% で 37 画素）．左右画像の画素値（R）の によりクリップされた画素によるガマット誤差 [12] が
ヒストグラムから核関数により計算した確率密度関数 存在する場合でも，ロバスト M 推定により右画像の確
は図 3(b) のようになる．シフト量の絶対値が増すと， 率密度関数はマッチングしている（図 1(c)）．推定した
ピーク SN 比がやや低下しているが，３ D 映像におけ 色補正パラメータにより色補正した右画像と真の色変
る快適な視聴範囲 [1] とされている d = ±2.9% の範囲 換パラメータにより色変換した右画像との二乗誤差画
では，ほぼ十分な結果が得られている．グラフ中のひ 像のピーク SN 比は 64.8[dB] であった．
とつの線分が１枚の画像における結果に相当している．
３ D 映像における時系列推定シミュレーション
図 4(a) の擬似３ D 画像例は，左画像の輝度を変換し
実際の３ D 映像2 における左映像を適当な色変換を
たものである．そのような左画像を基準として，右画像
行い，右映像を左映像に揃える色補正パラメータを推
の明るさを揃える．このとき，左右画像中の最大輝度
定する．図 5(b) は，３ D 映像のフレーム番号に対する
値を探索して対応付けて，最大輝度値の画素の色レベ
色補正パラメータの推定結果である．時間方向の正則
ルをレベル制約として課すことにより，カラーバラン
化を行った場合（赤線）と，正則化を行わずにフレー
スを保った色補正を試みる．推定した色補正パラメー
ム毎に独立に推定した場合（緑線）の両方の結果を重
タによる色補正画像中の白レベル領域（赤枠）の画素
ねて表示する．時間方向の滑らかさの制約を課した正
値を色差信号に変換して，２次元色差空間にプロット
則化による安定化の効果が見られる．
する．レベル制約を課さない RGB 毎の独立な色補正パ
ラメータ推定による結果では，２次元色差空間上のプ 8 まとめ
ロットに偏りが見られるが，レベル制約付き色補正パ
ラメータ推定による結果では，偏りがなくカラーバラ ３ D 映像における左右映像の色・明るさを揃えるた
ンスが保たれていることがわかる． めに，画素値のヒストグラムから核関数により確率密
実際の３ D 画像シミュレーション 度関数を計算し，その差を最小にする色補正パラメー
１枚の画像から生成した擬似的な３ D 画像ではなく， タをロバストに推定して色補正を行った．左右画像中
２台のカメラで撮影された実際の３ D 画像2 を用いる． の最大輝度値を探索して対応付けて，その色レベルを
左画像を適当な色変換する．そのような色変換を受け レベル制約として課すことにより，カラーバランスを
た左画像を基準画像として，右画像を左画像に揃える 保った色補正を行った．さらに，時間方向に滑らかさ
色補正パラメータを推定する．真の色補正パラメータ の制約を課すことにより時系列推定の安定化を行った．
は色変換パラメータになる．左右画像中の最大輝度値 今後の課題としては，映像信号で標準的に用いられ
を探索して対応付けて，最大輝度値の画素の色レベル る輝度色差色空間における色補正モデルによる色補正
をレベル制約として課す． も検討することである．色補正モデルとしては，簡易
な１次元アフィン変換モデルを用いたが，その他のモ
2（独）情報通信研究機構「超高精細ステレオ３ D 映像コンテン
ツ」より．http://3d-contents.nict.go.jp/ デルとして，高次数，多次元のモデルも検討したい．

6. (a) (b)
図5 (a) ３ D 映像中の１フレームのサイドバイサイド表示．(b) ３ D 映像の色補正パラメータ（R）の推定結果．
参考文献 [12] J´n Moroviˇ, Color Gamut Mapping, John Wiley
a c
& Sons Ltd., August 2008.
[1] ３Ｄコンソーシアム（３ＤＣ）安全ガイドライン部 [13] 尾上 守夫・池内 克史・羽倉 弘之 編, ３次元映像
会，人に優しい３Ｄ普及のための３ＤＣ安全ガイド ハンドブック, 朝倉書店, 2006.
ライン，2010 年 4 月 20 日改訂. [14] メヒルダド・パナヒプル・テヘラニ，石川 彰夫，酒
[2] M. J. Black and P. Anandan, The robust es- 澤 茂之，小池 淳，The optimal color correction of
timation of multiple motions: parametric and multicamera systems, 電子情報通信学会技術報告,
piecewise-smooth flow fields, Computer Vision and 107-358, IE2007-94 (2007-11), 23–28.
Image Understanding, 63-1 (1996), 75–104. [15] T. Poggio and F. Girosi, Networks for approxima-
[3] The Blu-ray Disc Association (BDA), Blu-ray Disc tion and learning, Proceedings of the IEEE, 78-9
Association Announces Final 3D Specification, (1990), 1481–1497.
“Blu-ray 3DTM ” Expected to Reach Consumers in [16] E. Reinhard, M. Ashikhmin, B. Gooch and P.
2010, December 17, 2009. Shirley, Color transfer between images, IEEE
http://www.blu-raydisc.com/en.html Transactions on Computer Graphics and Applica-
[4] D. Comaniciu, V. Ramesh and P. Meer, Kernel- tions, 21-5 (2001), 34–41.
based object tracking, IEEE Transactions on Pat- [17] P. J. Rousseeuw and A. M. Leroy, Robust Regres-
tern Analysis Machine Intelligence, 25-5 (2003), sion and Outlier Detection, J. Wiley & Sons, NY,
564–575. 1987.
[5] B. K. P. Horn and B. G. Schunck, Determining [18] H. S. Sawhney and S. Ayer, Compact represen-
optical flow, Artificial Intelligence, 17 (1981), 185– tations of videos through dominant and multiple
203. motion estimation, IEEE Transactions on Pattern
[6] P. J. Huber, Robust Statistics, Wiley, 1981, 2004. Analysis Machine Intelligence, 18-8 (1996), 814–
[7] ISO/IEC JTC1/SC29/WG11, Introduction to 830.
multiview video coding, N9580, Antalya, Turkey, [19] B. W. Silverman, Density Estimation for Statis-
January 2008. tics and Data Analysis, London, Chapman and
[8] 木村 優太，延原 章平，松山 隆司，多視点画像の相 Hall/CRC, 1986.
互色較正，第 12 回画像の認識・理解シンポジウム [20] M. J. Swain and D. H. Ballard, Color index-
(MIRU2009) 講演論文集，松江（くにびきメッセ） ． ing, International Journal of Computer Vision, 7-
[9] F. Maes, A. Collignon, D. Vandermeulen, G. Mar- 1 (1991), 11–32.
chal and P. Suetens, Multimodality image registra- [21] A. Vetro, P. Pandit, H. Kimata, A. Smolic and
tion by maximization of mutual information, IEEE Y.-K. Wang, Joint draft 8.0 on multiview video
Transactions on Medical Imaging, 16-2 (1997), coding, JVT document JVT-AB204, July 2008.
187–198. [22] P. Viola and W. M. Wells III, Alignment by
[10] 松永 力，最適コントラスト補正による視程障害画 maximization of mutual information, International
像の明瞭化，第 15 回画像センシングシンポジウム Journal of Computer Vision, 24-2 (1997), 137–
(SSII2009) 講演論文集，横浜 (パシフィコ横浜)． 154.
[11] 松永 力，趙 延軍，和田 雅徳，カラーチャートを [23] K. Yamamoto, T. Yendo, T. Fujii, M. Tani-
用いた複数の再撮モニタとカメラの最適色補正，第 moto and D. Suter, Colour correction for multiple-
16 回画像センシングシンポジウム (SSII2010) 講演 camera system by using correspondences, 対応点を
論文集，横浜 (パシフィコ横浜)． 用いた複数カメラの色補正, 映像情報メディア学会
誌，61-2 (2007), 213–222.