1. カラーチャートを用いた複数の再撮モニタとカメラの最適色補正
Optimal Color Correction for Multiple On-set Monitors or Cameras
by Using Color Checker Chart
松永 力 趙 延軍 和田 雅徳
Chikara Matsunaga, Yanjun Zhao and Masanori Wada
株式会社 朋栄 佐倉研究開発センター
FOR-A Co., Ltd. Sakura R&D Center
E-mail: matsunaga@for-a.co.jp
Abstract
テレビ局で多く行われている「再撮」と呼ばれる演出
のために複数のモニタ間の色調整の自動化を行う．既
知の色レベルからなるカラーチャートを撮影した画像
から，その複数の色レベルを自動的に検出して，それ
(a) (b)
らが適正な色レベルになるように色補正を行う．カメ 図 1 (a) 再撮モニタの例，(b) カラーチャート（色
ラによって撮影された映像中のカラーチャートの色レ 票）による色補正．
ベルには観測誤差や，色空間のレベルに関する制限に
よるガマット誤差が含まれる場合もある．そのような ラーチャートの色レベルには観測誤差や，色空間のレベ
場合でも最適な色補正パラメータを推定する． ルに関する制限によるガマット誤差 [17] が含まれる場
合もある．そのような場合でも最適な色補正パラメー
タを推定する．
1 はじめに
2 色補正パラメータの最適推定
テレビ局では，スタジオセット内にモニタを配置し
て，その中に番組のタイトルや番組内容に則した様々 色補正には多くの研究があるが，色補正パラメータ
な映像を表示して，その画面をカメラで撮影する「再 の推定において，画像中に含まれる観測誤差や色空間
撮」と呼ばれる演出を多く行っている（図 1（a） ．
） のレベルに関する制限によるガマット誤差の影響は十
このときに問題となるのが，スタジオ照明と再撮モ 分考慮されてはいない．色補正モデルの推定には，最
ニタの色温度の違いにより，モニタ内の映像の色が正 小二乗法を用いたり [5]，色補正モデルには，高次の多
しく見えないことであり，色温度を合わせるためのモ 項式モデルや明示的なモデルを未知としてニューラル
ニタの色調整が頻繁に行われる．再撮モニタが複数台 ネットワークを用いている [4, 1, 5]．
の場合には，モニタ間でも色を合わせなければならず， RGB3 次元色空間において，カラーマトリクスと呼
台数が増すほど，手間が掛かる．これは，撮影に使用 ばれる 3 × 3 行列の乗算と 3 次元オフセットベクトルの
する複数のカメラ間の色調整に関しても同様である． 加算による次のような色変換モデルを考える（図 2）．
本研究では，このような複数のモニタあるいはカメ
ラ間における色調整作業を自動化するために，図 1（b）
¯
xα = T xα + β. (1)
のような既知の色レベルからなるカラーチャート（色 ここで，
票）を撮影した画像から1 ，その複数の色レベルを自動    
rα rα
¯
的に検出して，それらが適正な色レベルになるように
¯
xα =  gα  , xα =  gα  ,
¯
   
色補正を行う．カメラによって撮影された映像中のカ ¯α
bα b
   
1 写真・ビデオ業界ではマクベスチャートとも呼ばれて，ほぼ標 T11 T12 T13 β1
準的に用いられているものであり [16]，カメラの場合には実際のカ T =  T21 T22 T23  , β =  β2  .
   
(2)
ラーチャートを撮影し，モニタの場合にはカラーチャートをモニタ
上に表示させてカメラで撮影すればよい． T31 T32 T33 β3

2. 数尤度を最大にする T , β を求めるためには，
N
2
J= ¯
xα − (T xα + β) (6)
α=1
を最小にする T , β を求めればよいことがわかる．すな
わち，色変換モデルの場合，最尤法は最小二乗法に帰
着する．
図2 色変換モデルの例（3 次元アフィン変換）．
ところが，実際に必要なのは色変換パラメータでは
なく，その 逆変換 ”
“ である色補正パラメータである．
入力はカラーチャートにおける真の色データ {¯ α }，α
そこで，入力と出力を入れ替えて，色補正モデルのパ
x
= 1, . . . , N であり，その出力（カラーチャートを撮影
ラメータを推定する．したがって，
した観測画像における色データ）{xα } には，正規分布
に従う誤差 {εα } が含まれると仮定する．
N
2
J= ¯
(T xα + β) − xα (7)
これは，いわゆる回帰問題（ 出力誤差モデル ” ）
“ [11] α=1
であり，N 組の色対応データ {(¯ α , xα ); α = 1, . . . , N }
x
を最小にするパラメータを推定することを考える2 ．
が与えられたときの尤度は次のようになる [13, 11]．
これは，入力に誤差が含まれる“入力誤差モデル”[11]
N
となるが，パラメータの 2 次形式で表されるから，解は
L(x1 , . . . , xα |T , β, Σ) = f (xα |T , β, Σ)
モーメント行列の最小固有値に対する単位固有ベクト
α=1
N ルとして推定することができる [11]．しかし，得られる
1 1
= ¯
exp − xα − (T xα + β), 解には統計的な偏差が生じることが知られている [7, 8]．
(2π)3 |Σ| 2
α=1
金谷は式（7）の問題を「幾何学的当てはめ」として一
Σ−1 xα − (T xα + β)
¯ . (3) 般的に定式化し，それを最適に推定する方法を提案し
ている [7, 8]（付録 A 参照）．本研究では，Chojnacki
ただし，ベクトル a, b の内積を (a, b) と書く．Σ =
ら [3] の FNS 法を複数の拘束式に対応させた新妻・金
diag(σ 2 , σ 2 , σ 2 ) とすると（一様等方性），結局
谷の多拘束 FNS 法による 2 次元平面の射影変換行列の
N
1 最適推定 [18] に基き，3 次元アフィン変換による色補
L(x1 , . . . , xα |T , β, Σ) =
(2π)3 · 3σ 2 正パラメータの最適計算を定式化する．
α=1
exp −
1
¯
xα − (T xα + β)
2 3 次元アフィン変換
2σ 2 式（1）の色変換は，3 次元のアフィン変換であり，
RGB3 次元色空間における対応する色データ (r, g, b),
N N
1 1
= exp − 2 ε2 . (4)
(2π)3 · 3σ 2 2σ α=1
α
(r , g , b ) をスケール定数 f0 によって3 各成分のオーダー
をそろえた 4 次元同次ベクトルを改めて x, x で表し，
この尤度を最大にする T , β および σ 2 が色変換モデル
3 次元アフィン変換行列を 4 × 4 行列 HA で表す．
のパラメータおよび残差分散の最尤推定量を与える．    
r/f0 r /f0
• これは，説明変数 xα が与えられたとき，目的変数
¯  
 g/f0 
 
xα の確率分布 f が平均 T xα + β ，共分散行列 Σ  , x =  g /f0  ,
 
¯ x=

 b/f0 
  b /f 
0 
= diag(σ 2 , σ 2 , σ 2 ) の（多次元）正規分布で与えら

1 1
れると仮定している．  
h11 h12 h13 h14
尤度関数 L の自然対数をとれば，対数尤度
 
 h21 h22 h23 h24 
HA = 
 . (8)
h31 h32 h33 h34 
l(x|T , β, σ 2 ) = log L(x1 , . . . , xα |T , β, Σ)
 
0 0 0 h44
3N N
=− log 2π − log 3σ 2
2 2 これらを用いると 3 次元アフィン変換は次のように書
N
1
− 2 ¯
xα − (T xα + β)
2
(5) ける．
2σ α=1
x = Z[HA x]. (9)
が得られる．最尤推定量を求めるためには，対数尤度 l
2式（6）と式（7）の T , β は同じものではない．その意味も 変
“
を最大にする T , β および σ 2 を求めればよい．この対 換”とその逆変換である 補正 ”
“ であることには注意が必要である．
3 色データの量子化ビット数 8 ビットのため f = 255 とした．
0

3. ただし，Z[ · ] は 4 次元ベクトルの第 4 成分を 1 とする ここで，V0
(kl)
[ξ α ] は ξ (k) の正規化共分散行列である．
α
正規化作用素である．行列 HA には定数倍の不定性が (kl)
V0 [ξ α ] はデータ z α の正規化共分散行列 V0 [z α ] から
ある．そこで以下，適当な定数を掛けて HA = 1 と 線形近似によって次のように計算できる．
正規化する（行列のノルムは HA = h2 と
4
i,j=1 ij
(kl)
定義する）．式（9）を各成分毎に書くと
(k) (l)
V0 [ξ α ] = zξ |z =z α V0 [z α ] zξ |z =z α . (20)
h44 r = h11 r + h12 g + h13 b + h14 f0 , (10) ただし， |z =z α は ξ (k) (z) のヤコビ行列（各成
zξ
(k)
h44 g = h21 r + h22 g + h23 b + h24 f0 , (11) 分の r, g, b, r , g , b に関する微分を並べた行列）に
z α = (rα , gα , bα , rα , gα , bα ) を代入した値である（詳
h44 b = h31 r + h32 g + h33 b + h34 f0 . (12)
細省略）．
13 次元ベクトル hA , ξ (1) (z), ξ (2) (z), ξ (3) (z), z =
• データ z α の正規化共分散行列 V0 [z α ] は，再撮モ
(r, g, b, r , g , b ) を次のように定義する．
ニタを色補正する場合には，モニタに誤差のない
hA = (h11 , h12 , h13 , h14 , h21 , h22 , h23 , h24 , カラーチャートを表示したものをカメラで撮影す
h31 , h32 , h33 , h34 , h44 ) , (13) るため，V0 [z α ] = diag(1, 1, 1, 0, 0, 0) とする．
• カメラを色補正する場合には，実際のカラーチャー
ξ (1) (z) = (r, g, b, f0 , 0, 0, 0, 0, 0, 0, 0, 0, −r ) , (14)
トをカメラで撮影するため，V0 [z α ] = I 6×6 とす
ξ (2) (z) = (0, 0, 0, 0, r, g, b, f0 , 0, 0, 0, 0, −g ) , (15) る．I 6×6 は 6 次の単位正方行列である．
(3)
ξ (z) = (0, 0, 0, 0, 0, 0, 0, 0, r, g, b, f0 , −b ) . (16)
正規化 HA = 1 は式（13）の hA が単位ベクトルで 多拘束 FNS 法
あること（ hA = 1）と等価である．3 次元アフィン 式（18）を hA で微分すると次のようになる．
変換の各成分毎の式（10） 11） 12）から次の拘束式
（ （
hA J = 2(M − L)hA . (21)
を得る．
ただし，13 × 13 行列 M , L を次のように置いた．
(ξ (1) (z), hA ) = 0, (ξ (2) (z), hA ) = 0,
N 3
(ξ (3) (z), hA ) = 0. (17)
M = Wα ξ (k) ξ (l) ,
(kl)
α α
α=1 k,l=1
N 3
3 次元アフィン変換の最適計算
(k) (l) (kl)
L= vα vα V0 [ξ α ]. (22)
N 個の色データ (rα , gα , bα ) と対応する色データ α=1 k,l=1
(rα , gα , bα ), α = 1, . . . , N が与えられたとき，それらの 上式中の vα は次のように定義する．
(k)
間の 3 次元アフィン変換を最適に計算したい．データ z α
3
= (rα , gα , bα , rα , gα , bα ) を代入した式（14） 15） 16）
（ （ (k)
vα = (kl) (l)
Wα (ξ α , hA ). (23)
のベクトル ξ (z α ), ξ (z α ), ξ (z α ) をそれぞれ ξ (1) ,
(1) (2) (3)
α l=1
ξ α , ξ α と書く．データに誤差があるとき，解くべき
(2) (3)
式（18）を最小にするには式（21）より (M − L)hA =
問題は (ξ (1) , hA ) ≈ 0, (ξ (2) , hA ) ≈ 0, (ξ (3) , hA ) ≈ 0, α
α α α
0 を解けばよく，固有値問題を反復して解く Chojnacki
= 1, . . . , N となるような 13 次元ベクトル hA を計算す
ら [3] の FNS 法を用いることができる．多拘束 FNS 法
ることである．そのためには誤差の統計的性質を考慮す
の手順は次のようになる．
る必要がある．各色データ (rα , gα , bα ), (rα , gα , bα ) は
真値 (¯α , gα , ¯α ), (¯ , g , ¯ ) に期待値 0，標準偏差 σ の
r ¯ b r ¯ b α α α 1. hA の初期値 hA0 を与える．
正規分布に従う誤差が加わると仮定する．最尤推定は 2. 式（22）の M , L を計算する．
次の目的関数 J を最小にする hA を求めることである． 3. 固有値問題 (M − L)hA = λhA の最小固有値 λ に
N 3 対する単位固有値ベクトル hA を計算する．
J= (kl)
α
(l)
Wα (ξ (k) , hA )(ξ α , hA ). (18) 4. 符号を除いて hA ≈ hA0 であれば次のアフィン変換
α=1 k,l=1 行列 hA を返して終了する．そうでなければ hA0 ←
ただし，Wα
(kl)
は (hA , V0
(kl)
[ξ α ]hA ) を (kl) 要素とする N [hA0 + hA ] としてステップ 2 に戻る（N [ · ] は単
3 × 3 行列の（ムーア・ペンローズの）一般逆行列の (kl) 位ベクトルへの正規化）4 ．
要素である． 4 解の更新に N [h +h ] を用いるのは，
A0 A “中点” [(hA0 +hA )/2]
N
(kl) (kl)
− を用いることを意味しており，これは反復の収束を行うための工夫
Wα = (hA , V0 [ξ α ]hA ) . (19) である [12]．

4. 最小二乗法
反復には初期値が必要であり，最も簡便なものが最
小二乗法である．式（18）で Wα = δkl（クロネッカ
(kl)
のデルタ：k = l で 1，それ以外で 0）と置くと次のよ
うになる．
N 3
JLS = (ξ (k) , hA )2 .
α (24)
α=1 k=1 図3 色変換モデルの例（3 次元アフィン変換＋クリッ
プ処理）．
これは次のように変形される．
N 3
JLS = hA ξ (k) ξ α hA = (hA , M LS hA ). (25)
α
(k)
3 レベル制約付き最適推定とモデル選択
α=1 k=1
ただし，次のように置いた． 色空間における色変換処理であることから，厳密に
はレベルに関する制限であるクリップ処理が付く（図
N 3
M LS = (k)
ξ (k) ξ α . (26) 3）．すなわち，式（1）の 3 次元アフィン変換による色
α
α=1 k=1 変換は次のようになる．
式（25）は hA の 2 次形式であるから，これを最小化す I ¯
xα = C0 max [T xα + β]. (31)
る単位ベクトル hA はモーメント行列 M LS の最小固有
値に対する単位固有ベクトルである． ここで，Imax = (rmax , gmax , bmax ) , 0 = (0, 0, 0) で
あり，rmax , gmax , bmax は色空間における最大レベルで
精度の評価と理論限界
ある．C Imax [ · ] は色データを RGB3 次元色空間におけ
アフィン変換行列 HA を表す式（13）の 13 次元単位 0
る 3 次元ベクトルと見なして，そのベクトルの方向を
ベクトル hA の推定値を hA ，誤差がない場合の真値を
ˆ
保存する様に各色成分を各上限下限成分にクリップす
hA とするとき，誤差 ∆hA を次のように定義する．
¯
る処理である（詳細省略）．色空間のレベルに関する制
¯ ˆ
∆hA = P hA hA , ¯ ¯
P hA = I 13×13 − hA hA .
¯ (27) 限であるクリップ処理によって生じるガマット誤差は，
色補正パラメータの推定に影響を及ぼす．
P hA は hA に直交する方向に射影した成分を得る射影行
¯
色補正パラメータの推定において，クリップ処理によ
¯
列である．I 13×13 は 13 次の単位正方行列である．これ
る影響を避ける素朴な方法としては，色空間の上限下
から推定値 hA の共分散行列が次のように定義できる．
ˆ
限近傍の色データを用いない方法が考えられるが，そ
ˆ
V [hA ] = E[∆hA ∆hA ]. (28) うすると，色空間の上限下限の色レベルにおいて，正
しい色補正の結果が得られない．クリップ処理された
金谷の統計的最適化理論によれば，どのように hA を推 色空間の上限下限近傍のディテールを復元することは
定しても，それが不偏推定量であればその共分散行列 不可能である．しかし，明らかに上限下限の色レベル
V [hA ] には次の下界があることが示される [7, 8]．
ˆ
における色補正の結果が異なることは望ましくない．
ˆ
V [hA ] ¯−
σ 2 M 12 . (29) そこで，観測画像にはガマット誤差が含まれること
を考慮して，色空間の上限下限における色データの対
ただし， は左辺引く右辺が正値対称行列であることを 応を拘束条件としたレベル制約付き最適化によって色
示す．右辺の M は式（22）の行列 M を色データの真
¯ 補正パラメータを推定する．最適化の手法には，変数
値 (¯α , gα , ¯α ), (¯α , gα , ¯α ) および hA の真値 hA を用い
r ¯ b r ¯ b ¯ 間の内部拘束を自動的に満たす解を求めるように FNS
て計算した値である．また ( · )− はランク 12 の（ムー
12 法を拡張した拡張 FNS 法を用いる [12]．
ア・ペンローズの）一般逆行列を表す5 ．式（29）の右
内部拘束
辺は「KCR 下界」と呼ばれる [2]．式（29）の両辺の平
データ {ξ α }, α = 1, . . . , N , k = 1, . . . , r は，n 次
(k)
方根を取り，式（28）より trV [hA ] = E[ ∆hA 2 ] であ
ˆ
元ベクトルであり，それらの真の値 {ξ } は次の拘束 ¯(k)
ることに注意すると，次の平方平均二乗（RMS）誤差 α
式を満たすとする．
の下界が得られる．
¯(k)
− (ξ α , u) = 0, α = 1, . . . , N, k = 1, . . . , r. (32)
E[ ∆hA 2 ] ≥ σ ¯
trM 12 . (30)
5 n × n 対称行列 A のランク r(< n) の一般逆行列 A− とは，A
r
ただし，u は未知の n 次元ベクトルである．問題は誤
の大きい r 個の固有値を逆数に置き換え，残りの固有値を 0 に置き 差のあるデータ {ξ (k) } から u を推定することである．
換えた行列である． α

5. 式（32）の形では未知ベクトルのスケールが不定と 8. 次の u を計算する．
なるので， u = 1 と正規化するが，これも一つの内
ˆ
u = N [P V u]. (42)
部拘束である．そして，これ以外に u に次の s 個の内
部拘束が存在するとする． 9. u ≈ u なら u を返して終了する．そうでなけれ
ば，u ← N [u + u ] としてステップ 2 に戻る．
φm (u) = 0, m = 1, . . . , s. (33)
色補正モデルの選択
これら s 個の式は代数的に独立であるとする．最尤推
ガマット誤差が生じている場合，線形の色変換であっ
定量 u は
ˆ
たとしても，十分な色補正結果を得るためには，例え
N r
J= Wα (ξ (k) , u)(ξ (l) , u)
(kl)
(34) ば，その逆変換である色補正モデルを多項式モデルと
α α
α=1 k,l=1 すると，高次の項が含まれる必要がある．しかし，ガ
を内部拘束 u = 1, φm (u) = 0, m = 1, . . . , s のもと マット誤差が含まれているかどうかは未知であり，ま
で最小化するものである．ここで， た，ガマット誤差が含まれている場合にも，その色補
− 正モデルも未知である．色補正モデルの次数にも限界
(kl)
があり，一般に過剰な高次項を含む色補正モデルによ
(kl)
Wα = (u, V0 [ξ α ]u) . (35)
r
る色補正は不安定になる．そこで，複数の色補正モデ
ルを当てはめた結果から，モデル選択によって現実的
多拘束拡張 FNS 法
な色補正モデルを選択することを考える．
1. u の初期解を与える． 「幾何学的当てはめ」における代表的なモデル選択
2. 次の行列 M , L を計算する． の規準には「幾何学的 AIC」と「幾何学的 MDL」があ
N r
る [10, 8]（付録 A 参照）．金澤・金谷は画像モザイク
M = Wα ξ (k) ξ (l)
(kl)
α α , 生成のために幾何学的 AIC による幾何学的モデル選択
α=1 k,l=1 を用いた [6]．松永・金谷は移動カメラのキャリブレー
N r
(k) (l) (kl) ションのために幾何学的 AIC と幾何学的 MDL による
L= vα vα V0 [ξ α ]. (36)
α=1 k,l=1
幾何学的モデル選択を用いた [14, 15]．Kanatani は複
数の運動物体の分離に幾何学的 AIC と幾何学的 MDL
ここで，
を用いた [9]．
3 次元アフィン変換モデルを最も自由度の高い一般モ
r
(k)
vα = Wα (ξ (l) , u).
(kl)
(37)
デルとすると，その自由度は 12 であり，そのパラメー
α
l=1
3. ベ ク ト ル u φ1 (u), . . . , u φs (u) を 計 算 し ，こ タを最適に推定した結果の目的関数 J の当てはめ残差
れ に シュミット の 直 交 化 を 施 し た 正 規 直 交 系 J から二乗ノイズレベルを次のように推定する．
ˆ
{u1 , . . . , us } を求める． ˆ2 =
ˆ
J
. (43)
4. 次の射影行列 P V を計算する． 3N − 12
s 3 次元アフィン変換モデルの幾何学的 AIC と幾何学的
P V = I n×n − um um . (38) MDL は，パラメータを最適に推定した結果の目的関数
m=1
の当てはめ残差 J と式（43）より推定した二乗ノイズ
ˆ
ここで，I n×n は n 次の単位正方行列である． レベル ˆ から次のように計算される．
2
5. 次の行列 X を計算する． ˆ
G-AIC = J + 24ˆ2 , (44)
2
X = P V (M − L)P V . (39) ˆ
ˆ
G-MDL = J − 12ˆ2 log . (45)
L
6. 固有値問題
ここで L は基準長であり，色データの量子化ビット数
Xv = λv (40) 8 ビットの場合 255 とする．3 次元アフィン変換のラン
クは 3，補正モデルの次元は 3 である．モデルの次元の
の絶対値の小さい s + 1 個の固有値に対する単位固
項は各モデルに共通の場合には除外してもよい．
有ベクトル v 0 , . . . , v s を求める．
その他のモデルも同様にしてパラメータを最適に推
7. 現在の解 u を次のように {v 0 , . . . , v s } に射影した
定した結果の目的関数の当てはめ残差 J と式（43）より
ˆ
u を計算する．
ˆ
推定した一般モデルの二乗ノイズレベル ˆ2 から計算す
s
ˆ
u= (u, v m )v m . (41) ることができる．幾何学的 AIC あるいは幾何学的 MDL
m=0 が最小になるモデルを選択すればよい．

6. 4 実験
3 次元アフィン変換による色補正パラメータの最適推定
の数値シミュレーション
図 4（a）を理想カラーチャートによる基準画像とし
て図 4（b）の観測画像を 3 次元アフィン変換により基準
(a) (b)
画像の色レベルに補正する行列 HA は次のようになる．
¯
 
0.6726 −0.0425 −0.0199 0.0063
 
¯ A =  −0.0312 0.5024 −0.0109 0.0140  .
 
H  0.0396 −0.0012 0.3847 −0.0500 
 
0 0 0 0.3737
(46)
カラーチャートの真の色レベルをデータ {xα }, α =
1, . . . , 24 として，対応する観測画像の色データ {xα } に
独立に期待値 0，標準偏差 σ の正規乱数誤差を加えた． (c)
ただし，色データに対してはクリップ処理は行わなかっ
図4 (a) 基準画像，(b) 観測画像，(c) 計算した 3 次
た．そして，計算したアフィン変換行列 HA = (hij ) を
元アフィン変換の RMS 誤差．
式（13）の単位ベクトル hA の形に表し，その誤差を式
（27）の ∆hA とする．これを各 σ で誤差を変えて 1000
回試行し，その RMS 誤差を次のように評価した． 例えば，2 次多項式モデルによる補正の場合，ξ α =
(x2 , xα f0 , yα f0 , f0 ) , u = (A, B, C, D) であり，あ
α
2
る特定の色レベル xa が特定の色レベル ya に補正され
1000
1 (a) 2
E= ∆hA . (47)
1000 a=1 るとすると，色レベルに関する内部拘束は次のように
なる．
∆hA は誤差 ∆hA の a 回目の試行の値である．図 4（c）
(a)
は横軸に σ をとって最小二乗法，多拘束 FNS 法の RMS φ(u) = Ax2 + Bxa f0 + Cya f0 + Df0 = 0.
a
2
(49)
誤差 E を KCR 下界（式（30）の右辺）とともにプロッ
クリップされていない色データのみによる色補正結果
トしたものである．これから分かるように最小二乗法
では，クリップされた色データのレベルが正しく補正
に対して多拘束 FNS 法は，色データがクリップ処理さ
されていない（同図（c） ．白・黒レベルを拘束条件と
）
れていない場合においては，精度の理論限界にほぼ到
したことにより，厳密に白・黒レベルに補正されている
達している．
（同図（f） ．モデル選択の結果は，幾何学的 AIC によ
）
多項式モデルによる色補正パラメータのレベル制約付 り 4 次多項式モデルが選ばれ，幾何学的 MDL により 3
き最適推定とモデル選択 次多項式モデルが選ばれた7 ．
図 5 は 1 次元理想ランプ（ramp）画像に色変換とし
カラーチャート検出の画像処理
て線形変換を行った場合の簡単な例である．色補正パ
カラーチャートを撮影した画像から画像処理によって
ラメータを推定するために，クリップされていない色
カラーチャートの色レベルを自動的に検出する．RGB
データのみを用いた場合と，クリップされていない色
成分毎の各々の画像を複数のしきい値により複数の 2 値
データとレベル制約を課した場合を比較する．
画像へ変換する．それら複数の 2 値画像中の矩形領域
多項式モデルを拡張 FNS 法により最適に推定する．
を境界追跡処理によって抽出する．そのようにして得
図中，計算に用いた色データは◇で示す．色補正モデ
られた矩形領域の大きさと 4 つの頂点のなす角度，矩
ルには，多項式モデルとして 1 次から 4 次多項式を用
形領域内の画素値の平均と分散から，得られた矩形領
いる．1 次元多項式モデルによる色補正パラメータの最
域がカラーチャートの一部であるかどうかを判定する．
適推定は，拘束式が一つだから，次の目的関数 J を白・
そのようにして選別した矩形領域の左上頂点座標によっ
黒レベルを拘束条件として最小化すればよい6 ．
てソートして 2 方向に整列させて，矩形領域全体とし
N
J=
(ξ α , u)2
. (48) て 24 色からなるカラーチャートを同定する．各矩形領
域の重心座標からの一定領域中の画素の平均値をその
α=1
(u, V0 [ξ α ]u)
白・黒レベルの制約を課すことにより多項式モデルの自由度は
6
領域における色レベルとして用いる．
2 減る．1 次式モデルの場合，2 点をレベル制約とすると一意にパラ
メータが決まってしまうので，白レベルのみの拘束条件とした． 7 幾何学的 MDL の方が退化モデルを選ぶ傾向がある [15, 9, 10]．

7. (a) (b) (c)
(d) (e) (f)
図5 (a) 理想ランプ（ramp）画像と波形表示，(b) 色変換画像と波形表示，(c) クリップされたデータを除外した場
合の 1 次式による色補正モデル，(d) 色補正モデル (c) による補正画像と波形表示，(e) レベル制約を課した多項式色補
正モデル，(f) 色補正モデル (e) の 4 次多項式モデルによる補正画像と波形表示．
実画像実験（再撮モニタ映像の色補正） 5 まとめ
図 6（a）の撮影画像は，スタジオ内にある液晶モニ
タを撮影したものである．スタジオ照明より色温度が 再撮モニタの色補正を行うために，既知の色レベル
高く，カラーチャートがやや青みがかって見える．画像 からなるカラーチャートをモニタに表示したものをカ
処理によりカラーチャートの色レベルを自動的に検出 メラで撮影して，撮影画像中のカラーチャートの色レ
する．理想カラーチャートの色レベルに揃えるための ベルを自動的に検出した．観測誤差やガマット誤差を
色補正パラメータを最適に推定して，撮影画像を色補 考慮した最適なパラメータ推定による色補正を行った．
正する． 今後の課題としては，ビデオ信号において標準的に
観測画像における特定の色レベル xa = (ra /f0 , ga /f0 , 用いられる輝度色差色空間における色補正モデルによ
ba /f0 , 1) がカラーチャート中の特定の色レベル xa = ¯ る色補正も検討することである．色補正モデルとして，
(¯a /f0 , ga /f0 , ¯a /f0 , 1) に色補正されるとする．3 次
r ¯ b 3 次元アフィン変換モデル，1 次元多項式モデルを用い
元アフィン変換により色補正される場合には，xa =
¯ たが，その他のモデルも検討したい．具体的な応用例
Z[HA xa ] が内部拘束になる． として，立体視映像の撮影への適用も検討したい．
図 6（b）はカラーチャート中の白レベルを拘束条件
として，多拘束拡張 FNS 法によりレベル制約付き最適 参考文献
推定した色補正パラメータによる色補正結果である．こ
[1] V. Cheung, S. Westland, D. Connah and C. Ripa-
こでは，モニタ映像だけでなく撮影画像全体を色補正
monti, A comparative study of the characterisation
している8 ．カラーチャートの色レベルの RMS 誤差は of colour cameras by means of neural networks and
27.7 であり，厳密に白バランスが取れている．レベル polynomial transforms, Coloration Technology, Vol.
制約を課さずに多拘束 FNS 法により最適推定した場合 120, No. 1 (2004-1), 19–25.
の RMS 誤差は 19.3 であり，それよりはやや上回って [2] M. Chernov and C. Lesort, Statistical efficiency of
いるが，最小二乗推定した場合の 32.7 よりは下回って curve fitting algorithms, Computational Statistics
いる．図 6（c）は理想的なカラーチャート画像である．
and Data Analysis, Vol. 47, No. 4 (2004-4), 713–728.
[3] W. Chojnacki, M. J. Brooks, A. van den Hengel and
8 実際には，モニタに映す映像のみ色補正する． D. Gawley, On the fitting of surfaces to data with

8. (a) (b) (c)
図6 (a) モニタ撮影画像，(b) レベル制約付き最適推定による色補正画像，(c) 理想カラーチャート．
covariances, IEEE Transactions on Pattern Analysis [16] C. S. McCamy, H. Marcus and J. G. Davidson,
and Machine Intelligence, Vol. 22, No. 11 (2000-11), A color-rendition chart, Journal of Applied Photo-
1294–1303. graphic Engineering, Vol. 2, No. 3 (Summer 1976),
[4] G. D. Finlayson, S. D. Hordley and I. Tastl, Gamut 95–99. http://www.xrite.com/
constrained illuminant estimation, 9th IEEE Int. [17] J´n Moroviˇ, Color Gamut Mapping, John Wiley &
a c
Conf. Comput. Vision (ICCV’03) Vol. 2, 2003, 792– Sons Ltd., August 2008.
799. [18] 新妻 弘崇，金谷 健一，最適な射影変換の新しい計算アル
[5] A. Ilie and G. Welch, Ensuring color consistency ゴリズム，情報処理学会研究報告，2009-CVIM-169-37，
across multiple cameras, 10th IEEE Int. Conf. Com- (2009-11)，金沢市 (金沢工業大学)，1–8．
put. Vision (ICCV’05) Vol. 2, 2005, 1268–1275.
[6] 金澤 靖，金谷 健一，幾何学的 AIC による画像モザイク 付録 A 幾何学的当てはめと幾何学的 AIC ／
生成の安定化，電子情報通信学会論文誌 A，Vol. J83-A，
幾何学的 MDL
No. 6 (2000-6)，686–693．
[7] 金谷 健一， 「空間データの数理 – ３次元コンピューティ 「幾何学的当てはめ」とは「拘束式」
ングに向けて –」 ，朝倉書店，1995 年 3 月．
[8] K. Kanatani, Statistical Optimization for Geometric F (k) (ξ, u) = 0, k = 1, . . . , r, (A.1)
と変数 ξ の複数の実現値 {ξ α } からパラメータ u を推
Computation: Theory and Practice, Elsevier Science,
Amsterdam, The Netherlands, April 1996, reprinted
定する問題である [7, 8]．誤差は正規分布に従い，各 ξ α
Dover Publications, New York, U.S.A., July 2005.
[9] K. Kanatani, Motion segmentation by subspace sep- の正規化共分散行列 V0 [ξ α ]（一般には特異行列）は既
aration: Model selection and reliability evaluation, 知とする．この問題の「最尤推定」はマハラノビス距離
International Journal of Image and Graphics, Vol. 2, N
No. 2 (2002-4), 179–197. J= ¯ ¯
(ξ α − ξ α , V0 [ξ α ]− (ξ α − ξ α )) (A.2)
[10] K. Kanatani, Uncertainty modeling and model selec- α=1
tion for geometric inference, IEEE Transactions on を拘束式 F (k) (ξ α , u) = 0 のもとで未知数 {ξ α }, u に
¯ ¯
Pattern Analysis and Machine Intelligence, Vol. 26, 関して最小化することである．その残差（J の最小値）
No. 10 (2004-10), 1307–1319. を J とし，ノイズレベルを とすると J/ 2 は第 1 近
ˆ ˆ
金谷 健一， 「これなら分かる最適化数学 – 基礎原理から
似において自由度 rN − p の χ2 分布に従う [7, 8]．た
[11]
計算手法まで –」 ，共立出版，2005 年 9 月．
だし，r は拘束条件（A.1）のランク（独立なものの数）
[12] 金谷 健一，菅谷 保之，制約付きパラメータ推定のため
の拡張 FNS 法，情報処理学会研究報告，2007-CVIM- であり，p は未知数 u の自由度である．これからノイ
158-4，(2007-3)，鹿児島市 (鹿児島大)，25–32． ズレベル の次の不偏推定量が得られる．
[13] 坂本 慶行，石黒 真木夫，北川 源四郎， 情報量統計学」 「 ， Jˆ
共立出版，1993． ˆ2 = . (A.3)
rN − p
[14] 松永 力，金谷 健一，平面パタンを用いる移動カメラの
拘束式（A.1）がデータ空間（変数 ξ の空間）に d 次元
校正：最適計算，信頼性評価，および幾何学的 AIC に
モデル（多様体）S を定義するとき，その幾何学的 AIC
よる安定化，電子情報通信学会論文誌 A，Vol. J83-A，
No. 6 (2000-6)，694–701． および幾何学的 MDL は次のように定義される [10, 8]．
[15] C. Matsunaga and K. Kanatani, Calibration of a ˆ
G-AIC = J + 2(N d + p) 2 , (A.4)
moving camera using a planar pattern: Optimal com- 2
putation, reliability evaluation and stabilization by
ˆ
G-MDL = J − (N d + p)
. (A.5) 2
log
L
ここに L はある基準長であり，データ ξ α /L が O(1) と
model selection, Proc. 6th Euro. Conf. Comput. Vi-
sion, Dublin, Ireland, Vol. 2, 595–609, June.July
なるように選ぶ．ただし，ノイズレベルは一般モデル
2000.
により式（A.3）で推定する．