More Related Content Similar to 3D映像のための自動色補正スライド Similar to 3D映像のための自動色補正スライド (11) 3D映像のための自動色補正スライド1. SSII2011 IS2-05:
3D映像のための自動色補正
Auto Color Correction for Stereoscopic 3D Video
松永 力 趙 延軍 和田 雅徳
Chikara Matsunaga, Yanjun Zhao and Masanori Wada
株式会社朋栄 佐倉研究開発センター
FOR-A Co., Ltd. Sakura R&D Center
E-mail: matsunaga@for-a.co.jp
2. 3D映画の盛り上がり
3D映画の盛り上がり
『センター・オブ・ジ・アース(映画)』(原題:Journey to the Center of the Earth)(2008年米)
SSII2011 第17回画像センシングシンポジウム
3. 3D映画の盛り上がり
3D映画の盛り上がり
A Chinese audience takes in James Cameron's 'Avatar.' The government plans to limit the number of theaters
that can show the film in 2-D. (Getty)
http://articles.nydailynews.com/2010-01-19/entertainment/17944399_1_paul-degarabedian-box-office-avatar
SSII2011 第17回画像センシングシンポジウム
7. 3D映像処理
3D映像処理
【朋栄3Dプロセッサ/カラーイコライザCEQ-100HS とその3D撮影の活用例】
ステレオカメラ ■ 光軸補正および視差調整機能
■ 視差計算機能
■ カラーチャートなしでの自動色補正
■ 左右反転補正
■ 3Dモニタリング
左映像(反射) ・ サイドバイサイド 左映像
・ アナグリフなど
CEQ-100HS
3Dリグ
(ハーフミラー) 右映像(透過) 右映像
ハーフミラー方式の3Dリグで撮影された映像では透過映像と左右反転映像が生成されます。
左右反転映像を正常な状態に補正した上で、更に左右の明るさ、色を自動補正することが可能です。
http://www.for-a.co.jp/products/ceq100hs/ceq100hs.html
SSII2011 第17回画像センシングシンポジウム
10. カラーチャートを用いない色補正
カラーチャートを用いない色補正
(独)情報通信研究機構「超高精細ステレオ3 D 映像コンテンツ」より.
http://3d-contents.nict.go.jp/ SSII2011 第17回画像センシングシンポジウム
11. カラーチャートを用いない色補正
カラーチャートを用いない色補正
(独)情報通信研究機構「超高精細ステレオ3 D 映像コンテンツ」より.
http://3d-contents.nict.go.jp/ SSII2011 第17回画像センシングシンポジウム
12. 核関数による確率密度関数の計算
核関数による確率密度関数の計算
画素値(G)のヒストグラム 確率密度関数(PDF)
2500 2
1.8
2000 1.6
1.4
*
1500 1.2
1
1000 0.8
0.6
500 0.4
0.2
0 0
0 50 100 150 200 250 0 0.2 0.4 0.6 0.8 1
核関数
画像
: 画素数
: ヒストグラムの階級数
: 画素値の標本標準偏差
SSII2011 第17回画像センシングシンポジウム
13. 色補正モデル
色補正モデル
【1次元アフィン変換】
→ シフト → スケール
SSII2011 第17回画像センシングシンポジウム
20. 画像シミュレーション(1)
画像シミュレーション(1)
【同一画像による擬似3D画像シミュレーション】
真のパラメータによる
色補正画像
R 二乗誤差画像
SQR
ノイズ + L R ^
R PSNR[dB]
推定パラメータによる
色補正画像
1.同一画像の一部分を切り出して一方をシフトしたものを擬似的な3D画像とする.
2.左画像を色変換して,右画像を左画像に揃えるための色補正パラメータを推定する.
3.推定パラメータによる色補正画像と真のパラメータによる色補正画像の二乗誤差画像
のピークSN比(PSNR)を計算する.
SSII2011 第17回画像センシングシンポジウム
21. 画像シミュレーション(1)
画像シミュレーション(1)
【同一画像による擬似3D画像シミュレーション】
http://vision.middlebury.edu/stereo/
SSII2011 第17回画像センシングシンポジウム
22. 画像シミュレーション(1)結果
画像シミュレーション(1)結果
【同一画像による擬似3D画像シミュレーション】
3
Reference Left
2.5 Original Right
Corrected Right
2
1.5
1
0.5
0
0 0.2 0.4 0.6 0.8 1
左右画像の画素値(R)の確率密度関数.
SSII2011 第17回画像センシングシンポジウム
23. 画像シミュレーション(1)結果
画像シミュレーション(1)結果
【同一画像による擬似3D画像シミュレーション】
80
PSNR [dB]
70
60
50
40
30
20
10
0
-5 -4 -3 4-2 5-1 0 1 2 3
d [%]
シフト量に対する推定した色補正パラメータによる二乗誤差画像のピークSN 比.
SSII2011 第17回画像センシングシンポジウム
24. 画像シミュレーション(2)
画像シミュレーション(2)
【擬似3D画像によるレベル制約付き推定のシミュレーション】
http://vision.middlebury.edu/stereo/
SSII2011 第17回画像センシングシンポジウム
25. 画像シミュレーション(2)結果
画像シミュレーション(2)結果
【擬似3D画像によるレベル制約付き推定のシミュレーション】
20 20
Cr Reference
Corrected Cr Reference
Corrected
10 10
0 0
-10 -10
-20 -20
-20 -10 0 10 20 -20 -10 0 10 20
Cb Cb
(b) (c)
(b) 白レベル領域における画素値の2次元色差空間表示
(レベル制約付き推定の場合).
(c) レベル制約なしの推定の場合.
SSII2011 第17回画像センシングシンポジウム
26. 画像シミュレーション(3)
画像シミュレーション(3)
【実際の3D画像シミュレーション】
(独)情報通信研究機構「超高精細ステレオ3 D 映像コンテンツ」より.
http://3d-contents.nict.go.jp/ SSII2011 第17回画像センシングシンポジウム
27. 画像シミュレーション(3)結果
画像シミュレーション(3)結果
【実際の3D画像シミュレーション】
(独)情報通信研究機構「超高精細ステレオ3 D 映像コンテンツ」より.
http://3d-contents.nict.go.jp/ SSII2011 第17回画像センシングシンポジウム
28. 画像シミュレーション(3)結果
画像シミュレーション(3)結果
【実際の3D画像シミュレーション】
5
Reference Left
4 Original Right
Corrected Right
3
2
1
0
0 0.2 0.4 0.6 0.8 1
左右画像の画素値(G)の確率密度関数.
SSII2011 第17回画像センシングシンポジウム
29. 画像シミュレーション(4)
画像シミュレーション(4)
【3D映像における時系列推定シミュレーション】
(独)情報通信研究機構「超高精細ステレオ3 D 映像コンテンツ」より.
http://3d-contents.nict.go.jp/ SSII2011 第17回画像センシングシンポジウム
30. 画像シミュレーション(4)結果
画像シミュレーション(4)結果
【3D映像における時系列推定シミュレーション】
1.20
β
1.15
1.10
1.05
-6
γ
-8
-10
-12
0 50 100 150 200 250 300 350 [frame] 400
3D映像の色補正パラメータ(R)の推定結果.
SSII2011 第17回画像センシングシンポジウム
31. まとめと今後の課題
まとめと今後の課題
3D映像における左右映像の色・明るさを揃えるために,
画素値のヒストグラムから核関数により確率密度関数を
計算し,その差を最小にする色補正パラメータをロバスト
に推定して色補正を行った.
ビデオ信号において標準的に用いられる輝度色差色空間
における色補正モデルによる色補正も検討することである.
色補正モデルとして,簡易な1次元アフィン変換モデルを
用いたが,その他のモデルとして,高次,多次元のモデル
も検討したい.
SSII2011 第17回画像センシングシンポジウム