20150328 cv関東勉強会 sumisumithパート_v1.3

3. 多眼ステレオ ( Multi-View Stereo )
3.1 フォトメトリックコンシステンシー
( Photometric consistency function )
- 2枚の画像からのphoto-consistency
2015/03/28
@sumisumith

Computer Vision and Image Media 5 – Section 2
多眼ステレオとは
 多眼ステレオ＝多眼画像を用いた3次元モデル生成手法
が注目されている
 多眼画像って、何？
- 被写体をさまざまな方向・角度から撮影した写真群のこと
Page 1
日本放送協会様の多眼撮影システム映画MATRIXの多眼撮影システム

多眼ステレオで扱う代表的な特徴量
 多眼画像の様々な情報から、3次元モデルの推定をする
Page 2
幾何情報
被写体色
照明情報
対象性
特徴点
被写体シルエット
被写体
多眼画像
この辺すべてが、Photo-Consistencyの特徴となりうる（と思う）

(少し余談)
多眼ステレオを用いた代表アプリ：任意視点画像生成
 Image Based Rendering
- 光線空間で3次元空間を表現し、
光線空間の切り出しで、
任意視点画像を生成する手法
- 代表製品：Lytroなど
 Model Based Rendering
- 対象の３Dモデルを作り、
任意視点画像を生成する手法
- 代表製品：PointGray Bumblebeeなど
↓
- ちゃんとした全周の３Dモデルができる
→３Dプリンタと相性が良いイメージ（流行る？）
Page 3

Model Basedな手法いろいろ
 視体積交差法(Shape From Silhouette : SFS)
- シルエット情報を用いて、ロバストにボクセルモデルを作る手法
 照度差ステレオ法
- 照明を当ててその反射の反射強度から法線ベクトルを求める手法
 マルチベースラインステレオ法
- ステレオカメラを複数に使い、特に遠方測距を安定に行う手法
 MRF(Markov Random Field)用いた手法
- 3D空間で最適化手法を用いて、滑らかな３Dモデルを復元する手法
 PMVS手法(Patch-based Multi-View Stereo)
- パッチ拡張とフィルタリングを繰り返して高精度な
３Dモデルを復元する手法
etc...
Page 4

Model Basedな手法の代表例-視体積交差法
 各画像の物体領域をシルエットと考え、3次元的にシルエットを
満たすボクセル領域を近似3次元モデルとする手法
Page 5
被写体の凹部を抽出することができない
Camera B
Reconstruction space
Camera A
Silhouette on image
Object
近似3次元モデル
(Visual hull)

CV５本にて解説されている論文について
 [13] using multiple hypotheses to improve depth-maps for multi-view stereos
Neill D.F. Campbell, George Vogiatzis, Carlos Hernandez, and Roberto Cipolla
の
“ 近傍画像からのデプスマップ生成手法 ”
をベースに紹介
 本論分の概要を、ざっと言うと、、、
- NCCすげー
- MRFすげー
Page 6

結果からお見せ(ゴイスー)
Page 7

少目次
 2眼ステレオ(のおさらい)
- 幾何計算の基本
- エピポーラ幾何
 Photo-ConsistencyのためのNCC
- NCC(Normalized Cross-Correlation)について
- 類似テクスチャ問題への対応
- マッチングの失敗への対応
 近傍画像からのデプスマップの推定
- 深さの候補の設定
- MRFの式について
- データ項の設計
- 平滑化項の設計
- MRFの最適化の手法の選択
 多眼ステレオへの拡張
Page 8

少目次
Page 9

2眼ステレオ(のおさらい)
 キャリブレーション済みの画像群を使用することを
前提にした手法
 キャリブレーションにより得ているパラメタ１
- 内部パラメタ行列：A
カメラの焦点距離：f (fx = fyとする)
光軸のズレ量：cx, cy
- レンズの歪曲収差パラメタ：D (k1, k2, k3, p1, p2)
Page 10
カメラ模式図（横）光軸ズレ
CMOSセンサ
仮想一枚レンズ
𝐴 =
𝑓 0 𝑐𝑥
0 𝑓 𝑐𝑦
0 0 1

 キャリブレーションにより得ているパラメタ２
- 外部パラメタ行列：[R|t]
回転行列：R
並進ベクトル：t
2眼ステレオ(のおさらい)
Page 11
R, t
𝑅|t = 𝑟1 𝑟2 𝑟3 𝑡
※すべて列ベクトル

エピポーラ幾何
 2つのカメラで同一の物体を撮像したとき、
カメラAの投影中心から物体のある特徴点への光線は、
カメラBでは、直線＝エピポーラ線として得られる
Page 12
Camera BCamera A
OA
エピポーラ線

対応点の3次元復元
 三角測量の考え方で計算し、3次元復元できる
→対応点の精度が、そのまま、3次元復元精度に直結
Page 13
Camera BCamera A
OA
OB
R, t

少目次
Page 14

Photo-ConsistencyのためのNCC
 エピポーラ幾何により、ライン上で対応点を探索をする
- スライディングウィンドウを用いて、NCCスコアでマッチング
 従来の手法：
NCCマッチングスコアが最大の点を採用して、
3次元点を得る
→スコア最大の点以外を用いるのが提案手法のポイント
Page 15
Camera BCamera A
O
スライディング
ウィンドウ

NCCの何が良い？マッチング手法の選択
 ２つの画像の対応点を、正確に間違いなく得ることが
３D計測問題を解くキー
→使う画像群の性質でどういったマッチング手法を
使うべきかを考える必要がある
選択基準例）
 汎用的、ロバスト性が強い
 計算量が少ない
 サブピクセル精度で高精度マッチングができる
 提案手法では、なぜNCCでやる？
- 他の手法に比べ、安定的だから
- 扱う画像によっては、SSDやPOCのほうが良いケースもある
Page 16

NCC(Normalized Cross-Correlation)を用いた深さ推定
※CV5本では、ZNCCをNCCとして解説しているので、
NCC (＝ZNCC) のつもりで説明します
 マッチングスコアが高い位置を正解の深さとする
Page 17
𝑅 𝑁𝐶𝐶 =
𝑖,𝑗 𝐿𝑖𝑗 − 𝐿 𝑅𝑖𝑗 − 𝑅
𝑖,𝑗( 𝐿𝑖𝑗 − 𝐿 )
2
𝑖,𝑗( 𝑅𝑖𝑗 − 𝑅 )
2
NCC score
Depth

ちなみに、NCC vs ZNCC(Zero-mean NCC)
 ロバスト性の観点から
 ZNCCは、NCCよりも明度変化に強い
Page 18
熊本大内村研：http://navi.cs.kumamoto-u.ac.jp/
画像引用元：http://navi.cs.kumamoto-
u.ac.jp/~koutaki/pukiwiki/index.php?%A5%BC%A5%ED%CA%BF%B6%D1%C0%B5%B5%AC%B2%BD%C1%EA%B8%DF%
C1%EA%B4%D8
あえて明度変化をさせた画像を、マッチングさせた結果

ちなみにちなみに、SSD vs NCC
 速度・サブピクセル分解能の観点から
 SSD(Sum of Squared Differences)
- 差の二乗和
- パラボラフィッティングとの組み合わせで
経験的に、0.5 pixels くらいの
サブピクセル分解能が出る
 NCC
- 相互相関の正規化されたもの
- －1.0 ～ 1.0 の値を取る
- SSDと同様に、極大を取る手法で
サブピクセル値を得ることができる
- が、計算コストがSSDよりかかる
Page 19
画像引用元：https://siddhantahuja.wordpress.com/tag/normalized-cross-
correlation/

サブピクセル推定の手法比較をもっと詳しく！
 こちらで、ご覧ください^^
- POCなども紹介されてます
Page 20
参照：http://www.slideshare.net/yijiri/prmu-201312-subpixel-objectdetectionsurvey

マッチングをする上での課題
 類似テクスチャ問題への対応
- 似たような模様がある物体の場合、
対応すべきでない箇所で、
高いスコアが得られてしまう
 マッチングの失敗への対応
- オクルージョン(遮蔽)、
ウィンドウ箇所が勾配面である、
テクスチャレスである、
などが原因で、
正しくマッチング計算できない
Page 21
○
×
梁のような部分

撮影画像内の類似テクスチャの問題
 同一物体の表面テクスチャにおいて、
類似のテクスチャが、存在することがある
Page 22
ここがMaxスコアに
なることもありうる
ここが正しい位置、
かつ、Maxスコア

類似テクスチャ問題への対応
 対応策
- マッチングウィンドウサイズを大きくする
→ローカルなテクスチャの固有情報が増え、マッチング率が上がる
- 副作用１
→スコアの関数がブロードになり、ピーキーな点が取りづらく
なってしまい、測距精度が落ち気味になる
Page 23
NCC
score
Depth
NCC
score
Depth

類似テクスチャ問題への対応
- 副作用２
→たまたまスコアが高いだけのケースがあり、
ミスマッチングの位置を採用してしまう可能性がある
→マッチングの失敗への対応処理で、問題を解決
Page 24
実際にはピークが出ないでほしい箇所で
NCCがMaxスコアになることもありうる

マッチングの失敗への対応
 ミスマッチングの要因例
- オクルージョン部で、マッチングがうまくできない
- 対象物の勾配面のため、ウィンドウマッチングがうまく働かない
- テクスチャレスのため、カーブ全体でマッチング精度が悪すぎる
 提案手法の方針
→ミスマッチをしていそうな部分はunknown状態とし、
微妙そうであることを認識して、誤り測距領域を減らす
Page 25
オクルージョン部を
unknown状態に
している例

マッチングの失敗への対応
 あるpixelが、unknown状態になる条件
- NCCのスコアのカーブの中に、ピーキーな点がない
- オクルージョン等により、周辺との空間的な連続性がない
 MRFにより、unknown状態を含めた、
デプスマップの最適化処理を行う
→オクルージョンによる誤領域を排除して3次元復元
Page 26

少目次
Page 27

近傍画像からのデプスマップの推定
 すべての入力画像に対して、2つの処理をする
- その１：画像の各画素に対して、NCCスコアにより深さ候補を抽出
- その２：マルチラベルMRFモデルにより、デプスマップを生成
 提案手法のポイントは、
MRF最適化する際に、unknownな状態を設けること
- 深さ推定に関して、十分な信頼度がない
Page 28
オクルージョン部を
unknown状態に
している例

深さの候補の設定
 ：デプスマップを求めたい画像
 ：の近傍の画像
 ：奥行きのサンプリングに対応したNCCスコア
 ：NCCスコアのトップK個中の k 番目のスコア
※各pixelにおいて、近傍画像すべてを使って、トップK個を求める
Page 29
𝜌𝑖 𝑧𝑖,𝑘
𝜌𝑖 𝑧
𝑁 𝐼𝑟𝑒𝑓
𝐼𝑟𝑒𝑓
𝐼𝑟𝑒𝑓
マルチにデプスを扱うので、
小さなウィンドウを使って
ピーキーな点を高速に計算
しても、割と安定
𝐼𝑟𝑒𝑓
𝑁 𝐼𝑟𝑒𝑓 𝑁 𝐼𝑟𝑒𝑓

MRFの式について
 を用いて、正しい深さ情報のラベル付けを
MRFにて、各pixelに与える
 NCCによるミスマッチ部分をunknown状態として
与えるのが、ミソ
- ラベルには、unknownを表現するラベルを用いる
Page 30
𝐸(𝐤) =
𝑖
𝜙 ( 𝑘𝑖) +
𝑖,𝑗
𝜓 ( 𝑘𝑖, 𝑘𝑗)
𝜌𝑖 𝑧𝑖,𝑘
𝒰
𝑘𝑖 ∈ 1 … 𝐾,
データ項平滑化項
𝐤 = 𝑘𝑖◆ のときのエネルギー最小化問題の式
i
( i, j )
𝒰

データ項の設計
 unknown部に、定数を与える狙い
- 近傍に近いデプスがないようなピクセルを、閾値的にカット
- 平滑化項での計算で、デプスの差が大きい部分＝オクルージョン部
を選出し排除
Page 31
𝜙(𝑘𝑖 = 𝑥) =
𝜆𝑒−𝛽 𝜌(𝑧 𝑖,𝑥 𝑥 ∈ [1 … 𝐾
𝜙U 𝑥 = 𝒰
𝐸(𝐤) =
𝑖
𝜙 ( 𝑘𝑖) +
𝑖,𝑗
𝛽 = 1
𝜙U = 0.04
𝜆 = 1
で実験した
NCCスコア -1 0 1 𝜙U
𝜙(𝑘𝑖 = 𝑥) 2.72 1.00 0.37 0.04
𝑥 K=低い K=真ん中 K=高い unknown
𝜙U

平滑化項の設計
 平滑化項の役割
- ベーシックに隣接する画素の奥行き値は近い前提条件を
使い、たまたま高いスコアの点を排除
 unknown部に、定数を与える狙い
- 近傍のunknownを巻き込んで、unknownな領域塊ができやすくなる
Page 32
𝜓(𝑘𝑖 = 𝑥, 𝑘𝑗 = 𝑦) =
2
|𝑧𝑖,𝑥 − 𝑧𝑗,𝑦|
𝑧𝑖,𝑥 + 𝑧𝑗,𝑦
𝑥 ∈ 1 … 𝐾 𝑦 ∈ [1 … 𝐾
𝜓U 𝑥 = 𝒰 𝑦 ∈ [1 … 𝐾
𝜓U 𝑥 ∈ 1 … 𝐾 𝑦 = 𝒰
0 𝑥 = 𝒰 𝑦 = 𝒰
𝜓U=0.002
で実験した
𝐸(𝐤) =
𝑖
𝜙 ( 𝑘𝑖) +
𝑖,𝑗
𝜓U

MRFの最適化の手法の選択
 どのエネルギー最小化手法を使うか？
- グラフカット、信念伝播法、あたりがメジャー
 提案手法では、TRW-Sを利用
(調べられなかったので、以下、アブストをそのまま貼り付け汗)
- TRW(ツリー重み再配分メッセージ伝達法)は下界が下がる可能性
があり、かつ、収束するとは限らない
→逐次的再重み付け木によるメッセージパス法(TRW-S)
- 下界が減少しないことが保証
- 下界の局所最大化を与える弱い木の合意条件がある
Page 33
𝐸 k = arg min
𝑖
𝜙 ( 𝑘𝑖) +
(𝑖,𝑗)
k
参照：http://www.ricoh.com/ja/abs_club/IEEE/tPAMI-2006.html#p280903

多眼ステレオへの拡張
 デプスマップが複数個、得られる
 これらすべてのデプスマップを合わせこんで、
全周囲３Dモデルを作って、処理エンド
→詳しくは、@kanejakiさんの発表にて(^ω^)
Page 34

実験結果：デプスマップと３D復元結果
Page 35
(b)が従来法、(c)が提案手法、(d)黒赤いところがNCCのスコアの良い箇所
従来法よりも、オクルージョン部でノイズ低減がなされている
(e)(f)のデプスマップを組み合わせたのが、(g)のデプスマップ
(h)が3次元復元結果
𝐼𝑟𝑒𝑓

Computer Vision and Image Media 5 – Section 2 Page 36
ありがとうございました (^ω^)
@sumisumith

20150328 cv関東勉強会 sumisumithパート_v1.3

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Viewers also liked

Viewers also liked (8)

Similar to 20150328 cv関東勉強会 sumisumithパート_v1.3

Similar to 20150328 cv関東勉強会 sumisumithパート_v1.3 (20)

Recently uploaded

Recently uploaded (10)

20150328 cv関東勉強会 sumisumithパート_v1.3