Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

20150328 cv関東勉強会 sumisumithパート_v1.3

28,144 views

Published on

CV5
part 3.1
sumisumith part

Published in: Technology
  • Be the first to comment

20150328 cv関東勉強会 sumisumithパート_v1.3

  1. 1. 3. 多眼ステレオ ( Multi-View Stereo ) 3.1 フォトメトリック コンシステンシー ( Photometric consistency function ) - 2枚の画像からのphoto-consistency 2015/03/28 @sumisumith
  2. 2. Computer Vision and Image Media 5 – Section 2 多眼ステレオとは  多眼ステレオ=多眼画像を用いた3次元モデル生成手法 が注目されている  多眼画像って、何? - 被写体をさまざまな方向・角度から撮影した写真群のこと Page 1 日本放送協会様の多眼撮影システム映画MATRIXの多眼撮影システム
  3. 3. Computer Vision and Image Media 5 – Section 2 多眼ステレオで扱う代表的な特徴量  多眼画像の様々な情報から、3次元モデルの推定をする Page 2 幾何情報 被写体色 照明情報 対象性 特徴点 被写体シルエット 被写体 多眼画像 この辺すべてが、Photo-Consistencyの特徴となりうる(と思う)
  4. 4. Computer Vision and Image Media 5 – Section 2 (少し余談) 多眼ステレオを用いた代表アプリ:任意視点画像生成  Image Based Rendering - 光線空間で3次元空間を表現し、 光線空間の切り出しで、 任意視点画像を生成する手法 - 代表製品:Lytroなど  Model Based Rendering - 対象の3Dモデルを作り、 任意視点画像を生成する手法 - 代表製品:PointGray Bumblebeeなど ↓ - ちゃんとした全周の3Dモデルができる →3Dプリンタと相性が良いイメージ(流行る?) Page 3
  5. 5. Computer Vision and Image Media 5 – Section 2 Model Basedな手法いろいろ  視体積交差法(Shape From Silhouette : SFS) - シルエット情報を用いて、ロバストにボクセルモデルを作る手法  照度差ステレオ法 - 照明を当ててその反射の反射強度から法線ベクトルを求める手法  マルチベースラインステレオ法 - ステレオカメラを複数に使い、特に遠方測距を安定に行う手法  MRF(Markov Random Field)用いた手法 - 3D空間で最適化手法を用いて、滑らかな3Dモデルを復元する手法  PMVS手法(Patch-based Multi-View Stereo) - パッチ拡張とフィルタリングを繰り返して高精度な 3Dモデルを復元する手法 etc... Page 4
  6. 6. Computer Vision and Image Media 5 – Section 2 Model Basedな手法の代表例-視体積交差法  各画像の物体領域をシルエットと考え、3次元的にシルエットを 満たすボクセル領域を近似3次元モデルとする手法 Page 5 被写体の凹部を抽出することができない Camera B Reconstruction space Camera A Silhouette on image Object 近似3次元モデル (Visual hull)
  7. 7. Computer Vision and Image Media 5 – Section 2 CV5本にて解説されている論文について  [13] using multiple hypotheses to improve depth-maps for multi-view stereos Neill D.F. Campbell, George Vogiatzis, Carlos Hernandez, and Roberto Cipolla の “ 近傍画像からのデプスマップ生成手法 ” をベースに紹介  本論分の概要を、ざっと言うと、、、 - NCCすげー - MRFすげー Page 6
  8. 8. Computer Vision and Image Media 5 – Section 2 結果からお見せ(ゴイスー) Page 7
  9. 9. Computer Vision and Image Media 5 – Section 2 少目次  2眼ステレオ(のおさらい) - 幾何計算の基本 - エピポーラ幾何  Photo-ConsistencyのためのNCC - NCC(Normalized Cross-Correlation)について - 類似テクスチャ問題への対応 - マッチングの失敗への対応  近傍画像からのデプスマップの推定 - 深さの候補の設定 - MRFの式について - データ項の設計 - 平滑化項の設計 - MRFの最適化の手法の選択  多眼ステレオへの拡張 Page 8
  10. 10. Computer Vision and Image Media 5 – Section 2 少目次  2眼ステレオ(のおさらい) - 幾何計算の基本 - エピポーラ幾何  Photo-ConsistencyのためのNCC - NCC(Normalized Cross-Correlation)について - 類似テクスチャ問題への対応 - マッチングの失敗への対応  近傍画像からのデプスマップの推定 - 深さの候補の設定 - MRFの式について - データ項の設計 - 平滑化項の設計 - MRFの最適化の手法の選択  多眼ステレオへの拡張 Page 9
  11. 11. Computer Vision and Image Media 5 – Section 2 2眼ステレオ(のおさらい)  キャリブレーション済みの画像群を使用することを 前提にした手法  キャリブレーションにより得ているパラメタ1 - 内部パラメタ行列 :A カメラの焦点距離 :f (fx = fyとする) 光軸のズレ量 :cx, cy - レンズの歪曲収差パラメタ :D (k1, k2, k3, p1, p2) Page 10 カメラ模式図(横)光軸ズレ CMOSセンサ 仮想一枚レンズ 𝐴 = 𝑓 0 𝑐𝑥 0 𝑓 𝑐𝑦 0 0 1
  12. 12. Computer Vision and Image Media 5 – Section 2  キャリブレーションにより得ているパラメタ2 - 外部パラメタ行列 :[R|t] 回転行列 :R 並進ベクトル :t 2眼ステレオ(のおさらい) Page 11 R, t 𝑅|t = 𝑟1 𝑟2 𝑟3 𝑡 ※すべて列ベクトル
  13. 13. Computer Vision and Image Media 5 – Section 2 エピポーラ幾何  2つのカメラで同一の物体を撮像したとき、 カメラAの投影中心から物体のある特徴点への光線は、 カメラBでは、直線=エピポーラ線として得られる Page 12 Camera BCamera A OA エピポーラ線
  14. 14. Computer Vision and Image Media 5 – Section 2 対応点の3次元復元  三角測量の考え方で計算し、3次元復元できる →対応点の精度が、そのまま、3次元復元精度に直結 Page 13 Camera BCamera A OA OB R, t
  15. 15. Computer Vision and Image Media 5 – Section 2 少目次  2眼ステレオ(のおさらい) - 幾何計算の基本 - エピポーラ幾何  Photo-ConsistencyのためのNCC - NCC(Normalized Cross-Correlation)について - 類似テクスチャ問題への対応 - マッチングの失敗への対応  近傍画像からのデプスマップの推定 - 深さの候補の設定 - MRFの式について - データ項の設計 - 平滑化項の設計 - MRFの最適化の手法の選択  多眼ステレオへの拡張 Page 14
  16. 16. Computer Vision and Image Media 5 – Section 2 Photo-ConsistencyのためのNCC  エピポーラ幾何により、ライン上で対応点を探索をする - スライディングウィンドウを用いて、NCCスコアでマッチング  従来の手法: NCCマッチングスコアが最大の点を採用して、 3次元点を得る →スコア最大の点以外を用いるのが提案手法のポイント Page 15 Camera BCamera A O スライディング ウィンドウ
  17. 17. Computer Vision and Image Media 5 – Section 2 NCCの何が良い?マッチング手法の選択  2つの画像の対応点を、正確に間違いなく得ることが 3D計測問題を解くキー →使う画像群の性質でどういったマッチング手法を 使うべきかを考える必要がある 選択基準例 )  汎用的、ロバスト性が強い  計算量が少ない  サブピクセル精度で高精度マッチングができる  提案手法では、なぜNCCでやる? - 他の手法に比べ、安定的だから - 扱う画像によっては、SSDやPOCのほうが良いケースもある Page 16
  18. 18. Computer Vision and Image Media 5 – Section 2 NCC(Normalized Cross-Correlation)を用いた深さ推定 ※CV5本では、ZNCCをNCCとして解説しているので、 NCC (=ZNCC) のつもりで説明します  マッチングスコアが高い位置を正解の深さとする Page 17 𝑅 𝑁𝐶𝐶 = 𝑖,𝑗 𝐿𝑖𝑗 − 𝐿 𝑅𝑖𝑗 − 𝑅 𝑖,𝑗( 𝐿𝑖𝑗 − 𝐿 ) 2 𝑖,𝑗( 𝑅𝑖𝑗 − 𝑅 ) 2 NCC score Depth
  19. 19. Computer Vision and Image Media 5 – Section 2 ちなみに、NCC vs ZNCC(Zero-mean NCC)  ロバスト性の観点から  ZNCCは、NCCよりも明度変化に強い Page 18 熊本大 内村研:http://navi.cs.kumamoto-u.ac.jp/ 画像引用元:http://navi.cs.kumamoto- u.ac.jp/~koutaki/pukiwiki/index.php?%A5%BC%A5%ED%CA%BF%B6%D1%C0%B5%B5%AC%B2%BD%C1%EA%B8%DF% C1%EA%B4%D8 あえて明度変化をさせた画像を、マッチングさせた結果
  20. 20. Computer Vision and Image Media 5 – Section 2 ちなみにちなみに、SSD vs NCC  速度・サブピクセル分解能の観点から  SSD(Sum of Squared Differences) - 差の二乗和 - パラボラフィッティングとの組み合わせで 経験的に、0.5 pixels くらいの サブピクセル分解能が出る  NCC - 相互相関の正規化されたもの - -1.0 ~ 1.0 の値を取る - SSDと同様に、極大を取る手法で サブピクセル値を得ることができる - が、計算コストがSSDよりかかる Page 19 画像引用元:https://siddhantahuja.wordpress.com/tag/normalized-cross- correlation/
  21. 21. Computer Vision and Image Media 5 – Section 2 サブピクセル推定の手法比較をもっと詳しく!  こちらで、ご覧ください^^ - POCなども紹介されてます Page 20 参照:http://www.slideshare.net/yijiri/prmu-201312-subpixel-objectdetectionsurvey
  22. 22. Computer Vision and Image Media 5 – Section 2 マッチングをする上での課題  類似テクスチャ問題への対応 - 似たような模様がある物体の場合、 対応すべきでない箇所で、 高いスコアが得られてしまう  マッチングの失敗への対応 - オクルージョン(遮蔽)、 ウィンドウ箇所が勾配面である、 テクスチャレスである、 などが原因で、 正しくマッチング計算できない Page 21 ○ × 梁のような部分
  23. 23. Computer Vision and Image Media 5 – Section 2 撮影画像内の類似テクスチャの問題  同一物体の表面テクスチャにおいて、 類似のテクスチャが、存在することがある Page 22 ここがMaxスコアに なることもありうる ここが正しい位置、 かつ、Maxスコア
  24. 24. Computer Vision and Image Media 5 – Section 2 類似テクスチャ問題への対応  対応策 - マッチングウィンドウサイズを大きくする →ローカルなテクスチャの固有情報が増え、マッチング率が上がる - 副作用1 →スコアの関数がブロードになり、ピーキーな点が取りづらく なってしまい、測距精度が落ち気味になる Page 23 NCC score Depth NCC score Depth
  25. 25. Computer Vision and Image Media 5 – Section 2 類似テクスチャ問題への対応 - 副作用2 →たまたまスコアが高いだけのケースがあり、 ミスマッチングの位置を採用してしまう可能性がある →マッチングの失敗への対応処理で、問題を解決 Page 24 実際にはピークが出ないでほしい箇所で NCCがMaxスコアになることもありうる
  26. 26. Computer Vision and Image Media 5 – Section 2 マッチングの失敗への対応  ミスマッチングの要因例 - オクルージョン部で、マッチングがうまくできない - 対象物の勾配面のため、ウィンドウマッチングがうまく働かない - テクスチャレスのため、カーブ全体でマッチング精度が悪すぎる  提案手法の方針 →ミスマッチをしていそうな部分はunknown状態とし、 微妙そうであることを認識して、誤り測距領域を減らす Page 25 オクルージョン部を unknown状態に している例
  27. 27. Computer Vision and Image Media 5 – Section 2 マッチングの失敗への対応  あるpixelが、unknown状態になる条件 - NCCのスコアのカーブの中に、ピーキーな点がない - オクルージョン等により、周辺との空間的な連続性がない  MRFにより、unknown状態を含めた、 デプスマップの最適化処理を行う →オクルージョンによる誤領域を排除して3次元復元 Page 26
  28. 28. Computer Vision and Image Media 5 – Section 2 少目次  2眼ステレオ(のおさらい) - 幾何計算の基本 - エピポーラ幾何  Photo-ConsistencyのためのNCC - NCC(Normalized Cross-Correlation)について - 類似テクスチャ問題への対応 - マッチングの失敗への対応  近傍画像からのデプスマップの推定 - 深さの候補の設定 - MRFの式について - データ項の設計 - 平滑化項の設計 - MRFの最適化の手法の選択  多眼ステレオへの拡張 Page 27
  29. 29. Computer Vision and Image Media 5 – Section 2 近傍画像からのデプスマップの推定  すべての入力画像に対して、2つの処理をする - その1:画像の各画素に対して、NCCスコアにより深さ候補を抽出 - その2:マルチラベルMRFモデルにより、デプスマップを生成  提案手法のポイントは、 MRF最適化する際に、unknownな状態を設けること - 深さ推定に関して、十分な信頼度がない Page 28 オクルージョン部を unknown状態に している例
  30. 30. Computer Vision and Image Media 5 – Section 2 深さの候補の設定  :デプスマップを求めたい画像  : の近傍の画像  :奥行きのサンプリングに対応したNCCスコア  :NCCスコアのトップK個中の k 番目のスコア ※各pixelにおいて、近傍画像すべてを使って、トップK個を求める Page 29 𝜌𝑖 𝑧𝑖,𝑘 𝜌𝑖 𝑧 𝑁 𝐼𝑟𝑒𝑓 𝐼𝑟𝑒𝑓 𝐼𝑟𝑒𝑓 マルチにデプスを扱うので、 小さなウィンドウを使って ピーキーな点を高速に計算 しても、割と安定 𝐼𝑟𝑒𝑓 𝑁 𝐼𝑟𝑒𝑓 𝑁 𝐼𝑟𝑒𝑓
  31. 31. Computer Vision and Image Media 5 – Section 2 MRFの式について  を用いて、正しい深さ情報のラベル付けを MRFにて、各pixelに与える  NCCによるミスマッチ部分をunknown状態として 与えるのが、ミソ - ラベルには、unknownを表現する ラベルを用いる Page 30 𝐸(𝐤) = 𝑖 𝜙 ( 𝑘𝑖) + 𝑖,𝑗 𝜓 ( 𝑘𝑖, 𝑘𝑗) 𝜌𝑖 𝑧𝑖,𝑘 𝒰 𝑘𝑖 ∈ 1 … 𝐾, データ項 平滑化項 𝐤 = 𝑘𝑖◆ のときのエネルギー最小化問題の式 i ( i, j ) 𝒰
  32. 32. Computer Vision and Image Media 5 – Section 2 データ項の設計  unknown部に、定数 を与える狙い - 近傍に近いデプスがないようなピクセルを、閾値的にカット - 平滑化項での計算で、デプスの差が大きい部分=オクルージョン部 を選出し排除 Page 31 𝜙(𝑘𝑖 = 𝑥) = 𝜆𝑒−𝛽 𝜌(𝑧 𝑖,𝑥 𝑥 ∈ [1 … 𝐾 𝜙U 𝑥 = 𝒰 𝐸(𝐤) = 𝑖 𝜙 ( 𝑘𝑖) + 𝑖,𝑗 𝜓 ( 𝑘𝑖, 𝑘𝑗) データ項 平滑化項 𝛽 = 1 𝜙U = 0.04 𝜆 = 1 で実験した NCCスコア -1 0 1 𝜙U 𝜙(𝑘𝑖 = 𝑥) 2.72 1.00 0.37 0.04 𝑥 K=低い K=真ん中 K=高い unknown 𝜙U
  33. 33. Computer Vision and Image Media 5 – Section 2 平滑化項の設計  平滑化項の役割 - ベーシックに隣接する画素の奥行き値は近い前提条件を 使い、たまたま高いスコアの点を排除  unknown部に、定数 を与える狙い - 近傍のunknownを巻き込んで、unknownな領域塊ができやすくなる Page 32 𝜓(𝑘𝑖 = 𝑥, 𝑘𝑗 = 𝑦) = 2 |𝑧𝑖,𝑥 − 𝑧𝑗,𝑦| 𝑧𝑖,𝑥 + 𝑧𝑗,𝑦 𝑥 ∈ 1 … 𝐾 𝑦 ∈ [1 … 𝐾 𝜓U 𝑥 = 𝒰 𝑦 ∈ [1 … 𝐾 𝜓U 𝑥 ∈ 1 … 𝐾 𝑦 = 𝒰 0 𝑥 = 𝒰 𝑦 = 𝒰 𝜓U=0.002 で実験した 𝐸(𝐤) = 𝑖 𝜙 ( 𝑘𝑖) + 𝑖,𝑗 𝜓 ( 𝑘𝑖, 𝑘𝑗) データ項 平滑化項 𝜓U
  34. 34. Computer Vision and Image Media 5 – Section 2 MRFの最適化の手法の選択  どのエネルギー最小化手法を使うか? - グラフカット、信念伝播法、あたりがメジャー  提案手法では、TRW-Sを利用 (調べられなかったので、以下、アブストをそのまま貼り付け汗) - TRW(ツリー重み再配分メッセージ伝達法)は下界が下がる可能性 があり、かつ、収束するとは限らない →逐次的再重み付け木によるメッセージパス法(TRW-S) - 下界が減少しないことが保証 - 下界の局所最大化を与える弱い木の合意条件がある Page 33 𝐸 k = arg min 𝑖 𝜙 ( 𝑘𝑖) + (𝑖,𝑗) 𝜓 ( 𝑘𝑖, 𝑘𝑗) k 参照:http://www.ricoh.com/ja/abs_club/IEEE/tPAMI-2006.html#p280903
  35. 35. Computer Vision and Image Media 5 – Section 2 多眼ステレオへの拡張  デプスマップが複数個、得られる  これらすべてのデプスマップを合わせこんで、 全周囲3Dモデルを作って、処理エンド →詳しくは、@kanejakiさんの発表にて(^ω^) Page 34
  36. 36. Computer Vision and Image Media 5 – Section 2 実験結果:デプスマップと3D復元結果 Page 35 (b)が従来法、(c)が提案手法、(d)黒赤いところがNCCのスコアの良い箇所 従来法よりも、オクルージョン部でノイズ低減がなされている (e)(f)のデプスマップを組み合わせたのが、(g)のデプスマップ (h)が3次元復元結果 𝐼𝑟𝑒𝑓
  37. 37. Computer Vision and Image Media 5 – Section 2 Page 36 ありがとうございました (^ω^) @sumisumith

×