Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

第28回コンピュータビジョン勉強会@関東(kanejaki担当分)

22,449 views

Published on

コンピュータビジョン最先端ガイド5 複数画像からの三次元復元
3.2節あたり

Published in: Science
  • Hello! Get Your Professional Job-Winning Resume Here - Check our website! https://vk.cc/818RFv
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here

第28回コンピュータビジョン勉強会@関東(kanejaki担当分)

  1. 1. 1 MIL Machine Intelligence Lab. 複数枚の画像からの photo-consistency 3.2 デプスマップ復元 2015/3/28 第28回コンピュータビジョン勉強会@関東 原田研究室 助教 金崎朝子
  2. 2. 2 MIL Machine Intelligence Lab. 複数枚の画像からのphoto-consistency 三次元形状を復元するには正確なVisibility情報 (物体上の点がどのカメラに見えているか)が 必要である 正確なVisibility情報を得るためには 逆に形状情報が必要である vs. いわゆるチキン・エッグ問題
  3. 3. 3 MIL Machine Intelligence Lab. (図2.18)オクルージョン問題 • 近傍6画像を使ってPhoto-consistency 関数(NCC)をプロットした結果(赤線) http://mi.eng.cam.ac.u k/~cipolla/archive/Pres entations/2007-PAMI- Volumetric-Graph- Cuts.pdf NCC値 深さ 平均 正しい深さ 平均したらダメな理由: オクルージョンが発生 しているカメラから計算 されるNCC(外れ値)を 足しこんでしまっている から。
  4. 4. 4 MIL Machine Intelligence Lab. (図2.18)Vogiatzisら[24][37]の手法 • 近傍6画像を使ってPhoto-consistency 関数(NCC)をプロットした結果(赤線) http://mi.eng.cam.ac.u k/~cipolla/archive/Pres entations/2007-PAMI- Volumetric-Graph- Cuts.pdf NCC値 深さ [37] Vogiatzis, George, Carlos Hernández, Philip HS Torr, and Roberto Cipolla. Multi-view Stereo via Volumetric Graph-cuts and Occlusion Robust Photo-Consistency. PAMI, vol. 29, No. 12, 2007. 極大値 カーネル関数 カーネル関数和 外れ値に影響されにくい!
  5. 5. 5 MIL Machine Intelligence Lab. (図2.18)Vogiatzisら[24][37]の手法 • 近傍6画像を使ってPhoto-consistency 関数(NCC)をプロットした結果(赤線) http://mi.eng.cam.ac.u k/~cipolla/archive/Pres entations/2007-PAMI- Volumetric-Graph- Cuts.pdf NCC値 深さ 極大値 カーネル関数 カーネル関数和 𝑔 𝑝 𝑑 = 𝑖=1 𝑁 𝑗 𝑓𝑝 𝑖 𝑑𝑗 𝑖 𝑊(𝑑 − 𝑑𝑗 𝑖 ) 𝑑𝑗 𝑖 : 各𝑓𝑝 𝑖 𝑑 の極大値 各photo-consistencyカーブ カーネル関数 (ex. gaussian) [37] Vogiatzis, George, Carlos Hernández, Philip HS Torr, and Roberto Cipolla. Multi-view Stereo via Volumetric Graph-cuts and Occlusion Robust Photo-Consistency. PAMI, vol. 29, No. 12, 2007. 外れ値に影響されにくい!
  6. 6. 6 MIL Machine Intelligence Lab. 3.2 デプスマップ復元 • 一番単純な方法: 各ピクセルで上式が最大になるデプスを求める。 𝑔 𝑝 𝑑 = 𝑖=1 𝑁 𝑗 𝑓𝑝 𝑖 𝑑𝑗 𝑖 𝑊(𝑑 − 𝑑𝑗 𝑖 ) 𝑑𝑗 𝑖 : 各𝑓𝑝 𝑖 𝑑 の極大値 各photo-consistencyカーブ カーネル関数 (ex. gaussian) テクスチャー欠如 テクスチャー反復 註9 確証のない深さ値を効果的に フィルタリングすることで~[19] [19] Michael Goesele, Brian Curless, and Steven M. Seitz. Multi-view stereo revisited. CVPR, 2006. a depth value 𝑑 is 𝑣𝑎𝑙𝑖𝑑 if 𝑁𝐶𝐶 𝑅, 𝐶𝑗, 𝑑 > 𝑡ℎ𝑟𝑒𝑠ℎ for at least two views in 𝐂.
  7. 7. 7 MIL Machine Intelligence Lab. 3.2 デプスマップ復元 • 一番単純な方法: 各ピクセルで上式が最大になるデプスを求める。 𝑔 𝑝 𝑑 = 𝑖=1 𝑁 𝑗 𝑓𝑝 𝑖 𝑑𝑗 𝑖 𝑊(𝑑 − 𝑑𝑗 𝑖 ) 𝑑𝑗 𝑖 : 各𝑓𝑝 𝑖 𝑑 の極大値 各photo-consistencyカーブ カーネル関数 (ex. gaussian) [13] Neill D. Campbell, George Vogiatzis, Carlos Hernández, and Roberto Cipolla. Using Multiple Hypotheses to Improve Depth-Maps for Multi- View Stereo. ECCV, 2008. 図2.19 に該当 テクスチャー欠如 テクスチャー反復 滑らかさの regularization項 を加える!
  8. 8. 8 MIL Machine Intelligence Lab. 3.2 デプスマップ復元 以下のエネルギー最適化問題を解く。 𝐸 𝑑 𝑝 = 𝑝∈𝐼 𝐸 𝑢(𝑑 𝑝) + 𝜆 (𝑝,𝑞)∈N 𝐸 𝑏(𝑑 𝑝, 𝑑 𝑞) regularization項 𝐸 𝑢 𝑑 𝑝 = −𝑔 𝑝 𝑑 𝐸 𝑏 𝑑 𝑝, 𝑑 𝑞 = 𝑑 𝑝 − 𝑑 𝑞 ・・・ピクセル𝑝の深さを𝑑 𝑝にするコスト ・・・隣り合うピクセル𝑝と𝑞の深さを 連続的(スムース)にするコスト 𝑝: 𝑑 𝑝: 𝐼: N: 𝜆: ピクセル 𝑝の深さ(この問題の変数) 画像中のピクセルの集合 隣り合うピクセルのペアの集合 重み比のパラメータ [38] Oliver Woodford, Philip Torr, Ian Reid, and Andrew Fitzgibbon. Global stereo reconstruction under second-order smoothness priors. PAMI, vol.31, No. 12, 2009. 𝐸 𝑏 𝑑 𝑝, 𝑑 𝑞, 𝑑 𝑟 ≒ 𝑑 𝑝 − 2𝑑 𝑞 + 𝑑 𝑟 註10 こんなのも。
  9. 9. 9 MIL Machine Intelligence Lab. 3.2 デプスマップ復元 以下のエネルギー最適化問題を解く。 𝐸 𝑑 𝑝 = 𝑝∈𝐼 𝐸 𝑢(𝑑 𝑝) + 𝜆 (𝑝,𝑞)∈N 𝐸 𝑏(𝑑 𝑝, 𝑑 𝑞) regularization項 𝐸 𝑢 𝑑 𝑝 = −𝑔 𝑝 𝑑 𝐸 𝑏 𝑑 𝑝, 𝑑 𝑞 = 𝑑 𝑝 − 𝑑 𝑞 ・・・ピクセル𝑝の深さを𝑑 𝑝にするコスト ・・・隣り合うピクセル𝑝と𝑞の深さを 連続的(スムース)にするコスト 𝑝: 𝑑 𝑝: 𝐼: N: 𝜆: ピクセル 𝑝の深さ(この問題の変数) 画像中のピクセルの集合 隣り合うピクセルのペアの集合 重み比のパラメータ ふつう離散化して最適なの探す (ex. 0cm, 0.1cm, …, 10cmの100通り) MRF たとえば Graph-Cuts とかで解く @rezoolab @tackson5 ※(8月30日)コンピュータビジョン最適化勉強会@関東 の資料は素晴らしかったです
  10. 10. 10 MIL Machine Intelligence Lab. 複数枚の画像からのphoto-consistency 3.2 デプスマップ復元 以上です。

×