Your SlideShare is downloading. ×
Cv 14th
Cv 14th
Cv 14th
Cv 14th
Cv 14th
Cv 14th
Cv 14th
Cv 14th
Cv 14th
Cv 14th
Cv 14th
Cv 14th
Cv 14th
Cv 14th
Cv 14th
Cv 14th
Cv 14th
Cv 14th
Cv 14th
Cv 14th
Cv 14th
Cv 14th
Cv 14th
Cv 14th
Cv 14th
Cv 14th
Cv 14th
Cv 14th
Cv 14th
Cv 14th
Cv 14th
Cv 14th
Cv 14th
Cv 14th
Cv 14th
Cv 14th
Cv 14th
Cv 14th
Cv 14th
Cv 14th
Cv 14th
Cv 14th
Upcoming SlideShare
Loading in...5
×

Thanks for flagging this SlideShare!

Oops! An error has occurred.

×
Saving this for later? Get the SlideShare app to save on your phone or tablet. Read anywhere, anytime – even offline.
Text the download link to your phone
Standard text messaging rates apply

Cv 14th

2,165

Published on

1 Comment
13 Likes
Statistics
Notes
  • 私も'Computer Vision'を愛読しております。このスライドはとても参考になります。ありがとうございます。
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here
No Downloads
Views
Total Views
2,165
On Slideshare
0
From Embeds
0
Number of Embeds
1
Actions
Shares
0
Downloads
0
Comments
1
Likes
13
Embeds 0
No embeds

Report content
Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
No notes for slide

Transcript

  • 1. 第14回コンピュータビジョン勉強会@関東 idojun
  • 2. Image stitching
  • 3. Image stitchingBase 画像 (投影+) warping alignment +blendingTarget 画像
  • 4. Traditional image stitching Chen(1995), Szeliski(1996)• 平面で構成されたシーン,あるいは固定 された視点から撮影されたシーンでのみ 統合が可能.
  • 5. Overview: Affine stitching 1. 局所特徴量を用いた対 応点探索 2. Base画像をTarget画 像に合うように変換 (Global affine) 3. 更に詳細なaffine変換 群を近似して求める (実際には1.と同時) 4. 画像を統合する
  • 6. 3D-reconstruction• Affine/homographic stitching は,3次元世界の投影の 特殊な場合とみなすことができる.が,問題点も多い. – 3次元再構成は,画像の重なり領域でのみ定義される. – 3次元再構成の要である,正確なカメラ姿勢復元と外れ値に 頑健なマッチングは非常に困難で,未だ研究対象. – カメラが大きく回転したり,重なり領域のサイズが不適当な 場合,カメラ姿勢推定は精度が低下.• これらの問題は,stitchingにおいては良く発生する.• F.Dornaika and R.Chung. Mosaicking images with paralla. Signal Processing: Image Communication, 2004• Z.Qi and J.Cooperstock. Overcoming parallax and sampling density issues in image mosaicing of non-planar scenes. BMVC, 2007.• F.Liu, M.Gleiher, H.Jin and A.Agarwala. Content-preserving warps for 3D video stabilization. ACM Trans. Graph.,2009
  • 7. 2D non-rigid warping approach• Thin plate spline, as-rigid-as-possible warping, motion coherence などの2次元非剛体変換アプ ローチ.• 滑らかさを拘束条件に持つ一般的なマッチング問 題と考えることで,パラメトリック変換の疎性を 避ける.• しかし,オクルージョン領域に対する汎化性能が 犠牲になるので,stitchingで直接利用されること は殆どない.
  • 8. Proposed approach• Global affine 変換を,varying affine stitching field で代替する手法を提案. – 画像全体を1つのaffine parameterで変換す るのではなく,個々に最適な(かつ滑らかに 変化する)affine parameterを求め,それを 利用する.
  • 9. Affine stitching field X座標,y座標 – 2×1 : 2 → 6 – ∆ 6×1 = 0 1 ; 0 2 = + Δi番目の特徴点の,global affineからのズレ – ×6 = 1 , … , , Δ×6 = Δ1 , … , Δ – 0 = , , 1 2 2× 3 – = 4 5 0 + 6 ×2 × ×1 Warping後のbase画像特徴 Warping前のbase画像特徴
  • 10. Overview: Affine stitching field
  • 11. Base point set’s alignment• Base point set と target point set 間の 対応点探索と,affine stitching field の計 算を同時に行う. 01: 1: = 0 − , + 22 これを最大化 =1 =1 2 − ここで , = 22
  • 12. Overview: conditional probability
  • 13. Minimization: cost function ′ 2Ψ A = min 正則化項 ′ 2 ′ = − log 0 − , + 22 + Ψ これを最小化 =1 =1
  • 14. Minimization: simplify , 0 = (0 − , ) E-step , 0 , 0 = , 0 + 2t2 +1 − +1 , 0≤− , 0 + Ψ +1 − Ψ , 0 =1 =1= Δ +1 , 2 1 0 − +1 = , 0 + Ψ +1 これを最小化 2 2 =1 =1
  • 15. Minimization = 1 2 … + 2 Δ+1 −1+1 = + 2 Δ+1 −1 = 06× ⇒ + 2 Δ+1 = 06× M-step , 0 = +1 − 0 0 2 =1 (1) 3×3 03×3 T 6×6 = = z(1) z(2) 1 z(1) z(2) 1 03×3 (2) 3×3 6×1 詳しい導出は,Appendix A: Affine Coherence を参照
  • 16. Algorithm• Input: , , aglobal• While : – While No convergence: • Eval , 0 from • Determine +1 from , 0 – End – = , 1• End• Output:
  • 17. Stitching field• 単純に探索窓を利用して対応点探索を行い stitching fieldを生成すると,外挿が困難になる.
  • 18. Analysis• Stitching field は,「真の変換関数」の疎な近似表現 • Depth境界を滑らかに近似,特徴点のみから全ピクセルの変換を推定 ⇒誤差は避けられない • 上:単純なV字型のdepthモ デル. • 下:depthの(連続性のな い)急激な変化を伴うモデ ル. • 500x500の画像に投影. • 625個の特徴点を用いて推 定(1:400). • モデル回りを0.3[rad]回転
  • 19. Blending• G:base画像,RB:target画像• Depth境界で誤差が生じるが,Blending後は知覚的には正しい画像
  • 20. Reference: blending• L.H.Chan and A.A.Efros. Automatic generation of an infinite panorama. Technical Report 2007.• P.Perez, M.Gangnet and A.Blake, Poisson image editing. ACM Trans. Graph 2003.• A.Agrwala, M.Dontceva, M.Agrawal, S.Drucker, A.Colbum, B.Curless, D.Salesin and M. Cohen, Interactive digital photomantage. ACM Trans. Graph 2004.
  • 21. Poisson Image Editing SIGGRAPH 2003
  • 22. Poisson equation• Poisson solution Δ = div, Ω = ∗ Ω Ω• Discrete poisson solver − = , , = − ∈ ∈
  • 23. Demo: poisson blending
  • 24. Demo: poisson blending
  • 25. Demo: poisson blending
  • 26. Demo: poisson blending
  • 27. Demo: poisson blending
  • 28. Applications• Re-shoot – 小さなオーバーラップ,大きなオクルージョン (人物と背景が干渉している)といったコピー& ペーストで対応が難しい場合にも統合が可能.• Panoramic stitching – Homographic mosaicingや3D reconstruction が困難な画像列を統合できる.• Matching – 特徴点の集合同士をマッチするので,descriptor の変化に影響を受けにくい.A-SIFTを用いた場 合よりも良い結果を得られる.
  • 29. Re-shoot(1)(a) A girl passing the time by playing chess with herself.(b) Two people alterating as photographers to obtain a group poto.
  • 30. Re-shoot(2)Photometricな変化は,SIFT descriptorに影響をあたえてしまう. (c) The changing seasons at the famous Kiyomizu temple in Japan.
  • 31. Re-shoot(3)(d) The passage of time at the Archbishop’s palace in Prague.
  • 32. Panoramic stitching
  • 33. Matching SIFTと比較して40%増のマッチ
  • 34. Conclusion• 滑らかに変化する affine field を利用した 画像 stitching アルゴリズム• 画像間の視差を(ある程度)許容する – 物理的に異なる位置から撮影された画像を統 合できる
  • 35. Reference: Book• Computer Vision: Algorithms and Applications, Richard Szeliski – Chapter 9: Image stitching
  • 36. Appendix B: Additional Results• Panorama creation• Protrusion handling• Re-shoot• Comparison with other warping techniques – Motion coherence based relaxation – Dense matching techniques
  • 37. Panorama creation本文中に出てきたパノラマ画像の範囲拡大版
  • 38. Protrusion handling画像中の突出部は,本アルゴリズムの弱点.Blendingにより,見た目は自然になっている. Strong depth deviation Post blending result
  • 39. Re-shoot数か月離れて撮影された画像の統合.Auto-stitch により統合された画像.完全な視点固定回転ではないので,一貫性に欠ける.
  • 40. Comparison with other warping techniques(左)motion coherence based relaxation と (右)affine based relaxation との比較
  • 41. Comparison with other warping techniques Warping画像の比較. Our Sparse SIFT warpingSIFT flow Large displacement flow
  • 42. おわり

×