Cv 14th
- 5. Overview: Affine stitching
1. 局所特徴量を用いた対
応点探索
2. Base画像をTarget画
像に合うように変換
(Global affine)
3. 更に詳細なaffine変換
群を近似して求める
(実際には1.と同時)
4. 画像を統合する
- 6. 3D-reconstruction
• Affine/homographic stitching は,3次元世界の投影の
特殊な場合とみなすことができる.が,問題点も多い.
– 3次元再構成は,画像の重なり領域でのみ定義される.
– 3次元再構成の要である,正確なカメラ姿勢復元と外れ値に
頑健なマッチングは非常に困難で,未だ研究対象.
– カメラが大きく回転したり,重なり領域のサイズが不適当な
場合,カメラ姿勢推定は精度が低下.
• これらの問題は,stitchingにおいては良く発生する.
• F.Dornaika and R.Chung. Mosaicking images with paralla. Signal
Processing: Image Communication, 2004
• Z.Qi and J.Cooperstock. Overcoming parallax and sampling density
issues in image mosaicing of non-planar scenes. BMVC, 2007.
• F.Liu, M.Gleiher, H.Jin and A.Agarwala. Content-preserving warps for
3D video stabilization. ACM Trans. Graph.,2009
- 7. 2D non-rigid warping approach
• Thin plate spline, as-rigid-as-possible warping,
motion coherence などの2次元非剛体変換アプ
ローチ.
• 滑らかさを拘束条件に持つ一般的なマッチング問
題と考えることで,パラメトリック変換の疎性を
避ける.
• しかし,オクルージョン領域に対する汎化性能が
犠牲になるので,stitchingで直接利用されること
は殆どない.
- 8. Proposed approach
• Global affine 変換を,varying affine
stitching field で代替する手法を提案.
– 画像全体を1つのaffine parameterで変換す
るのではなく,個々に最適な(かつ滑らかに
変化する)affine parameterを求め,それを
利用する.
- 9. Affine stitching field
X座標,y座標
– ������ ������2×1 : ������2 → ������6
– ∆������������ 6×1 = ������ ������0������ 1 ; ������0������ 2 ������������ = ������������������������������������������ + Δ������������
i番目の特徴点の,global affineからのズレ
– ������������×6 = ������1 , … , ������������ ������ , Δ������������×6 = Δ������1 , … , Δ������������ ������
– ������0������ = ������, ������ , ������������������������ ������������������������������������������������������������
������������ 1 ������������ 2 ������2������ ������������ 3
– ������������ = ������������ 4 ������������ 5 ������0������ + ������������ 6
������������×2 ������������×������ ������������×1
Warping後のbase画像特徴 Warping前のbase画像特徴
- 11. Base point set’s alignment
• Base point set と target point set 間の
対応点探索と,affine stitching field の計
算を同時に行う.
������ ������
������ ������01:������ ������1:������ = ������ ������0������ − ������������ , ������������ + 2������������������������2 これを最大化
������=1 ������=1
������ 2
−
ここで ������ ������, ������ = ������ 2������2
- 13. Minimization: cost function
������ ′ ������ 2
Ψ A = min ������������ 正則化項
′������ ������ ������2 ������′ ������
������ ������
������ ������ = − log ������ ������0������ − ������������ , ������������ + 2������������������������2 + ������Ψ ������ これを最小化
������=1 ������=1
- 14. Minimization: simplify
������������������ ������������ , ������0������ = ������(������0������ − ������������ , ������������ )
E-step
������������������ ������������ , ������0������
������������������ ������������ , ������0������ =
������ ������������������ ������������ , ������0������ + 2������������������t2
������ ������������+1 − ������ ������������
������ ������
������������������ ������������������+1 , ������0������
≤− ������������������ ������������ , ������0������ ������������������ + ������ Ψ ������������+1 − Ψ ������������
������������������ ������������������ , ������0������
������=1 ������=1
= ������ ������������+1 , ������
������ ������ 2
1 ������0������ − ������������������+1
������ = ������������������ ������������ , ������0������ + ������Ψ ������������+1 これを最小化
2 ������������2
������=1 ������=1
- 15. Minimization
������������ ������
= ������1 ������2 … ������������ + 2������ Δ������������+1 ������ −1
������������������+1
������
= ������ + 2������ Δ������������+1 ������ −1 = 06×������
������
⇒ ������������ + 2������ Δ������������+1 = 06×������ M-step
������
������������������ ������������ , ������0������
������������ = ������ ������������������+1 − ������0������ ������ ������0������
������������2
������=1
������(1) ������3×3 03×3 T
������ ������ 6×6 = ������ ������ = z(1) z(2) 1 z(1) z(2) 1
03×3 ������(2) ������3×3 6×1
詳しい導出は,Appendix A: Affine Coherence を参照
- 16. Algorithm
• Input: ������������ , ������������ , aglobal
• While ������������ < ������������������������������������������������������:
– While No convergence:
• Eval ������������������ ������������������ , ������0������ from ������������
• Determine ������������+1 from ������������������ ������������������ , ������0������
– End
– ������������ = ������������������ , ������������������������������ ������ < 1
• End
• Output: ������������������������������������������������������������������������������
- 18. Analysis
• Stitching field は,「真の変換関数」の疎な近似表現
• Depth境界を滑らかに近似,特徴点のみから全ピクセルの変換を推定
⇒誤差は避けられない
• 上:単純なV字型のdepthモ
デル.
• 下:depthの(連続性のな
い)急激な変化を伴うモデ
ル.
• 500x500の画像に投影.
• 625個の特徴点を用いて推
定(1:400).
• モデル回りを0.3[rad]回転
- 19. Blending
• G:base画像,RB:target画像
• Depth境界で誤差が生じるが,Blending後は知覚的には正しい画像
- 20. Reference: blending
• L.H.Chan and A.A.Efros. Automatic
generation of an infinite panorama.
Technical Report 2007.
• P.Perez, M.Gangnet and A.Blake, Poisson
image editing. ACM Trans. Graph 2003.
• A.Agrwala, M.Dontceva, M.Agrawal,
S.Drucker, A.Colbum, B.Curless,
D.Salesin and M. Cohen, Interactive
digital photomantage. ACM Trans. Graph
2004.
- 22. Poisson equation
• Poisson solution
Δ������ = div������, ������������������������ Ω ������������������������ ������ = ������ ∗
������Ω ������Ω
• Discrete poisson solver
������������ ������������ − ������������ = ������������������ ������������������ ������������������ ������, ������ , ������������������ = ������������ − ������������
������∈������������ ������∈������������
- 28. Applications
• Re-shoot
– 小さなオーバーラップ,大きなオクルージョン
(人物と背景が干渉している)といったコピー&
ペーストで対応が難しい場合にも統合が可能.
• Panoramic stitching
– Homographic mosaicingや3D reconstruction
が困難な画像列を統合できる.
• Matching
– 特徴点の集合同士をマッチするので,descriptor
の変化に影響を受けにくい.A-SIFTを用いた場
合よりも良い結果を得られる.
- 29. Re-shoot(1)
(a) A girl passing the time by playing chess with herself.
(b) Two people alterating as photographers to obtain a group poto.
- 36. Appendix B: Additional Results
• Panorama creation
• Protrusion handling
• Re-shoot
• Comparison with other warping
techniques
– Motion coherence based relaxation
– Dense matching techniques
- 40. Comparison with other warping techniques
(左)motion coherence based relaxation と (右)affine based relaxation との比較
- 41. Comparison with other warping techniques
Warping画像の比較.
Our Sparse SIFT warping
SIFT flow
Large displacement flow