Estimation               Direct Linear Transformations                                                백용환Mixed Reality Lab...
Direct Linear TransformationMixed Reality Laboratory | Hanyang University            http://mr.hanyang.ac.kr
Our Goal?       ●    다음을 만족하는 H :       ●    이렇게?             –    문제점 : Scale Factor!       ●    정확히는Mixed Reality Labora...
Then How?       ●    변형 :             –    (Why? Wikipedia Link)       ●    풀어쓰면                                          ...
Reorganize       ●    또한                                  =       ●                                  꼴의 형태이고 이는 Linear    ...
What is a Solution?       ●    명백한 해 :                             =0             –    Not Interested!       ●    그 외의 해는?...
What is the Problem?       ●    4개 이상의 대응점을 주어주는 경우            Rank 개수 이상을 만족하므로 h에 대한            Exact Solution이 존재      ...
Constraints       ●    What to minimize?       ●    Avoid =0       ●    || ||=1       ●    If No Solution? Minimize ||    ...
Basic DLT AlgorithmMixed Reality Laboratory | Hanyang University    http://mr.hanyang.ac.kr
Cost FunctionMixed Reality Laboratory | Hanyang University         http://mr.hanyang.ac.kr
Algebraic Distance       ●    기하학적, 통계적 의미 X       ●    Normalize를 거치면 좋은 결과를 냄       ●    Linear(Unique Solution)       ●...
Geometric Distance       ●    Error in one Image             –    H에 의해 Transfer된 점과, 측정된 점과의                  Euclidean D...
Algebraic vs. Geometric       ●    Algebraic :       ●    Geometric :       ●    Geometric Distance에 Algebraic Distance   ...
Reprojection Error       ●    True Point와 Measured Point 사이의 거리            (Correction)             –    얼마나 True Point에 가...
Reprojection vs. SymmetricMixed Reality Laboratory | Hanyang University   http://mr.hanyang.ac.kr
Geometric Interpretation                   of Reprojection Error       ●   2개의 평면에 대한 Homography는 4차원 공간상           에서 공간면...
Reprojection vs. SymmetricMixed Reality Laboratory | Hanyang University   http://mr.hanyang.ac.kr
Geometric Error Problem       ●    우선 H를 추정해야함.       ●    추정한 H에 Fitting하는 Point            찾아내야함       ➔    높은 복잡도, Non-...
Sampson Error       ●          의 First-order Approximation을 사용             –    테일러 전개 이용       ●                         ...
Sampson Error       ●    적절한 식정리를 하면(책 참고)             –   Error :       ●                   는 모두                 에 Depend...
Statistical Cost Function       ●    측정된 값들의 Error가 확률 분포를 이룬다 라            고 생각Mixed Reality Laboratory | Hanyang Univers...
Error in one Image       ●    Exact Value의 표현       ●    Log-likelihood를 구함       ●    Maximum Likelihood Estimate는 Log-  ...
Error in both Images       ●    Exact Value의 표현       ●    마찬가지로 Log-likelihood를 Maximize            = MinimizeMixed Reali...
Mahalanobis Distance       ●    One Image인 경우, Log-likelihood를            Maximize = Mahalanobis Distance가            Mini...
Transformation Invariance & NormalizationMixed Reality Laboratory | Hanyang University   http://mr.hanyang.ac.kr
Invariance to Image Coordinate              Transformations       1.한 이미지에 변환 T를 가했을 경우       2.다른 한 이미지는 T’로 보일것       3....
Non-invariance       ●    변환을 가했을 경우, H와 H’은 서로 같은 조건            인가?       ●    H와 H’은 1:1 대응이 아닐 수 있음       ●    Transfor...
Invariance of Geometric Error       ●    Euclidean Transformation T, T’을 사용한 경            우       ●    Euclidean Distance는...
Normalizing Transformations       ●   DLT Algorithm을 적용하기 전에 사용       ●   SVD 분해를 할 때 극단적으로 값이 달라서           Round-Off Err...
Normalized DLT for 2D                        HomographiesMixed Reality Laboratory | Hanyang University   http://mr.hanyang...
Iterative Minimization MethodsMixed Reality Laboratory | Hanyang University      http://mr.hanyang.ac.kr
Iterative Minimization Method       ●    Minimize Cost Function에 필요한 기법       ●    Cons : 느림, Initial Estimate 문제, Local  ...
Technique of Iterative                           Minimization       ●   Cost Function            –   Minimization에 대한 지표  ...
Initialization       ●   Normalized DLT Algorithm으로 직접 구하기             –   Outlier를 가진 경우       ●   Robust Estimation으로 구하...
Golden Standard Algorithm +               Sampson ErrorMixed Reality Laboratory | Hanyang University   http://mr.hanyang.a...
Robust EstimationMixed Reality Laboratory | Hanyang University              http://mr.hanyang.ac.kr
Robust Estimation       ●    단순히 점들을 이용하는 경우, 선별한 점이            Mismatch할 가능성이 있음 (Outlier 정보들)       ●    목표 : Inlier에 해당...
RANSAC       ●    장점 : 많은 Outlier를 가지고 있어도 사용가            능       1.점 2개를 무작위로 선택 (Line을 이루게됨)       2.일정 Distance 내에 있는 P...
RANSAC Robust AlgorithmMixed Reality Laboratory | Hanyang University   http://mr.hanyang.ac.kr
RANSAC Problems       ●    일정 Distance에 대한 판별             –    Error Probability Distribution (DOF, Variance)       ●    S...
Robust Maximum                         Likelihood Estimation       ●    RANSAC으로 찾아낸 Inlier들을 이용하여 re-            estimate...
Automatic Computation of                   a HomographyMixed Reality Laboratory | Hanyang University   http://mr.hanyang.a...
Upcoming SlideShare
Loading in …5
×

Multiple View Geometry - Estimation (Direct Linear Transformation)

1,652 views

Published on

Multiple View Geometry
Estimation (Direct Linear Transformation)

Published in: Education
  • Be the first to comment

  • Be the first to like this

Multiple View Geometry - Estimation (Direct Linear Transformation)

  1. 1. Estimation Direct Linear Transformations 백용환Mixed Reality Laboratory | Hanyang University http://mr.hanyang.ac.kr
  2. 2. Direct Linear TransformationMixed Reality Laboratory | Hanyang University http://mr.hanyang.ac.kr
  3. 3. Our Goal? ● 다음을 만족하는 H : ● 이렇게? – 문제점 : Scale Factor! ● 정확히는Mixed Reality Laboratory | Hanyang University http://mr.hanyang.ac.kr
  4. 4. Then How? ● 변형 : – (Why? Wikipedia Link) ● 풀어쓰면 { }Mixed Reality Laboratory | Hanyang University http://mr.hanyang.ac.kr
  5. 5. Reorganize ● 또한 = ● 꼴의 형태이고 이는 Linear ● 의 3개 열중 2개는 Dependent (한 열은 무시해도 상관 X)Mixed Reality Laboratory | Hanyang University http://mr.hanyang.ac.kr
  6. 6. What is a Solution? ● 명백한 해 : =0 – Not Interested! ● 그 외의 해는? – A is 12 x 9 (8 x 9) Matrix[Rank : 8, Null- Space : 1] → Has a Solution ● 는 의 Scale을 제거한 것이므로 || ||=1를 만족할 것이다.Mixed Reality Laboratory | Hanyang University http://mr.hanyang.ac.kr
  7. 7. What is the Problem? ● 4개 이상의 대응점을 주어주는 경우 Rank 개수 이상을 만족하므로 h에 대한 Exact Solution이 존재 – 하지만 만약 그 4개의 대응점이 Error를 포함하고 있다면? 그 Exact Solution은 우리가 원하는 Solution이 아닐 것이다. (Overdetermined)Mixed Reality Laboratory | Hanyang University http://mr.hanyang.ac.kr
  8. 8. Constraints ● What to minimize? ● Avoid =0 ● || ||=1 ● If No Solution? Minimize || || ● 3번째, 4번째를 요약하면 : || ||/|| || ● 위의 사항을 이용한 Basic DLT Algorithm.Mixed Reality Laboratory | Hanyang University http://mr.hanyang.ac.kr
  9. 9. Basic DLT AlgorithmMixed Reality Laboratory | Hanyang University http://mr.hanyang.ac.kr
  10. 10. Cost FunctionMixed Reality Laboratory | Hanyang University http://mr.hanyang.ac.kr
  11. 11. Algebraic Distance ● 기하학적, 통계적 의미 X ● Normalize를 거치면 좋은 결과를 냄 ● Linear(Unique Solution) ● 연산이 빠름 ●Mixed Reality Laboratory | Hanyang University http://mr.hanyang.ac.kr
  12. 12. Geometric Distance ● Error in one Image – H에 의해 Transfer된 점과, 측정된 점과의 Euclidean Distance 합으로 표현 ● Error in two Images (Symmetric Transfer Error) – 두 이미지 모두의 Error를 최소화 하고자함 → Forward와 Backward를 모두 계산Mixed Reality Laboratory | Hanyang University http://mr.hanyang.ac.kr
  13. 13. Algebraic vs. Geometric ● Algebraic : ● Geometric : ● Geometric Distance에 Algebraic Distance 가 내포되어 있다 (조건 : ) – Affine TransformationMixed Reality Laboratory | Hanyang University http://mr.hanyang.ac.kr
  14. 14. Reprojection Error ● True Point와 Measured Point 사이의 거리 (Correction) – 얼마나 True Point에 가깝게 Estimate 하는가 ● Transfer했을 때의 True Point와 Measured Point 사이의 거리(Correction) ● Measured Point의 Transfer는 Perfect함Mixed Reality Laboratory | Hanyang University http://mr.hanyang.ac.kr
  15. 15. Reprojection vs. SymmetricMixed Reality Laboratory | Hanyang University http://mr.hanyang.ac.kr
  16. 16. Geometric Interpretation of Reprojection Error ● 2개의 평면에 대한 Homography는 4차원 공간상 에서 공간면에 Fitting하는 관점으로 해석할 수 있 다. ● 주어진 점과 4차원 공간면에 접하는 가장 가까운 점을 고른다. (Perfect Fit) ● 주어진 점과 접하는 점 사이의 Geometric Distance를 구하면 – 이는 Reprojection Error와 동치Mixed Reality Laboratory | Hanyang University http://mr.hanyang.ac.kr
  17. 17. Reprojection vs. SymmetricMixed Reality Laboratory | Hanyang University http://mr.hanyang.ac.kr
  18. 18. Geometric Error Problem ● 우선 H를 추정해야함. ● 추정한 H에 Fitting하는 Point 찾아내야함 ➔ 높은 복잡도, Non-Linear, But 정확Mixed Reality Laboratory | Hanyang University http://mr.hanyang.ac.kr
  19. 19. Sampson Error ● 의 First-order Approximation을 사용 – 테일러 전개 이용 ● ( ) ● 가 최소가 되는 것Mixed Reality Laboratory | Hanyang University http://mr.hanyang.ac.kr
  20. 20. Sampson Error ● 적절한 식정리를 하면(책 참고) – Error : ● 는 모두 에 Dependent함 – 적절한 처리를 하면 쉽게 구해낼 수 있음 ● 를 구하는 것이 Hyperplane상의 Fitting형 태로 문제가 바뀜Mixed Reality Laboratory | Hanyang University http://mr.hanyang.ac.kr
  21. 21. Statistical Cost Function ● 측정된 값들의 Error가 확률 분포를 이룬다 라 고 생각Mixed Reality Laboratory | Hanyang University http://mr.hanyang.ac.kr
  22. 22. Error in one Image ● Exact Value의 표현 ● Log-likelihood를 구함 ● Maximum Likelihood Estimate는 Log- likelihood를 Maximize = MinimizeMixed Reality Laboratory | Hanyang University http://mr.hanyang.ac.kr
  23. 23. Error in both Images ● Exact Value의 표현 ● 마찬가지로 Log-likelihood를 Maximize = MinimizeMixed Reality Laboratory | Hanyang University http://mr.hanyang.ac.kr
  24. 24. Mahalanobis Distance ● One Image인 경우, Log-likelihood를 Maximize = Mahalanobis Distance가 Minimize ● Both Images인 경우, 두 이미지는 독립이라 생각하면 ● 각 Point들도 서로 독립적이라 하면Mixed Reality Laboratory | Hanyang University http://mr.hanyang.ac.kr
  25. 25. Transformation Invariance & NormalizationMixed Reality Laboratory | Hanyang University http://mr.hanyang.ac.kr
  26. 26. Invariance to Image Coordinate Transformations 1.한 이미지에 변환 T를 가했을 경우 2.다른 한 이미지는 T’로 보일것 3.이를 이용해 H를 찾을 수 있다 ● 이때, 알고리즘에 의해 영향을 받으면 안되어 야함Mixed Reality Laboratory | Hanyang University http://mr.hanyang.ac.kr
  27. 27. Non-invariance ● 변환을 가했을 경우, H와 H’은 서로 같은 조건 인가? ● H와 H’은 1:1 대응이 아닐 수 있음 ● Transform의 전후 관계에 따라 H가 다르게 나올 수 있다Mixed Reality Laboratory | Hanyang University http://mr.hanyang.ac.kr
  28. 28. Invariance of Geometric Error ● Euclidean Transformation T, T’을 사용한 경 우 ● Euclidean Distance는 Euclidean Transformation에 영향을 받지 않으므로 성 립 ● H는 결국 Geometric Error가 동일하게 수렴 하므로 InvarientMixed Reality Laboratory | Hanyang University http://mr.hanyang.ac.kr
  29. 29. Normalizing Transformations ● DLT Algorithm을 적용하기 전에 사용 ● SVD 분해를 할 때 극단적으로 값이 달라서 Round-Off Error가 커질 수 있음 ● Point Near Infinity의 경우 힘듬 1.Centroid가 원점에 가도록 Translate 2.원점으로부터 평균 거리가 가 되도록 Scale 3.두 이미지에 각각 적용Mixed Reality Laboratory | Hanyang University http://mr.hanyang.ac.kr
  30. 30. Normalized DLT for 2D HomographiesMixed Reality Laboratory | Hanyang University http://mr.hanyang.ac.kr
  31. 31. Iterative Minimization MethodsMixed Reality Laboratory | Hanyang University http://mr.hanyang.ac.kr
  32. 32. Iterative Minimization Method ● Minimize Cost Function에 필요한 기법 ● Cons : 느림, Initial Estimate 문제, Local Minimum 문제, Stop 조건 문제 ● Iterative하게 Implement시 주의할 점이 더 필요함Mixed Reality Laboratory | Hanyang University http://mr.hanyang.ac.kr
  33. 33. Technique of Iterative Minimization ● Cost Function – Minimization에 대한 지표 ● Parametrization – Finite # of Parameters ● Function Specification – Parameters에 대한 Function 정의 ● Initialization – 초기값 추정 (보통 Linear Algorithm 이용) ● Iteration ● Cost Function에 따라 점점 정확해져야함Mixed Reality Laboratory | Hanyang University http://mr.hanyang.ac.kr
  34. 34. Initialization ● Normalized DLT Algorithm으로 직접 구하기 – Outlier를 가진 경우 ● Robust Estimation으로 구하기 ● Dense Sampling of Parameter Space ● Fixed Point in Parameter SpaceMixed Reality Laboratory | Hanyang University http://mr.hanyang.ac.kr
  35. 35. Golden Standard Algorithm + Sampson ErrorMixed Reality Laboratory | Hanyang University http://mr.hanyang.ac.kr
  36. 36. Robust EstimationMixed Reality Laboratory | Hanyang University http://mr.hanyang.ac.kr
  37. 37. Robust Estimation ● 단순히 점들을 이용하는 경우, 선별한 점이 Mismatch할 가능성이 있음 (Outlier 정보들) ● 목표 : Inlier에 해당하는 집합을 찾아(추정)보 자Mixed Reality Laboratory | Hanyang University http://mr.hanyang.ac.kr
  38. 38. RANSAC ● 장점 : 많은 Outlier를 가지고 있어도 사용가 능 1.점 2개를 무작위로 선택 (Line을 이루게됨) 2.일정 Distance 내에 있는 Point의 수를 기록 3.위 과정을 반복한 후, 가장 많은 Point를 내포 하고 있는 것을 Robust Fit으로 사용 & 내포 된 Point들은 InlierMixed Reality Laboratory | Hanyang University http://mr.hanyang.ac.kr
  39. 39. RANSAC Robust AlgorithmMixed Reality Laboratory | Hanyang University http://mr.hanyang.ac.kr
  40. 40. RANSAC Problems ● 일정 Distance에 대한 판별 – Error Probability Distribution (DOF, Variance) ● Sample 개수 – 확률모델 이용( ) ● Acceptable Consensus Set? –Mixed Reality Laboratory | Hanyang University http://mr.hanyang.ac.kr
  41. 41. Robust Maximum Likelihood Estimation ● RANSAC으로 찾아낸 Inlier들을 이용하여 re- estimate를 하자. – Inlier들 중에서 Optimal한 값을 추려냄 – ML Cost Function을 Minimize ● Robust Cost Function – 전체 Data에 대한 적당한 Cost FunctionMixed Reality Laboratory | Hanyang University http://mr.hanyang.ac.kr
  42. 42. Automatic Computation of a HomographyMixed Reality Laboratory | Hanyang University http://mr.hanyang.ac.kr

×