Catadioptric stereo

2. ‫سیست‬‫ر‬‫پوال‬‫اپی‬ ‫هندسه‬‫م‬
‫کاتادیوپتری‬ ‫ی‬‫استریو‬‫ک‬
Epipolar geometry of
catadioptric stereo
system

3. Epipolar geometry of catadioptric stereo system
Catoptric(‫)انعکاسی‬ + dioptric(‫)شکست‬ = catadioptric
-‫آینه‬ ‫شامل‬ ‫نوری‬ ‫سیستم‬‫یک‬‫ایش‬‫ر‬‫تعداد،آ‬ ‫با‬‫ها‬
‫مختلف‬‫انواع‬ ‫و‬
-‫تحدب‬‫ای‬‫ر‬‫دا‬ ‫یا‬‫ای‬‫صفحه‬‫آینه‬
-‫بخاطر‬‫انحنادار‬‫های‬‫آینه‬fov‫باال‬
(Southwell et al and Cabral et al)

4. Epipolar geometry of catadioptric stereo system
-‫به‬ ‫سیدن‬‫ر‬‫جهت‬ ‫تصویر‬ ‫دو‬‫به‬‫نیاز‬structure‫تقاطع‬ ‫با‬ ‫ضه‬‫ر‬‫عا‬‫از‬‫صحنه‬‫یک‬
-‫روش‬‫ل‬‫معمو‬:
-‫سال‬‫از‬ ‫شروع‬1981
(H.C. Longuet-Higgins, A computer algorithm for reconstructing a scene from two projections, Nature 293 (1981))
-‫در‬ ‫شات‬ ‫دو‬‫اخذ‬‫دولحظه‬
-‫ماتریس‬ ‫از‬ ‫استفاده‬P‫و‬F

5. Epipolar geometry of catadioptric stereo system
-‫فضا‬ ‫دو‬ ‫بین‬ ‫رابط‬ ‫ریاضی‬ ‫مدل‬
-‫ماتریس‬F‫متناظر‬𝑃∝(‫توسط‬Zhang and Xu)
-‫ماتریس‬ ‫های‬‫المان‬ ‫کاهش‬p
‫در‬‫هندسه‬‫افاین‬(‫میانگین‬ ‫عمق‬ ‫از‬ ‫کمتر‬ ‫عمق‬ ‫تغییرات‬)

6. Epipolar geometry of catadioptric stereo system
‫در‬(planar catadioptric stereo system)pcs:
-‫اخذ‬‫لحظه‬ ‫یک‬ ‫در‬ ‫شات‬ ‫یک‬ ‫با‬ ‫استریو‬ ‫تصویر‬‫در‬pcs
‫مجازی‬ ‫دوربین‬ ‫در‬ ‫تولیدی‬ ‫تصاویر‬ ‫بوسیله‬
-‫اولین‬‫روی‬ ‫مطالعات‬‫توسط‬ ‫موضوع‬ ‫این‬
Gluckman and Nayar
-‫ماتریس‬ ‫عناصر‬ ‫کاهش‬F‫به‬6‫به‬ ‫توجه‬ ‫بدون‬
‫مقاله‬ ‫در‬ ‫ها‬‫آینه‬ ‫آرایش‬ ‫قید‬Gluckman and Nayar
- J. Gluckman, S.K. Nayar, Catadioptric stereo using planar mirrors, International Journal of Computer
Vision 44 (1) (2001) 65–79.
- J. Gluckman, S.K. Nayar, A real-time catadioptric stereo system using planar mirrors, in: Proceedings
of the 1998 DARPA Image Understanding Workshop,1998, pp. 309–313.

7. Epipolar geometry of catadioptric stereo system
‫در‬ ‫ها‬‫آینه‬ ‫مختلف‬ ‫آرایش‬cs:
a. A. Goshtasby, W.A. Gruver, Design of a single-lens
stereo camera system,Pattern Recognition 26 (1993)
b. Gluckman, S.K. Nayar, Catadioptric stereo using planar
mirrors, International Journal of Computer Vision (2001)
c. M. Inaba, T. Hara, H. Inoue, A stereo viewer based on a
Single camera with view-control mechanism, in:
Proceedings of International Conference on
Robots and Systems, 1993.
-‫ای‬‫نمونه‬‫از‬cs‫مرکزی‬‫شده‬‫ساخته‬‫هذلولوی‬ ‫آینه‬ ‫با‬

8. Epipolar geometry of catadioptric stereo system
‫نسبی‬ ‫توجیه‬pcs‫دوربین‬ ‫بین‬ ‫آینه‬ ‫دو‬ ‫با‬real‫و‬visual:

9. Epipolar geometry of catadioptric stereo system
‫نسبی‬ ‫توجیه‬pcs‫بین‬ ‫آینه‬ ‫دو‬ ‫با‬‫دوربین‬ ‫دو‬visual:

10. Epipolar geometry of catadioptric stereo system
-‫عمود‬‫بر‬ ‫دوران‬ ‫محور‬ ‫بودن‬‫صفحه‬‫راستای‬ ‫دربردارنده‬‫انتقال‬
-‫توسط‬ ‫ویژگی‬ ‫این‬ ‫از‬ ‫استفاده‬Gluckman and Nayar
‫ماتریس‬ ‫برای‬ ‫قید‬ ‫عنوان‬ ‫به‬F‫در‬PCS
-‫کاهش‬‫پارامترهای‬F‫به‬6‫این‬ ‫توسط‬‫قید‬(‫ها‬‫آینه‬ ‫چیدمان‬ ‫به‬ ‫توجه‬ ‫بدون‬)
-‫افق‬ ‫صفحه‬ ‫بر‬ ‫عمود‬ ‫صفحه‬ ‫در‬ ‫ها‬‫آینه‬
‫باشند‬(x-z)
-‫دیگر‬ ‫قیود‬:-M1//M2, M3//M4‫محور‬ ‫بودن‬ ‫عمود‬ ‫و‬
‫تقاطع‬ ‫بر‬ ‫دوربین‬ ‫نوری‬M2, M3
‫تصایر‬
‫اخذ‬ ‫استریوی‬
‫شده‬
rectify‫اند‬‫شده‬.

11. Epipolar geometry of catadioptric stereo system
-‫تصویر‬ ‫هندسه‬ ‫قبل‬ ‫صفحه‬ ‫شروط‬ ‫ارضا‬ ‫با‬‫است‬ ‫افاین‬‫یعنی‬
-‫از‬ ‫کمتر‬ ‫تغییرات‬5‫است‬ ‫اغماض‬ ‫قابل‬ ‫درجه‬.
-‫ماتریس‬ ‫های‬‫المان‬ ‫کاهش‬𝑃∝‫به‬4
-‫انتقال‬ ‫بردار‬ ‫و‬ ‫ها‬‫آینه‬ ‫سطوح‬ ‫نرمال‬ ‫بردارهای‬ ‫شکل‬ ‫به‬ ‫توجه‬ ‫با‬
‫مولفه‬y‫ندارند‬.
-‫المان‬‫های‬R‫از‬ ‫تابعی‬𝑛𝑖,𝑗
-‫ماتریسی‬ ‫فرم‬ ‫به‬ ‫انتقال‬ ‫ماتریس‬ ‫نوشتن‬ ‫با‬
-‫فرضیات‬ ‫با‬0 = 𝞠x= 𝞠y‫شود‬‫می‬ ‫تر‬‫ساده‬ ‫کار‬

12. Epipolar geometry of catadioptric stereo system
‫هندسه‬ ‫مزایای‬‫افاین‬:rank(F∝)<=2 -(‫نیاز‬ ‫عدم‬‫تعریف‬ ‫به‬‫جهت‬ ‫قید‬
‫رفع‬singularity)
-consistenty‫سادگی‬ ‫و‬ ‫بیشتر‬
‫کمتر‬ ‫پارامترهای‬ ‫با‬ ‫محاسباتی‬
-rectify‫بهتر‬(‫غیرمستقیم‬ ‫تاثیر‬)
‫ماتریس‬ ‫محاسبه‬F:
-‫به‬ ‫نیاز‬ ‫کلی‬ ‫حالت‬ ‫در‬7‫نقطه‬
-‫افاین‬ ‫برای‬4‫نقطه‬
-‫مختلف‬ ‫برآوردگرهای‬ ‫از‬ ‫استفاده‬
‫محاسبه‬ ‫در‬F
-‫مقایسه‬20‫مقاله‬ ‫در‬ ‫روش‬
Epipolar geometry of catadioptric stereo systems with planar mirrors
Hsien-Huang P. Wua,*, Meng-Tu Lee a,b, Ping-Kuo Wengc, Soon-Lin Chen c,2009

13. Epipolar geometry of catadioptric stereo system
-‫جزئیات‬20‫در‬ ‫روش‬
X. Armangué, J. Salvi, Overall view regarding fundamental matrix estimation,
Image and Vision Computing 21 (2003) 205–220
-‫استفاده‬‫در‬ ‫موجود‬ ‫کدهای‬ ‫از‬‫سایت‬‫وب‬Armangue’s
-‫معیار‬‫ارزیابی‬:-‫فاصله‬‫اپی‬ ‫خط‬ ‫و‬ ‫نقاط‬ ‫بین‬‫پوالر‬
-‫نتیجه‬rectifying‫خطوط‬ ‫توازی‬ ‫و‬

14. Epipolar geometry of catadioptric stereo system
-‫ترسیم‬ ‫و‬ ‫تصویر‬ ‫اخذ‬‫پوالر‬‫اپی‬ ‫خطوط‬‫محیط‬ ‫سه‬ ‫در‬
‫کتابخانه‬‫و‬‫نما‬‫آب‬‫محیط‬ ‫و‬‫داخلی‬
-‫ها‬‫داده‬ ‫از‬ ‫دسته‬ ‫دو‬ ‫برای‬ ‫آزمایشات‬ ‫انجام‬(test-terrain)

15. Epipolar geometry of catadioptric stereo system
-‫گرچه‬d20‫کوچکترین‬
‫نیست‬‫ولی‬‫در‬‫سه‬
‫جفت‬‫تصویر‬‫دارای‬
‫دقت‬‫زیر‬‫پیکسل‬‫نیم‬
‫است‬.4‫پارامتر‬
‫برآوردگر‬ML affine
‫نسبت‬‫به‬7‫پارامتر‬
19‫روش‬‫دیگر‬‫درستی‬
‫مدل‬‫افاین‬‫را‬‫برای‬
PCS‫اثبات‬‫کند‬‫می‬.
-‫مقدار‬𝑑 𝑘‫به‬⩟ 𝑧 𝑧𝑚𝑎𝑥
(‫کمتر‬‫دقت‬‫بهتر‬)
-‫برای‬‫های‬‫داده‬test،
‫برآوردگر‬ML affine
‫دارای‬‫دقت‬‫زیر‬1‫پیکسل‬
‫معیار‬ ‫با‬ ‫مقایسه‬
‫فاصله‬

16. Epipolar geometry of catadioptric stereo system
‫معیار‬ ‫با‬ ‫مقایسه‬rectifying:
-‫کمک‬rectifying‫مچینگ‬ ‫پروسه‬ ‫به‬
-Gluckman and Nayar‫روش‬Hartley‫دادند‬ ‫پیشنهاد‬ ‫را‬.
-
‫تصویر‬ ‫داخل‬:rectification fails
-Epipole‫تصویر‬ ‫نزدیک‬:greatly distorted
-‫پاراالکس‬ ‫حذف‬y‫با‬rectirying

17. Epipolar geometry of catadioptric stereo system
-‫انجام‬rectifying‫با‬‫های‬‫روش‬12-16-20
-‫برآوردگر‬ML affine‫در‬ ‫روش‬ ‫بهترین‬
‫است‬. rectifying

18. Epipolar geometry of catadioptric stereo system
‫کاربردها‬:
1-‫پزشکی‬
 An endoscopic 3D scanner based on structured light Christoph Schmalz a,b,, Frank Forster b, Anton
Schick b, Elli Angelopoulou a,2012
‫از‬ ‫استفاده‬‫کاتادیوپتریک‬ ‫دوربین‬ ‫دارای‬ ‫سنسور‬‫نور‬ ‫و‬
‫ساختاریافته‬

19. Epipolar geometry of catadioptric stereo system
-‫اندازی‬‫راه‬‫روده‬ ‫فانتوم‬ ‫برای‬ ‫آزمایشی‬‫بزرگ‬
-‫بره‬ ‫بدن‬ ‫روی‬ ‫آزمایشی‬ ‫نمونه‬

20. Epipolar geometry of catadioptric stereo system
2-‫رباتیک‬(‫ربات‬kuka)
 Planar mirrors for image-based robot localization and 3-D reconstruction Gian Luca Mariottini a,
Stefano Scheggi b, Fabio Morbidi a, Domenico Prattichizzo,2011

21. Epipolar geometry of catadioptric stereo system

22. Epipolar geometry of catadioptric stereo system

23. Epipolar geometry of catadioptric stereo system
3-slam
 Visual SLAM by Single-Camera Catadioptric Stereo Jungho Kim, Kuk-Jin Yoon, Jun-Sik Kim and Inso
Kweon Department of Electrical Engineering, Korea Advanced Institute of Science and Technology,
Daejeon, Korea,2006

24. Epipolar geometry of catadioptric stereo system

25. Epipolar geometry of catadioptric stereo system
4-UAV
 Omnidirectional vision applied to Unmanned Aerial Vehicles (UAVs) attitude and heading
estimation Iván F. Mondragón, Pascual Campoy, Carol Martinez, Miguel Olivares,2010

26. Epipolar geometry of catadioptric stereo system

27. Epipolar geometry of catadioptric stereo system

28. Epipolar geometry of catadioptric stereo system

29. Epipolar geometry of catadioptric stereo system
 A Single−Camera Omni−Stereo Vision System for 3D Perception of Micro Aerial Vehicles (MAVs)
Carlos Jaramillo, Ling Guo, and Jizhong Xiao∗ Senior Member, IEEE

30. Epipolar geometry of catadioptric stereo system

31. Epipolar geometry of catadioptric stereo system
4-CATOPSYS (CATadiOptric Projection SYStems for virtual and mixed reality)
 http://isit.u-clermont1.fr/en/content/CATOPSYS-CATadiOptric-Projection-SYStems-virtual-and-
mixed-reality
o ISIT members:
o Christophe Lohou
o Laurent Sarry
o Partners:
o University of Auvergne (coordination)
o University of the Littoral Opal Coast
(LIL) -- Christophe Renaud, François Rousselle
o University Pierre and Marie Curie (ISIR) –
Ryad Benosman, Sio-Hoï Ieng
o ANR-funded 45 monthes project on affordable
self-calibrating panoramic projection systems for virtual
reality (December 2006 to August 2010) - completed project

32. ‫ی‬‫مدلساز‬3‫بعدی‬(3d modeling)
‫عنوان‬:‫ی‬‫استریو‬‫سیستم‬‫ر‬‫پوال‬‫اپی‬ ‫هندسه‬‫کاتادیوپتریک‬((Epipolar geometry of catadioptric stereo system
‫استاد‬:‫شوساز‬‫ر‬‫و‬ ‫دکتر‬-‫حسینی‬ ‫دکتر‬
‫نده‬‫ر‬‫گردآو‬:‫ادی‬‫ر‬‫م‬‫مهدی‬
‫بهار‬94