Búsqueda de PuntosCorrespondientes Mediante    Técnicas Globales     Victor Hugo Gonzalez                                 ...
Contenido Introducción Problema Propuesta Experimentación y Análisis de Resultados ConclusionesBÚSQUEDA DE PUNTOS COR...
Visión Estéreo Visión Estéreo: recuperación de la tercera dimensión con base en  imágenes  EscenaDirecto  Cámaras        ...
Correspondencia Puntos Correspondientes: proyecciones de un punto particular de la escena,  sobre las imágenes Disparida...
Problema de Correspondencia Estéreo P. C. E.: encontrar, de manera automática, parejas de puntos  correspondientes       ...
Problemas Asociados a la Correspondencia Oclusión                                            ?? Ambigüedad              ...
Proceso de Recuperación de Información 3D Proceso de estimación de disparidades       Entrada                            ...
Restricciones para acotar el problema Restricción Epipolar Restricción de Continuidad Restricción de Unicidad Restricc...
Restricciones para acotar el problema (cont)                        Restricción de Epipolar                     Restricc...
Restricciones para acotar el problema (cont)                        Restricción de Unicidad                     Restricc...
Restricciones para acotar el problema (cont)                        Información de la Escena                     Restric...
Motivación La solución del problema de correspondencia estéreo tiene  múltiples aplicaciones BÚSQUEDA DE PUNTOS CORRESPON...
Modelar el problema      Problema de encontrar la ruta de costo mínimo en un grafo       dirigido                        ...
Cálculo de Matriz de Costo                                         91              [6]                        Ider(1)‫‏‬10...
Cálculo de Matriz de Costo                                     j          2              C(0,0)                       3   ...
Cálculo de Matriz de Costo                                 j          2         3                        C(0,1)           ...
Cálculo de Matriz de Costo                             j          2         3         50                                  ...
Cálculo de Matriz de Costo                             j          2         3         50         62                       ...
Cálculo de Matriz de Costo                                     j          2            3             50    62     15   Iiz...
Cálculo de Matriz de Costo                                  j          2         3             50            62   15   Iiz...
Cálculo de Matriz de Costo                             j          2         3         50           62            15   Iizq...
Cálculo de Matriz de Costo                             j          2         3         50             62            15   Ii...
Cálculo de Matriz de Costo                                     j          2            3             50    62     15   Iiz...
Cálculo de Matriz de Costo                                 j          2         3            50            62   15   Iizq ...
Cálculo de Matriz de Costo                             j          2         3         50           62            15   Iizq...
Cálculo de Matriz de Costo                             j          2         3         50         62        15       Iizq  ...
Cálculo de Matriz de Costo                                     j          2            3             50    62     15   Iiz...
Cálculo de Matriz de Costo                                 j          2         3            50            62    15   Iizq...
Cálculo de Matriz de Costo                             j          2         3         50        62       15   Iizq    50  ...
Cálculo de Matriz de Costo                             j          2         3         50             62        15       Ii...
Asignación de Disparidad                             j          2         3         50             62        15       Iizq...
Asignación de Disparidad                             j          2         3         50             62        15       Iizq...
Asignación de Disparidad                             j          2         3         50             62        15       Iizq...
Asignación de Disparidad                               j          2         3          50                          C(3,3) ...
Asignación de Disparidad                                     j          2         3                50                     ...
Representación de una Matriz de Costo  Línea de Búsqueda Izquierda         Imagen Izquierda  Línea de Búsqueda Derecha[6] ...
Contenido de la Matriz de CostosContenido de la  Matriz MBÚSQUEDA DE PUNTOS CORRESPONDIENTES MEDIANTE TÉCNICAS GLOBALES   37
Objetivos del Trabajo de GradoObjetivo GeneralDesarrollar un componente de Software que realice la búsqueda de puntoscorre...
Propuestas Implementadas   Estimación de Disparidades      DLS          Simplificación de Forstmann [3]          Búsqu...
Dependent Line Search (DLS)                                      Sven Forstmann DLSSe tiene una matriz           Construye...
DLS (cont)                                                          Matching(i,j) = Metrica (AD                           ...
Independent Line Search (ILS)                                          Gabriel Fielding ILS                               ...
ILS (cont)‫‏‬                                                   Co=2                                                   c(i...
Problema de Programación Dinámica                    La inconsistencia entre líneas genera artefactos                    ...
Consecuencias de la Falta de Consistencia Reconstrucción de la imagen derecha a partir de la imagen  izquierda y del mapa...
Propuesta   Double Search (DouS)      Comprobación de consistencia   Propagación de Disparidades      Refinamiento de ...
Double Search (DouS)Imagen de entrada, realizar labúsqueda en los dos sentidos               (a) Mid (b) Mdi (c)‫‏‬M’    B...
DouS                                     Iizq                                            IizqIder                         ...
Refinamiento de Mapas de Disparidad                      (Refine)  Entrada                            Remover             ...
Propagación de Disparidades VerticalmenteBÚSQUEDA DE PUNTOS CORRESPONDIENTES MEDIANTE TÉCNICAS GLOBALES   50
Refinamiento (Refine) Remoción vertical de artefactos      Imagen de Entrada                          Imagen de Salida BÚ...
Refinamiento II (Refine)  Remoción de secciones de estimaciones no confiablesFragmento                                   ...
Refinamiento III (Refine) Propagación de disparidades confiables en zonas de oclusión  BÚSQUEDA DE PUNTOS CORRESPONDIENTE...
Refinamiento IV (Refine)   Propagación en los bordes de la imagenImagen                                                  ...
Evaluación Cuantitativa                                                TSUKUBA    CONES                                   ...
Método de Evaluación                                                                                                      ...
Evaluación Cuantitativa Utilizando DLS              Resultados de DLS utilizando 7 métricas diferentes para la imagen     ...
Evaluación del Refinamiento   Evaluación de DLS e ILS, antes y después de aplicar la etapa de    refine                  ...
Comparación entre Estrategias de                                 Refinamiento    Evaluación de DLS e ILS, antes y después...
Mapas Estimados y ProcesadosImagen       DLS         DLS + refine         ILS         ILS + refine BÚSQUEDA DE PUNTOS CORR...
Compatibilidad del Refinamiento con otras                            propuestas    Evaluación de DP[5], RealTimeGPU[10], ...
Mapas Estimados Por Otras Propuestas y                   Procesados      DP    DP + refine   SO   SO + refine   TreeDP   T...
Evaluación DouS + refine   Evaluación de DLS e ILS, con y sin aplicar la estrategia DouS    junto con el refinamiento    ...
Comparación de DouS + refine    Comparación de propuestas basadas en programación dinámica para     las imágenes de Tsuku...
Mapas Estimados utilizando DouS y                      RefinadosImagen       DLS         DLS + refine         ILS         ...
Mapas Estimados utilizando DouS y         Refinados (Imágenes Sin Ground Truth)                                         Im...
Mapas Estimados utilizando DouS y         Refinados (Imágenes Sin Ground Truth)                                         Im...
Observaciones Finales El margen de error se reduce, al aplicar la etapa de refinamiento a los  mapas de disparidad La es...
Gracias!!BÚSQUEDA DE PUNTOS CORRESPONDIENTES MEDIANTE TÉCNICAS GLOBALES   69
GRACIAS!!BÚSQUEDA DE PUNTOS CORRESPONDIENTES MEDIANTE TÉCNICAS GLOBALES   70
Referencias[1] Birchfield, S., Tomasi, C.: Depth Discontinuities by Pixel-to-Pixel Stereo, Proc. IEEE Int. Conf. Computer ...
Upcoming SlideShare
Loading in …5
×

Búsqueda de Puntos Correspondientes Mediante Técnicas Globales by Gonzalez

440 views
363 views

Published on

Stereo vision is related to the estimation of the depth of a scene captured, simultaneously, from different points of view. A fundamental problem in stereo vision is the search of corresponding points. A pair of corresponding points is formed by the projections of a same point in space. Find pairs of corresponding points allows to estimate the depth through of triangulation. Dynamic Programming is a efficient method for the search of pairs of corresponding points. In this paper are used different aspects of approaches which used Dynamic Programming for the search of pairs of corresponding points

Published in: Education
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total views
440
On SlideShare
0
From Embeds
0
Number of Embeds
2
Actions
Shares
0
Downloads
0
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

Búsqueda de Puntos Correspondientes Mediante Técnicas Globales by Gonzalez

  1. 1. Búsqueda de PuntosCorrespondientes Mediante Técnicas Globales Victor Hugo Gonzalez Ivan M. Cabezas, Ing. Patricia Trujillo, Ph.D Universidad del Valle, Cali – Colombia
  2. 2. Contenido Introducción Problema Propuesta Experimentación y Análisis de Resultados ConclusionesBÚSQUEDA DE PUNTOS CORRESPONDIENTES MEDIANTE TÉCNICAS GLOBALES 2
  3. 3. Visión Estéreo Visión Estéreo: recuperación de la tercera dimensión con base en imágenes EscenaDirecto Cámaras Inverso Imágenes Izq Der BÚSQUEDA DE PUNTOS CORRESPONDIENTES MEDIANTE TÉCNICAS GLOBALES 3
  4. 4. Correspondencia Puntos Correspondientes: proyecciones de un punto particular de la escena, sobre las imágenes Disparidad: desplazamiento entre puntos correspondientes Correspondencia Puntos Correspondientes BÚSQUEDA DE PUNTOS CORRESPONDIENTES MEDIANTE TÉCNICAS GLOBALES 4
  5. 5. Problema de Correspondencia Estéreo P. C. E.: encontrar, de manera automática, parejas de puntos correspondientes Valor de Disparidad BÚSQUEDA DE PUNTOS CORRESPONDIENTES MEDIANTE TÉCNICAS GLOBALES 5
  6. 6. Problemas Asociados a la Correspondencia Oclusión ?? Ambigüedad ???? BÚSQUEDA DE PUNTOS CORRESPONDIENTES MEDIANTE TÉCNICAS GLOBALES 6
  7. 7. Proceso de Recuperación de Información 3D Proceso de estimación de disparidades Entrada Correspondencia Extracción de de Puntos Puntos Iniciales Iniciales Izq Der Calibración y Rectificación Salida Estimación Mapas de Refinamiento Densa de Disparidad Disparidad BÚSQUEDA DE PUNTOS CORRESPONDIENTES MEDIANTE TÉCNICAS GLOBALES 7
  8. 8. Restricciones para acotar el problema Restricción Epipolar Restricción de Continuidad Restricción de Unicidad Restricción Bidireccional Información de la Escena Restricción de Orden BÚSQUEDA DE PUNTOS CORRESPONDIENTES MEDIANTE TÉCNICAS GLOBALES 8
  9. 9. Restricciones para acotar el problema (cont)  Restricción de Epipolar  Restricción de ContinuidadBÚSQUEDA DE PUNTOS CORRESPONDIENTES MEDIANTE TÉCNICAS GLOBALES 9
  10. 10. Restricciones para acotar el problema (cont)  Restricción de Unicidad  Restricción BidireccionalBÚSQUEDA DE PUNTOS CORRESPONDIENTES MEDIANTE TÉCNICAS GLOBALES 10
  11. 11. Restricciones para acotar el problema (cont)  Información de la Escena  Restricción de OrdenBÚSQUEDA DE PUNTOS CORRESPONDIENTES MEDIANTE TÉCNICAS GLOBALES 11
  12. 12. Motivación La solución del problema de correspondencia estéreo tiene múltiples aplicaciones BÚSQUEDA DE PUNTOS CORRESPONDIENTES MEDIANTE TÉCNICAS GLOBALES 12
  13. 13. Modelar el problema  Problema de encontrar la ruta de costo mínimo en un grafo dirigido 187 106 98 91 98 [6] 91 187 106 102 ...... ........... 117Iizq(0)‫ ‏‬Iizq(1)‫‏‬ Iizq(j)‫‏‬ Iizq(m)‫‏‬ [6] Middlebury University stereo vision web site, http://vision.middlebury.edu/stereo, 2010 BÚSQUEDA DE PUNTOS CORRESPONDIENTES MEDIANTE TÉCNICAS GLOBALES 13
  14. 14. Cálculo de Matriz de Costo 91 [6] Ider(1)‫‏‬106Iizq(1)‫‏‬ BÚSQUEDA DE PUNTOS CORRESPONDIENTES MEDIANTE TÉCNICAS GLOBALES 14
  15. 15. Cálculo de Matriz de Costo j 2 C(0,0) 3 C(0,1) 50 62 15 Iizq 50 1 2‫‏‬ 3 4‫‏‬ 5‫‏‬ C(1,0) C(1,1) 60 𝑚𝑖𝑛𝑖𝑚𝑜 = min( 𝐶 0,0 , 𝐶 0,1 , 𝐶(1,0)) 62 2‫‏‬ 𝐷𝑖𝑓𝑒𝑟𝑒𝑛𝑐𝑖𝑎 = 𝐴𝐷 𝐼 𝑖𝑧𝑞 𝑦, 1 , 𝐼 𝑑𝑒𝑟 𝑦, 1i 15 3 𝐶 1,1 = 𝑚𝑖𝑛𝑖𝑚𝑜 + 𝐷𝑖𝑓𝑒𝑟𝑒𝑛𝑐𝑖𝑎 7 4 5Ider 5 F BÚSQUEDA DE PUNTOS CORRESPONDIENTES MEDIANTE TÉCNICAS GLOBALES 15
  16. 16. Cálculo de Matriz de Costo j 2 3 C(0,1) 50 C(0,2) 62 15 Iizq 50 1 2‫‏‬ 3 4‫‏‬ 5‫‏‬ C(1,1) C(1,2) 60 14 𝑚𝑖𝑛𝑖𝑚𝑜 = min( 𝐶 1,1 , 𝐶 0,1 , 𝐶(0,2)) 62 2‫‏‬ 𝐷𝑖𝑓𝑒𝑟𝑒𝑛𝑐𝑖𝑎 = 𝐴𝐷 𝐼 𝑖𝑧𝑞 𝑦, 1 , 𝐼 𝑑𝑒𝑟 𝑦, 2i 15 3 𝐶 1, 𝟐 = 𝑚𝑖𝑛𝑖𝑚𝑜 + 𝐷𝑖𝑓𝑒𝑟𝑒𝑛𝑐𝑖𝑎 7 4Ider5 5 F BÚSQUEDA DE PUNTOS CORRESPONDIENTES MEDIANTE TÉCNICAS GLOBALES 16
  17. 17. Cálculo de Matriz de Costo j 2 3 50 C(0,2) 62 C(0,3) 15 Iizq 50 1 2‫‏‬ 3 4‫‏‬ 5‫‏‬ C(1,2) C(1,3) 60 14 3 𝑚𝑖𝑛𝑖𝑚𝑜 = min( 𝐶 0,3 , 𝐶 1,2 , 𝐶(0,2)) 62 2‫‏‬ 𝐷𝑖𝑓𝑒𝑟𝑒𝑛𝑐𝑖𝑎 = 𝐴𝐷 𝐼 𝑖𝑧𝑞 𝑦, 1 , 𝐼 𝑑𝑒𝑟 𝑦, 3i 15 3 𝐶 1, 𝟑 = 𝑚𝑖𝑛𝑖𝑚𝑜 + 𝐷𝑖𝑓𝑒𝑟𝑒𝑛𝑐𝑖𝑎 7 4Ider5 5 F BÚSQUEDA DE PUNTOS CORRESPONDIENTES MEDIANTE TÉCNICAS GLOBALES 17
  18. 18. Cálculo de Matriz de Costo j 2 3 50 62 C(0,3) 15 C(0,4) Iizq 50 1 2‫‏‬ 3 4‫‏‬ 5‫‏‬ C(1,3) C(1,4) 60 14 3 50 𝑚𝑖𝑛𝑖𝑚𝑜 = min( 𝐶 0,3 , 𝐶 1,3 , 𝐶(0,4)) 62 2‫‏‬ 𝐷𝑖𝑓𝑒𝑟𝑒𝑛𝑐𝑖𝑎 = 𝐴𝐷 𝐼 𝑖𝑧𝑞 𝑦, 1 , 𝐼 𝑑𝑒𝑟 𝑦, 4i 15 3 𝐶 1, 𝟒 = 𝑚𝑖𝑛𝑖𝑚𝑜 + 𝐷𝑖𝑓𝑒𝑟𝑒𝑛𝑐𝑖𝑎 7 4Ider5 5 F BÚSQUEDA DE PUNTOS CORRESPONDIENTES MEDIANTE TÉCNICAS GLOBALES 18
  19. 19. Cálculo de Matriz de Costo j 2 3 50 62 15 Iizq 50 1 2‫‏‬ 3 4‫‏‬ 5‫‏‬ C(1,0) C(1,1) 60 14 3 50 𝑚𝑖𝑛𝑖𝑚𝑜 = min( 𝐶 1,0 , 𝐶 1,1 , 𝐶(2,0)) 62 2‫‏‬ 𝐷𝑖𝑓𝑒𝑟𝑒𝑛𝑐𝑖𝑎 = 𝐴𝐷 𝐼 𝑖𝑧𝑞 𝑦, 2 , 𝐼 𝑑𝑒𝑟 𝑦, 1 C(2,0) C(2,1)i 15 3 14 𝐶 𝟐, 1 = 𝑚𝑖𝑛𝑖𝑚𝑜 + 𝐷𝑖𝑓𝑒𝑟𝑒𝑛𝑐𝑖𝑎 7 4Ider5 5 F BÚSQUEDA DE PUNTOS CORRESPONDIENTES MEDIANTE TÉCNICAS GLOBALES 19
  20. 20. Cálculo de Matriz de Costo j 2 3 50 62 15 Iizq 50 1 2‫‏‬ 3 4‫‏‬ 5‫‏‬ C(1,1) C(1,2) 60 14 3 50 𝑚𝑖𝑛𝑖𝑚𝑜 = min( 𝐶 1,2 , 𝐶 1,1 , 𝐶(2,1)) 62 2‫‏‬ 𝐷𝑖𝑓𝑒𝑟𝑒𝑛𝑐𝑖𝑎 = 𝐴𝐷 𝐼 𝑖𝑧𝑞 𝑦, 2 , 𝐼 𝑑𝑒𝑟 𝑦, 2 C(2,1) C(2,2)i 15 3 14 49 𝐶 𝟐, 𝟐 = 𝑚𝑖𝑛𝑖𝑚𝑜 + 𝐷𝑖𝑓𝑒𝑟𝑒𝑛𝑐𝑖𝑎 7 4Ider5 5 F BÚSQUEDA DE PUNTOS CORRESPONDIENTES MEDIANTE TÉCNICAS GLOBALES 20
  21. 21. Cálculo de Matriz de Costo j 2 3 50 62 15 Iizq 50 1 2‫‏‬ 3 4‫‏‬ 5‫‏‬ C(1,2) C(1,3) 60 14 3 50 𝑚𝑖𝑛𝑖𝑚𝑜 = min( 𝐶 1,2 , 𝐶 1,3 , 𝐶(2,2)) 62 2‫‏‬ 𝐷𝑖𝑓𝑒𝑟𝑒𝑛𝑐𝑖𝑎 = 𝐴𝐷 𝐼 𝑖𝑧𝑞 𝑦, 2 , 𝐼 𝑑𝑒𝑟 𝑦, 3 C(2,2) C(2,3)i 15 3 14 49 50 𝐶 2,3 = 𝑚𝑖𝑛𝑖𝑚𝑜 + 𝐷𝑖𝑓𝑒𝑟𝑒𝑛𝑐𝑖𝑎 7 4Ider5 5 F BÚSQUEDA DE PUNTOS CORRESPONDIENTES MEDIANTE TÉCNICAS GLOBALES 21
  22. 22. Cálculo de Matriz de Costo j 2 3 50 62 15 Iizq 50 1 2‫‏‬ 3 4‫‏‬ 5‫‏‬ C(1,3) C(1,4) 60 14 3 50 𝑚𝑖𝑛𝑖𝑚𝑜 = min( 𝐶 1,3 , 𝐶 1,4 , 𝐶(2,3)) 62 2‫‏‬ 𝐷𝑖𝑓𝑒𝑟𝑒𝑛𝑐𝑖𝑎 = 𝐴𝐷 𝐼 𝑖𝑧𝑞 𝑦, 2 , 𝐼 𝑑𝑒𝑟 𝑦, 4 C(2,3) C(2,4)i 15 3 14 49 50 3 𝐶 𝟐, 𝟒 = 𝑚𝑖𝑛𝑖𝑚𝑜 + 𝐷𝑖𝑓𝑒𝑟𝑒𝑛𝑐𝑖𝑎 7 4Ider5 5 F BÚSQUEDA DE PUNTOS CORRESPONDIENTES MEDIANTE TÉCNICAS GLOBALES 22
  23. 23. Cálculo de Matriz de Costo j 2 3 50 62 15 Iizq 50 1 2‫‏‬ 3 4‫‏‬ 5‫‏‬ 60 14 3 50 𝑚𝑖𝑛𝑖𝑚𝑜 = min( 𝐶 2,0 , 𝐶 2,1 , 𝐶(3,0)) 62 2‫‏‬ 𝐷𝑖𝑓𝑒𝑟𝑒𝑛𝑐𝑖𝑎 = 𝐴𝐷 𝐼 𝑖𝑧𝑞 𝑦, 3 , 𝐼 𝑑𝑒𝑟 𝑦, 1 C(2,0) C(2,1)i 15 3 14 49 50 3 𝐶 𝟑, 1 = 𝑚𝑖𝑛𝑖𝑚𝑜 + 𝐷𝑖𝑓𝑒𝑟𝑒𝑛𝑐𝑖𝑎 C(3,0) C(3,1) 7 4 7Ider5 5 F BÚSQUEDA DE PUNTOS CORRESPONDIENTES MEDIANTE TÉCNICAS GLOBALES 23
  24. 24. Cálculo de Matriz de Costo j 2 3 50 62 15 Iizq 50 1 2‫‏‬ 3 4‫‏‬ 5‫‏‬ 60 14 3 50 𝑚𝑖𝑛𝑖𝑚𝑜 = min( 𝐶 2,2 , 𝐶 2,1 , 𝐶(3,1)) 62 2‫‏‬ 𝐷𝑖𝑓𝑒𝑟𝑒𝑛𝑐𝑖𝑎 = 𝐴𝐷 𝐼 𝑖𝑧𝑞 𝑦, 3 , 𝐼 𝑑𝑒𝑟 𝑦, 2 C(2,1) C(2,2)i 15 3 14 49 50 3 𝐶 𝟑, 𝟐 = 𝑚𝑖𝑛𝑖𝑚𝑜 + 𝐷𝑖𝑓𝑒𝑟𝑒𝑛𝑐𝑖𝑎 C(3,1) C(3,2) 7 4 7 50Ider5 5 F BÚSQUEDA DE PUNTOS CORRESPONDIENTES MEDIANTE TÉCNICAS GLOBALES 24
  25. 25. Cálculo de Matriz de Costo j 2 3 50 62 15 Iizq 50 1 2‫‏‬ 3 4‫‏‬ 5‫‏‬ 60 14 3 50 𝑚𝑖𝑛𝑖𝑚𝑜 = min( 𝐶 2,2 , 𝐶 2,3 , 𝐶(3,2)) 62 2‫‏‬ 𝐷𝑖𝑓𝑒𝑟𝑒𝑛𝑐𝑖𝑎 = 𝐴𝐷 𝐼 𝑖𝑧𝑞 𝑦, 3 , 𝐼 𝑑𝑒𝑟 𝑦, 2 C(2,2) C(2,3)i 15 3 14 49 50 3 𝐶 𝟑, 𝟑 = 𝑚𝑖𝑛𝑖𝑚𝑜 + 𝐷𝑖𝑓𝑒𝑟𝑒𝑛𝑐𝑖𝑎 C(3,2) C(3,3) 7 4 7 50 104Ider5 5 F BÚSQUEDA DE PUNTOS CORRESPONDIENTES MEDIANTE TÉCNICAS GLOBALES 25
  26. 26. Cálculo de Matriz de Costo j 2 3 50 62 15 Iizq 50 1 2‫‏‬ 3 4‫‏‬ 5‫‏‬ 60 14 3 50 𝑚𝑖𝑛𝑖𝑚𝑜 = min( 𝐶 2,3 , 𝐶 2,4 , 𝐶(3,3)) 62 2‫‏‬ 𝐷𝑖𝑓𝑒𝑟𝑒𝑛𝑐𝑖𝑎 = 𝐴𝐷 𝐼 𝑖𝑧𝑞 𝑦, 3 , 𝐼 𝑑𝑒𝑟 𝑦, 4 C(2,3) C(2,4)i 15 3 14 49 50 3 𝐶 𝟑, 𝟒 = 𝑚𝑖𝑛𝑖𝑚𝑜 + 𝐷𝑖𝑓𝑒𝑟𝑒𝑛𝑐𝑖𝑎 C(3,3) C(3,4) 7 4 7 50 104 11Ider5 5 F BÚSQUEDA DE PUNTOS CORRESPONDIENTES MEDIANTE TÉCNICAS GLOBALES 26
  27. 27. Cálculo de Matriz de Costo j 2 3 50 62 15 Iizq 50 1 2‫‏‬ 3 4‫‏‬ 5‫‏‬ 60 14 3 50 𝑚𝑖𝑛𝑖𝑚𝑜 = min( 𝐶 3,0 , 𝐶 3,1 , 𝐶(4,0)) 62 2‫‏‬ 𝐷𝑖𝑓𝑒𝑟𝑒𝑛𝑐𝑖𝑎 = 𝐴𝐷 𝐼 𝑖𝑧𝑞 𝑦, 4 , 𝐼 𝑑𝑒𝑟 𝑦, 1i 15 3 14 49 50 3 𝐶 𝟒, 1 = 𝑚𝑖𝑛𝑖𝑚𝑜 + 𝐷𝑖𝑓𝑒𝑟𝑒𝑛𝑐𝑖𝑎 C(3,0) C(3,1) 7 4 7 50 104 11 C(4,0) C(4,1)Ider5 5 6 F BÚSQUEDA DE PUNTOS CORRESPONDIENTES MEDIANTE TÉCNICAS GLOBALES 27
  28. 28. Cálculo de Matriz de Costo j 2 3 50 62 15 Iizq 50 1 2‫‏‬ 3 4‫‏‬ 5‫‏‬ 60 14 3 50 𝑚𝑖𝑛𝑖𝑚𝑜 = min( 𝐶 4,1 , 𝐶 3,1 , 𝐶(3,2)) 62 2‫‏‬ 𝐷𝑖𝑓𝑒𝑟𝑒𝑛𝑐𝑖𝑎 = 𝐴𝐷 𝐼 𝑖𝑧𝑞 𝑦, 4 , 𝐼 𝑑𝑒𝑟 𝑦, 2i 15 3 14 49 50 3 𝐶 𝟒, 𝟐 = 𝑚𝑖𝑛𝑖𝑚𝑜 + 𝐷𝑖𝑓𝑒𝑟𝑒𝑛𝑐𝑖𝑎 C(3,1) C(3,2) 7 4 7 50 104 11 C(4,1) C(4,2)Ider5 5 6 51 F BÚSQUEDA DE PUNTOS CORRESPONDIENTES MEDIANTE TÉCNICAS GLOBALES 28
  29. 29. Cálculo de Matriz de Costo j 2 3 50 62 15 Iizq 50 1 2‫‏‬ 3 4‫‏‬ 5‫‏‬ 60 14 3 50 𝑚𝑖𝑛𝑖𝑚𝑜 = min( 𝐶 4,2 , 𝐶 3,3 , 𝐶(3,2)) 62 2‫‏‬ 𝐷𝑖𝑓𝑒𝑟𝑒𝑛𝑐𝑖𝑎 = 𝐴𝐷 𝐼 𝑖𝑧𝑞 𝑦, 4 , 𝐼 𝑑𝑒𝑟 𝑦, 3i 15 3 14 49 50 3 𝐶 𝟒, 𝟑 = 𝑚𝑖𝑛𝑖𝑚𝑜 + 𝐷𝑖𝑓𝑒𝑟𝑒𝑛𝑐𝑖𝑎 C(3,2) C(3,3) 7 4 7 50 104 11 C(4,2) C(4,3)Ider5 5 6 51 107 F BÚSQUEDA DE PUNTOS CORRESPONDIENTES MEDIANTE TÉCNICAS GLOBALES 29
  30. 30. Cálculo de Matriz de Costo j 2 3 50 62 15 Iizq 50 1 2‫‏‬ 3 4‫‏‬ 5‫‏‬ 60 14 3 50 𝑚𝑖𝑛𝑖𝑚𝑜 = min( 𝐶 3,3 , 𝐶 3,4 , 𝐶(4,3)) 62 2‫‏‬ 𝐷𝑖𝑓𝑒𝑟𝑒𝑛𝑐𝑖𝑎 = 𝐴𝐷 𝐼 𝑖𝑧𝑞 𝑦, 4 , 𝐼 𝑑𝑒𝑟 𝑦, 4i 15 3 14 49 50 3 𝐶 𝟒, 𝟒 = 𝑚𝑖𝑛𝑖𝑚𝑜 + 𝐷𝑖𝑓𝑒𝑟𝑒𝑛𝑐𝑖𝑎 C(3,3) C(3,4) 7 4 7 50 104 11 C(4,3) C(4,4)Ider5 5 6 51 107 21 BÚSQUEDA DE PUNTOS CORRESPONDIENTES MEDIANTE TÉCNICAS GLOBALES 30
  31. 31. Asignación de Disparidad j 2 3 50 62 15 Iizq 𝑑 = 𝑑𝑖𝑠𝑝𝑎𝑟𝑖𝑑𝑎𝑑 𝑑= 𝑖− 𝑗 50 2‫‏‬ 3 4‫‏‬ 5‫‏‬ 𝑑 = 4−4 𝑀𝑎𝑝𝑎 𝐷𝑒𝑟𝑒𝑐ℎ𝑜 𝐷 𝑑 𝑦, 𝑖 = 𝑑 2‫‏‬ 60 14 3 50 62 𝐷 𝑖 𝑦, 4 = 0 𝑀𝑎𝑝𝑎 𝐼𝑧𝑞𝑢𝑖𝑒𝑟𝑑𝑜 𝐷 𝑑 𝑦, 𝑗 = 𝑑i 15 3 14 49 50 3 𝐷 𝑖 𝑦, 4 = 0 C(3,3) C(3,4) 𝑚𝑖𝑛 = 𝑀𝑖𝑛𝑖𝑚𝑜 𝐶𝐷, 𝐶𝐻, 𝐶𝑉 𝑖−1 𝑖𝑓 𝑚𝑖𝑛 = 𝐶𝐷 7 4 7 50 104 11 𝑗−1 𝑖 𝑖𝑓 𝑚𝑖𝑛 = 𝐶𝐻 C(4,3) C(4,4) 𝑗−1 𝑖−1 𝑖𝑓 𝑚𝑖𝑛 = 𝐶𝑉Ider5 5 6 51 107 21 𝑗 BÚSQUEDA DE PUNTOS CORRESPONDIENTES MEDIANTE TÉCNICAS GLOBALES 31
  32. 32. Asignación de Disparidad j 2 3 50 62 15 Iizq 𝑑 = 𝑑𝑖𝑠𝑝𝑎𝑟𝑖𝑑𝑎𝑑 50 2‫‏‬ 3 4‫‏‬ 5‫‏‬ 𝑑= 𝑖− 𝑗 𝑑 = 3−4 2‫‏‬ 60 14 3 50 𝑀𝑎𝑝𝑎 𝐷𝑒𝑟𝑒𝑐ℎ𝑜 62 𝐷 𝑑 𝑦, 𝑖 = 𝑑 𝐷 𝑖 𝑦, 3 = 1 C(2,3) C(2,4)i 15 3 14 49 50 3 𝑀𝑎𝑝𝑎 𝐼𝑧𝑞𝑢𝑖𝑒𝑟𝑑𝑜 𝐷 𝑑 𝑦, 𝑗 = 𝑑 C(3,3) C(3,4) 𝐷 𝑖 𝑦, 4 = 1 7 4 7 50 104 11 𝒎𝒊𝒏 = 𝑴𝒊𝒏𝒊𝒎𝒐 𝑪𝑫, 𝑪𝑯, 𝑪𝑽 𝒊− 𝟏 𝒊𝒇 𝒎𝒊𝒏 = 𝑪𝑽 𝒋Ider5 5 6 51 107 21 BÚSQUEDA DE PUNTOS CORRESPONDIENTES MEDIANTE TÉCNICAS GLOBALES 32
  33. 33. Asignación de Disparidad j 2 3 50 62 15 Iizq 𝑑 = 𝑑𝑖𝑠𝑝𝑎𝑟𝑖𝑑𝑎𝑑 50 2‫‏‬ 3 4‫‏‬ 5‫‏‬ 𝑑= 𝑖− 𝑗 𝑑 = 2−4 C(1,3) C(1,4) 2‫‏‬ 60 14 3 50 𝑀𝑎𝑝𝑎 𝐷𝑒𝑟𝑒𝑐ℎ𝑜 62 𝐷 𝑑 𝑦, 𝑖 = 𝑑 𝐷 𝑖 𝑦, 3 = 2 C(2,3) C(2,4)i 15 3 14 49 50 3 𝑀𝑎𝑝𝑎 𝐼𝑧𝑞𝑢𝑖𝑒𝑟𝑑𝑜 𝐷 𝑑 𝑦, 𝑗 = 𝑑 𝐷 𝑖 𝑦, 4 = 2 7 4 7 50 104 11 𝒎𝒊𝒏 = 𝑴𝒊𝒏𝒊𝒎𝒐 𝑪𝑫, 𝑪𝑯, 𝑪𝑽 𝒊− 𝟏 𝒊𝒇 𝒎𝒊𝒏 = 𝑪𝑫 𝒋− 𝟏Ider5 5 6 51 107 21 BÚSQUEDA DE PUNTOS CORRESPONDIENTES MEDIANTE TÉCNICAS GLOBALES 33
  34. 34. Asignación de Disparidad j 2 3 50 C(3,3) 62 C(3,4) 15 Iizq 𝑑 = 𝑑𝑖𝑠𝑝𝑎𝑟𝑖𝑑𝑎𝑑 50 2‫‏‬ 3 4‫‏‬ 5‫‏‬ 𝑑= 𝑖− 𝑗 𝑑 = 1−3 C(4,3) C(4,4) 2‫‏‬ 60 14 3 50 𝑀𝑎𝑝𝑎 𝐷𝑒𝑟𝑒𝑐ℎ𝑜 62 𝐷 𝑑 𝑦, 𝑖 = 𝑑 𝐷 𝑖 𝑦, 3 = 2i 15 3 14 49 50 3 𝑀𝑎𝑝𝑎 𝐼𝑧𝑞𝑢𝑖𝑒𝑟𝑑𝑜 𝐷 𝑑 𝑦, 𝑗 = 𝑑 𝐷 𝑖 𝑦, 4 = 2 7 4 7 50 104 11 𝒎𝒊𝒏 = 𝑴𝒊𝒏𝒊𝒎𝒐 𝑪𝑫, 𝑪𝑯, 𝑪𝑽 𝒊− 𝟏 𝒊𝒇 𝒎𝒊𝒏 = 𝑪𝑫 𝒋− 𝟏Ider5 5 6 51 107 21 BÚSQUEDA DE PUNTOS CORRESPONDIENTES MEDIANTE TÉCNICAS GLOBALES 34
  35. 35. Asignación de Disparidad j 2 3 50 C(0,2) 62 15 Iizq 𝑑 = 𝑑𝑖𝑠𝑝𝑎𝑟𝑖𝑑𝑎𝑑 50 2‫‏‬ 3 4‫‏‬ 5‫‏‬ 𝑑= 𝑖− 𝑗 𝑑 = 0−2 2‫‏‬ 60 14 3 50 𝑀𝑎𝑝𝑎 𝐷𝑒𝑟𝑒𝑐ℎ𝑜 62 𝐷 𝑑 𝑦, 𝑖 = 𝑑 𝐷 𝑖 𝑦, 3 = 2 diag arrbi 15 3 14 49 50 3 𝑀𝑎𝑝𝑎 𝐼𝑧𝑞𝑢𝑖𝑒𝑟𝑑𝑜 𝐷 𝑑 𝑦, 𝑗 = 𝑑 izq Nij 𝐷 𝑖 𝑦, 4 = 2 7 4 7 50 104 11 𝑻𝒆𝒓𝒎𝒊𝒏𝒐 𝒅𝒆 𝒑𝒂𝒓𝒂𝒅𝒂 𝒊 == 𝟎 𝒐 𝒋 == 𝟎Ider5 5 6 51 107 21 BÚSQUEDA DE PUNTOS CORRESPONDIENTES MEDIANTE TÉCNICAS GLOBALES 35
  36. 36. Representación de una Matriz de Costo Línea de Búsqueda Izquierda Imagen Izquierda Línea de Búsqueda Derecha[6] Matriz de costo M Imagen Derecha BÚSQUEDA DE PUNTOS CORRESPONDIENTES MEDIANTE TÉCNICAS GLOBALES 36
  37. 37. Contenido de la Matriz de CostosContenido de la Matriz MBÚSQUEDA DE PUNTOS CORRESPONDIENTES MEDIANTE TÉCNICAS GLOBALES 37
  38. 38. Objetivos del Trabajo de GradoObjetivo GeneralDesarrollar un componente de Software que realice la búsqueda de puntoscorrespondientes mediante programación dinámicaObjetivos EspecíficosSeleccionar dos propuestas de estimación de puntos correspondientesmediante programación dinámica Definir criterios de comparación entre las propuestas seleccionadasDesarrollar un componente de software que implementen las propuestasseleccionadas Evaluar y comparar los resultados arrojados por el componente desoftware de acuerdo a los criterios seleccionados BÚSQUEDA DE PUNTOS CORRESPONDIENTES MEDIANTE TÉCNICAS GLOBALES 38
  39. 39. Propuestas Implementadas  Estimación de Disparidades  DLS  Simplificación de Forstmann [3]  Búsqueda influenciada por líneas previas  Esquema de pesos fijos en influencia de líneas  ILS Simplificación de Fielding [4] Búsqueda independiente  Esquema de oclusión basado en un costo fijo[3] Forstmann, S., Ohya, J., Kanou, Y., Schmitt, A., Thuering S.: Real-time stereo by using dynamic programming[4] Fielding, G., Kam, M.: Weighted Matching for Dense Stereo Correspondence, Pattern Recognition BÚSQUEDA DE PUNTOS CORRESPONDIENTES MEDIANTE TÉCNICAS GLOBALES 39
  40. 40. Dependent Line Search (DLS) Sven Forstmann DLSSe tiene una matriz Construye A CD CVde costo A(i,j)‫‏‬G[i,j] guarda el A[i,j]= Mínimo (CD, CV, CH)camino actual + Matching (Iizq, Ider) – G[i,j]‫‏‬ CH A[i,j] Búsqueda del camino de costo mínimo, iniciando en A[n,n] y F retroceder hasta A[0,0] donde i=j=n; Construcción de mapa de Min (CD+peso1, CV+peso2, Disparidad D(x,y) = d CH+peso3) If Min = CD {i=i-1} If Min = CV {j=j-1} If Min = CH {i=i-1; j=j-1 } La propuesta original usa pesos adaptativos para influenciar la G[i,j] = constante I búsqueda, esta propuesta se adapto utilizando pesos fijos D (x,i) = |i-j| =d BÚSQUEDA DE PUNTOS CORRESPONDIENTES MEDIANTE TÉCNICAS GLOBALES 40
  41. 41. DLS (cont) Matching(i,j) = Metrica (AD punto a punto)‫‏‬ CD= V(i-1,j-1) = 1 CV = V(i-1, j) = 25 CH= V(i, j-1) = 25 A[i,j] = Mínimo (CD, CV, CH) + Matching(i,j)‫‏‬ Matriz de costo A[i,j] Se tiene como restricción el rango de disparidad La búsqueda se realiza por línea independiente y el camino tiende a ser influenciadoBÚSQUEDA DE PUNTOS CORRESPONDIENTES MEDIANTE TÉCNICAS GLOBALES 41
  42. 42. Independent Line Search (ILS) Gabriel Fielding ILS Crear Matriz VSe tiene una matriz de costoV(i,j)‫‏‬y Predecesores P(i,j) d Costo diagonal = CD= V(i-1,j-1) + c(i,j)‫‏‬ CD CV Costo vertical = CV = V(i-1, j) + Co= disparidad‫‏‬ Costo horizontal = CH = V(i, j-1) + Co V(i,j) = Mínimo (CM, CV, CH)‫‏‬ CH V[i,j] P(i,j) = 1 si CD es el min 2 si CV es el min El valor de Co esta 3 si CH es el min Definido por Fielding en [3] pero en esta propuesta es un valor fijo F Construcción de mapa de Disparidad Se obtiene el camino D(x,y), d= i-j, D(x,i)=d más corto siguiendo V, Si hay pixeles ocluidos en el mapa Inicio en V[n,n] y izquierdo d no se asigna retrocede hasta V[0,0] I BÚSQUEDA DE PUNTOS CORRESPONDIENTES MEDIANTE TÉCNICAS GLOBALES 42
  43. 43. ILS (cont)‫‏‬ Co=2 c(i,j)=Métrica (AD punto a punto)‫‏‬ CD= V(i-1,j-1) + c(i,j) = 5+0 =5 Matriz de costo V(i,j)‫‏‬ CV = V(i-1, j) + Co =10+2 =12 CH= V(i, j-1) + Co =12+2 = 14 Se tiene como restricción el rango de disparidad  La búsqueda se realiza por línea independiente Matriz predecesora P(i,j)‫‏‬  El camino tiende a ser influenciadoBÚSQUEDA DE PUNTOS CORRESPONDIENTES MEDIANTE TÉCNICAS GLOBALES 43
  44. 44. Problema de Programación Dinámica  La inconsistencia entre líneas genera artefactos [6] DP [6] SO [6] DLS [11] ILS [11][11] González, V., Cabezas, I.: Estimación de puntos correspondientes mediante programación dinámica, Congreso Multimedia 2009 BÚSQUEDA DE PUNTOS CORRESPONDIENTES MEDIANTE TÉCNICAS GLOBALES 44
  45. 45. Consecuencias de la Falta de Consistencia Reconstrucción de la imagen derecha a partir de la imagen izquierda y del mapa de disparidad izquierdo Imagen Derecha [6] DP [6] SO [6] DLS [11] ILS [11] BÚSQUEDA DE PUNTOS CORRESPONDIENTES MEDIANTE TÉCNICAS GLOBALES 45
  46. 46. Propuesta  Double Search (DouS)  Comprobación de consistencia  Propagación de Disparidades  Refinamiento de mapas de disparidad  Propagación de disparidades verticalmente  Remoción de valores con base en confiabilidad  Propagación con base en oclusión y en continuidad  Adaptado de I. Cabezas, V. Gonzalez [11], Birchfield [1] , I. Cabezas, M. Trujillo [2][1] Birchfield, S., Tomasi, C.: Depth Discontinuities by Pixel-to-Pixel Stereo, 1998[2] Cabezas, I., Trujillo, M.: A Disparity Range Map in Stereo Vision, 2009[11] Gonzalez, V.,Cabezas, I.: Estimación de puntos correspondientes mediante programación dinámica, Congreso Multimedia2009. BÚSQUEDA DE PUNTOS CORRESPONDIENTES MEDIANTE TÉCNICAS GLOBALES 46
  47. 47. Double Search (DouS)Imagen de entrada, realizar labúsqueda en los dos sentidos (a) Mid (b) Mdi (c)‫‏‬M’ BÚSQUEDA DE PUNTOS CORRESPONDIENTES MEDIANTE TÉCNICAS GLOBALES 47
  48. 48. DouS Iizq IizqIder Ider Estimación de Derecha a Estimación de Izquierda a Izquierda Mdi Derecha Mid Los índices i, j de Mdi y Mid no cambian BÚSQUEDA DE PUNTOS CORRESPONDIENTES MEDIANTE TÉCNICAS GLOBALES 48
  49. 49. Refinamiento de Mapas de Disparidad (Refine) Entrada Remover Remover sección discontinuidades de de estimaciones una sola estimación no confiables Propagación de estimaciones confiables Salida Propagación de estimaciones en los bordesBÚSQUEDA DE PUNTOS CORRESPONDIENTES MEDIANTE TÉCNICAS GLOBALES 49
  50. 50. Propagación de Disparidades VerticalmenteBÚSQUEDA DE PUNTOS CORRESPONDIENTES MEDIANTE TÉCNICAS GLOBALES 50
  51. 51. Refinamiento (Refine) Remoción vertical de artefactos Imagen de Entrada Imagen de Salida BÚSQUEDA DE PUNTOS CORRESPONDIENTES MEDIANTE TÉCNICAS GLOBALES 51
  52. 52. Refinamiento II (Refine)  Remoción de secciones de estimaciones no confiablesFragmento Fragmentode Entrada de Salida BÚSQUEDA DE PUNTOS CORRESPONDIENTES MEDIANTE TÉCNICAS GLOBALES 52
  53. 53. Refinamiento III (Refine) Propagación de disparidades confiables en zonas de oclusión BÚSQUEDA DE PUNTOS CORRESPONDIENTES MEDIANTE TÉCNICAS GLOBALES 53
  54. 54. Refinamiento IV (Refine)  Propagación en los bordes de la imagenImagen Imagen de deEntrada Salida BÚSQUEDA DE PUNTOS CORRESPONDIENTES MEDIANTE TÉCNICAS GLOBALES 54
  55. 55. Evaluación Cuantitativa TSUKUBA CONES TEDDYVENUS [6] BÚSQUEDA DE PUNTOS CORRESPONDIENTES MEDIANTE TÉCNICAS GLOBALES 55
  56. 56. Método de Evaluación Aproximación Mapa de verdad Porcentajes de error [7][8] nonocc all disc[7] Scharstein, D., Szeliski, R.: A Taxonomy and Evaluation of Dense Two Frames Stereo Correspondence Algorithms, Int. J. Computer Vision,vol. 47, No 1, pp. 7- 42, 2002[8] Scharstein, D., Szeliski, R.: High-accuracy stereo depth maps using structured light, Proc. IEEE CVPR, vol. 1, pp. 195-202, 2003 BÚSQUEDA DE PUNTOS CORRESPONDIENTES MEDIANTE TÉCNICAS GLOBALES 56
  57. 57. Evaluación Cuantitativa Utilizando DLS Resultados de DLS utilizando 7 métricas diferentes para la imagen Venus con una ventana de 3x3 SAD SSD Pixel to SAD - SAD SSD Normalizado Normalizado RTGPU Pixel RTGPU nonocc 6,91 12,39 17,17 23,56 11,54 17,01 6,43Venus DLS All 8,52 13,89 18,6 24,87 13,06 18,43 8,05 disc 31,21 33,73 36,62 38,69 31,53 34,29 30,11 Venus DLS refine SAD 4,76 0,37 Resultados de DLS con 7 métricas SSD 7,21 0,40 diferentes con base al rendimiento, SAD-Normalizado 6,56 0,33 los tiempos se tomaron en segundos SSD-Normalizado 7,36 0,40 Pixel to pixel 15,80 0,39 RTGPU 8,99 0,43 SAD-RTGPU 28,01 0,37 BÚSQUEDA DE PUNTOS CORRESPONDIENTES MEDIANTE TÉCNICAS GLOBALES 57
  58. 58. Evaluación del Refinamiento  Evaluación de DLS e ILS, antes y después de aplicar la etapa de refine DLS DLS + refine ILS ILS + refineImagen nonocc all disc nonocc all disc nonocc all disc nonocc all discVenus 6,3 7,9 30,07 4,60 5,41 22,3 7,05 8,67 28,35 5,22 5,81 20,01 BÚSQUEDA DE PUNTOS CORRESPONDIENTES MEDIANTE TÉCNICAS GLOBALES 58
  59. 59. Comparación entre Estrategias de Refinamiento  Evaluación de DLS e ILS, antes y después de aplicar la etapa de refine comparado con otras propuestas de refinamiento DLS DLS+ refine DLS + Filtro Mediana DLS + Filtro PromedioImagen nonocc all disc nonocc all disc nonocc all disc nonocc all discVenus 6,3 7,9 30,07 4,60 5,41 22,3 5,89 7,50 30,26 6,28 7,88 32,93 ILS ILS + refine ILS + Filtro Mediana ILS +Filtro PromedioImagen nonocc all disc nonocc all disc nonocc all disc nonocc all discVenus 7,05 8,67 28,35 5,22 5,81 20,01 6,05 7,67 25,99 9,92 11,3 33,52 BÚSQUEDA DE PUNTOS CORRESPONDIENTES MEDIANTE TÉCNICAS GLOBALES 59
  60. 60. Mapas Estimados y ProcesadosImagen DLS DLS + refine ILS ILS + refine BÚSQUEDA DE PUNTOS CORRESPONDIENTES MEDIANTE TÉCNICAS GLOBALES 60
  61. 61. Compatibilidad del Refinamiento con otras propuestas  Evaluación de DP[5], RealTimeGPU[10], TreeDP[9] y SO[7] antes y después de aplicar la etapa de refinamiento DP DP + refine SO SO + refineImagen nonocc all disc nonocc all disc nonocc all disc nonocc all discVenus 10,1 11,0 21,0 7,88 8,34 17,8 9,44 10,9 21,9 7,36 8,35 18,7 TreeDP TreeDP + refine RealTimeGPU RealTGPU+refineImagen nonocc all disc nonocc all disc nonocc all disc nonocc all discVenus 1,41 2,10 7,74 0,47 0,85 4,06 1,92 2,98 20,3 1,23 2,07 13,7 BÚSQUEDA DE PUNTOS CORRESPONDIENTES MEDIANTE TÉCNICAS GLOBALES 61
  62. 62. Mapas Estimados Por Otras Propuestas y Procesados DP DP + refine SO SO + refine TreeDP TreeDP + RTGPU RTGPU+ refine refineBÚSQUEDA DE PUNTOS CORRESPONDIENTES MEDIANTE TÉCNICAS GLOBALES 62
  63. 63. Evaluación DouS + refine  Evaluación de DLS e ILS, con y sin aplicar la estrategia DouS junto con el refinamiento DLS DLS + Dous + refine ILS ILS + Dous + refineImagen nonoc all disc nonocc all disc nonocc all disc nonocc all disc cVenus 6,91 8,52 31,21 2,29 3,16 15,55 6,92 8,56 29,12 5,26 6,1 21,14 BÚSQUEDA DE PUNTOS CORRESPONDIENTES MEDIANTE TÉCNICAS GLOBALES 63
  64. 64. Comparación de DouS + refine  Comparación de propuestas basadas en programación dinámica para las imágenes de Tsukuba, Venus, Teddy y Cones Tsukuba Venus Teddy Cones nonocc all disc nonocc all disc nonocc all disc nonocc all disc TreDP [24] 1,99 2,84 9,96 1,41 2,10 7,74 15,9 23,9 27,1 10,0 18,3 18,9 SO [20] 5,08 7,22 12,2 9,44 10,9 21,9 19,9 28,2 26,3 13,0 22,8 22,3 DP [20] 4.12 5.04 12.0 10.1 11.0 21.0 14,0 21,6 20,6 10,5 19,1 21,1DLS+DouS+refine 2,85 4,27 13,18 2,29 3,16 15,55 8,75 14,95 20,34 8,01 14,67 19,46ILS+ DouS+refine 3,27 4,4 12,26 5,26 6,1 21,14 9,87 15,89 19,00 5,97 12,16 15,35 BÚSQUEDA DE PUNTOS CORRESPONDIENTES MEDIANTE TÉCNICAS GLOBALES 64
  65. 65. Mapas Estimados utilizando DouS y RefinadosImagen DLS DLS + refine ILS ILS + refine BÚSQUEDA DE PUNTOS CORRESPONDIENTES MEDIANTE TÉCNICAS GLOBALES 65
  66. 66. Mapas Estimados utilizando DouS y Refinados (Imágenes Sin Ground Truth) Imagen derecha Imagen derechaImagen DLS ILS reconstruida DLS reconstruida ILS BÚSQUEDA DE PUNTOS CORRESPONDIENTES MEDIANTE TÉCNICAS GLOBALES 66
  67. 67. Mapas Estimados utilizando DouS y Refinados (Imágenes Sin Ground Truth) Imagen derecha Imagen derechaImagen DLS ILS reconstruida DLS reconstruida ILS BÚSQUEDA DE PUNTOS CORRESPONDIENTES MEDIANTE TÉCNICAS GLOBALES 67
  68. 68. Observaciones Finales El margen de error se reduce, al aplicar la etapa de refinamiento a los mapas de disparidad La estrategia DouS ofrece una mejor estimación en áreas de oclusión y discontinuidad pero el tiempo empleado se duplica Los resultados obtenidos utilizando la estrategia DouS junto con la etapa de refinamiento superan a propuestas como DP [5], TreeDP [9] y SO [7] Se lograron dos publicaciones, la primera denominada Estimación de puntos correspondientes mediante programación dinámica, González V., Cabezas I. [11] publicada en el Congreso Multimedia 2009. Estimación y Refinamiento de Mapas de Disparidad, González V., Cabezas I. [12] publicado en el Quinto Congreso Colombiano de Computación 2010 BÚSQUEDA DE PUNTOS CORRESPONDIENTES MEDIANTE TÉCNICAS GLOBALES 68
  69. 69. Gracias!!BÚSQUEDA DE PUNTOS CORRESPONDIENTES MEDIANTE TÉCNICAS GLOBALES 69
  70. 70. GRACIAS!!BÚSQUEDA DE PUNTOS CORRESPONDIENTES MEDIANTE TÉCNICAS GLOBALES 70
  71. 71. Referencias[1] Birchfield, S., Tomasi, C.: Depth Discontinuities by Pixel-to-Pixel Stereo, Proc. IEEE Int. Conf. Computer Vision, pp. 1073-1080,1998[2] Cabezas, I., Trujillo, M.: A Disparity Range Map in Stereo Vision, Proc. Latin American Conference on Networked andElectronic Media, 2009[3] Fielding, G., Kam, M.: Weighted Matching for Dense Stereo Correspondence, Pattern Recognition, Vol 33, pp. 1513- 1524, 2000[4] Forstmann, S., Ohya, J., Kanou, Y., Schmitt, A., Thuering S.: Real-time stereo by using dynamic programming. CVPR 2004Workshop on real-time 3D sensors and their use, 2004[5] Intille S.S., Bobick A.F.: Incorporating Intensity Edges in the Recovery of Occlusion Regions, Proc. Int. Conf. PatternRecognition, vol. 1, pp. 674-677, 1994[6] Middlebury University stereo vision web site, http://vision.middlebury.edu/stereo, 2010[7] Scharstein, D., Szeliski, R.: A Taxonomy and Evaluation of Dense Two Frames Stereo Correspondence Algorithms, Int. J.Computer Vision, vol. 47, No 1, pp. 7- 42, 2002[8] Scharstein, D., Szeliski, R.: High-accuracy stereo depth maps using structured light, Proc. IEEE CVPR, vol. 1, pp. 195-202, 2003[9] Veskler, O.: Stereo Correspondence by Dynamic Programing on a Tree, CVPR, pp. 384-390, 2005[10] Wang, L., Liao, M., Gong , M., Yang R. and Nister D.: High-quality Real-time Stereo using Adaptive Cost Aggregation andDynamic Programming, 3DPVT 2006[11] González, V., Cabezas, I.: Estimación de puntos correspondientes mediante programación dinámica, Congreso Multimedia2009[12] González, V., Cabezas, I.: Estimación y Refinamiento de Mapas de Disparidad, En revision Quinto Congreso Colombiano deComputacion 2010 BÚSQUEDA DE PUNTOS CORRESPONDIENTES MEDIANTE TÉCNICAS GLOBALES 71

×