This is a brief presentation of the project shown here http://www.slideshare.net/jorgetarlea/sistema-de-posicionamiento-de-objetos-mediante-visin-estreo-embarcable-en-vehculos-inteligentes-5347562

1. Sistema de posicionamiento de objetos
mediante visión estéreo embarcable en
vehículos inteligentes
Autor: Jorge Tarlea Jiménez
Director: Roberto J. López Sastre

2. Índice
● Objetivo ● Resultados
● Trabajo realizado ● Calibración
● Calibración de las cámaras ● Rectificación
● Método empleado ● Estimación de distancias
● Concepto de disparidad ● Tiempos de ejecución
● Montaje realizado
● Ejemplos
● Rectificación de imágenes
● Búsqueda de
● Conclusiones
correspondencias ● Futuras líneas de
trabajo
Proyecto fin de carrera - Jorge Tarlea 2

3. Objetivo
Estimación de las
distancias a las que se
encuentran objetos de
interés dentro del
campo de visión de un
sistema de adquisición
de imágenes.
Proyecto fin de carrera - Jorge Tarlea 3

4. Trabajo realizado
● Sistema de adquisición de imágenes estéreo
● Implementación software:
A)Calibración de las cámaras
B)Estimación de distancias
Proyecto fin de carrera - Jorge Tarlea 4

5. Trabajo realizado
● Sistema de adquisición de imágenes estéreo
Proyecto fin de carrera - Jorge Tarlea 5

6. Trabajo realizado
● Implementación software:
A)Calibración de las cámaras
B)Estimación de distancias
Proyecto fin de carrera - Jorge Tarlea 6

7. Calibración de las cámaras
● Obtención de parámetros: 0 1
fx s cx
● Intrínsecos K =@0 fy cy A
● Extrínsecos 0 0 1
m w [K 0][R t]M
Proyecto fin de carrera - Jorge Tarlea 7

8. Calibración de las cámaras: Distorsión
☺
Con distorsión
RADIAL TANGENCIAL
Proyecto fin de carrera - Jorge Tarlea 8

9. Calibración de las cámaras
● Método de Zhang mejorado:
● Autodetección de puntos → Homografía →
Intrínsecos, extrínsecos y distorsión
Proyecto fin de carrera - Jorge Tarlea 9

10. Calibración de las cámaras
● Método de Zhang mejorado:
● Autodetección de puntos → Homografía →
Intrínsecos, extrínsecos y distorsión
Proyecto fin de carrera - Jorge Tarlea 10

11. Concepto de disparidad
d = xL ¡ xR
Proyecto fin de carrera - Jorge Tarlea 11

12. Montaje realizado
● Ejes ópticos paralelos
● Cámaras coplanares
Proyecto fin de carrera - Jorge Tarlea 12

13. Rectificación de imágenes
● Filas de píxeles alineadas en las dos imágenes
→ Obtención de disparidades
● Montaje realizado no ideal → Necesario
rectificar las imágenes obtenidas
● Método de Bouguet → Menos distorsión que
otros (Ej.: Hartley)
Proyecto fin de carrera - Jorge Tarlea 13

14. Rectificación de imágenes
● Filas de píxeles alineadas en las dos imágenes
→ Obtención de disparidades
● Montaje realizado no ideal → Necesario
rectificar las imágenes obtenidas
● Método de Bouguet → Menos distorsión que
otros (Ej.: Hartley)
Proyecto fin de carrera - Jorge Tarlea 14

15. Búsqueda de correspondencias
fT
Z =
d
Método de Konolige Método de Birchfield
Proyecto fin de carrera - Jorge Tarlea 15

16. Resultados: Calibración
● Calibración precisa con:
● Tablero de 6 x 8 esquinas interiores.
● Más de 7 pares de imágenes.
● Problemas al no detectarse todas las esquinas:
● Distancia (excesiva) del mismo en la foto.
● Imagen borrosa (objeto de calibración en
movimiento).
Proyecto fin de carrera - Jorge Tarlea 16

17. Resultados: Rectificación
Proyecto fin de carrera - Jorge Tarlea 17

18. Resultados: Rectificación
Proyecto fin de carrera - Jorge Tarlea 18

19. Resultados: Estimación de distancias
● Dos métodos para obtener la disparidad
de la región de una imagen:
Media:
40 £ 200 + 16 £ 100
= 172:42
56
Histograma:
Valor más repetido → 200
Proyecto fin de carrera - Jorge Tarlea 19

20. Resultados: Estimación de distancias
¡La media es más estable!
¡La media es más estable!
Proyecto fin de carrera - Jorge Tarlea 20

21. Resultados: Tiempos
Proyecto fin de carrera - Jorge Tarlea 21

22. Ejemplo 1: Coche
Proyecto fin de carrera - Jorge Tarlea 22

23. Ejemplo 2: Personas
Proyecto fin de carrera - Jorge Tarlea 23

24. Conclusiones
1. Error contenido hasta cierta distancia →
Disposición de los elementos cercanos.
2. Alternativa válida al uso de sensores →
Entendimiento de la escena.
Problema: El tiempo real no se logra debido a:
- Los requirimientos de cálculo del detector de
objetos.
- La precisión (del algoritmo de Birchfield) necesaria
para obtener unas estimaciones precisas.
Proyecto fin de carrera - Jorge Tarlea 24

25. Futuras líneas de trabajo
1) Refinamiento de los mapas de disparidad obtenidos →
Menos “agujeros”.
2) Cámaras de más calidad y sincronizadas por trigger.
3) Tratamiento previo de las imágenes (Ej.: Detección de
bordes) → Mapas de disparidad en menos tiempo.
4) Cálculos mediante GPU's (Ej.: Entorno CUDA). Reducción
de tiempos en:
• La detección → Posibilidad de detectores más potentes.
• Generación de mapas de disparidad.
Proyecto fin de carrera - Jorge Tarlea 25