Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Autonomy for Robotic Planetary Exploration Missions: Perception and Navigation for Autonomous Rovers

120 views

Published on

Robotic space missions are a complex field of study, usually undertaken by national space agencies like NASA, ESA or international consortia. They involve multiple disciplines such as mechanical design, electronics, astronomy, propulsion technology, robotics, artificial intelligence, critical software and Communications. A growing and fundamental requirement in this type of missions is autonomy, understood as the ability of a vehicle to make its own decisions, minimizing the dependence of ground operators. This talk presents an overview of space exploration using robots, focused mainly on their autonomous navigation abilities, which allow vehicles to move from one location on the surface of the planet to another avoiding obstacles and dangers, discussing also the necessary elements to develop and validate this technology

Published in: Engineering
  • Be the first to comment

  • Be the first to like this

Autonomy for Robotic Planetary Exploration Missions: Perception and Navigation for Autonomous Rovers

  1. 1. AUTONOMY FOR ROBOTIC PLANETARY EXPLORATION MISSIONS: PERCEPTION AND NAVIGATION FOR AUTONOMOUS ROVERS Raúl Correal Marzo, 2017
  2. 2. Autonomy for Robotic Planetary Exploration Missions: Perception and Navigation for Autonomous Rovers 2 / 87 Marzo, 2017Raúl Correal Motivación • Colaboración entre UCM y empresa TCPSI. • 2 proyectos: • AUTOROVER: estudio de autonomía basada en imágenes para rovers de exploración planetaria. Convocatoria publica 2259/2007 (BOCM 272 del 15/11/2007), referencia: 04-AEC0800-000035/2008. • Visión estereoscópica para Auto-rover: estudio de autonomía basada en imágenes. PRE/998/2008 (BOE 11/04/2008), Ministerio de presidencia, referencia: SAE-20081093. • Investigación iniciada en TCPSI y continuada en UCM (Facultad de Informática). • Capacidades de navegación autónoma para exploración espacial robótica. • Motivación: necesidad de la ESA para su futura misión Exomars.
  3. 3. Autonomy for Robotic Planetary Exploration Missions: Perception and Navigation for Autonomous Rovers 3 / 87 Marzo, 2017Raúl Correal Antecedentes e identificación de problemas • Exploración espacial robótica: crítico, reducir dependencia humana (costes)-> autonomía local. • Necesidad de simulación y entorno de soporte. Pruebas. Desde fases iniciales. • Apenas existen entornos que soporten estos desarrollos y además no están disponibles. • Tampoco existen librerías ni trabajos previos (código) disponibles en las que basarse para el desarrollo de una estrategia de navegación autónoma (compleja). • Algunos algoritmos stereo publicados no funcionan bien con imágenes reales
  4. 4. Autonomy for Robotic Planetary Exploration Missions: Perception and Navigation for Autonomous Rovers 4 / 87 Marzo, 2017Raúl Correal Contenido 1. Exploración espacial robótica. Autonomía. 2. Entorno de soporte al desarrollo. 3. Autonomía para rovers de exploración planetaria: arquitectura y navegación. 4. Percepción: filtros de imagen para reconstrucción 3D del entorno. 5. Conclusiones y trabajos futuros
  5. 5. Autonomy for Robotic Planetary Exploration Missions: Perception and Navigation for Autonomous Rovers 5 / 87 Marzo, 2017Raúl Correal 1. Exploración espacial robótica. Autonomía Operación del vehículo explorador (rover): • Dominio muy crítico. Situaciones inesperadas. Imposibilidad de intervención humana. • Restricciones en comunicaciones. Teleoperación no es una opción. • Misiones cada vez más demandantes y complejas: mayores distancia a recorrer. Autonomía: • Autonomía a bordo de los vehículos exploradores. Toma de decisiones. • Minimizar dependencia de operadores humanos. • Incrementa el retorno científico de la misión. Reducir costes de operación. • Navegación autónoma: de las tareas más críticas de una misión. • Foco de este trabajo: navegación autónoma de vehículos robóticos para exploración planetaria.
  6. 6. Autonomy for Robotic Planetary Exploration Missions: Perception and Navigation for Autonomous Rovers 6 / 87 Marzo, 2017Raúl Correal Contenido 1. Exploración espacial robótica. Autonomía. 2. Entorno de soporte al desarrollo. 3. Autonomía para rovers de exploración planetaria: arquitectura y navegación. 4. Percepción: filtros de imagen para reconstrucción 3D del entorno. 5. Conclusiones y trabajos futuros
  7. 7. Autonomy for Robotic Planetary Exploration Missions: Perception and Navigation for Autonomous Rovers 7 / 87 Marzo, 2017Raúl Correal 2. Entorno de soporte al desarrollo Introducción: • Proceso complejo: percepción del entorno, planificación de trayectorias, navegación y control. • Instalaciones e infraestructura para desarrollar y probar todo: vehículo, terreno, etc. • NASA / ESA: réplica de superficie planetaria indoors y vehículo (no disponible en las primeras fases). • Desplazamientos del equipo (desierto). Muy costoso. • Alternativa asumible -> réplica de infraestructuras y condiciones operacionales en simulación. Correal, R.; Pajares, G. (2010). Framework for Simulation and Rover' Visual-Based Autonomous Navigation in Natural Terrains. 7th Workshop RoboCity2030-II, October, 2010, Madrid, Spain. Correal, R.; Pajares, G. (2011a). Modeling, simulation and onboard autonomy software for robotic exploration on planetary environments. International Conference on DAta Systems In Aerospace (DASIA), 17-20 Mayo, 2011, Malta.
  8. 8. Autonomy for Robotic Planetary Exploration Missions: Perception and Navigation for Autonomous Rovers 8 / 87 Marzo, 2017Raúl Correal 2. Entorno de soporte al desarrollo Acceso a un entorno de soporte: • 3 posibilidades: 1) Entorno existente, 2) Crear entorno desde cero, 3) Integración de paquetes. • 1) Entorno existente -> muy pocas. Propietarias de agencias espaciales. No disponibles (JPL). • 2) Crear entorno desde cero -> muy adaptado, pero gran complejidad, esfuerzo y coste (no es el objetivo). • 3) Integración de paquetes -> Interfaces, adaptaciones y extensiones. Balance esfuerzo/funcionalidad.
  9. 9. Autonomy for Robotic Planetary Exploration Missions: Perception and Navigation for Autonomous Rovers 9 / 87 Marzo, 2017Raúl Correal 2. Entorno de soporte al desarrollo Diseño del entorno de soporte: • 3 subsistemas: 1) Entorno de simulación, 2) Centro de control, 3) Sistema de navegación Integración de paquetes y componentes
  10. 10. Autonomy for Robotic Planetary Exploration Missions: Perception and Navigation for Autonomous Rovers 10 / 87 Marzo, 2017Raúl Correal 2. Entorno de soporte al desarrollo Entorno de simulación: • Gazebo usado como motor base de simulación. • Creación de modelos: 1) vehículo (sensores y actuadores), 2) terreno y 3) condiciones operacionales.
  11. 11. Autonomy for Robotic Planetary Exploration Missions: Perception and Navigation for Autonomous Rovers 11 / 87 Marzo, 2017Raúl Correal 2. Entorno de soporte al desarrollo Entorno de simulación: • Gazebo usado como motor base de simulación. • Creación de modelos: 1) vehículo (sensores y actuadores), 2) terreno y 3) condiciones operacionales. Cámara panorámica stereoPan/Tilt 6 ruedas independientes Suspensión Rocker-Bogie Cámara navegación stereo
  12. 12. Autonomy for Robotic Planetary Exploration Missions: Perception and Navigation for Autonomous Rovers 12 / 87 Marzo, 2017Raúl Correal 2. Entorno de soporte al desarrollo Entorno de simulación: • Gazebo usado como motor base de simulación. • Creación de modelos: 1) vehículo (sensores y actuadores), 2) terreno y 3) condiciones operacionales. Cámara panorámica stereoPan/Tilt 6 ruedas independientes Suspensión Rocker-Bogie Cámara navegación stereo Elevaciones / Depresiones Distribución de rocas Posición / intensidad del sol Sombras Texturas
  13. 13. Autonomy for Robotic Planetary Exploration Missions: Perception and Navigation for Autonomous Rovers 13 / 87 Marzo, 2017Raúl Correal 2. Entorno de soporte al desarrollo Entorno de simulación: • Gazebo usado como motor base de simulación. • Creación de modelos: 1) vehículo (sensores y actuadores), 2) terreno y 3) condiciones operacionales. Elevaciones / Depresiones Distribución de rocas Posición / intensidad del sol Sombras Texturas
  14. 14. Autonomy for Robotic Planetary Exploration Missions: Perception and Navigation for Autonomous Rovers 14 / 87 Marzo, 2017Raúl Correal 2. Entorno de soporte al desarrollo Centro de control: • Visualización, monitorización y depuración. • Recibe datos de telemetría. Permite comandar al vehículo. • 2 modos: 1) operación, 2) depuración. • Almacena datos para análisis posterior.
  15. 15. Autonomy for Robotic Planetary Exploration Missions: Perception and Navigation for Autonomous Rovers 15 / 87 Marzo, 2017Raúl Correal Contenido 1. Exploración espacial robótica. Autonomía. 2. Entorno de soporte al desarrollo. 3. Autonomía para rovers de exploración planetaria: arquitectura y navegación. 4. Percepción: filtros de imagen para reconstrucción 3D del entorno. 5. Conclusiones y trabajos futuros
  16. 16. Autonomy for Robotic Planetary Exploration Missions: Perception and Navigation for Autonomous Rovers 16 / 87 Marzo, 2017Raúl Correal 3. Autonomía para rovers de exploración planetaria: arquitectura y navegación Estrategia de navegación: • Autonomía local. Toma de decisiones. Minimizar dependencia humana. Comunicaciones. • Diseño basado en NASA/JPL (MER), pero desarrollado desde cero (no hay trabajos previos disponibles). • Ciclos de navegación. Correal, R.; Pajares, G. (2011b). Onboard Autonomous Navigation Architecture for a Planetary Surface Exploration Rover and Functional Validation Using Open-Source Tools. ESA International Conference on Advanced Space Technologies in Robotics and Automation (ASTRA 2008), ESA/ESTEC, Noordwijk, The Netherlands, pp 1-8. Correal, R.; Pajares, G.; Ruz, J.J. (2014b). Autonomy for Ground-level Robotic Space Exploration: Framework, Simulation, Architecture, Algorithms and Experiments. ROBOTICA Journal. June 2014, pp. 1–32. doi: 10.1017/S0263574714001428.
  17. 17. Autonomy for Robotic Planetary Exploration Missions: Perception and Navigation for Autonomous Rovers 17 / 87 Marzo, 2017Raúl Correal 3. Autonomía para rovers de exploración planetaria: arquitectura y navegación Percepción: • Basada en visión estereoscópica. Reconstrucción 3D del terreno.
  18. 18. Autonomy for Robotic Planetary Exploration Missions: Perception and Navigation for Autonomous Rovers 18 / 87 Marzo, 2017Raúl Correal 3. Autonomía para rovers de exploración planetaria: arquitectura y navegación Percepción: • Basada en visión estereoscópica. Reconstrucción 3D del terreno.
  19. 19. Autonomy for Robotic Planetary Exploration Missions: Perception and Navigation for Autonomous Rovers 19 / 87 Marzo, 2017Raúl Correal 3. Autonomía para rovers de exploración planetaria: arquitectura y navegación Percepción: • Basada en visión estereoscópica. Reconstrucción 3D del terreno.
  20. 20. Autonomy for Robotic Planetary Exploration Missions: Perception and Navigation for Autonomous Rovers 20 / 87 Marzo, 2017Raúl Correal 3. Autonomía para rovers de exploración planetaria: arquitectura y navegación Construcción del mapa: • Reproyección de la nube de puntos 3D y cambio de sistemas de referencia. • Mapa de alturas: vista cenital, centrado en el rover. • Interpolación. • Fusión de mapas. Mapa local y global.
  21. 21. Autonomy for Robotic Planetary Exploration Missions: Perception and Navigation for Autonomous Rovers 21 / 87 Marzo, 2017Raúl Correal 3. Autonomía para rovers de exploración planetaria: arquitectura y navegación Construcción del mapa: • Reproyección de la nube de puntos 3D y cambio de sistemas de referencia. • Mapa de alturas: vista cenital, centrado en el rover. • Interpolación. • Fusión de mapas. Mapa local y global.
  22. 22. Autonomy for Robotic Planetary Exploration Missions: Perception and Navigation for Autonomous Rovers 22 / 87 Marzo, 2017Raúl Correal 3. Autonomía para rovers de exploración planetaria: arquitectura y navegación Construcción del mapa: • Reproyección de la nube de puntos 3D y cambio de sistemas de referencia. • Mapa de alturas: vista cenital, centrado en el rover. • Interpolación. • Fusión de mapas. Mapa local y global.
  23. 23. Autonomy for Robotic Planetary Exploration Missions: Perception and Navigation for Autonomous Rovers 23 / 87 Marzo, 2017Raúl Correal 3. Autonomía para rovers de exploración planetaria: arquitectura y navegación Construcción del mapa: • Reproyección de la nube de puntos 3D y cambio de sistemas de referencia. • Mapa de alturas: vista cenital, centrado en el rover. • Interpolación. • Fusión de mapas. Mapa local y global.
  24. 24. Autonomy for Robotic Planetary Exploration Missions: Perception and Navigation for Autonomous Rovers 24 / 87 Marzo, 2017Raúl Correal 3. Autonomía para rovers de exploración planetaria: arquitectura y navegación Planificación de trayectorias: • Factores / restricciones: • No hay información a priori disponible. • El mapa se va construyendo progresivamente una vez el vehículo aterriza en el planeta. • El mapa construido en cada ciclo no es completo, existen zonas desconocidas. • El destino puede quedar fuera de los límites del mapa. • El entorno no puede representarse de forma binaria (ocupado/libre). • El vehículo no es puntual, ni holonómico. • No existe ningún sistema de posicionamiento global (GPS).
  25. 25. Autonomy for Robotic Planetary Exploration Missions: Perception and Navigation for Autonomous Rovers 25 / 87 Marzo, 2017Raúl Correal 3. Autonomía para rovers de exploración planetaria: arquitectura y navegación Planificación de trayectorias: • Estrategia exploratoria. • Cálculo de caminos candidatos. Caminos candidatos Caminos rectos Parámetros configurables
  26. 26. Autonomy for Robotic Planetary Exploration Missions: Perception and Navigation for Autonomous Rovers 26 / 87 Marzo, 2017Raúl Correal 3. Autonomía para rovers de exploración planetaria: arquitectura y navegación Planificación de trayectorias: • Estrategia exploratoria. • Cálculo de caminos candidatos. Caminos candidatos Parámetros configurables Arcos
  27. 27. Autonomy for Robotic Planetary Exploration Missions: Perception and Navigation for Autonomous Rovers 27 / 87 Marzo, 2017Raúl Correal 3. Autonomía para rovers de exploración planetaria: arquitectura y navegación Planificación de trayectorias: • Estrategia exploratoria. • Cálculo de caminos candidatos. Caminos candidatos Radio variable
  28. 28. Autonomy for Robotic Planetary Exploration Missions: Perception and Navigation for Autonomous Rovers 28 / 87 Marzo, 2017Raúl Correal 3. Autonomía para rovers de exploración planetaria: arquitectura y navegación Planificación de trayectorias: • Estrategia exploratoria. • Cálculo de caminos candidatos. Caminos candidatos Puntos equidistantes
  29. 29. Autonomy for Robotic Planetary Exploration Missions: Perception and Navigation for Autonomous Rovers 29 / 87 Marzo, 2017Raúl Correal 3. Autonomía para rovers de exploración planetaria: arquitectura y navegación Planificación de trayectorias: • Estrategia exploratoria. • Cálculo de caminos candidatos. Caminos candidatos Puntos equidistantes
  30. 30. Autonomy for Robotic Planetary Exploration Missions: Perception and Navigation for Autonomous Rovers 30 / 87 Marzo, 2017Raúl Correal 3. Autonomía para rovers de exploración planetaria: arquitectura y navegación Planificación de trayectorias: • Estrategia exploratoria. • Cálculo de caminos candidatos. Caminos candidatos Splines
  31. 31. Autonomy for Robotic Planetary Exploration Missions: Perception and Navigation for Autonomous Rovers 31 / 87 Marzo, 2017Raúl Correal 3. Autonomía para rovers de exploración planetaria: arquitectura y navegación Planificación de trayectorias: • Estrategia exploratoria. • Cálculo de caminos candidatos. Caminos candidatos Splines
  32. 32. Autonomy for Robotic Planetary Exploration Missions: Perception and Navigation for Autonomous Rovers 32 / 87 Marzo, 2017Raúl Correal 3. Autonomía para rovers de exploración planetaria: arquitectura y navegación Planificación de trayectorias: • Estrategia exploratoria. • Cálculo de caminos candidatos. Caminos candidatos Splines
  33. 33. Autonomy for Robotic Planetary Exploration Missions: Perception and Navigation for Autonomous Rovers 33 / 87 Marzo, 2017Raúl Correal 3. Autonomía para rovers de exploración planetaria: arquitectura y navegación Planificación de trayectorias: • Estrategia exploratoria. • Cálculo de caminos candidatos. Caminos candidatos Splines
  34. 34. Autonomy for Robotic Planetary Exploration Missions: Perception and Navigation for Autonomous Rovers 34 / 87 Marzo, 2017Raúl Correal 3. Autonomía para rovers de exploración planetaria: arquitectura y navegación Planificación de trayectorias: • Estrategia exploratoria. • Cálculo de caminos candidatos. Caminos candidatos Splines Suavizado
  35. 35. Autonomy for Robotic Planetary Exploration Missions: Perception and Navigation for Autonomous Rovers 35 / 87 Marzo, 2017Raúl Correal 3. Autonomía para rovers de exploración planetaria: arquitectura y navegación Planificación de trayectorias: • Estrategia exploratoria. • Cálculo de caminos candidatos. Caminos candidatos Splines Suavizado
  36. 36. Autonomy for Robotic Planetary Exploration Missions: Perception and Navigation for Autonomous Rovers 36 / 87 Marzo, 2017Raúl Correal 3. Autonomía para rovers de exploración planetaria: arquitectura y navegación Planificación de trayectorias: • Estrategia exploratoria. • Cálculo de caminos candidatos. Caminos candidatos Selección de caminos Menor distancia desde el extremo Menor desviación Camino único
  37. 37. Autonomy for Robotic Planetary Exploration Missions: Perception and Navigation for Autonomous Rovers 37 / 87 Marzo, 2017Raúl Correal 3. Autonomía para rovers de exploración planetaria: arquitectura y navegación Planificación de trayectorias: • Estrategia exploratoria. • Cálculo de caminos candidatos. Caminos candidatos Determinar celdas atravesadas Caminos rectos
  38. 38. Autonomy for Robotic Planetary Exploration Missions: Perception and Navigation for Autonomous Rovers 38 / 87 Marzo, 2017Raúl Correal 3. Autonomía para rovers de exploración planetaria: arquitectura y navegación Planificación de trayectorias: • Estrategia exploratoria. • Cálculo de caminos candidatos. Caminos candidatos Evaluar seguridad del camino
  39. 39. Autonomy for Robotic Planetary Exploration Missions: Perception and Navigation for Autonomous Rovers 39 / 87 Marzo, 2017Raúl Correal 3. Autonomía para rovers de exploración planetaria: arquitectura y navegación Planificación de trayectorias: • Estrategia exploratoria. • Cálculo de caminos candidatos. Caminos candidatos Evaluar seguridad del camino 1. Excesivo escalón
  40. 40. Autonomy for Robotic Planetary Exploration Missions: Perception and Navigation for Autonomous Rovers 40 / 87 Marzo, 2017Raúl Correal 3. Autonomía para rovers de exploración planetaria: arquitectura y navegación Planificación de trayectorias: • Estrategia exploratoria. • Cálculo de caminos candidatos. Caminos candidatos Evaluar seguridad del camino 2. Excesiva rugosidad
  41. 41. Autonomy for Robotic Planetary Exploration Missions: Perception and Navigation for Autonomous Rovers 41 / 87 Marzo, 2017Raúl Correal 3. Autonomía para rovers de exploración planetaria: arquitectura y navegación Planificación de trayectorias: • Estrategia exploratoria. • Cálculo de caminos candidatos. Caminos candidatos Evaluar seguridad del camino 3. Excesiva inclinación
  42. 42. Autonomy for Robotic Planetary Exploration Missions: Perception and Navigation for Autonomous Rovers 42 / 87 Marzo, 2017Raúl Correal 3. Autonomía para rovers de exploración planetaria: arquitectura y navegación Navegación: • Locomoción. • Control. • Estimación de localización. Locomoción Distancia de planificación y de navegación
  43. 43. Autonomy for Robotic Planetary Exploration Missions: Perception and Navigation for Autonomous Rovers 43 / 87 Marzo, 2017Raúl Correal 3. Autonomía para rovers de exploración planetaria: arquitectura y navegación Navegación: • Locomoción. • Control. • Estimación de localización. Control
  44. 44. Autonomy for Robotic Planetary Exploration Missions: Perception and Navigation for Autonomous Rovers 44 / 87 Marzo, 2017Raúl Correal 3. Autonomía para rovers de exploración planetaria: arquitectura y navegación Navegación: • Locomoción. • Control. • Estimación de localización. Control Trayectorias rectas α l
  45. 45. Autonomy for Robotic Planetary Exploration Missions: Perception and Navigation for Autonomous Rovers 45 / 87 Marzo, 2017Raúl Correal 3. Autonomía para rovers de exploración planetaria: arquitectura y navegación Navegación: • Locomoción. • Control. • Estimación de localización. Control Arcos
  46. 46. Autonomy for Robotic Planetary Exploration Missions: Perception and Navigation for Autonomous Rovers 46 / 87 Marzo, 2017Raúl Correal 3. Autonomía para rovers de exploración planetaria: arquitectura y navegación Navegación: • Locomoción. • Control. • Estimación de localización. Control Splines
  47. 47. Autonomy for Robotic Planetary Exploration Missions: Perception and Navigation for Autonomous Rovers 47 / 87 Marzo, 2017Raúl Correal 3. Autonomía para rovers de exploración planetaria: arquitectura y navegación Navegación: • Locomoción. • Control. • Estimación de localización. Estimación de localización Cinemática diferencial
  48. 48. Autonomy for Robotic Planetary Exploration Missions: Perception and Navigation for Autonomous Rovers 48 / 87 Marzo, 2017Raúl Correal 3. Autonomía para rovers de exploración planetaria: arquitectura y navegación Diseño de la arquitectura del software de control: • Estructurar el código. Multi-capa (jerárquica). • Modular. • Mantenibilidad / escalabilidad / reusabilidad. • Plataforma de investigación.
  49. 49. Autonomy for Robotic Planetary Exploration Missions: Perception and Navigation for Autonomous Rovers 49 / 87 Marzo, 2017Raúl Correal 3. Autonomía para rovers de exploración planetaria: arquitectura y navegación Pruebas y validación: • Simulación.
  50. 50. Autonomy for Robotic Planetary Exploration Missions: Perception and Navigation for Autonomous Rovers 50 / 87 Marzo, 2017Raúl Correal 3. Autonomía para rovers de exploración planetaria: arquitectura y navegación Pruebas y validación: • Simulación. • 6 ciclos • 9:29 min. • 5,88 m. • v. nominal -> 5 cm/s • Pan/Tilt -> 28-30 s. Cycle Total time (s) Comp. time (s) Nav. time (s) Turn (rad) Distance (m) 1 85 52 33 0.29 (9s) 1.05 2 79 46 33 -0.43 (12s) 0.88 3 68 47 21 0 (0 s) 1.00 4 118 62 55 1.29 (40s) 0.60 5 105 63 41 -0.43 (12s) 1.29 6 114 78 35 -0.43 (12s) 1.06 9:29 5:48 3:38 5.88
  51. 51. Autonomy for Robotic Planetary Exploration Missions: Perception and Navigation for Autonomous Rovers 51 / 87 Marzo, 2017Raúl Correal 3. Autonomía para rovers de exploración planetaria: arquitectura y navegación Pruebas y validación: • Simulación. • 6 ciclos • 9:29 min. • 5,88 m. • v. nominal -> 5 cm/s • Pan/Tilt -> 28-30 s. Cycle Total time (s) Comp. time (s) Nav. time (s) Turn (rad) Distance (m) 1 85 52 33 0.29 (9s) 1.05 2 79 46 33 -0.43 (12s) 0.88 3 68 47 21 0 (0 s) 1.00 4 118 62 55 1.29 (40s) 0.60 5 105 63 41 -0.43 (12s) 1.29 6 114 78 35 -0.43 (12s) 1.06 9:29 5:48 3:38 5.88 Function Computing time (ms) Stereo matching 410-480 Disparity filtering 90-130 Computing 3D points 430-470 Reprojection 210-320 Height map construction 70-90 Height map interpolation < 10 Height map update < 10 Merge height maps < 10 Path planning process 40-50
  52. 52. Autonomy for Robotic Planetary Exploration Missions: Perception and Navigation for Autonomous Rovers 52 / 87 Marzo, 2017Raúl Correal 3. Autonomía para rovers de exploración planetaria: arquitectura y navegación Pruebas y validación: • Pruebas de campo.
  53. 53. Autonomy for Robotic Planetary Exploration Missions: Perception and Navigation for Autonomous Rovers 53 / 87 Marzo, 2017Raúl Correal 3. Autonomía para rovers de exploración planetaria: arquitectura y navegación Pruebas y validación: • Pruebas de campo. Function Computing time Stereo matching 29.25-29.45 s Disparity filtering 1.02-1.16 s Computing 3D points 3.66-3.85 s Reprojection 2.15-2.95 ms Height map construction 460-560 ms Height map interpolation 120-130 ms Height map updating < 10 ms Merge height maps < 10 ms Path planning process 440-610 ms
  54. 54. Autonomy for Robotic Planetary Exploration Missions: Perception and Navigation for Autonomous Rovers 54 / 87 Marzo, 2017Raúl Correal 3. Autonomía para rovers de exploración planetaria: arquitectura y navegación Pruebas y validación: • Pruebas de campo. Function Computing time Stereo matching 29.25-29.45 s Disparity filtering 1.02-1.16 s Computing 3D points 3.66-3.85 s Reprojection 2.15-2.95 ms Height map construction 460-560 ms Height map interpolation 120-130 ms Height map updating < 10 ms Merge height maps < 10 ms Path planning process 440-610 ms • Tiempos de proceso similares a HW representativo de vuelo • Aceleración (resolución de imágenes, paralelización). • Validación funcional
  55. 55. Autonomy for Robotic Planetary Exploration Missions: Perception and Navigation for Autonomous Rovers 55 / 87 Marzo, 2017Raúl Correal Contenido 1. Exploración espacial robótica. Autonomía. 2. Entorno de soporte al desarrollo. 3. Autonomía para rovers de exploración planetaria: arquitectura y navegación. 4. Percepción: filtros de imagen para reconstrucción 3D del entorno. 5. Conclusiones y trabajos futuros
  56. 56. Autonomy for Robotic Planetary Exploration Missions: Perception and Navigation for Autonomous Rovers 56 / 87 Marzo, 2017Raúl Correal 5. Filtros de imagen y sistema experto para reconstrucción 3D del entorno Antecedentes: • Percepción clave para reconstrucción, mapeado y posterior navegación. • Problema: funcionamiento de algoritmos con imágenes concretas (reales). • Objetivo: tratar de optimizar más aún los resultados. • Suposición de intensidad constante -> a menudo no se cumple. • Estrategia: aparte del proceso estéreo, tratamientos previos y posteriores de las imágenes. Corrección automática y coordinada de las imágenes. • Filtros y procesos existentes pero no aplicados habitualmente a pares estéreo.
  57. 57. Autonomy for Robotic Planetary Exploration Missions: Perception and Navigation for Autonomous Rovers 59 / 87 Marzo, 2017Raúl Correal 5. Filtros de imagen y sistema experto para reconstrucción 3D del entorno Correspondencia de histogramas: • Técnica relativa: ecualización de histogramas -> para una imagen. • Los histogramas del par de imágenes pueden variar significativamente. • Estrategia: ecualizar el histograma de una imagen con el de la otra. Hacer corresponder las distribuciones de probabilidad (intensidades).
  58. 58. Autonomy for Robotic Planetary Exploration Missions: Perception and Navigation for Autonomous Rovers 60 / 87 Marzo, 2017Raúl Correal 5. Filtros de imagen y sistema experto para reconstrucción 3D del entorno Correspondencia de histogramas:
  59. 59. Autonomy for Robotic Planetary Exploration Missions: Perception and Navigation for Autonomous Rovers 61 / 87 Marzo, 2017Raúl Correal 5. Filtros de imagen y sistema experto para reconstrucción 3D del entorno Correspondencia de histogramas:
  60. 60. Autonomy for Robotic Planetary Exploration Missions: Perception and Navigation for Autonomous Rovers 62 / 87 Marzo, 2017Raúl Correal 5. Filtros de imagen y sistema experto para reconstrucción 3D del entorno Correspondencia de histogramas:
  61. 61. Autonomy for Robotic Planetary Exploration Missions: Perception and Navigation for Autonomous Rovers 63 / 87 Marzo, 2017Raúl Correal 5. Filtros de imagen y sistema experto para reconstrucción 3D del entorno Correspondencia de histogramas:
  62. 62. Autonomy for Robotic Planetary Exploration Missions: Perception and Navigation for Autonomous Rovers 64 / 87 Marzo, 2017Raúl Correal 5. Filtros de imagen y sistema experto para reconstrucción 3D del entorno Correspondencia de histogramas:
  63. 63. Autonomy for Robotic Planetary Exploration Missions: Perception and Navigation for Autonomous Rovers 65 / 87 Marzo, 2017Raúl Correal 5. Filtros de imagen y sistema experto para reconstrucción 3D del entorno Correspondencia de histogramas:
  64. 64. Autonomy for Robotic Planetary Exploration Missions: Perception and Navigation for Autonomous Rovers 66 / 87 Marzo, 2017Raúl Correal 5. Filtros de imagen y sistema experto para reconstrucción 3D del entorno Correspondencia de histogramas:
  65. 65. Autonomy for Robotic Planetary Exploration Missions: Perception and Navigation for Autonomous Rovers 67 / 87 Marzo, 2017Raúl Correal 5. Filtros de imagen y sistema experto para reconstrucción 3D del entorno Correspondencia de histogramas:
  66. 66. Autonomy for Robotic Planetary Exploration Missions: Perception and Navigation for Autonomous Rovers 68 / 87 Marzo, 2017Raúl Correal 5. Filtros de imagen y sistema experto para reconstrucción 3D del entorno Correspondencia de histogramas:
  67. 67. Autonomy for Robotic Planetary Exploration Missions: Perception and Navigation for Autonomous Rovers 69 / 87 Marzo, 2017Raúl Correal 5. Filtros de imagen y sistema experto para reconstrucción 3D del entorno Correspondencia de histogramas: Stereo matching algorithm Original Images Histogram Matching (RGB) Histogram Matching (Gray) Total image’s pixels 307,200 307,200 307,200 Potential matches 156,111 156,111 156,111 Matches found 143,296 141,993 153,305 Right matches (%) 120,738 77.34% 126,608 81.1% 139,955 89.65% Wrong matches 22,558 15,385 13,350 Missed matches (%) 35,373 22.66% 29,503 18.9% 16,156 10.35%
  68. 68. Autonomy for Robotic Planetary Exploration Missions: Perception and Navigation for Autonomous Rovers 70 / 87 Marzo, 2017Raúl Correal 5. Filtros de imagen y sistema experto para reconstrucción 3D del entorno Filtrado homomórfico: • Imágenes, 2 componentes: 1) reflectancia (naturaleza del objeto) e 2) iluminación (luz en la escena). • Estrategia: eliminar la componente de iluminación y mantener la reflectancia. Maximizar la similitud de los niveles espectrales del par estéreo. • Proceso:
  69. 69. Autonomy for Robotic Planetary Exploration Missions: Perception and Navigation for Autonomous Rovers 71 / 87 Marzo, 2017Raúl Correal 5. Filtros de imagen y sistema experto para reconstrucción 3D del entorno Filtrado homomórfico:
  70. 70. Autonomy for Robotic Planetary Exploration Missions: Perception and Navigation for Autonomous Rovers 72 / 87 Marzo, 2017Raúl Correal 5. Filtros de imagen y sistema experto para reconstrucción 3D del entorno Filtrado homomórfico:
  71. 71. Autonomy for Robotic Planetary Exploration Missions: Perception and Navigation for Autonomous Rovers 73 / 87 Marzo, 2017Raúl Correal 5. Filtros de imagen y sistema experto para reconstrucción 3D del entorno Filtrado homomórfico: Stereo matching algorithm Original Images Homomorphic Filtering Total image’s pixels 307,200 307,200 Potential matches 156,111 156,111 Matches found 143,296 141,200 Right matches (%) 120,738 77.34% 132,235 84.71% Wrong matches 22,558 8,965 Missed matches (%) 35,373 22.66% 23,876 15.29%
  72. 72. Autonomy for Robotic Planetary Exploration Missions: Perception and Navigation for Autonomous Rovers 74 / 87 Marzo, 2017Raúl Correal 5. Filtros de imagen y sistema experto para reconstrucción 3D del entorno Filtrado homomórfico: Stereo matching algorithm Original Images Homomorphic Filtering Total image’s pixels 307,200 307,200 Potential matches 156,111 156,111 Matches found 143,296 141,200 Right matches (%) 120,738 77.34% 132,235 84.71% Wrong matches 22,558 8,965 Missed matches (%) 35,373 22.66% 23,876 15.29%
  73. 73. Autonomy for Robotic Planetary Exploration Missions: Perception and Navigation for Autonomous Rovers 75 / 87 Marzo, 2017Raúl Correal 5. Filtros de imagen y sistema experto para reconstrucción 3D del entorno Filtrado por clusters: • Proceso de filtrado posterior (sobre los resultados). • Estrategia: principio de continuidad espacial. Agrupar píxeles aislados del resto (terreno). • Proceso: 1) detectar clusters, 2) filtrarlos acorde a parámetros configurados.
  74. 74. Autonomy for Robotic Planetary Exploration Missions: Perception and Navigation for Autonomous Rovers 76 / 87 Marzo, 2017Raúl Correal 5. Filtros de imagen y sistema experto para reconstrucción 3D del entorno Filtrado por clusters:
  75. 75. Autonomy for Robotic Planetary Exploration Missions: Perception and Navigation for Autonomous Rovers 77 / 87 Marzo, 2017Raúl Correal 5. Filtros de imagen y sistema experto para reconstrucción 3D del entorno Filtrado por clusters:
  76. 76. Autonomy for Robotic Planetary Exploration Missions: Perception and Navigation for Autonomous Rovers 78 / 87 Marzo, 2017Raúl Correal 5. Filtros de imagen y sistema experto para reconstrucción 3D del entorno Filtrado por clusters:
  77. 77. Autonomy for Robotic Planetary Exploration Missions: Perception and Navigation for Autonomous Rovers 79 / 87 Marzo, 2017Raúl Correal 5. Filtros de imagen y sistema experto para reconstrucción 3D del entorno Filtrado por clusters: Stereo matching algorithm Original Images Homomorphic Filtering Clustering Filter Total image’s pixels 307,200 307,200 307,200 Potential matches 156,111 156,111 156,111 Matches found 143,296 141,200 135,086 Right matches (%) 120,738 77.34% 132,235 84.71% 131,862 84.47% Wrong matches 22,558 8,965 3,224 Missed matches (%) 35,373 22.66% 23,876 15.29% 24,249 15.53%
  78. 78. Autonomy for Robotic Planetary Exploration Missions: Perception and Navigation for Autonomous Rovers 80 / 87 Marzo, 2017Raúl Correal 5. Filtros de imagen y sistema experto para reconstrucción 3D del entorno Filtrado por clusters: Stereo matching algorithm Original Images Homomorphic Filtering Clustering Filter Total image’s pixels 307,200 307,200 307,200 Potential matches 156,111 156,111 156,111 Matches found 143,296 141,200 135,086 Right matches (%) 120,738 77.34% 132,235 84.71% 131,862 84.47% Wrong matches 22,558 8,965 3,224 Missed matches (%) 35,373 22.66% 23,876 15.29% 24,249 15.53%
  79. 79. Autonomy for Robotic Planetary Exploration Missions: Perception and Navigation for Autonomous Rovers 81 / 87 Marzo, 2017Raúl Correal Contenido 1. Exploración espacial robótica. Autonomía. 2. Entorno de soporte al desarrollo. 3. Autonomía para rovers de exploración planetaria: arquitectura y navegación. 4. Percepción: filtros de imagen para reconstrucción 3D del entorno. 5. Conclusiones y trabajos futuros
  80. 80. Autonomy for Robotic Planetary Exploration Missions: Perception and Navigation for Autonomous Rovers 82 / 87 Marzo, 2017Raúl Correal 6. Conclusiones y trabajos futuros (1/3) Conclusiones: • Se demuestra que la integración de paquetes, con adaptaciones y extensiones, hace posible la creación de un entorno de trabajo para soportar desarrollos de autonomía en robótica espacial. • El entorno de trabajo construido a propósito ha resultado clave para el desarrollo y validación. • La estrategia de autonomía ha sido validada funcionalmente, tanto en simulación como en real. • Nuevas estrategias de path planning suponen un avance con respecto a enfoques anteriores. • La arquitectura multicapa ha sido clave como plataforma de investigación y operación. • La estrategia de navegación requiere recursos acordes a actuales misiones y hardware de vuelo.
  81. 81. Autonomy for Robotic Planetary Exploration Missions: Perception and Navigation for Autonomous Rovers 83 / 87 Marzo, 2017Raúl Correal 6. Conclusiones y trabajos futuros (2/3) • Se ha confirmado la percepción como el proceso clave, tanto en funcionalidad como para optimizaciones. • Los filtros y procesos de imagen desarrollados mejoran significativamente el proceso de percepción: incrementan correspondencias y disminuyen errores -> reconstrucción 3D. • El trabajo desarrollado sirve de partida para dar respuesta a futuras necesidades de ESA. • El trabajo desarrollado es altamente portable a otras aplicaciones similares terrestres: navegación por entornos naturales, agricultura, rescate, vigilancia, etc.
  82. 82. Autonomy for Robotic Planetary Exploration Missions: Perception and Navigation for Autonomous Rovers 84 / 87 Marzo, 2017Raúl Correal 6. Conclusiones y trabajos futuros (3/3) Trabajos futuros: • Sofisticación del entorno de soporte: centro de control y entorno de simulación (modelos, funcionalidad). • Estrategia de navegación. Algoritmos de percepción, path planning, mapeado, control, etc. -> plataforma base para futuros trabajos de investigación. • Filtros y procesos de imagen que mejoren la percepción y disminuyan errores. • Robustecer los desarrollos para aplicación a misiones futuras y adaptación a otras aplicaciones.
  83. 83. Autonomy for Robotic Planetary Exploration Missions: Perception and Navigation for Autonomous Rovers 85 / 87 Marzo, 2017Raúl Correal Publicaciones PUBLICACIONES EN REVISTAS INDEXADAS: • Correal, R.; Pajares, G.; Ruz, J. J. (2013). Mejora del Proceso de Correspondencia en Imágenes Estereoscópicas Mediante Filtrado Homomórfico y Agrupaciones de Disparidad. Revista Iberoamericana de Automática e Informática Industrial, vol. 10, issue 2, pp 178-184, doi: 10.1016/j.riai.2013.03.008. • Correal, R.; Pajares, G.; Ruz, J.J. (2014a). Automatic Expert System for 3D Terrain Reconstruction Based on Stereo Vision and Histogram Matching. Expert Systems with Applications, no. 41, pp. 2043-2051, doi: 10.1016/j.eswa.2013.09.003. • Correal, R.; Pajares, G.; Ruz, J.J. (2014b). Autonomy for Ground-level Robotic Space Exploration: Framework, Simulation, Architecture, Algorithms and Experiments. ROBOTICA Journal. June 2014, pp. 1–32. doi: 10.1017/S0263574714001428. PUBLICACIONES EN CONGRESOS Y CONFERENCIAS: • Odwyer, A.; Correal, R. (2008). Experiences in Producing a Preliminary Navigation OBSW Prototype for the Exomars Rover Based on EDRES. ESA Workshop on Advanced Space Technologies for Robotics and Automation (ASTRA), ESA/ESTEC, November 11-14, 2008, Noordwijk, The Netherlands. • Correal, R.; Pajares, G. (2010). Framework for Simulation and Rover' Visual-Based Autonomous Navigation in Natural Terrains. 7th Workshop RoboCity2030-II, October, 2010, Madrid, Spain. • Correal, R.; Pajares, G. (2011a). Modeling, simulation and onboard autonomy software for robotic exploration on planetary environments. International Conference on DAta Systems In Aerospace (DASIA), 17-20 Mayo, 2011, Malta, pp. 1-21. • Correal, R.; Pajares, G. (2011b). Onboard Autonomous Navigation Architecture for a Planetary Surface Exploration Rover and Functional Validation Using Open-Source Tools. ESA International Conference on Advanced Space Technologies in Robotics and Automation (ASTRA 2008), ESA/ESTEC, Noordwijk, The Netherlands, pp 1-8.
  84. 84. Autonomy for Robotic Planetary Exploration Missions: Perception and Navigation for Autonomous Rovers 86 / 87 Marzo, 2017Raúl Correal Publicaciones SEMINARIOS: • Conferencia en la Facultad de Informática de la Universidad Complutense de Madrid (Noviembre 2009), titulada “Computer Vision for Planetary Exploration Rovers”. • Conferencia en la Facultad de Informática de la Universidad Rey Juan Carlos (Octubre 2010), titulada “Framework for Simulation and Rover' Visual-Based Autonomous Navigation in Natural Terrains”, en el marco de 7th workshop de RoboCity2030-II-CM. • Conferencia en la Facultad de Informática de la Universidad Complutense de Madrid (Noviembre 2010), titulada “Computer Vision in Space and Planetary Environments”. • Conferencia en la Escuela Politécnica Superior de la Universidad Carlos III de Madrid (Abril 2011), titulada “Unmanned Vehicles’ Autonomous Navigation for Space Exploration Missions”. • Conferencia en Malta (Mayo 2011), titulada “Modeling, simulation and onboard autonomy software for robotic exploration on planetary environments”, en el marco de la conferencia internacional DASIA (DAta Systems In Aerospace). • Conferencia en la Escuela Politécnica Superior de la Universidad Carlos III de Madrid (Mayo 2012), titulada “Unmanned Vehicles’ Autonomous Navigation for Space Exploration Missions”. • Conferencia en la Escuela Politécnica Superior de la Universidad Carlos III de Madrid (Abril 2015), titulada “Unmanned Vehicles’ Autonomous Navigation for Space Exploration Missions”. • Conferencia en la Escuela Politécnica Superior de la Universidad Carlos III de Madrid (Abril 2016), titulada “Unmanned Vehicles’ Autonomous Navigation for Space Exploration Missions”.
  85. 85. AUTONOMY FOR ROBOTIC PLANETARY EXPLORATION MISSIONS: PERCEPTION AND NAVIGATION FOR AUTONOMOUS ROVERS Raúl Correal Marzo, 2017 Muchas gracias por su atención

×