Producción automática de la red hidrográfica nacional a partir de datos Lidar - Conferencia Esri 2016
•Download as PPTX, PDF•
0 likes•474 views
El IGN ha lanzado un nuevo sistema de producción automática para la extracción vectorial de la red hidrográfica a partir de datos Lidar. La presentación muestra el sistema productivo desarrollado con el soporte de las herramientas de Esri que ha utilizado para la automatización, así como los resultados obtenidos de la producción que ya ha finalizado.
Recommended
Recommended
More Related Content
Similar to Producción automática de la red hidrográfica nacional a partir de datos Lidar - Conferencia Esri 2016
Similar to Producción automática de la red hidrográfica nacional a partir de datos Lidar - Conferencia Esri 2016 (20)
More from Esri España
More from Esri España (20)
Recently uploaded
Recently uploaded (10)
Producción automática de la red hidrográfica nacional a partir de datos Lidar - Conferencia Esri 2016
- 1. 1 Eduardo Núñez Maderal, N. Valcárcel, J. Delgado, C. Sevilla, J.C. Ojeda Producción automática de la red hidrográfica nacional a partir de datos Lidar
- 2. 227 octubre 2016 CE16 2 Cambios Entorno de información geoespacial Recursos humanos Gestión global Tecnología geoespacial Usuarios Mirar dentro de la organización Mirar a otros
- 3. 327 octubre 2016 CE16 3 Hidrografía en la cartografía básica del estado Introducción 1990 2014 2,5D (XY+Z) Captura manual por restitución fotogramétrica combinada con una actualización 2D (ortoimagen + MDT) Captura y mantenimiento con propósitos cartográficos Producción: • La hidrografía es obtenida junto con otros temas de información para hacer cartografía • La precisión está en relación a la escala del mapa (5 metros para 1:25.000) • El ciclo de mantenimiento está vinculado a las necesidades cartográficas INFORMACIÓN GEOGRÁFICA PARA EL MAPA TOPOGRÁFICO NACIONAL (1:25.000)
- 4. 427 octubre 2016 CE16 4 Red Hidrográfica Automática (RHA) del proyecto de Información Geoespacial de Referencia (IGR) del IGN Introducción 2014 … Producción de red hidrográfica de alta precisión: extracción automática XYZ, homogénea y objetiva a nivel nacional Captura y mantenimiento para propósitos cartográficos e hidrológicos conforme a INSPIRE LiDAR DRAINAJE NETWORK PROYECTO DE PRODUCCIÓN IGR: red hidrográfica Producción red hidrográfica: • Conforme a INSPIRE • Precisión: aproximación bottom-up • Ciclo de mantenimiento en relación a necesidades (6 años para la red hidrográfica)
- 5. 527 octubre 2016 CE16 5 ¿Qué es la (IGR) Información Geoespacial de Referencia? IGR: información oficial del territorio para que cualquier usuario y aplicación puedan referenciar sus datos Características Provee una localización precisa sin ambigüedades Posibilita la combinación de datos Debe estar sometida a un proceso claro de mantenimiento Oficial: es producida y facilitada desde una fuente competente, con mandato legal Imágenes Redes Transporte Ocupación suelo Poblaciones Hidrografía Altimetría
- 6. 627 octubre 2016 CE16 6 Elementos de impulso del trabajo: • Visión estratégica IGN, proyecto IGR • Disponibilidad de cobertura Lidar nacional • Necesidades usuarios: • Confederaciones, organismos de cuenca • D.G.Agua • Sistema cartográfico nacional • INSPIRE • Producción de red europea: Programa Copernicus (EEA) • Coordinación a nivel global: UN-GGIM • Principios metodológicos (CEDEX-D.G.Agua) Impulso del proyecto
- 7. 727 octubre 2016 CE16 7 PROYECTO DE DATOS LIDAR EN ESPAÑA (PNOA LIDAR)
- 8. 827 octubre 2016 CE16 8 METODOLOGÍA PARA LA EXTRACCIÓN AUTOMÁTICA DE RED HIDROGRÁFICA Criterios técnicos Análisis viabilidad Metodología •Planificación •Prepara fuentes •Procesado hidro. •Validación Producción • Planificación, recursos • Producción Resultados y conclusiones CRITERIOS VIABILIDAD METODOLOGÍA DE PRODUCCIÓN PRODUCCIÓN RESULTADOS
- 9. 927 octubre 2016 CE16 9 CRITERIOS TÉCNICOS Requerimientos Objeto geográfico Red de corriente natural del río (aguas superficiales) Fuente de datos Clasificación automática datos LiDAR (0,5 p/m2) MDT Paso malla 2 m, automático desde Lidar Algoritmo hidrológico Modelo D8 Calidad Precisión XY: 1m. ; Precisión Z: 0,5m. Productos MDT_hidro, modelo de direcciones y red hidrográfica XYZ Control calidad Procesos semiautomáticos XYZ. No se contemplan trabajos de campo
- 10. 1027 octubre 2016 CE16 10 Selección áreas de test ANÁLISIS DE VIABILIDAD CUENCA GUADALQUIVIR Embalse Pequeña cuenca Área urbana Conjunto de datos (red hidrográfica) XY error evaluad o Z error estima do Tiempo estimado extracción (1 máquina) Cartografía 1:25.000 2-3m < 5 m MDT 2m (RHA02) 2-3m < 0.5 m 29,9 meses MDT5m, (RHA05) 3-4 m < 0.5 m 12,8 meses Sevilla
- 11. 1127 octubre 2016 CE16 11 Metodología de producción desarrollada METODOLOGÍA PLANIFICACI ÓN PROCESADO DE DATOS PROCESADO HIDROLÓG. VALIDACIÓN Lidar-MDT & cartografía Zonas de proceso MANUAL EDITION Capas vectoriales Mosaicos Red hidrológica MDT_hidro
- 12. 1227 octubre 2016 CE16 12 Preparación de los datos y generación MDT02 • Empleo ETLs para la gestión masiva de datos • Generación automática de MDT02 METODOLOGÍA: DATOS Y PLANIFICACIÓN DATA & PLANNING Lidar-MDT & cartografía Zonas planificadas 2x2 km tiles LiDAR/DTM (more than 160,000 files) Ejemplo de unidades en el Guadalquivir: 24 unidades organizadas en 5 zonas (cálculo basado en MDT200) Unidades de producción de 1.500 km2 para ser capaces de procesar hidrológicamente con grid de 2 metros Unidades de producción planificadas
- 13. 1327 octubre 2016 CE16 13 METODOLOGÍA : PROCESADO DE DATOS PROCESADO DE DATOS Capas vectoriales Mosaicos Ficheros de 2x2 km Selección MDT02 RASTER Generación mosaicos (con relleno de huecos y recorte costa) x 3 ficheros: - MDT02 - MD_Edificios - MD_Suelo VECTOR - Ejes de ríos - Cabeceras ríos - Embalses - Presas - Carreteras, ffcc - Manzanas urbanas INPUTs para el Procesado hidrológico
- 14. 1427 octubre 2016 CE16 14 METODOLOGÍA : PROCESADO HIDROLÓGICO PROCESADO HIDRO. Red_hidro MDT_hidro Corrección hidrológica en masas de agua Eliminación de obstáculos Adición de obstáculos 2.1. combina corriente derivada desde las cabeceras (amarillo) con la corriente acumulada (rojo) 2.2 Cálculo de cuenca de drenaje [HydroTools] 1. 2.
- 15. 1527 octubre 2016 CE16 15 METODOLOGÍA : PROCESADO HIDROLÓGICO Desarrollo: procesos hidrológicos de corrección de MDT y extracción de red
- 16. 1627 octubre 2016 CE16 16 METODOLOGÍA : VALIDACIÓN VALIDACIÓN Generación automática de puntos de muestreo Medida automática de calidad posicional XY(Z) CARTO Input Tipos de puntos CARTO Input RED02 Output: puntos de muestra Output: estadísticas VS
- 17. 1727 octubre 2016 CE16 17 PRODUCCIÓN: PLANIFICACIÓN Y RECURSOS LiDAR - MDT MDT02 HIDRO RED HIDRO PLANIFICACIÓN CAPAS VECTORIALES VALIDACIÓN 329 Unidades de producción (UP) (504,000 km2 / 1,500 km2 UP ) 500 ficheros(2x2 kms) x UP 8 Tb Mosaicos 8 Gb x mosaico x3=987 ficheros 5 días /UP/1máquina x 329 UP = 1645 días / 7 años 20-40 máquinas ¡ 5-6 meses ! 27 Tb LiDAR-MDT02 164,000 lidar 490.000.MDT 654.000 ficheros ESPAÑA Superficie: 504,000 km2 Ríos: 654,000 km (escala 1:25,000)
- 18. 1827 octubre 2016 CE16 18 FASE Cantidad Tiempo ejecución (meses) MDT02 490m ficheros 3,5 Mosaicos x3 = 987 fich. 2,3 Procesado hidro 329 (sub-zonas) 6 PRODUCCIÓN UNIDADES DE PRODUCCIÓN x 329 Infraestructura local (Centro de Proceso de Datos) Infraestructura Web S3 + EC2 Desde Noviembre 2015 a Mayo 2016
- 19. 1927 octubre 2016 CE16 19 • Resultados finales: • Red vectorial del río XYZ (eje del río) con 2-3m metros en XY y 0,5 m en Z • MDT hidrológico de paso malla 2 metros • Modelo de direcciones y acumulación asociado • Productos intermedios también útiles a usuarios: límites físicos de cuencas vertientes • Es una primera versión automática : • Modelado hidrológico basado en datos cartográficos • Seguir dando pasos con el objetivo de conseguir una red básica a nivel Nacional o coordinación con la D.G.Agua, CEDEX, … o combinar la modelización hidrológica con datos procedentes de clima o hidro-geológicos RESULTADOS
- 20. 2027 octubre 2016 CE16 20 Mapa topográfico MDT02 original Red obtenida LiDAR LiDAR clase suelo
- 21. 2127 octubre 2016 CE16 21 Río Tormes Barco de Ávila UNIDAD DE PRODUCCIÓN: Demarcación: DUERO ZONA:G SUBZONA:1
- 22. 2227 octubre 2016 CE16 22 • Metodología del CEDEX-DGA: clave para el desarrollo • Automatización alcanzada: 70% 60% ahorro comparado con la captura manual estereoscópica • Resultados homogéneos y objetivos • Mejora significativa en la precisión altimétrica • Análisis de viabilidad: clave para la toma de decisiones • Entorno Esri desarrollo : clave para la estabilidad • Uso de big data & técnicas de computación en la nube: clave para el procesamiento en plazo CONCLUSIONES
- 23. CE16 2327 octubre 2016 Eduardo Núñez Maderal enmaderal@fomento.es Muchas gracias Artículo del trabajo: https://www.conftool.pro/isprs2016/index.php?page=browseSessions&print=head&form _session=227#paperID2160
Editor's Notes
- Buenos días, voy a hablar sobre una nueva línea de producción de información geoespacial de referencia del IGN. Soy un ingeniero de este organismo y estoy muy agradecido de estar aquí y presentaros este proyecto…y una de las razones de estar aquí es esta….
- ….. Los cambios…cambios en cómo usamos y en cómo necesitamos los datos espaciales, esta nueva metodología de producción de la que voy a hablar es el comienzo de un cambio, un cambio en busca de la automatización, cambios debidos a la importancia del «DONDE»
- En el IGN, a finales del siglo pasado fue realizada una adquisición masiva de información geográfica para producir a nivel nacional la cartografía básica, esto llevó aproximadamente 11 años donde los ríos fueron capturados junto con otra información topográfica. Los últimos años han sido utilizados para el mantenimiento de estos datos en relación a las necesidades de publicación cartográfica.
- El proyecto IGR es responsable de producir la hidrografía y otros temas fundamentales de un modo especializado. El objetivo de la metodología propuesta es obtener una red hidrográfica de alta precisión en las tres componentes (XYZ), que sea obtenida lo más automáticamente posible a partir de los datos Lidar. Los datos finales deben ser conformes a las reglas de implementación de INSPIRE y los ciclos de mantenimiento deben ser coordinados en relación a las necesidades de los usuarios con el objetivo de proporcionar Información de referencia.
- Y qué es la IGR?: pues es información que proporciona una localización precisa, sin ambigüedades y sobre todo, que es oficial.
- Es importante destacar los elementos de impulso estratégico del proyecto que han servido para ver la necesidad, para creer en la posibilidad tecnológica y para llevar adelante este proyecto, como son por ejemplo el disponer de una cobertura Lidar o haber contado con un punto de partida basado en el conocimiento de la metodología desarrollada por el CEDEX en coordinación con la D.G. del Agua del MAGRAMA.
- Este es el proyecto de lidar, con cobertura nacional con una resolución de un punto por cada 2 metros. Hemos utilizado esta cobertura y este año se ha comenzado a capturar una segunda cobertura completa que será utilizada para mejorar y actualizar la información existente.
- Estos han sido los pasos seguidos para poner en práctica el sistema de producción automático. Os comento con más detalle cada paso.
- La primera tarea fue definir qué queríamos y qué esperábamos: Y lo que queremos es el eje de río (de las aguas superficiales) Y lo que esperamos es unos datos de alta resolución coherentes con el terreno y obtenidos de la forma lo más automática posible
- Para validar la idea propuesta seleccionamos varias zonas de test y medimos la calidad sobre las redes generadas, comparando resultados entre ellas y contra la red cartográfica existente. Esta tabla resumen es la que utilizamos para tomar la decisión de seguir adelante.
- Este es el flujo de producción diseñado, consiste en 4 fases y en el caso de que los resultado cumplan con la calidad posicional y altimétrica requerida los datos pasan a la siguiente fase manual de edición. En otro caso se revisan los errores y se procesa de nuevo.
- En la primera fase, la unidades de producción son planificadas dentro de cada demarcación hidrográfica, esta definición es importante debido a los límites técnicos para el procesado hidrológico con grandes ficheros raster. Una vez tenemos estas unidades, preparamos automáticamente las fuentes de datos: Lidar, MDT y cartografía necesaria
- El segundo paso consiste en la generación de los ficheros necesarios para cada unidad de producción: los mosaicos raster y las capas vectoriales
- El tercer paso comienza con la corrección del MDT. Diferentes casos fueron modelados para permitir al agua circular corriente abajo desde las cabeceras. Estas imágenes muestran 3 de ellos: corrección de masas de agua para extraer el eje virtual o ficticio, eliminación de obstáculos debido al cruce con infraestructuras o la adición de edificios en áreas urbanas. La segunda tarea es la extracción de la red por combinación de la corriente derivada desde las cabeceras (en amarillo) con la corriente obtenida de acumulación(en rojo). Finalmente, se realiza el cálculo de la cuenca de drenaje para para filtrar la red de drenaje lógica.
- Este es el entorno de desarrollo para esta fase de procesado hidrológico en donde hemos contado con Tragsatec para desarrollar los procedimientos y con Esri hemos conseguido optimizar los procesos para garantizar la producción.
- Y en cuarto lugar, una validación automática de los resultados Para esto primero generamos una muestra aleatoria de puntos basados en la cartografía y en segundo lugar estos puntos son usados para comparar automáticamente la red obtenida. Esta es la forma de medir la calidad del resultado y validar los procesos.
- De este modo, una vez establecida la metodología lanzamos la producción masiva para todo el territorio. Ya conocemos la superficie de nuestro país y para hacernos a la idea de la cantidad de datos a manejar, en nuestra base topográfica a escala 1:25.000 tenemos más de 600.000 kms de ríos. Para procesar este territorio nos han salido 329 unidades de producción, cada una de ellas cubierta por aproximadamente 500 ficheros de lidar y 1500 ficheros de MDT02 y teniendo en cuenta un solape entre unidades estamos manejando unos 164.000 ficheros de lidar y unos 490.000 de MDTs, además de los casi 1000 mosaicos y capas vectoriales para cada unidad de producción. Para procesar una unidad de producción se estimaron 5 días por máquina lo que supone 7 años para todo, pero gestionando entre 20 y 40 máquinas de geoprocesos el tiempo se reduce a menos de 6 meses y esto parece fácil, hace poco ví una presentación de Google donde utilizaban 66.000 máquinas para procesar 2 millones de ficheros en menos de 2 días, increíble pero es una cuestión de máquinas cuando automatizas
- Y así fue, empezamos en Noviembre del año pasado y terminamos en Mayo de este año. Para hacerlo posible involucramos todos los recursos locales disponibles en el IGN y necesitamos alquilar más infraestructura para complementar las tareas de geo-procesamiento usando los servicios Web de Amazon, como son el S3 y el EC2
- Aquí muestro una selección de las conclusiones de este trabajo. Remarco el hecho de que es un primer paso de automatización para la extracción de red y hemos obtenido buenos resultados y estamos obteniendo buenas experiencias con ello como estar aquí hoy…muchas gracias