Presented together with Jan-Willem van Aalst and Frank Steggink at the Dutch CartoDay, March 15, 2017. See full program here: http://www.cartodag.nl/programma-cartodag-2017. Subject was how to eventually create online topographical maps from Open but Raw datasets: how to transform (ETL), create maps (QGIS), and publish on the web using Open Source service components like MapServer and MapProxy via http://map5.nl
Abstract in Dutch:
Om bruikbare kaarten te maken is tegenwoordig veel goede open geodata beschikbaar. Maar wat komt er allemaal bij kijken om dat zo praktisch mogelijk te doen? Deze sessie neemt je mee in de levenscyclus van open geodata met tooling zoals NLExtract , GDAL en QGIS . Een greep uit wat er langs komt in dit uur: het maken van PostGIS databases uit PDOK data; het maken van hillshading (reliëfschaduw) uit de AHN2/3; het maken van de OpenTopo kaartbeelden uit combinaties van PDOK bestanden; en het tegelen en opnieuw publiceren van allerlei kaartproducten, bijvoorbeeld op map5.nl .
DSD-NL 2019 Op weg met de bodem - Datagebruik bij dijkversterking GOWA - EdelmanDeltares
Presentatie door Dick Edelman, Heijmans Integrale Projecten, op het Minisymposium Basisregistratie Ondergrond (BRO), tijdens de Deltares Software Dagen - Editie 2019. Donderdag, 20 juni 2019, Delft.
5 minute pitch held at GeoBuzz 2016 Den Bosch for the OGT Award (which we received in Category "Developers"!). It introduces NLExtract, a toolset to convert Dutch National Open Geodata sets to manageable formats such as PostGIS.
My talk on the OSGeo.nl Day 2014 on nov 25, 2014, Den Bosch. This event was organized by the OSGeo.nl, the Dutch Language Chapter of OSGeo.org and embedded in the GeoBuzz conference. Main subject is how to transform and visualize (unlock) Dutch Open Geo-datasets using open source tools like NLExtract (http://nlextract.nl), Stetl (http://www.stetl.org). In particular, there is a last minute addition on unlocking 3D data, Top10NL3D, using CesiumJS (http://www.cesiumjs.org) , an Open Source browser/WebGL-based 3D visualization framework ala Google Earth (but open and without plugins). The 3D part of this talk was also given the same day at the "3D Doorbraak" workshop (Jantien Stoter et al).
Nederland kent een lange cartografische traditie, die sinds Google Maps voor iedereen binnen handbereik lijkt. Maar hoe leg je de statistieken van het CBS over een Google Maps kaart? Hoe kies je het juiste kaarttype om je boodschap over te dragen? Je leert in deze workshop niet alleen om te navigeren door het woud van afkortingen, cartografische projecties en geografische bestandsformaten, maar ook om te kiezen tussen een symbolenkaart, vlakkenkaart of een heatmap. Ten slotte leer je de weg te vinden in het landschap van Open Source geografische software en open geografische data en services van de overheid.
DSD-NL 2019 Op weg met de bodem - Datagebruik bij dijkversterking GOWA - EdelmanDeltares
Presentatie door Dick Edelman, Heijmans Integrale Projecten, op het Minisymposium Basisregistratie Ondergrond (BRO), tijdens de Deltares Software Dagen - Editie 2019. Donderdag, 20 juni 2019, Delft.
5 minute pitch held at GeoBuzz 2016 Den Bosch for the OGT Award (which we received in Category "Developers"!). It introduces NLExtract, a toolset to convert Dutch National Open Geodata sets to manageable formats such as PostGIS.
My talk on the OSGeo.nl Day 2014 on nov 25, 2014, Den Bosch. This event was organized by the OSGeo.nl, the Dutch Language Chapter of OSGeo.org and embedded in the GeoBuzz conference. Main subject is how to transform and visualize (unlock) Dutch Open Geo-datasets using open source tools like NLExtract (http://nlextract.nl), Stetl (http://www.stetl.org). In particular, there is a last minute addition on unlocking 3D data, Top10NL3D, using CesiumJS (http://www.cesiumjs.org) , an Open Source browser/WebGL-based 3D visualization framework ala Google Earth (but open and without plugins). The 3D part of this talk was also given the same day at the "3D Doorbraak" workshop (Jantien Stoter et al).
Nederland kent een lange cartografische traditie, die sinds Google Maps voor iedereen binnen handbereik lijkt. Maar hoe leg je de statistieken van het CBS over een Google Maps kaart? Hoe kies je het juiste kaarttype om je boodschap over te dragen? Je leert in deze workshop niet alleen om te navigeren door het woud van afkortingen, cartografische projecties en geografische bestandsformaten, maar ook om te kiezen tussen een symbolenkaart, vlakkenkaart of een heatmap. Ten slotte leer je de weg te vinden in het landschap van Open Source geografische software en open geografische data en services van de overheid.
Slides originally used in interview by Jonna on De Grote Geo Show, a live-streaming webshow by OSGeo.nl. Aired on oct 1, 2020. Video is on YouTube: https://www.youtube.com/watch?v=3l_a5Up8Rgc
Later adapted/expanded for general online interviews.
THIS IS VERSION 2 AND CURRENT, on SlideShare! Version 1 is still on SlideShare as it is linked...
Some highlights of my professional career.
PLEASE SEE VERSION 2 FOR CURRENT
Slides originally used in interview by Jonna on De Grote Geo Show, a live-streaming webshow by OSGeo.nl. Aired on oct 1, 2020. Video is on YouTube: https://www.youtube.com/watch?v=3l_a5Up8Rgc
Later adapted/expanded for general online interviews.
Some highlights of my professional career.
This document summarizes Just van den Broecke's presentation on open sensor networks. It discusses (1) the Smart Emission Nijmegen project from 2015-2017 where citizens measured air quality and noise using low-cost sensors to build an open sensor platform. It then (2) describes the Smart Emission platform resulting from the project which integrates sensor data using open standards and APIs. Finally, it (3) provides an example of bridging IoT sensors to the platform using the SensorThings API to map sensor data from The Things Network to the API in real-time.
Presentation at LoRaWAN TheThingsNetwork makers event (make a Pet-Tracker with LoRa) organized by Ruimteschepper at Warehouse of Innovation Eindhoven (also home to IoT Eindhoven Meetup Group). Summarizes Smart Emission architecture, thoughts on tech for Spatio-Temporal Data, Internet of Things sorry Internet of Silos. Ending with a demo on LoRaWAN TheThingsNetwork integration with the OGC SensorThings API using MQTT Bridging.
Presentation provided at "Geo Gebruikersfestival", okt 31, 2018, Amersfoort, The Netherlands. Sketches how from several Sensor projects the Smart Emission Platform emerged and migrated to the PDOK Platform. How a next step could be be a Dutch national Sensor SDI asa a federated/distributed architecture. Special attention is given to APIs, in particular the SensorThings API.
Opening by me as Chair OSGeo.nl Foundation, the Dutch Local Chapter of OSGeo.org at FOSS4GNL Conference on July 11, 2018 at Aeres Highschool, Almere, the Netherlands.
This document provides an overview of Stetl, an open source spatial ETL tool. Stetl uses Python components and configuration files to orchestrate multi-step ETL workflows. Key concepts discussed include using Stetl to extract data from various sources like GML, CSV and ZIP files, transform it using filters like XSLT, and load it into targets like PostGIS, GeoPackage and WFS. Example Stetl configurations are provided to extract Dutch cadastre data from GML ZIP files and load it to PostGIS and GeoPackage. Stetl is also used in the Smart Emission platform to harvest sensor data from multiple sources and perform validation, calibration and aggregation before publishing to web services.
Opening words by Just van den Broecke - Chair of OSGeo.nl Foundation, the Dutch local Chapter of OSGeo.org on joint OSGeo.nl OpenStreetMap NL NJ Party in cafe Dudok Hilversum. Review of OSGeo.nl Events in 2017 and upcoming events in 2018, also international events.
Slides used at the opening of the OSGeo.nl Day on nov 22, 2017 at GeoBuzz in Den Bosch, The Netherlands. Note the new designs of OSGeo localized for OSGeo.nl.
The document discusses the Smart Emission project, which aims to deploy low-cost air quality sensors throughout cities to create inclusive citizen sensor networks for environmental monitoring. It outlines key questions around sensor selection, calibration, spatial deployment, data management, and citizen involvement. The goals are to make pollution monitoring more transparent and democratic through open data, while using cost-effective sensing devices and geospatial approaches to engage citizens in analysis and help work towards more sustainable cities.
Explains basics of Stetl, an Open Source spatial ETL framework. More on http://stetl.org. Talk given on GeoPython conference, June 24, 2016, Basel, Switserland.
High-level presentation on the Data-infastructure for project-team and participating citizens at Radboud Univeristy Nijmegen, may 26, 2016 for the Smart Emission project: "Het Smart Emission project draait om het in kaart brengen van luchtkwaliteit, geluid, trillingen en meteorologische indicatoren in de stad op een fijnmazig schaalniveau, door inwoners met zogenoemde burger-sensor-netwerken." (Bron: http://smartemission.nl). Project partners: Radboud Universiteit, Gemeente Nijmegen, Rijksinstituut voor Volksgezondheid en Milieu (RIVM), Geonovum, Intemo, CityGIS and offcourse Nijmegen citizens.
Presentation given at the OSGeo.nl Day http://osgeo.nl at GeoBuzz Conference on nov 25, 2015. Overview of NLExtract and in particular ETL (conversion) for BAG, the open geo-dataset for Dutch Addresses and Buildings.
Slides I presented at the Dutch "Doorbraak 3D - Trekkersoverleg" ( 3D Breakthrough Representatives Meetup) at Geonovum, sept 3, 2015. Trying to provide an overview of 3D Open Standards efforts and suggestions for future actions/pilots with some of the CesiumJS-based tiling standards using Dutch public open base registry data ("Basis Registraties").
Eng: originally planned as a talk/workshop on hiking with GPS, but evolving into a wider talk about the evolution of navigation and Natural Navigation techniques.
See also the main website: http://gps.justobjects.nl.
Below Dutch:
Plaatsbepaling en navigatie is iets van alle tijden. Zij is mee-geëvolueerd met de mensheid. Vandaag de dag doen we navigatie met GPS via bijv “De TomTom” of steeds vaker via onze Smartphone. We dreigen daarmee echter belangrijke vaardigheden te verliezen zoals kaartlezen en het gebruik van kompas. Maar deze laatste twee middelen waren ook weer een stap in de lange evolutie van Navigatie. Zoals de meesten van jullie weten heb ik veel interesse in de evolutie van de mensheid. In die context heb ik de laatste tijd nagedacht hoe navigatie zich heeft ontwikkeld. Ik zal dit praatje chronologisch opbouwen. Dan komen we vanzelf uit bij "Wandelen met de GPS" waar de nadruk op gaat liggen deze middag.
Highlights and achievements in 2014 from the OSGeo.nl, the Dutch-speaking Local Chapter of the Open Source Geospatial Foundation, OSGeo.org. Presented jan 11 2015 by Gert-Jan and Just at the OSGeo.nl/OpenStreetMap NL new years party. See more presentations from that meeting on our website: http://osgeo.nl
Big Data - Introduction and Research Topics - for Dutch KadasterJust van den Broecke
This document discusses big data and big geo data. It begins by defining big data and noting the challenges of collecting, managing, storing, searching, sharing, transferring, analyzing and visualizing large, complex datasets. It then discusses using big data as an opportunity rather than a threat by developing new ways to store and analyze diverse data to generate insights. Specific examples discussed include data used by Amazon, Obama's 2012 re-election campaign, meteorology, lidar data, and linked open data projects in the UK and Netherlands. The document raises potential applications of big data for the Dutch Cadastre, including data analysis, linking datasets, real-time access, multidimensional visualization and querying basic registrations.
Presenting the status of the "SOSPilot". A SensorWeb/IoT project where raw AirQuality data from The Netherlands is transformed (ETL) into Web Services like WMS-Time/WFS and in particular the OGC Sensor Observation Service (SOS). Project at Geonovum with partners, a.o.: RIVM, 52 North, and IRCEL - CELINE (Belgium). Work in progress, striving for EIONET IPR and INSPIRE compliance.
Combined tools like Stetl, PostGIS, HeronViewer, GeoServer, and 52North SWE-line. All FOSS. All promising tools as it all just worked, also thanks to the partners' support, within my 100-hour effort. Find more on http://sensors.geonovum.nl
Original version july 2, 2014. Updated with eionet-reporting and Geonovum weather station on okt 27, 2014.
Slides of presentation given at EuroGeographics KEN workshop on INSPIRE Data Harmonization, Paris oct 8-9, 2013: http://www.eurogeographics.org/event/inspire-ken-schema-transformation-workshop. Describes the Stetl ETL framework and cases of INSPIRE transformation. There is a video recording of this presentation: https://www.youtube.com/watch?v=vjdpYBm4AaM (first about XSLT and about halfway on Stetl for INSPIRE)
Slides originally used in interview by Jonna on De Grote Geo Show, a live-streaming webshow by OSGeo.nl. Aired on oct 1, 2020. Video is on YouTube: https://www.youtube.com/watch?v=3l_a5Up8Rgc
Later adapted/expanded for general online interviews.
THIS IS VERSION 2 AND CURRENT, on SlideShare! Version 1 is still on SlideShare as it is linked...
Some highlights of my professional career.
PLEASE SEE VERSION 2 FOR CURRENT
Slides originally used in interview by Jonna on De Grote Geo Show, a live-streaming webshow by OSGeo.nl. Aired on oct 1, 2020. Video is on YouTube: https://www.youtube.com/watch?v=3l_a5Up8Rgc
Later adapted/expanded for general online interviews.
Some highlights of my professional career.
This document summarizes Just van den Broecke's presentation on open sensor networks. It discusses (1) the Smart Emission Nijmegen project from 2015-2017 where citizens measured air quality and noise using low-cost sensors to build an open sensor platform. It then (2) describes the Smart Emission platform resulting from the project which integrates sensor data using open standards and APIs. Finally, it (3) provides an example of bridging IoT sensors to the platform using the SensorThings API to map sensor data from The Things Network to the API in real-time.
Presentation at LoRaWAN TheThingsNetwork makers event (make a Pet-Tracker with LoRa) organized by Ruimteschepper at Warehouse of Innovation Eindhoven (also home to IoT Eindhoven Meetup Group). Summarizes Smart Emission architecture, thoughts on tech for Spatio-Temporal Data, Internet of Things sorry Internet of Silos. Ending with a demo on LoRaWAN TheThingsNetwork integration with the OGC SensorThings API using MQTT Bridging.
Presentation provided at "Geo Gebruikersfestival", okt 31, 2018, Amersfoort, The Netherlands. Sketches how from several Sensor projects the Smart Emission Platform emerged and migrated to the PDOK Platform. How a next step could be be a Dutch national Sensor SDI asa a federated/distributed architecture. Special attention is given to APIs, in particular the SensorThings API.
Opening by me as Chair OSGeo.nl Foundation, the Dutch Local Chapter of OSGeo.org at FOSS4GNL Conference on July 11, 2018 at Aeres Highschool, Almere, the Netherlands.
This document provides an overview of Stetl, an open source spatial ETL tool. Stetl uses Python components and configuration files to orchestrate multi-step ETL workflows. Key concepts discussed include using Stetl to extract data from various sources like GML, CSV and ZIP files, transform it using filters like XSLT, and load it into targets like PostGIS, GeoPackage and WFS. Example Stetl configurations are provided to extract Dutch cadastre data from GML ZIP files and load it to PostGIS and GeoPackage. Stetl is also used in the Smart Emission platform to harvest sensor data from multiple sources and perform validation, calibration and aggregation before publishing to web services.
Opening words by Just van den Broecke - Chair of OSGeo.nl Foundation, the Dutch local Chapter of OSGeo.org on joint OSGeo.nl OpenStreetMap NL NJ Party in cafe Dudok Hilversum. Review of OSGeo.nl Events in 2017 and upcoming events in 2018, also international events.
Slides used at the opening of the OSGeo.nl Day on nov 22, 2017 at GeoBuzz in Den Bosch, The Netherlands. Note the new designs of OSGeo localized for OSGeo.nl.
The document discusses the Smart Emission project, which aims to deploy low-cost air quality sensors throughout cities to create inclusive citizen sensor networks for environmental monitoring. It outlines key questions around sensor selection, calibration, spatial deployment, data management, and citizen involvement. The goals are to make pollution monitoring more transparent and democratic through open data, while using cost-effective sensing devices and geospatial approaches to engage citizens in analysis and help work towards more sustainable cities.
Explains basics of Stetl, an Open Source spatial ETL framework. More on http://stetl.org. Talk given on GeoPython conference, June 24, 2016, Basel, Switserland.
High-level presentation on the Data-infastructure for project-team and participating citizens at Radboud Univeristy Nijmegen, may 26, 2016 for the Smart Emission project: "Het Smart Emission project draait om het in kaart brengen van luchtkwaliteit, geluid, trillingen en meteorologische indicatoren in de stad op een fijnmazig schaalniveau, door inwoners met zogenoemde burger-sensor-netwerken." (Bron: http://smartemission.nl). Project partners: Radboud Universiteit, Gemeente Nijmegen, Rijksinstituut voor Volksgezondheid en Milieu (RIVM), Geonovum, Intemo, CityGIS and offcourse Nijmegen citizens.
Presentation given at the OSGeo.nl Day http://osgeo.nl at GeoBuzz Conference on nov 25, 2015. Overview of NLExtract and in particular ETL (conversion) for BAG, the open geo-dataset for Dutch Addresses and Buildings.
Slides I presented at the Dutch "Doorbraak 3D - Trekkersoverleg" ( 3D Breakthrough Representatives Meetup) at Geonovum, sept 3, 2015. Trying to provide an overview of 3D Open Standards efforts and suggestions for future actions/pilots with some of the CesiumJS-based tiling standards using Dutch public open base registry data ("Basis Registraties").
Eng: originally planned as a talk/workshop on hiking with GPS, but evolving into a wider talk about the evolution of navigation and Natural Navigation techniques.
See also the main website: http://gps.justobjects.nl.
Below Dutch:
Plaatsbepaling en navigatie is iets van alle tijden. Zij is mee-geëvolueerd met de mensheid. Vandaag de dag doen we navigatie met GPS via bijv “De TomTom” of steeds vaker via onze Smartphone. We dreigen daarmee echter belangrijke vaardigheden te verliezen zoals kaartlezen en het gebruik van kompas. Maar deze laatste twee middelen waren ook weer een stap in de lange evolutie van Navigatie. Zoals de meesten van jullie weten heb ik veel interesse in de evolutie van de mensheid. In die context heb ik de laatste tijd nagedacht hoe navigatie zich heeft ontwikkeld. Ik zal dit praatje chronologisch opbouwen. Dan komen we vanzelf uit bij "Wandelen met de GPS" waar de nadruk op gaat liggen deze middag.
Highlights and achievements in 2014 from the OSGeo.nl, the Dutch-speaking Local Chapter of the Open Source Geospatial Foundation, OSGeo.org. Presented jan 11 2015 by Gert-Jan and Just at the OSGeo.nl/OpenStreetMap NL new years party. See more presentations from that meeting on our website: http://osgeo.nl
Big Data - Introduction and Research Topics - for Dutch KadasterJust van den Broecke
This document discusses big data and big geo data. It begins by defining big data and noting the challenges of collecting, managing, storing, searching, sharing, transferring, analyzing and visualizing large, complex datasets. It then discusses using big data as an opportunity rather than a threat by developing new ways to store and analyze diverse data to generate insights. Specific examples discussed include data used by Amazon, Obama's 2012 re-election campaign, meteorology, lidar data, and linked open data projects in the UK and Netherlands. The document raises potential applications of big data for the Dutch Cadastre, including data analysis, linking datasets, real-time access, multidimensional visualization and querying basic registrations.
Presenting the status of the "SOSPilot". A SensorWeb/IoT project where raw AirQuality data from The Netherlands is transformed (ETL) into Web Services like WMS-Time/WFS and in particular the OGC Sensor Observation Service (SOS). Project at Geonovum with partners, a.o.: RIVM, 52 North, and IRCEL - CELINE (Belgium). Work in progress, striving for EIONET IPR and INSPIRE compliance.
Combined tools like Stetl, PostGIS, HeronViewer, GeoServer, and 52North SWE-line. All FOSS. All promising tools as it all just worked, also thanks to the partners' support, within my 100-hour effort. Find more on http://sensors.geonovum.nl
Original version july 2, 2014. Updated with eionet-reporting and Geonovum weather station on okt 27, 2014.
Slides of presentation given at EuroGeographics KEN workshop on INSPIRE Data Harmonization, Paris oct 8-9, 2013: http://www.eurogeographics.org/event/inspire-ken-schema-transformation-workshop. Describes the Stetl ETL framework and cases of INSPIRE transformation. There is a video recording of this presentation: https://www.youtube.com/watch?v=vjdpYBm4AaM (first about XSLT and about halfway on Stetl for INSPIRE)
De Levenscyclus van Open Geodata met Open Source Tools
1. De levenscyclus van Open
Geodata met Open Source
tools
Just van den Broecke Jan-Willem van Aalst Frank Steggink
Cartodag 2017 – Rotterdam – 15 maart 2017
www.nlextract.nl www.opentopo.nl
2. • NLExtract en vectordata (Just)
• NLExtract en rasterdata (Frank)
• OpenTopo: van PostGIS naar kaartbeeld
(J.W.)
• Kaartproducten publiceren (Just)
• Vragen en discussie over deze levenscyclus
In dit uur
20. Bron Resolutie Projectie Licentie
AHN 2+3 0,5 RD CC-0
Vlaanderen 1 Lambert 72 Vlaamse Open Data licentie 1.0
Wallonië 1 Lambert 72 Closed source
Nordrhein-
Westfalen
1 ETRS89 – UTM
zone 32N
Datenlizenz Deutschland
Namensnennung 2.0
Nord-Pas de
Calais
10 RGF-93 Open data (onbekend)
EU-DEM 25 ETRS89 Open data (Copernicus)
Ook ALOS World 3D – 30m is gebruikt, maar hier zitten teveel artefacten
in, wat een lelijk resultaat gaf.
Bronnen
24.
Data is al opgevuld
Herprojectie naar RD, met resolutie 50cm
Hillshade genereren
Datasets combineren: beste resolutie gebruiken
Verwerking buitenland
30. • PC met veel SSD, veel geheugen & snelle
processor
• PostgreSQL met PostGIS extensie
(www.postgres.org)
• QGIS (www.qgis.org)
• PDOK Plugin in QGIS
• PostGIS databases van NLExtract.nl (kan > 100 GB
zijn!)
• Hillshade rasterbestanden van NLExtract.nl
• Enig cartografisch gevoel
• Veel uren en geduld
Wat heb je nodig
38. • Bóven terreinvlakken, ónder water en
gebouwen!
• Op 80% transparantie, anders te dominant
• Bilinear / gemiddelde
Hillshading toepassen
39. 1. BAG pandvlakken of BRT/Top10NL
pandvlakken?
• Parkeergarages, kassen, hoogbouw…
2. Generalisatie: via andere datasets of via
visualisatie?
3. Labels afkappen langs de rand van de kaart
4. POI labels uit OSM of uit BRT/Top10NL?
5. Labels door QGIS laten plaatsen of uit
TopNamen?
6. Bomen uit BGT of uit BRT/Top10NL?
7. Wanneer is detail teveel detail? Doel van je
kaart?
Cartografische dilemma’s
40. BGT: bronhouders die andere keuzes
maken… toch maar TOP10NL erbij halen?
Cartografische dilemma’s
44. 5x per jaar het volgende proces:
1.Per 9e
van de maand BAG en BRK ophalen van NLExtract
2.Per 15e
van de maand OSM dumps + PostGIS ophalen van NLExtract
3.Per 18e
van de maand BGT PostGIS ophalen van NLExtract
4.Rond de 20e
van de maand Top10NL PostGIS ophalen van NLExtract
5.Overige kaartlagen bijwerken: PRK/RRGS, RWS
6.Data preparatie in Postgres PgAdminIII (vooral tekstlabels)
7.Schalen genereren met QGIS atlas composer @96dpi (8, 54, 153, 543,
1047, 3300 bladen, resp. 1, 2, 6, 12, 52, en 135 uur renderen)
8.Uitsnijden en comprimeren met GDAL
9.Conversie naar JPG en GeoTIFF met GDAL
10.Publiceren op data.nlextract.nl
OpenTopo publicatieproces
45. Op data.nlextract.nl:
1./bag/postgis: ~2 GB (uitgepakt ~45 GB XML)
2./bgt/postgis: ~10 GB en groeiend (~80% gereed per feb. 2017)
3./brk/postgis: ~1 GB (lijnen; ~3 GB vlakken)
4./osm/nl/: ~3 GB
5./osm/buitenland: ~3 GB
6./top10nl/postgis: ~2 GB
•Samen uitgepakt > 120 GB in de PostGIS database
•Geotifs en jpg’s OT/OST samen > 370 GB
Ruime hoeveelheid SSD (1 TB of meer) is aan te bevelen!
OpenTopo: “Big Data”…
52. NLExtract: de mensen
Jan-Willem van Aalst
Just van den Broecke
Bas Couwenberg
Matthijs van der Deijl
Richard Duivenvoorde
Stefan de Konink
Milo van der Linden
Edward Mac Gillavry
Tom Pesman
Reinout van Rees
Luuk Schaminée
Frank Steggink
Geodan
OpenGeoGroep
Stukje historie recapituleren: Vanaf 1 jan 2012 is het bergopwaarts gegaan met OpenGeoData in Nederland.
Stukje historie recapituleren: We kunnen downloaden….
Hoewel het soms even lastig vinden is. Hint: de BAG dataset via PDOK downloads heet “inspireadressen". En wat zijn nou weer Atom Feeds? Waarom niet gewoon een FTP Server? Of beter, zoals Ordnance Survey dat doet: een uniforme “product” interface en steeds meerdere download-formaten per dataset?
Tja, dan open je een .zip bestand, waarin weer andere .zip bestanden zitten. Uiteindelijk komen er files, maar probeer je die in je GIS-tool te slepen of zeg een BAG-bestand naar Excel met de verwachting adressen te zien, dan loopt de boel vast…
De leveringen bevatten uiteindelijk XML/GML, zoals beschreven in de serie IM* standaarden en bijbehorende XSDs (XML Schemas), vaak te vinden via Kadaster of Geonovum. Deze ruwe olie moet eerst geraffineerd worden, dus we kunnen ons opmaken voor een potje Data Wrangling!
Met een mooi geo-woord: gazetteer!
Ik hoef niet meer het belang van PostGIS uit te leggen, zeker gezien de spreker (Wouter Boasson) voor mij.
Als de data eenmaal in PostGIS zit, kunnen we alle kanten op: met QGIS kaarten opmaken, de adreszoeker, of met Map/GeoServer data ontsluiten als WMS/WFS.
NLExtract is dus niet 1 programma, maar een serie programma’s en verdere scripts en configuratie bestanden (bijv SLDs) georganiseerd per dataset. Er is dus een NLExtract-BAG tool, NLExtract-top10NL tool. De tools zijn vandaag de dag nog wel allen commandline maar we staan open voor GUI-bijdragen hierin.
Hierbij de datasets die momenteel door NLExtract worden ontsloten. In grijs/italic de datasets op de TODO lijst. 3D komt zo aan de orde vandaar de uitroeptekens daar.
Directory van data.nlextract.nl van februari 2017
Vanaf hier de slides van Jan-Willem, over hoe je met de PostGIS data de OpenTopo kaart met hillshading maakt.
Om in QGIS met PostGIS data aan de slag te gaan, heb je wel het een en ander nodig om goed te kunnen werken.
Als de data eenmaal in PostGIS zit, kunnen we alle kanten op: met QGIS kaarten opmaken (bijv. OpenTopo JW van Aalst).
Om snel met grote databestanden te kunnen werken in QGIS, heb je niets aan GML. Die moet eerst worden geconverteerd naar PostGIS, onderdeel van PostGRES. Dat moet je dus eerst installeren..
De PostGIS dumps van NLExtract kun je lokaal bewaren en met PGAdminIII restoren naar de PostGRES database. Die kan uiteindelijk meer dan 100 GB worden!
Als je de PostGIS databases eenmaal gerestored hebt, moet je nog wel in QGIS per database een verbinding definiëren.
Een voorbeeld van één kaartlaag uit de Top10NL, zonder opmaak/styling.
Stijlen maken kost even tijd, maar als je hebt dan zijn ze zeer nuttig.
De PDOK plugin van Richard Duivenvoorde in het zonnetje.
De Hillshaded bestanden van NLExtract zet je met 80% transparantie in de achtergrond, boven de terreinlagen, maar ónder de watervlakken.
Enige cartografische dilemma’s die je tegenkomt als je met meerdere bronnen werkt, en bijv. het plaatsen van labels.
Enige cartografische dilemma’s die je tegenkomt als je met meerdere bronnen werkt, en bijv. het plaatsen van labels.
Enige cartografische dilemma’s die je tegenkomt als je met meerdere bronnen werkt, en bijv. het plaatsen van labels.
Met de QGIS Atlas composer kan een serie aan kaartbladen worden gegenereerd.
Als de data eenmaal in PostGIS zit, kunnen we alle kanten op: met QGIS kaarten opmaken, de adreszoeker, of met Map/GeoServer data ontsluiten als WMS/WFS.
Als de data eenmaal in PostGIS zit, kunnen we alle kanten op: met QGIS kaarten opmaken, de adreszoeker, of met Map/GeoServer data ontsluiten als WMS/WFS.
Als de data eenmaal in PostGIS zit, kunnen we alle kanten op: met QGIS kaarten opmaken, de adreszoeker, of met Map/GeoServer data ontsluiten als WMS/WFS.
Zie ook https://github.com/opengeogroep/NLExtract/graphs/contributors