Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

De Levenscyclus van Open Geodata met Open Source Tools

118 views

Published on

Presented together with Jan-Willem van Aalst and Frank Steggink at the Dutch CartoDay, March 15, 2017. See full program here: http://www.cartodag.nl/programma-cartodag-2017. Subject was how to eventually create online topographical maps from Open but Raw datasets: how to transform (ETL), create maps (QGIS), and publish on the web using Open Source service components like MapServer and MapProxy via http://map5.nl

Abstract in Dutch:
Om bruikbare kaarten te maken is tegenwoordig veel goede open geodata beschikbaar. Maar wat komt er allemaal bij kijken om dat zo praktisch mogelijk te doen? Deze sessie neemt je mee in de levenscyclus van open geodata met tooling zoals NLExtract , GDAL en QGIS . Een greep uit wat er langs komt in dit uur: het maken van PostGIS databases uit PDOK data; het maken van hillshading (reliëfschaduw) uit de AHN2/3; het maken van de OpenTopo kaartbeelden uit combinaties van PDOK bestanden; en het tegelen en opnieuw publiceren van allerlei kaartproducten, bijvoorbeeld op map5.nl .

Published in: Software
  • Be the first to comment

  • Be the first to like this

De Levenscyclus van Open Geodata met Open Source Tools

  1. 1. De levenscyclus van Open Geodata met Open Source tools Just van den Broecke  Jan-Willem van Aalst  Frank Steggink Cartodag 2017 – Rotterdam – 15 maart 2017 www.nlextract.nl  www.opentopo.nl
  2. 2. • NLExtract en vectordata (Just) • NLExtract en rasterdata (Frank) • OpenTopo: van PostGIS naar kaartbeeld (J.W.) • Kaartproducten publiceren (Just) • Vragen en discussie over deze levenscyclus In dit uur
  3. 3. NLExtract: vectordata Just van den Broecke
  4. 4. 1-1-2012: Basisregistraties worden open data! Een stukje historie…
  5. 5. Downloaden bij PDOK…?
  6. 6. Bijv. TOP10NL en BAG…
  7. 7. Maarwat dan…?
  8. 8. Bakken met XML en GML
  9. 9. ? GMLGML XMLXML Hoe maakje een kaart…?
  10. 10. ? GMLGML XMLXML Of een adreszoeker…?
  11. 11. ?GMLGML XMLXML Eerst in PostGIS inlezen…
  12. 12. GMLGML XMLXML …met NLExtract dus? NLExtra ct
  13. 13. Wat is NLExtract?
  14. 14. Tools (ETL) om vrije Nederlandse overheids- geodata hapklaar te maken Wat is NLExtract?
  15. 15. BRT/TOP10NL – Basisregistratie Topografie BAG – Basisregistratie Adressen en Gebouwen BGT – Basisregistratie Grootschalige Topografie BRK – Digitale Kadastrale Kaart (DKK) AHN2/3 – Hoogtebestand Bonnebladen – Historische kaarten TOP10NL3D Welke datasets worden verwerkt?
  16. 16. DownloadsDownloads http://data.nlextract.nl
  17. 17. NLExtract en rasterdata: Hillshading Frank Steggink
  18. 18.  DEM: generiek  DSM: bevat objecten boven maaiveld: “ruw”  DTM: terrein: “maaiveld” Uitleg DEM, DSM, DTM
  19. 19. X DTMopvullen
  20. 20. Bron Resolutie Projectie Licentie AHN 2+3 0,5 RD CC-0 Vlaanderen 1 Lambert 72 Vlaamse Open Data licentie 1.0 Wallonië 1 Lambert 72 Closed source Nordrhein- Westfalen 1 ETRS89 – UTM zone 32N Datenlizenz Deutschland Namensnennung 2.0 Nord-Pas de Calais 10 RGF-93 Open data (onbekend) EU-DEM 25 ETRS89 Open data (Copernicus) Ook ALOS World 3D – 30m is gebruikt, maar hier zitten teveel artefacten in, wat een lelijk resultaat gaf. Bronnen
  21. 21. Bronnen: resoluties
  22. 22.  AHN 2 en 3 combineren  Gaten opvullen: − kleine buffer (incl. 8 aangrenzende bladen) − omzetten naar hillshade − gaten met egale grijswaarde gevuld  Bladindeling is o.b.v. AHN2 Verwerking AHN
  23. 23. AHN: inwinningsjaren
  24. 24.  Data is al opgevuld  Herprojectie naar RD, met resolutie 50cm  Hillshade genereren  Datasets combineren: beste resolutie gebruiken Verwerking buitenland
  25. 25. Aachen,Aachen, ~~1:10.0001:10.000 Resultaat [buitenland]
  26. 26. Shell Batch Tools
  27. 27.  AHN3 2015 en nieuwer gebruiken  Opvullen gaten: − DTM opvullen met constante hoogte, i.p.v. hillshade met grijswaarde − Nauwkeurige gebouw- en watervlakken gebruiken (BAG, BGT) − Beter opvulalgoritme overblijvende gaten  Beschikbaar stellen DTM hele OpenTopo extent op 0,5m resolutie in RD  Toolchain ontwikkelen en open source maken Mogelijke verbeteringen
  28. 28. OpenTopo: kaarten maken Jan-Willem van Aalst
  29. 29. Van geo-data naarkaart
  30. 30. • PC met veel SSD, veel geheugen & snelle processor • PostgreSQL met PostGIS extensie (www.postgres.org) • QGIS (www.qgis.org) • PDOK Plugin in QGIS • PostGIS databases van NLExtract.nl (kan > 100 GB zijn!) • Hillshade rasterbestanden van NLExtract.nl • Enig cartografisch gevoel • Veel uren en geduld Wat heb je nodig
  31. 31. BAGBAG NLExtract BRKBRK BGTBGT Eerste stappen TOP10N L TOP10N L
  32. 32. www.postgres.org/download ostGIS extensie: via de Stackbuilder PostgreSQL/PostGIS installeren
  33. 33. PostGIS dumps restoren
  34. 34. Per PostGIS database een verbinding definiëren in QGIS (eenmalig). PostGIS verbinden in QGIS
  35. 35. PostGIS bevat ‘ruwe’ data zonder styling Eris kaartbeeld in QGIS?
  36. 36. QGIS stijlen toepassen
  37. 37. PDOKplugin in QGIS
  38. 38. • Bóven terreinvlakken, ónder water en gebouwen! • Op 80% transparantie, anders te dominant • Bilinear / gemiddelde Hillshading toepassen
  39. 39. 1. BAG pandvlakken of BRT/Top10NL pandvlakken? • Parkeergarages, kassen, hoogbouw… 2. Generalisatie: via andere datasets of via visualisatie? 3. Labels afkappen langs de rand van de kaart 4. POI labels uit OSM of uit BRT/Top10NL? 5. Labels door QGIS laten plaatsen of uit TopNamen? 6. Bomen uit BGT of uit BRT/Top10NL? 7. Wanneer is detail teveel detail?  Doel van je kaart? Cartografische dilemma’s
  40. 40. BGT: bronhouders die andere keuzes maken… toch maar TOP10NL erbij halen? Cartografische dilemma’s
  41. 41. Labelen van veel verschillende features: welke krijgen voorrang? Cartografische dilemma’s
  42. 42. Een kaartlaag met indexbladen nodig, eventueel met extra omranding i.v.m. afkappende kaartlabels. Atlas maken met Composer
  43. 43. 100 pixels/km ~1:100.000 @ 254dpi 8 bladen @ 40x50km 200 pixels/km ~1:50.000 @ 254dpi 54 bladen @ 40x50km 400 pixels/km ~1:25.000 @ 254dpi 153 bladen @ 20x25km 800 pixels/km ~1:12.500 @ 254dpi 543 bladen @ 10x12,5km 1600 pixels/km ~1:6.250 @ 254dpi 1047 bladen @ 10x6,25km 3200 pixels/km ~1:3.125 @ 254dpi 3300 bladen @ 5x3,125km OpenTopo resoluties
  44. 44. 5x per jaar het volgende proces: 1.Per 9e van de maand BAG en BRK ophalen van NLExtract 2.Per 15e van de maand OSM dumps + PostGIS ophalen van NLExtract 3.Per 18e van de maand BGT PostGIS ophalen van NLExtract 4.Rond de 20e van de maand Top10NL PostGIS ophalen van NLExtract 5.Overige kaartlagen bijwerken: PRK/RRGS, RWS 6.Data preparatie in Postgres PgAdminIII (vooral tekstlabels) 7.Schalen genereren met QGIS atlas composer @96dpi (8, 54, 153, 543, 1047, 3300 bladen, resp. 1, 2, 6, 12, 52, en 135 uur renderen) 8.Uitsnijden en comprimeren met GDAL 9.Conversie naar JPG en GeoTIFF met GDAL 10.Publiceren op data.nlextract.nl OpenTopo publicatieproces
  45. 45. Op data.nlextract.nl: 1./bag/postgis: ~2 GB (uitgepakt ~45 GB XML) 2./bgt/postgis: ~10 GB en groeiend (~80% gereed per feb. 2017) 3./brk/postgis: ~1 GB (lijnen; ~3 GB vlakken) 4./osm/nl/: ~3 GB 5./osm/buitenland: ~3 GB 6./top10nl/postgis: ~2 GB •Samen uitgepakt > 120 GB in de PostGIS database •Geotifs en jpg’s OT/OST samen > 370 GB Ruime hoeveelheid SSD (1 TB of meer) is aan te bevelen! OpenTopo: “Big Data”…
  46. 46. Kaarten publiceren Just van den Broecke
  47. 47. TIFFTIFF JPEGJPEG GeoTIFFGeoTIFF NLExtra ct NLExtra ct Download s Download s Kaarten publiceren
  48. 48. OpenTopo WMTS op PDOK
  49. 49. Kaartcollecties op Map5.nl
  50. 50. De Map5 Topo-app
  51. 51. Bonnebladen op Map5.nl
  52. 52. NLExtract: de mensen Jan-Willem van Aalst Just van den Broecke Bas Couwenberg Matthijs van der Deijl Richard Duivenvoorde Stefan de Konink Milo van der Linden Edward Mac Gillavry Tom Pesman Reinout van Rees Luuk Schaminée Frank Steggink Geodan OpenGeoGroep
  53. 53. Groepsdiscussie en vragen
  54. 54. www.nlextract.nl www.opentopo.nl Bedankt

×