Geoprocessing in cloud

1,196 views

Published on

Describes how to implement simple geoprocessing using GDAL/OGR in Azure cloud. Case study is shown, that describes how increased sea level would effect

Published in: Technology
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total views
1,196
On SlideShare
0
From Embeds
0
Number of Embeds
16
Actions
Shares
0
Downloads
17
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

Geoprocessing in cloud

  1. 2. Geoprocesiranje u oblaku Darko Boto i Alen Huskić APIS IT d.o.o.
  2. 5. APIS IT d.o.o. <ul><li>> 3 5 0 zaposlenika </li></ul><ul><li>Server ske platform e : </li></ul><ul><ul><ul><li>IBM zSeries, Parallel Sysplex </li></ul></ul></ul><ul><ul><ul><li>IBM AIX </li></ul></ul></ul><ul><ul><ul><li>Linux </li></ul></ul></ul><ul><ul><ul><li>Sun Solaris </li></ul></ul></ul><ul><ul><ul><li>HP Unix </li></ul></ul></ul><ul><ul><ul><li>Windows </li></ul></ul></ul><ul><li>Virtualizacija: zVM, Microsoft </li></ul><ul><li>Baze podataka : IMS, DB2, Oracle, Lotus Domino, Sybase </li></ul><ul><li>WEB server i : WebSphere, MS IIS, Arc IMS , BEA Logic </li></ul><ul><li>> 10.000 radnih stanica </li></ul><ul><li>> 4 .000.000 transakcija po danu </li></ul>
  3. 6. Sadržaj predavanja <ul><li>Što je sve potrebno da bi se u Azure cloudu napravila analiza prostornih podataka i pri tome: </li></ul><ul><li>analizirati vektorske prostorne podatke, </li></ul><ul><li>analizirati GRID rasterske formate, </li></ul><ul><li>koristiti MSSQLSpatial prostorne funkcije. </li></ul>
  4. 7. Preduvjeti <ul><li>Osnovna znanja o: </li></ul><ul><li>GIS-u i prostornim podacima. </li></ul><ul><ul><li>... vektorima </li></ul></ul><ul><ul><li>… rasterima </li></ul></ul><ul><ul><li>… prostornim analizama </li></ul></ul><ul><li>… i Microsoft tehnologijama </li></ul>
  5. 9. T sunami - PLIMNI VAL Italija Dubrovnik Hvar Pula Ist Vela luka
  6. 10. JAPAN 17 000 km – 21h Tektonske ploče seizmičke aktivnosti u japanu
  7. 11. IDEJA <ul><li>Studijom slučaja naći način kako napraviti preventivnu prostornu (GIS) analizu razmjera utjecaja podizanja razine mora, te što je od soft v era i podataka potrebno da bi se takva prostorna analiza napravila . </li></ul>
  8. 12. Napravili smo… <ul><li>Prototip web aplikacije koja prostornom analizom izračunava broj kućanstava ugroženih dizanjem razine mora ovisno o visini plimnog vala, te koje su prometnice u tom slučaju presječen e za potrebe evakuacije stanovništva . </li></ul><ul><li>Ovo nije hidrodinamični prognostički model! </li></ul>
  9. 13. DEMO <ul><li>geoprocessing.cloudapp.net </li></ul>
  10. 14. Geoprocesiranje PRIPREMA PODATAKA BOJANJE RASTERA GDAL POLIGONIZACIJA GDAL/OGR LOAD PODATAKA OGR ANALIZA VEKTORA ST_INTERSECT GEOTIFF RGB band 1 AZURE SQL SPATIAL PRIKAZ REZULTATA ANALIZA <ul><li>Funkcionalni zahtjevi za geoprocesiranje: </li></ul><ul><li>Upravljački program za prostorne podatke </li></ul><ul><li>Projekcije – podaci u geografskom prostoru </li></ul><ul><li>Geometrijske operacije </li></ul>Stack/Function Data driver Projection engine Topology engine .NET GDAL/OGR, FDO Proj.NET NTS Java GDAL/OGR, FDO Proj4J JTS C/C++ GDAL/OGR, FDO Proj4 GEOS
  11. 15. Tehnologije GDAL/OGR MSSQLSpatial Proj.NET NTS AZURE SQL SilverLight .NET WEB app <ul><li>Microsoft: </li></ul><ul><li>AzureCloud </li></ul><ul><li>. NET framework </li></ul><ul><li>SilverLight </li></ul><ul><li>FOSS GIS : </li></ul><ul><li>GDAL/OGR ( lib C/C++ ) </li></ul><ul><li>NTS ( lib .NET C# ) </li></ul><ul><li>MS SQLSpatial ( db extezija ) </li></ul><ul><li>Proj.NET ( lib .NET C#) </li></ul>FOSS GIS
  12. 16. GDAL/OGR PRIPREMA PODATAKA BOJANJE RASTERA GDAL POLIGONIZACIJA GDAL/OGR LOAD PODATAKA OGR ANALIZA VEKTORA ST_INTERSECT GEOTIFF RGB band 1 AZURE SQL SPATIAL PRIKAZ REZULTATA ANALIZA <ul><li>Geospatial Data Abstraction Library </li></ul><ul><li>120 rasterskih i 50 vektorskih formata </li></ul><ul><li>1998 – Frank Warmerdam LGPL Licence </li></ul><ul><li>GoogleEarth, ArcGIS Server/Desktop, FME ETL, Autodesk MapGuide... </li></ul><ul><li>Transformacije i kontrola outputa </li></ul><ul><li>GDAL/OGR Utillities </li></ul><ul><li>SWIG Bindings: Perl, Python, Ruby, Java, C# </li></ul><ul><li>NoSWIG Bindings: VB6, R </li></ul>
  13. 17. Podaci OSM PRIPREMA PODATAKA BOJANJE RASTERA GDAL POLIGONIZACIJA GDAL/OGR LOAD PODATAKA OGR ANALIZA VEKTORA ST_INTERSECT GEOTIFF RGB band 1 AZURE SQL SPATIAL PRIKAZ REZULTATA ANALIZA <ul><li>250 000 volontera </li></ul><ul><li>Import (fr, dk, it..) </li></ul><ul><li>BingMaps </li></ul><ul><li>Vektori </li></ul><ul><li>CC A -SA 2.0 </li></ul><ul><li>HR.OSM </li></ul>
  14. 18. Vektori point multipoint line mulitiline polygon multipolygon PRIPREMA PODATAKA BOJANJE RASTERA GDAL POLIGONIZACIJA GDAL/OGR LOAD PODATAKA OGR ANALIZA VEKTORA ST_INTERSECTION GEOTIFF RGB band 1 AZURE SQL SPATIAL PRIKAZ REZULTATA ANALIZA
  15. 19. Rasteri <ul><li>DEM, </li></ul><ul><li>DSM, DTM, </li></ul><ul><li>DOF, </li></ul><ul><li>Spectral... </li></ul><ul><li>ASTER GDEM </li></ul><ul><li>GeoTIFF – extenzija </li></ul><ul><li>GRID struktura </li></ul><ul><li>Preciznost (30m) </li></ul>PRIPREMA PODATAKA BOJANJE RASTERA GDAL POLIGONIZACIJA GDAL/OGR LOAD PODATAKA OGR ANALIZA VEKTORA ST_INTERSECTION GEOTIFF RGB band 1 AZURE SQL SPATIAL PRIKAZ REZULTATA ANALIZA
  16. 20. Projekcije konusna cilindrična ravninska <ul><li>PROJ4 – PROJ.NET </li></ul><ul><li>3D – 2D </li></ul><ul><li>EPSG </li></ul><ul><li>SRS - transformacije </li></ul>PRIPREMA PODATAKA BOJANJE RASTERA GDAL POLIGONIZACIJA GDAL/OGR LOAD PODATAKA OGR ANALIZA VEKTORA ST_INTERSECT GEOTIFF RGB band 1 AZURE SQL SPATIAL PRIKAZ REZULTATA ANALIZA Fullerova projekcija
  17. 21. Hrvatski SRS – HTRS96/TM Hrvatski Terestrički Referentni Sustav / Transverse Mercator Projection
  18. 22. Priprema podataka BOJANJE RASTERA GDAL ANALIZA SOFTVER I PODACI PRIPREMA PODATAKA POLIGONIZACIJA GDAL/OGR LOAD PODATAKA OGR ANALIZA VEKTORA ST_INTERSECT GEOTIFF RGB band 1 AZURE SQL SPATIAL PRIKAZ REZULTATA
  19. 23. Bojanje rastera GEOTIFF RGB band 1 PRIPREMA PODATAKA BOJANJE RASTERA GDAL POLIGONIZACIJA GDAL/OGR LOAD PODATAKA OGR ANALIZA VEKTORA ST_INTERSECT AZURE SQL SPATIAL PRIKAZ REZULTATA ANALIZA <ul><li>GDALDEM </li></ul><ul><li>Prolazi pixel po pixel i ovisno o vrijednosti visine boji pixel pripadajućom r,g,b bojom </li></ul>
  20. 24. Poligonizacija LOAD PODATAKA OGR GEOTIFF RGB band 1 PRIPREMA PODATAKA BOJANJE RASTERA GDAL POLIGONIZACIJA GDAL/OGR ANALIZA VEKTORA ST_INTERSECT AZURE SQL SPATIAL PRIKAZ REZULTATA ANALIZA <ul><li>Gdal.Polygonize </li></ul><ul><li>Kontrola outputa – preko 50 izlaznih formata </li></ul><ul><li>Shapefile, GML, GeoJSON, KML, CSV.... </li></ul>raster vektori
  21. 25. Load podataka OGR AZURE SQL SPATIAL POLIGONIZACIJA GDAL/OGR PRIPREMA PODATAKA BOJANJE RASTERA GDAL LOAD PODATAKA OGR ANALIZA VEKTORA ST_INTERSECTION GEOTIFF RGB band 1 PRIKAZ REZULTATA ANALIZA <ul><li>Ogr2ogr (.exe) </li></ul><ul><li>OGC Simple Feature </li></ul><ul><li>“ WHERE” uvjeti </li></ul><ul><li>Rezanje polygona </li></ul><ul><li>MSSQL ODBC driver </li></ul>geometry_columns oid f_table_catalog f_table_schema f_table_name f_geometry_column coord_dimension srid type feature_table <table name> <geometry_column> <atributes> spatial_ref_sys srid auth_name auth_sid srtext proj4text
  22. 26. Geometrijske operacije   PROSTORNI ODNOSI: contains, within , covers, intersects, disjoint, crosses , overlaps , touches , equals  FUNKCIJE PREKLAPANJA: intersection, difference, union, symmetric difference, unary union polygon overlays A intersection B A union B A diference B A symDiference B
  23. 27. STIntersects PRIKAZ REZULTATA AZURE SQL SPATIAL <ul><li>Presjek građevina i područja ugroženosti </li></ul>PRIPREMA PODATAKA BOJANJE RASTERA GDAL POLIGONIZACIJA GDAL/OGR LOAD PODATAKA OGR ANALIZA VEKTORA ST_INTERSECT GEOTIFF RGB band 1 ANALIZA
  24. 28. STIntersects PRIKAZ REZULTATA AZURE SQL SPATIAL <ul><li>Presjek građevina i područja ugroženosti </li></ul>PRIPREMA PODATAKA BOJANJE RASTERA GDAL POLIGONIZACIJA GDAL/OGR LOAD PODATAKA OGR ANALIZA VEKTORA ST_INTERSECTION GEOTIFF RGB band 1 ANALIZA
  25. 29. Rezultati PRIKAZ REZULTATA AZURE SQL SPATIAL PRIPREMA PODATAKA BOJANJE RASTERA GDAL POLIGONIZACIJA GDAL/OGR LOAD PODATAKA OGR ANALIZA VEKTORA ST_INTERSECT GEOTIFF RGB band 1 ANALIZA
  26. 30. FOSS GIS .NET Stack MapWindow GeoAPI.NET NTS MSSQLSpatial Nhibernate.Spatial GeoTools.NET Proj.NET MonoGIS MapWindow ActiveX SharpMap
  27. 31. FOSS GIS .NET Stack <ul><li>Alati i biblioteke : </li></ul><ul><li>MapWindow – Desktop GIS alat (framework) </li></ul><ul><li>MapWindow ActiveX – MapWindow Core API </li></ul><ul><li>GeoAPI - F ramework baziran na OGC/ISO standard ima (SFS) </li></ul><ul><li>GeoTools.NET – Skup .NET klasa za manipuliranje prostornim podacima </li></ul><ul><li>NHibernate.Spatial – Prostorna ekstenzija za NHibernate </li></ul><ul><li>SharpMap – WEB Map Renderer, WEB/Desktop app framework </li></ul><ul><li>MonoGIS – GIS na Mono platformi </li></ul><ul><li>Zajednica: </li></ul><ul><li>Projekti izašli iz “One Man Project” faze </li></ul><ul><li>Debugiranje </li></ul><ul><li>Portanje Java stack-a </li></ul>
  28. 33. Povezani sadržaji <ul><li>OSM OpenStreetMap </li></ul><ul><li>ASTER GDEM Advanced Spaceborne Thermal Emission and Reflection Radiometer </li></ul><ul><li>GDAL/OGR Geospatial Data Abstraction Library </li></ul><ul><li>MSSQLSpatial MSSQQL Spatial Extension </li></ul><ul><li>CORIE – FOSS Hidrodynamic Model </li></ul>

×