SlideShare a Scribd company logo
1 of 35
Geoprocesiranje u oblaku

Darko Boto i Alen Huskić

APIS IT d.o.o.
APIS IT d.o.o. – Agencija za podršku informacijskim sustavima i tehnologijama
    podrška ključnim informacijskim sustavima države i Grada

•     Ministarstvo financija
        • Porezna uprava                               •   > 350 zaposlenika
        • Carinska uprava                              •   Serverske platforme:
        • Financijska policija                                    • IBM zSeries, Parallel Sysplex
•     SDU za e-Hrvatsku                                           • IBM AIX
•     SDU za državnu imovinu                                      • Linux
•     APN                                                         • Sun Solaris
•     Izbori na svim razinama                                     • HP Unix
•     Grad Zagreb                                                 • Windows
        • Gradska pisarnica i kolanje dokumenata
                                                       •   Virtualizacija: zVM, Microsoft
        • Matice i knjiga državljana
                                                       •   Baze podataka: IMS, DB2, Oracle, Lotus
        • Katastar zemljišta, GIS, adresni model
        • Naplata komunalne naknade, zakupa,               Domino, Sybase
           najma                                       •   WEB serveri : WebSphere, MS IIS, Arc
        • Programi stanogradnje                            IMS, BEA Logic
        • Povrat imovine                               •   > 10.000 radnih stanica
        • Registar obveznika, objekata i naknada       •   > 4.000.000 transakcija po danu
        • Riznica, financije, plaće, ljudski resursi
        • E-usluge
•     ZGH
Sadržaj predavanja
Što je sve potrebno da bi se u Azure cloudu
  napravila analiza prostornih podataka i pri
  tome:

• analizirati vektorske prostorne podatke,
• analizirati GRID rasterske formate,
• koristiti MSSQLSpatial prostorne funkcije.
Preduvjeti
Osnovna znanja o:
• GIS-u i prostornim podacima.
  – ... vektorima
  – … rasterima
  – … prostornim analizama
• … i Microsoft tehnologijama
Tsunami - PLIMNI VAL

  Italija



            Dubrovnik   Vela luka


                                    Ist          Pula

                                          Hvar
JAPAN



                      seizmičke aktivnosti u japanu




    Tektonske ploče         17 000 km – 21h
IDEJA

Studijom slučaja naći način kako napraviti
preventivnu prostornu (GIS) analizu razmjera
utjecaja podizanja razine mora, te što je od
softvera i podataka potrebno da bi se takva
prostorna analiza napravila.
Napravili smo…




     • Prototip web aplikacije koja prostornom
         analizom izračunava broj kućanstava
       ugroženih dizanjem razine mora ovisno o
       visini plimnog vala, te koje su prometnice
          u tom slučaju presječene za potrebe
                 evakuacije stanovništva.
        Ovo nije hidrodinamični prognostički
                         model!
DEMO
•   geoprocessing.cloudapp.net
Geoprocesiranje
                                                                             ANALIZA
                                                                              ANALIZA



Funkcionalni zahtjevi za geoprocesiranje:                                   PRIPREMA
                                                                             PRIPREMA
                                                                            PODATAKA
                                                                             PODATAKA


                                                                         BOJANJE RASTERA
                                                                          BOJANJE RASTERA
                                                                              GDAL
                                                                               GDAL

• Upravljački program za prostorne podatke                                   GEOTIFF
                                                                              GEOTIFF
                                                                            RGB band 1 1
                                                                             RGB band

• Projekcije – podaci u geografskom prostoru
                                                                         POLIGONIZACIJA
                                                                          POLIGONIZACIJA

• Geometrijske operacije                                                   GDAL/OGR
                                                                             GDAL/OGR


                                                                         LOAD PODATAKA
                                                                          LOAD PODATAKA
                                                                              OGR
                                                                               OGR
  Stack/Function     Data driver   Projection engine   Topology engine
                                                                            AZURE SQL
                                                                             AZURE SQL
                                                                             SPATIAL
                                                                              SPATIAL
      .NET         GDAL/OGR, FDO       Proj.NET             NTS
                                                                         ANALIZA VEKTORA
                                                                          ANALIZA VEKTORA
      Java         GDAL/OGR, FDO        Proj4J              JTS           ST_INTERSECT
                                                                           ST_INTERSECT

      C/C++        GDAL/OGR, FDO        Proj4              GEOS
                                                                             PRIKAZ
                                                                              PRIKAZ
                                                                           REZULTATA
                                                                            REZULTATA
Tehnologije
Microsoft:
                                             SilverLight .NET WEB app
                                              SilverLight .NET WEB app
• AzureCloud
• .NET framework
                           FOSS GIS
                                                    GDAL/OGR
                                                     GDAL/OGR
• SilverLight

                                      NTS
                                       NTS        MSSQLSpatial
                                                   MSSQLSpatial      Proj.NET
                                                                      Proj.NET

FOSS GIS:
• GDAL/OGR (lib C/C++)
• NTS (lib .NET C#)                               AZURE SQL
                                                   AZURE SQL
• MSSQLSpatial (db extezija)
• Proj.NET (lib .NET C#)
GDAL/OGR
                                                      ANALIZA
                                                       ANALIZA



•   Geospatial Data Abstraction Library              PRIPREMA
                                                      PRIPREMA
                                                     PODATAKA
                                                      PODATAKA

•   120 rasterskih i 50 vektorskih formata        BOJANJE RASTERA
                                                   BOJANJE RASTERA
                                                       GDAL
                                                        GDAL

•   1998 – Frank Warmerdam LGPL Licence               GEOTIFF
                                                       GEOTIFF
                                                     RGB band 1 1
                                                      RGB band

•   GoogleEarth, ArcGIS Server/Desktop, FME
                                                  POLIGONIZACIJA
                                                   POLIGONIZACIJA
    ETL, Autodesk MapGuide...                       GDAL/OGR
                                                      GDAL/OGR



•   Transformacije i kontrola outputa             LOAD PODATAKA
                                                   LOAD PODATAKA
                                                       OGR
                                                        OGR



•   GDAL/OGR Utillities                              AZURE SQL
                                                      AZURE SQL
                                                      SPATIAL
                                                       SPATIAL


•   SWIG Bindings: Perl, Python, Ruby, Java, C#   ANALIZA VEKTORA
                                                   ANALIZA VEKTORA
                                                   ST_INTERSECT
                                                    ST_INTERSECT


•   NoSWIG Bindings: VB6, R                           PRIKAZ
                                                       PRIKAZ
                                                    REZULTATA
                                                     REZULTATA
Podaci OSM
                                ANALIZA
                                 ANALIZA




•   250 000 volontera          PRIPREMA
                                PRIPREMA
                               PODATAKA
                                PODATAKA




•   Import (fr, dk, it..)
                            BOJANJE RASTERA
                             BOJANJE RASTERA
                                 GDAL
                                  GDAL


                                GEOTIFF
                                 GEOTIFF

•   BingMaps
                               RGB band 1 1
                                RGB band


                            POLIGONIZACIJA
                             POLIGONIZACIJA


•   Vektori
                              GDAL/OGR
                                GDAL/OGR


                            LOAD PODATAKA
                             LOAD PODATAKA
                                 OGR
                                  OGR


•   CC A-SA 2.0                AZURE SQL
                                AZURE SQL
                                SPATIAL
                                 SPATIAL



•   HR.OSM                  ANALIZA VEKTORA
                             ANALIZA VEKTORA
                             ST_INTERSECT
                              ST_INTERSECT


                                PRIKAZ
                                 PRIKAZ
                              REZULTATA
                               REZULTATA
Vektori
                                                                    ANALIZA
                                                                     ANALIZA



                                                                   PRIPREMA
                                                                    PRIPREMA
                                                                   PODATAKA
                                                                    PODATAKA


                                                                BOJANJE RASTERA
                                                                 BOJANJE RASTERA
point multipoint   line   mulitiline   polygon   multipolygon        GDAL
                                                                      GDAL


                                                                    GEOTIFF
                                                                     GEOTIFF
                                                                   RGB band 1 1
                                                                    RGB band


                                                                POLIGONIZACIJA
                                                                 POLIGONIZACIJA
                                                                  GDAL/OGR
                                                                    GDAL/OGR


                                                                LOAD PODATAKA
                                                                 LOAD PODATAKA
                                                                     OGR
                                                                      OGR


                                                                   AZURE SQL
                                                                    AZURE SQL
                                                                    SPATIAL
                                                                     SPATIAL


                                                                ANALIZA VEKTORA
                                                                 ANALIZA VEKTORA
                                                                ST_INTERSECTION
                                                                 ST_INTERSECTION


                                                                    PRIKAZ
                                                                     PRIKAZ
                                                                  REZULTATA
                                                                   REZULTATA
Rasteri
                                              ANALIZA
                                               ANALIZA



                                             PRIPREMA
                                              PRIPREMA
                                             PODATAKA
                                              PODATAKA


                                          BOJANJE RASTERA
                                           BOJANJE RASTERA
                                               GDAL
                                                GDAL


                                              GEOTIFF
                                               GEOTIFF
                                             RGB band 1 1
                                              RGB band


                                          POLIGONIZACIJA
                                           POLIGONIZACIJA
                                            GDAL/OGR
                                              GDAL/OGR




•   ASTER GDEM          •   DEM,          LOAD PODATAKA
                                           LOAD PODATAKA
                                               OGR
                                                OGR




    GeoTIFF – extenzija •   DSM, DTM,        AZURE SQL

•
                                              AZURE SQL
                                              SPATIAL
                                               SPATIAL




•   GRID struktura      •   DOF,          ANALIZA VEKTORA
                                           ANALIZA VEKTORA
                                          ST_INTERSECTION
                                           ST_INTERSECTION




•   Preciznost (30m)    •   Spectral...       PRIKAZ
                                               PRIKAZ
                                            REZULTATA
                                             REZULTATA
Projekcije
                                                            ANALIZA
                                                             ANALIZA



                                                           PRIPREMA
                                                            PRIPREMA
                                                           PODATAKA
                                                            PODATAKA
 Fullerova projekcija
                                                        BOJANJE RASTERA
                                                         BOJANJE RASTERA
                                                             GDAL
                                                              GDAL


                                                            GEOTIFF
                                                             GEOTIFF
                                                           RGB band 1 1
                                                            RGB band

                        konusna cilindrična ravninska
                                                        POLIGONIZACIJA
                                                         POLIGONIZACIJA
                                                          GDAL/OGR
                                                            GDAL/OGR


                        • PROJ4 – PROJ.NET              LOAD PODATAKA
                                                         LOAD PODATAKA
                                                             OGR
                                                              OGR

                        • 3D – 2D                          AZURE SQL
                                                            AZURE SQL
                                                            SPATIAL
                                                             SPATIAL

                        • EPSG
                                                        ANALIZA VEKTORA
                                                         ANALIZA VEKTORA

                        • SRS - transformacije           ST_INTERSECT
                                                          ST_INTERSECT


                                                            PRIKAZ
                                                             PRIKAZ
                                                          REZULTATA
                                                           REZULTATA
Hrvatski SRS – HTRS96/TM
Hrvatski Terestrički Referentni Sustav / Transverse Mercator Projection
Priprema podataka       ANALIZA
                         ANALIZA
                    SOFTVER I PODACI
                     SOFTVER I PODACI


                       PRIPREMA
                        PRIPREMA
                       PODATAKA
                        PODATAKA


                    BOJANJE RASTERA
                     BOJANJE RASTERA
                         GDAL
                          GDAL


                        GEOTIFF
                         GEOTIFF
                       RGB band 1 1
                        RGB band


                    POLIGONIZACIJA
                     POLIGONIZACIJA
                      GDAL/OGR
                        GDAL/OGR


                    LOAD PODATAKA
                     LOAD PODATAKA
                         OGR
                          OGR


                       AZURE SQL
                        AZURE SQL
                        SPATIAL
                         SPATIAL


                    ANALIZA VEKTORA
                     ANALIZA VEKTORA
                     ST_INTERSECT
                      ST_INTERSECT


                        PRIKAZ
                         PRIKAZ
                      REZULTATA
                       REZULTATA
Bojanje rastera
                                                      ANALIZA
                                                       ANALIZA



• GDALDEM                                            PRIPREMA
                                                      PRIPREMA
                                                     PODATAKA
                                                      PODATAKA

• Prolazi pixel po pixel i ovisno o vrijednosti   BOJANJE RASTERA
                                                   BOJANJE RASTERA
                                                       GDAL

  visine boji pixel pripadajućom r,g,b bojom
                                                        GDAL


                                                      GEOTIFF
                                                       GEOTIFF
                                                     RGB band 1 1
                                                      RGB band


                                                  POLIGONIZACIJA
                                                   POLIGONIZACIJA
                                                    GDAL/OGR
                                                      GDAL/OGR


                                                  LOAD PODATAKA
                                                   LOAD PODATAKA
                                                       OGR
                                                        OGR


                                                     AZURE SQL
                                                      AZURE SQL
                                                      SPATIAL
                                                       SPATIAL


                                                  ANALIZA VEKTORA
                                                   ANALIZA VEKTORA
                                                   ST_INTERSECT
                                                    ST_INTERSECT


                                                      PRIKAZ
                                                       PRIKAZ
                                                    REZULTATA
                                                     REZULTATA
Poligonizacija
                                                     ANALIZA
                                                      ANALIZA



• Gdal.Polygonize                                   PRIPREMA
                                                     PRIPREMA
                                                    PODATAKA
                                                     PODATAKA

• Kontrola outputa – preko 50 izlaznih formata   BOJANJE RASTERA
                                                  BOJANJE RASTERA
                                                      GDAL
                                                       GDAL

• Shapefile, GML, GeoJSON, KML, CSV....              GEOTIFF
                                                      GEOTIFF
                                                    RGB band 1 1
                                                     RGB band
       raster                     vektori
                                                 POLIGONIZACIJA
                                                  POLIGONIZACIJA
                                                   GDAL/OGR
                                                     GDAL/OGR


                                                 LOAD PODATAKA
                                                  LOAD PODATAKA
                                                      OGR
                                                       OGR


                                                    AZURE SQL
                                                     AZURE SQL
                                                     SPATIAL
                                                      SPATIAL


                                                 ANALIZA VEKTORA
                                                  ANALIZA VEKTORA
                                                  ST_INTERSECT
                                                   ST_INTERSECT


                                                     PRIKAZ
                                                      PRIKAZ
                                                   REZULTATA
                                                    REZULTATA
Load podataka OGR
                                                                  ANALIZA
                                                                   ANALIZA


                    feature_table
geometry_columns                        •Ogr2ogr (.exe)          PRIPREMA
                                                                  PRIPREMA
                                                                 PODATAKA
                                                                  PODATAKA
                    <table name>
oid                 <geometry_column>
f_table_catalog     <atributes>         •OGC Simple Feature   BOJANJE RASTERA
                                                               BOJANJE RASTERA
                                                                   GDAL
                                                                    GDAL
f_table_schema
f_table_name                            •“WHERE” uvjeti           GEOTIFF
                                                                   GEOTIFF
f_geometry_column                                                RGB band 1 1
                                                                  RGB band
coord_dimension     spatial_ref_sys
srid
                                        •Rezanje polygona
                    srid                                      POLIGONIZACIJA
                                                               POLIGONIZACIJA
type                                                            GDAL/OGR
                    auth_name
                    auth_sid
                                        •MSSQL ODBC driver        GDAL/OGR


                    srtext                                    LOAD PODATAKA
                                                               LOAD PODATAKA
                                                                   OGR
                    proj4text                                       OGR


                                                                 AZURE SQL
                                                                  AZURE SQL
                                                                  SPATIAL
                                                                   SPATIAL


                                                              ANALIZA VEKTORA
                                                               ANALIZA VEKTORA
                                                              ST_INTERSECTION
                                                               ST_INTERSECTION


                                                                  PRIKAZ
                                                                   PRIKAZ
                                                                REZULTATA
                                                                 REZULTATA
Geometrijske operacije
 polygon overlays   A intersection B   A union B   A diference B   A symDiference B




  PROSTORNI         ODNOSI:                        FUNKCIJE PREKLAPANJA:
 contains, within, covers,                         intersection, difference,
 intersects, disjoint, crosses,                    union, symmetric difference,
 overlaps, touches, equals                         unary union
STIntersects
                                                 ANALIZA
                                                  ANALIZA



• Presjek građevina i područja ugroženosti      PRIPREMA
                                                 PRIPREMA
                                                PODATAKA
                                                 PODATAKA


                                             BOJANJE RASTERA
                                              BOJANJE RASTERA
                                                  GDAL
                                                   GDAL


                                                 GEOTIFF
                                                  GEOTIFF
                                                RGB band 1 1
                                                 RGB band


                                             POLIGONIZACIJA
                                              POLIGONIZACIJA
                                               GDAL/OGR
                                                 GDAL/OGR


                                             LOAD PODATAKA
                                              LOAD PODATAKA
                                                  OGR
                                                   OGR


                                                AZURE SQL
                                                 AZURE SQL
                                                 SPATIAL
                                                  SPATIAL


                                             ANALIZA VEKTORA
                                              ANALIZA VEKTORA
                                              ST_INTERSECT
                                               ST_INTERSECT


                                                 PRIKAZ
                                                  PRIKAZ
                                               REZULTATA
                                                REZULTATA
STIntersects
                                                 ANALIZA
                                                  ANALIZA



• Presjek građevina i područja ugroženosti      PRIPREMA
                                                 PRIPREMA
                                                PODATAKA
                                                 PODATAKA


                                             BOJANJE RASTERA
                                              BOJANJE RASTERA
                                                  GDAL
                                                   GDAL


                                                 GEOTIFF
                                                  GEOTIFF
                                                RGB band 1 1
                                                 RGB band


                                             POLIGONIZACIJA
                                              POLIGONIZACIJA
                                               GDAL/OGR
                                                 GDAL/OGR


                                             LOAD PODATAKA
                                              LOAD PODATAKA
                                                  OGR
                                                   OGR


                                                AZURE SQL
                                                 AZURE SQL
                                                 SPATIAL
                                                  SPATIAL


                                             ANALIZA VEKTORA
                                              ANALIZA VEKTORA
                                             ST_INTERSECTION
                                              ST_INTERSECTION


                                                 PRIKAZ
                                                  PRIKAZ
                                               REZULTATA
                                                REZULTATA
Rezultati
                ANALIZA
                 ANALIZA



               PRIPREMA
                PRIPREMA
               PODATAKA
                PODATAKA


            BOJANJE RASTERA
             BOJANJE RASTERA
                 GDAL
                  GDAL


                GEOTIFF
                 GEOTIFF
               RGB band 1 1
                RGB band


            POLIGONIZACIJA
             POLIGONIZACIJA
              GDAL/OGR
                GDAL/OGR


            LOAD PODATAKA
             LOAD PODATAKA
                 OGR
                  OGR


               AZURE SQL
                AZURE SQL
                SPATIAL
                 SPATIAL


            ANALIZA VEKTORA
             ANALIZA VEKTORA
             ST_INTERSECT
              ST_INTERSECT


                PRIKAZ
                 PRIKAZ
              REZULTATA
               REZULTATA
FOSS GIS .NET Stack

MapWindow
 MapWindow   MSSQLSpatial
              MSSQLSpatial          NTS
                                     NTS                           MonoGIS
                                                                    MonoGIS




                                GeoAPI.NET
                                 GeoAPI.NET         SharpMap
                                                     SharpMap




MapWindow
 MapWindow     Proj.NET
                Proj.NET     Nhibernate.Spatial
                              Nhibernate.Spatial   GeoTools.NET
                                                    GeoTools.NET
  ActiveX
   ActiveX
FOSS GIS .NET Stack
Alati i biblioteke:
• MapWindow – Desktop GIS alat (framework)
• MapWindow ActiveX – MapWindow Core API
• GeoAPI - Framework baziran na OGC/ISO standardima (SFS)
• GeoTools.NET – Skup .NET klasa za manipuliranje prostornim podacima
• NHibernate.Spatial – Prostorna ekstenzija za NHibernate
• SharpMap – WEB Map Renderer, WEB/Desktop app framework
• MonoGIS – GIS na Mono platformi

Zajednica:
• Projekti izašli iz “One Man Project” faze
• Debugiranje
• Portanje Java stack-a
Povezani sadržaji
• OSM OpenStreetMap
• ASTER GDEM Advanced Spaceborne Thermal
  Emission and Reflection Radiometer
• GDAL/OGR Geospatial Data Abstraction Library
• MSSQLSpatial MSSQQL Spatial Extension
• CORIE – FOSS Hidrodynamic Model
Geoprocesiranje u oblaku
Geoprocesiranje u oblaku

More Related Content

Featured

AI Trends in Creative Operations 2024 by Artwork Flow.pdf
AI Trends in Creative Operations 2024 by Artwork Flow.pdfAI Trends in Creative Operations 2024 by Artwork Flow.pdf
AI Trends in Creative Operations 2024 by Artwork Flow.pdfmarketingartwork
 
PEPSICO Presentation to CAGNY Conference Feb 2024
PEPSICO Presentation to CAGNY Conference Feb 2024PEPSICO Presentation to CAGNY Conference Feb 2024
PEPSICO Presentation to CAGNY Conference Feb 2024Neil Kimberley
 
Content Methodology: A Best Practices Report (Webinar)
Content Methodology: A Best Practices Report (Webinar)Content Methodology: A Best Practices Report (Webinar)
Content Methodology: A Best Practices Report (Webinar)contently
 
How to Prepare For a Successful Job Search for 2024
How to Prepare For a Successful Job Search for 2024How to Prepare For a Successful Job Search for 2024
How to Prepare For a Successful Job Search for 2024Albert Qian
 
Social Media Marketing Trends 2024 // The Global Indie Insights
Social Media Marketing Trends 2024 // The Global Indie InsightsSocial Media Marketing Trends 2024 // The Global Indie Insights
Social Media Marketing Trends 2024 // The Global Indie InsightsKurio // The Social Media Age(ncy)
 
Trends In Paid Search: Navigating The Digital Landscape In 2024
Trends In Paid Search: Navigating The Digital Landscape In 2024Trends In Paid Search: Navigating The Digital Landscape In 2024
Trends In Paid Search: Navigating The Digital Landscape In 2024Search Engine Journal
 
5 Public speaking tips from TED - Visualized summary
5 Public speaking tips from TED - Visualized summary5 Public speaking tips from TED - Visualized summary
5 Public speaking tips from TED - Visualized summarySpeakerHub
 
ChatGPT and the Future of Work - Clark Boyd
ChatGPT and the Future of Work - Clark Boyd ChatGPT and the Future of Work - Clark Boyd
ChatGPT and the Future of Work - Clark Boyd Clark Boyd
 
Getting into the tech field. what next
Getting into the tech field. what next Getting into the tech field. what next
Getting into the tech field. what next Tessa Mero
 
Google's Just Not That Into You: Understanding Core Updates & Search Intent
Google's Just Not That Into You: Understanding Core Updates & Search IntentGoogle's Just Not That Into You: Understanding Core Updates & Search Intent
Google's Just Not That Into You: Understanding Core Updates & Search IntentLily Ray
 
Time Management & Productivity - Best Practices
Time Management & Productivity -  Best PracticesTime Management & Productivity -  Best Practices
Time Management & Productivity - Best PracticesVit Horky
 
The six step guide to practical project management
The six step guide to practical project managementThe six step guide to practical project management
The six step guide to practical project managementMindGenius
 
Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...
Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...
Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...RachelPearson36
 
Unlocking the Power of ChatGPT and AI in Testing - A Real-World Look, present...
Unlocking the Power of ChatGPT and AI in Testing - A Real-World Look, present...Unlocking the Power of ChatGPT and AI in Testing - A Real-World Look, present...
Unlocking the Power of ChatGPT and AI in Testing - A Real-World Look, present...Applitools
 
12 Ways to Increase Your Influence at Work
12 Ways to Increase Your Influence at Work12 Ways to Increase Your Influence at Work
12 Ways to Increase Your Influence at WorkGetSmarter
 

Featured (20)

AI Trends in Creative Operations 2024 by Artwork Flow.pdf
AI Trends in Creative Operations 2024 by Artwork Flow.pdfAI Trends in Creative Operations 2024 by Artwork Flow.pdf
AI Trends in Creative Operations 2024 by Artwork Flow.pdf
 
Skeleton Culture Code
Skeleton Culture CodeSkeleton Culture Code
Skeleton Culture Code
 
PEPSICO Presentation to CAGNY Conference Feb 2024
PEPSICO Presentation to CAGNY Conference Feb 2024PEPSICO Presentation to CAGNY Conference Feb 2024
PEPSICO Presentation to CAGNY Conference Feb 2024
 
Content Methodology: A Best Practices Report (Webinar)
Content Methodology: A Best Practices Report (Webinar)Content Methodology: A Best Practices Report (Webinar)
Content Methodology: A Best Practices Report (Webinar)
 
How to Prepare For a Successful Job Search for 2024
How to Prepare For a Successful Job Search for 2024How to Prepare For a Successful Job Search for 2024
How to Prepare For a Successful Job Search for 2024
 
Social Media Marketing Trends 2024 // The Global Indie Insights
Social Media Marketing Trends 2024 // The Global Indie InsightsSocial Media Marketing Trends 2024 // The Global Indie Insights
Social Media Marketing Trends 2024 // The Global Indie Insights
 
Trends In Paid Search: Navigating The Digital Landscape In 2024
Trends In Paid Search: Navigating The Digital Landscape In 2024Trends In Paid Search: Navigating The Digital Landscape In 2024
Trends In Paid Search: Navigating The Digital Landscape In 2024
 
5 Public speaking tips from TED - Visualized summary
5 Public speaking tips from TED - Visualized summary5 Public speaking tips from TED - Visualized summary
5 Public speaking tips from TED - Visualized summary
 
ChatGPT and the Future of Work - Clark Boyd
ChatGPT and the Future of Work - Clark Boyd ChatGPT and the Future of Work - Clark Boyd
ChatGPT and the Future of Work - Clark Boyd
 
Getting into the tech field. what next
Getting into the tech field. what next Getting into the tech field. what next
Getting into the tech field. what next
 
Google's Just Not That Into You: Understanding Core Updates & Search Intent
Google's Just Not That Into You: Understanding Core Updates & Search IntentGoogle's Just Not That Into You: Understanding Core Updates & Search Intent
Google's Just Not That Into You: Understanding Core Updates & Search Intent
 
How to have difficult conversations
How to have difficult conversations How to have difficult conversations
How to have difficult conversations
 
Introduction to Data Science
Introduction to Data ScienceIntroduction to Data Science
Introduction to Data Science
 
Time Management & Productivity - Best Practices
Time Management & Productivity -  Best PracticesTime Management & Productivity -  Best Practices
Time Management & Productivity - Best Practices
 
The six step guide to practical project management
The six step guide to practical project managementThe six step guide to practical project management
The six step guide to practical project management
 
Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...
Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...
Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...
 
Unlocking the Power of ChatGPT and AI in Testing - A Real-World Look, present...
Unlocking the Power of ChatGPT and AI in Testing - A Real-World Look, present...Unlocking the Power of ChatGPT and AI in Testing - A Real-World Look, present...
Unlocking the Power of ChatGPT and AI in Testing - A Real-World Look, present...
 
12 Ways to Increase Your Influence at Work
12 Ways to Increase Your Influence at Work12 Ways to Increase Your Influence at Work
12 Ways to Increase Your Influence at Work
 
ChatGPT webinar slides
ChatGPT webinar slidesChatGPT webinar slides
ChatGPT webinar slides
 
More than Just Lines on a Map: Best Practices for U.S Bike Routes
More than Just Lines on a Map: Best Practices for U.S Bike RoutesMore than Just Lines on a Map: Best Practices for U.S Bike Routes
More than Just Lines on a Map: Best Practices for U.S Bike Routes
 

Geoprocesiranje u oblaku

  • 1.
  • 2. Geoprocesiranje u oblaku Darko Boto i Alen Huskić APIS IT d.o.o.
  • 3.
  • 4.
  • 5. APIS IT d.o.o. – Agencija za podršku informacijskim sustavima i tehnologijama podrška ključnim informacijskim sustavima države i Grada • Ministarstvo financija • Porezna uprava • > 350 zaposlenika • Carinska uprava • Serverske platforme: • Financijska policija • IBM zSeries, Parallel Sysplex • SDU za e-Hrvatsku • IBM AIX • SDU za državnu imovinu • Linux • APN • Sun Solaris • Izbori na svim razinama • HP Unix • Grad Zagreb • Windows • Gradska pisarnica i kolanje dokumenata • Virtualizacija: zVM, Microsoft • Matice i knjiga državljana • Baze podataka: IMS, DB2, Oracle, Lotus • Katastar zemljišta, GIS, adresni model • Naplata komunalne naknade, zakupa, Domino, Sybase najma • WEB serveri : WebSphere, MS IIS, Arc • Programi stanogradnje IMS, BEA Logic • Povrat imovine • > 10.000 radnih stanica • Registar obveznika, objekata i naknada • > 4.000.000 transakcija po danu • Riznica, financije, plaće, ljudski resursi • E-usluge • ZGH
  • 6. Sadržaj predavanja Što je sve potrebno da bi se u Azure cloudu napravila analiza prostornih podataka i pri tome: • analizirati vektorske prostorne podatke, • analizirati GRID rasterske formate, • koristiti MSSQLSpatial prostorne funkcije.
  • 7. Preduvjeti Osnovna znanja o: • GIS-u i prostornim podacima. – ... vektorima – … rasterima – … prostornim analizama • … i Microsoft tehnologijama
  • 8.
  • 9. Tsunami - PLIMNI VAL Italija Dubrovnik Vela luka Ist Pula Hvar
  • 10. JAPAN seizmičke aktivnosti u japanu Tektonske ploče 17 000 km – 21h
  • 11. IDEJA Studijom slučaja naći način kako napraviti preventivnu prostornu (GIS) analizu razmjera utjecaja podizanja razine mora, te što je od softvera i podataka potrebno da bi se takva prostorna analiza napravila.
  • 12. Napravili smo… • Prototip web aplikacije koja prostornom analizom izračunava broj kućanstava ugroženih dizanjem razine mora ovisno o visini plimnog vala, te koje su prometnice u tom slučaju presječene za potrebe evakuacije stanovništva. Ovo nije hidrodinamični prognostički model!
  • 13. DEMO • geoprocessing.cloudapp.net
  • 14. Geoprocesiranje ANALIZA ANALIZA Funkcionalni zahtjevi za geoprocesiranje: PRIPREMA PRIPREMA PODATAKA PODATAKA BOJANJE RASTERA BOJANJE RASTERA GDAL GDAL • Upravljački program za prostorne podatke GEOTIFF GEOTIFF RGB band 1 1 RGB band • Projekcije – podaci u geografskom prostoru POLIGONIZACIJA POLIGONIZACIJA • Geometrijske operacije GDAL/OGR GDAL/OGR LOAD PODATAKA LOAD PODATAKA OGR OGR Stack/Function Data driver Projection engine Topology engine AZURE SQL AZURE SQL SPATIAL SPATIAL .NET GDAL/OGR, FDO Proj.NET NTS ANALIZA VEKTORA ANALIZA VEKTORA Java GDAL/OGR, FDO Proj4J JTS ST_INTERSECT ST_INTERSECT C/C++ GDAL/OGR, FDO Proj4 GEOS PRIKAZ PRIKAZ REZULTATA REZULTATA
  • 15. Tehnologije Microsoft: SilverLight .NET WEB app SilverLight .NET WEB app • AzureCloud • .NET framework FOSS GIS GDAL/OGR GDAL/OGR • SilverLight NTS NTS MSSQLSpatial MSSQLSpatial Proj.NET Proj.NET FOSS GIS: • GDAL/OGR (lib C/C++) • NTS (lib .NET C#) AZURE SQL AZURE SQL • MSSQLSpatial (db extezija) • Proj.NET (lib .NET C#)
  • 16. GDAL/OGR ANALIZA ANALIZA • Geospatial Data Abstraction Library PRIPREMA PRIPREMA PODATAKA PODATAKA • 120 rasterskih i 50 vektorskih formata BOJANJE RASTERA BOJANJE RASTERA GDAL GDAL • 1998 – Frank Warmerdam LGPL Licence GEOTIFF GEOTIFF RGB band 1 1 RGB band • GoogleEarth, ArcGIS Server/Desktop, FME POLIGONIZACIJA POLIGONIZACIJA ETL, Autodesk MapGuide... GDAL/OGR GDAL/OGR • Transformacije i kontrola outputa LOAD PODATAKA LOAD PODATAKA OGR OGR • GDAL/OGR Utillities AZURE SQL AZURE SQL SPATIAL SPATIAL • SWIG Bindings: Perl, Python, Ruby, Java, C# ANALIZA VEKTORA ANALIZA VEKTORA ST_INTERSECT ST_INTERSECT • NoSWIG Bindings: VB6, R PRIKAZ PRIKAZ REZULTATA REZULTATA
  • 17. Podaci OSM ANALIZA ANALIZA • 250 000 volontera PRIPREMA PRIPREMA PODATAKA PODATAKA • Import (fr, dk, it..) BOJANJE RASTERA BOJANJE RASTERA GDAL GDAL GEOTIFF GEOTIFF • BingMaps RGB band 1 1 RGB band POLIGONIZACIJA POLIGONIZACIJA • Vektori GDAL/OGR GDAL/OGR LOAD PODATAKA LOAD PODATAKA OGR OGR • CC A-SA 2.0 AZURE SQL AZURE SQL SPATIAL SPATIAL • HR.OSM ANALIZA VEKTORA ANALIZA VEKTORA ST_INTERSECT ST_INTERSECT PRIKAZ PRIKAZ REZULTATA REZULTATA
  • 18. Vektori ANALIZA ANALIZA PRIPREMA PRIPREMA PODATAKA PODATAKA BOJANJE RASTERA BOJANJE RASTERA point multipoint line mulitiline polygon multipolygon GDAL GDAL GEOTIFF GEOTIFF RGB band 1 1 RGB band POLIGONIZACIJA POLIGONIZACIJA GDAL/OGR GDAL/OGR LOAD PODATAKA LOAD PODATAKA OGR OGR AZURE SQL AZURE SQL SPATIAL SPATIAL ANALIZA VEKTORA ANALIZA VEKTORA ST_INTERSECTION ST_INTERSECTION PRIKAZ PRIKAZ REZULTATA REZULTATA
  • 19. Rasteri ANALIZA ANALIZA PRIPREMA PRIPREMA PODATAKA PODATAKA BOJANJE RASTERA BOJANJE RASTERA GDAL GDAL GEOTIFF GEOTIFF RGB band 1 1 RGB band POLIGONIZACIJA POLIGONIZACIJA GDAL/OGR GDAL/OGR • ASTER GDEM • DEM, LOAD PODATAKA LOAD PODATAKA OGR OGR GeoTIFF – extenzija • DSM, DTM, AZURE SQL • AZURE SQL SPATIAL SPATIAL • GRID struktura • DOF, ANALIZA VEKTORA ANALIZA VEKTORA ST_INTERSECTION ST_INTERSECTION • Preciznost (30m) • Spectral... PRIKAZ PRIKAZ REZULTATA REZULTATA
  • 20. Projekcije ANALIZA ANALIZA PRIPREMA PRIPREMA PODATAKA PODATAKA Fullerova projekcija BOJANJE RASTERA BOJANJE RASTERA GDAL GDAL GEOTIFF GEOTIFF RGB band 1 1 RGB band konusna cilindrična ravninska POLIGONIZACIJA POLIGONIZACIJA GDAL/OGR GDAL/OGR • PROJ4 – PROJ.NET LOAD PODATAKA LOAD PODATAKA OGR OGR • 3D – 2D AZURE SQL AZURE SQL SPATIAL SPATIAL • EPSG ANALIZA VEKTORA ANALIZA VEKTORA • SRS - transformacije ST_INTERSECT ST_INTERSECT PRIKAZ PRIKAZ REZULTATA REZULTATA
  • 21. Hrvatski SRS – HTRS96/TM Hrvatski Terestrički Referentni Sustav / Transverse Mercator Projection
  • 22. Priprema podataka ANALIZA ANALIZA SOFTVER I PODACI SOFTVER I PODACI PRIPREMA PRIPREMA PODATAKA PODATAKA BOJANJE RASTERA BOJANJE RASTERA GDAL GDAL GEOTIFF GEOTIFF RGB band 1 1 RGB band POLIGONIZACIJA POLIGONIZACIJA GDAL/OGR GDAL/OGR LOAD PODATAKA LOAD PODATAKA OGR OGR AZURE SQL AZURE SQL SPATIAL SPATIAL ANALIZA VEKTORA ANALIZA VEKTORA ST_INTERSECT ST_INTERSECT PRIKAZ PRIKAZ REZULTATA REZULTATA
  • 23. Bojanje rastera ANALIZA ANALIZA • GDALDEM PRIPREMA PRIPREMA PODATAKA PODATAKA • Prolazi pixel po pixel i ovisno o vrijednosti BOJANJE RASTERA BOJANJE RASTERA GDAL visine boji pixel pripadajućom r,g,b bojom GDAL GEOTIFF GEOTIFF RGB band 1 1 RGB band POLIGONIZACIJA POLIGONIZACIJA GDAL/OGR GDAL/OGR LOAD PODATAKA LOAD PODATAKA OGR OGR AZURE SQL AZURE SQL SPATIAL SPATIAL ANALIZA VEKTORA ANALIZA VEKTORA ST_INTERSECT ST_INTERSECT PRIKAZ PRIKAZ REZULTATA REZULTATA
  • 24. Poligonizacija ANALIZA ANALIZA • Gdal.Polygonize PRIPREMA PRIPREMA PODATAKA PODATAKA • Kontrola outputa – preko 50 izlaznih formata BOJANJE RASTERA BOJANJE RASTERA GDAL GDAL • Shapefile, GML, GeoJSON, KML, CSV.... GEOTIFF GEOTIFF RGB band 1 1 RGB band raster vektori POLIGONIZACIJA POLIGONIZACIJA GDAL/OGR GDAL/OGR LOAD PODATAKA LOAD PODATAKA OGR OGR AZURE SQL AZURE SQL SPATIAL SPATIAL ANALIZA VEKTORA ANALIZA VEKTORA ST_INTERSECT ST_INTERSECT PRIKAZ PRIKAZ REZULTATA REZULTATA
  • 25. Load podataka OGR ANALIZA ANALIZA feature_table geometry_columns •Ogr2ogr (.exe) PRIPREMA PRIPREMA PODATAKA PODATAKA <table name> oid <geometry_column> f_table_catalog <atributes> •OGC Simple Feature BOJANJE RASTERA BOJANJE RASTERA GDAL GDAL f_table_schema f_table_name •“WHERE” uvjeti GEOTIFF GEOTIFF f_geometry_column RGB band 1 1 RGB band coord_dimension spatial_ref_sys srid •Rezanje polygona srid POLIGONIZACIJA POLIGONIZACIJA type GDAL/OGR auth_name auth_sid •MSSQL ODBC driver GDAL/OGR srtext LOAD PODATAKA LOAD PODATAKA OGR proj4text OGR AZURE SQL AZURE SQL SPATIAL SPATIAL ANALIZA VEKTORA ANALIZA VEKTORA ST_INTERSECTION ST_INTERSECTION PRIKAZ PRIKAZ REZULTATA REZULTATA
  • 26. Geometrijske operacije polygon overlays A intersection B A union B A diference B A symDiference B  PROSTORNI ODNOSI: FUNKCIJE PREKLAPANJA: contains, within, covers, intersection, difference, intersects, disjoint, crosses, union, symmetric difference, overlaps, touches, equals  unary union
  • 27. STIntersects ANALIZA ANALIZA • Presjek građevina i područja ugroženosti PRIPREMA PRIPREMA PODATAKA PODATAKA BOJANJE RASTERA BOJANJE RASTERA GDAL GDAL GEOTIFF GEOTIFF RGB band 1 1 RGB band POLIGONIZACIJA POLIGONIZACIJA GDAL/OGR GDAL/OGR LOAD PODATAKA LOAD PODATAKA OGR OGR AZURE SQL AZURE SQL SPATIAL SPATIAL ANALIZA VEKTORA ANALIZA VEKTORA ST_INTERSECT ST_INTERSECT PRIKAZ PRIKAZ REZULTATA REZULTATA
  • 28. STIntersects ANALIZA ANALIZA • Presjek građevina i područja ugroženosti PRIPREMA PRIPREMA PODATAKA PODATAKA BOJANJE RASTERA BOJANJE RASTERA GDAL GDAL GEOTIFF GEOTIFF RGB band 1 1 RGB band POLIGONIZACIJA POLIGONIZACIJA GDAL/OGR GDAL/OGR LOAD PODATAKA LOAD PODATAKA OGR OGR AZURE SQL AZURE SQL SPATIAL SPATIAL ANALIZA VEKTORA ANALIZA VEKTORA ST_INTERSECTION ST_INTERSECTION PRIKAZ PRIKAZ REZULTATA REZULTATA
  • 29. Rezultati ANALIZA ANALIZA PRIPREMA PRIPREMA PODATAKA PODATAKA BOJANJE RASTERA BOJANJE RASTERA GDAL GDAL GEOTIFF GEOTIFF RGB band 1 1 RGB band POLIGONIZACIJA POLIGONIZACIJA GDAL/OGR GDAL/OGR LOAD PODATAKA LOAD PODATAKA OGR OGR AZURE SQL AZURE SQL SPATIAL SPATIAL ANALIZA VEKTORA ANALIZA VEKTORA ST_INTERSECT ST_INTERSECT PRIKAZ PRIKAZ REZULTATA REZULTATA
  • 30. FOSS GIS .NET Stack MapWindow MapWindow MSSQLSpatial MSSQLSpatial NTS NTS MonoGIS MonoGIS GeoAPI.NET GeoAPI.NET SharpMap SharpMap MapWindow MapWindow Proj.NET Proj.NET Nhibernate.Spatial Nhibernate.Spatial GeoTools.NET GeoTools.NET ActiveX ActiveX
  • 31. FOSS GIS .NET Stack Alati i biblioteke: • MapWindow – Desktop GIS alat (framework) • MapWindow ActiveX – MapWindow Core API • GeoAPI - Framework baziran na OGC/ISO standardima (SFS) • GeoTools.NET – Skup .NET klasa za manipuliranje prostornim podacima • NHibernate.Spatial – Prostorna ekstenzija za NHibernate • SharpMap – WEB Map Renderer, WEB/Desktop app framework • MonoGIS – GIS na Mono platformi Zajednica: • Projekti izašli iz “One Man Project” faze • Debugiranje • Portanje Java stack-a
  • 32.
  • 33. Povezani sadržaji • OSM OpenStreetMap • ASTER GDEM Advanced Spaceborne Thermal Emission and Reflection Radiometer • GDAL/OGR Geospatial Data Abstraction Library • MSSQLSpatial MSSQQL Spatial Extension • CORIE – FOSS Hidrodynamic Model