SlideShare a Scribd company logo
1 of 42
Download to read offline
Soluzioni software per l'analisi su web
di dati ambientali a componente
geografica
Costantino Soru
dino@crs4.it
Outline
➔ Introduzione: Applicazioni web a vocazione
geografica
➔ Procedure ETL
➔ Esempi applicativi
➔ Progetto Bilancio Idrologico – Sidro
➔ Progetto EnviroGRIDS – Bashyt
➔ Progetto Acque Costiere – OMT
Introduzione
Il gruppo si occupa di progettare e implementare
soluzioni innovative per l'analisi di problematiche
ambientali complesse come lo studio del ciclo dell'acqua
o l'idrodinamica marina.
Le applicazioni sviluppate sono tipicamente utilizzate nel
campo della pianificazione ambientale e del supporto
decisionale e sono fruibili dal web.
Alla base delle applicazioni vi è l'utilizzo di strumenti di
analisi numerica (modelli) ad approccio fisico.
Modelli ambientali
I modelli ambientali utilizzati necessitano di lunghi tempi
di calcolo e risorse di storage elevate, ad esempio:
➔ Nell'ambito dell'analisi del ciclo dell'acqua la calibrazione del
modello della regione Sardegna ha richiesto più di 2000
simulazioni. Per singolo run:
➔ Tempo di calcolo: 1h 40m
➔ Dimensione dell'output: >10GB
➔ Previsione idrodinamica marina:
➔ Tempo di calcolo: 5h (media)
➔ Dimensione dell'output: >1GB
I codici vengono eseguiti su piattaforme di calcolo ad alte
prestazioni (HPC).
Modelli ambientali
I software dei modelli richiedono complesse operazioni di
creazione dell'input.
Modelli ambientali
I software dei modelli richiedono complesse operazioni di
creazione dell'input.
Download dei dati di
input dal web
Modelli ambientali
I software dei modelli richiedono complesse operazioni di
creazione dell'input.
Download dei dati di
input dal web
Elaborazione input
(Condizioni Iniziali, a
contorno ecc)
Modelli ambientali
I software dei modelli richiedono complesse operazioni di
creazione dell'input.
Download dei dati di
input dal web
Elaborazione input
(Condizioni Iniziali, a
contorno ecc) Run del modello
Modelli ambientali
I software dei modelli richiedono complesse operazioni di
creazione dell'input.
Il pre-processing dell'input è risolto in modo automatico e
temporizzato, senza intervento da parte dell'utente.
Download dei dati di
input dal web
Elaborazione input
(Condizioni Iniziali, a
contorno ecc) Run del modello
Extract Transform Load (ETL)
L'output dei modelli non è adatto per l'utilizzo su web; è
richiesta una selezione dei dati e la loro trasformazione in
un formato più performante.
Extract Transform Load (ETL)
L'output dei modelli non è adatto per l'utilizzo su web; è
richiesta una selezione dei dati e la loro trasformazione in
un formato più performante.
Run del modello
Extract Transform Load (ETL)
L'output dei modelli non è adatto per l'utilizzo su web; è
richiesta una selezione dei dati e la loro trasformazione in
un formato più performante.
Elaborazione dell'output
(Extract e Transform)Run del modello
Extract Transform Load (ETL)
L'output dei modelli non è adatto per l'utilizzo su web; è
richiesta una selezione dei dati e la loro trasformazione in
un formato più performante.
Elaborazione dell'output
(Extract e Transform)Run del modello
Creazione
Database (Load)
Extract Transform Load (ETL)
L'output dei modelli non è adatto per l'utilizzo su web; è
richiesta una selezione dei dati e la loro trasformazione in
un formato più performante.
Elaborazione dell'output
(Extract e Transform)Run del modello
Esposizione su
web
Creazione
Database (Load)
Extract Transform Load (ETL)
L'output dei modelli non è adatto per l'utilizzo su web; è
richiesta una selezione dei dati e la loro trasformazione in
un formato più performante.
Il post-processing dell'output è risolto in modo automatico
e trasparente per l'utente finale.
Elaborazione dell'output
(Extract e Transform)Run del modello
Esposizione su
web
Creazione
Database (Load)
ETL SWAT: Strutture Dati
L'output del modello SWAT viene scritto in file di testo
con un struttura tabellare.
Ulteriori informazioni utilizzate nel processo di
elaborazione del modello sono memorizzate in file di tipo
DBF, Shapefile e Raster.
Per la rappresentazione web dei risultati di SWAT è
necessario acquisire e rendere accessibili tutte le
informazioni disponibili.
ETL SWAT: Sprite
Il software Sprite implementa la prima
fase (Extract e Transform) della
procedura ETL per Swat.
➔ Permette la selezione dei dati di interesse.
➔ Estrae i dati geografici (Raster e Shapefile)
e climatologici (DBF) dal pre-processore
ArcSwat.
➔ Normalizza e converte le informazioni
secondo uno schema univoco.
➔ Crea un archivio compresso contenente le
informazioni elaborate.
ETL SWAT: SwatSL
Swatsl (Swat to SpatiaLite) esegue le ultime fasi di
trasformazione e la fase caricamento (Load) dei dati
Swat.
➔ Esegue la trasformazione dei sistemi di riferimento sui dati
spaziali.
➔ Legge i file testuali dell'output e li inserisce in tabelle relazionali.
➔ Normalizza i dati su uno schema relazionale univoco per
garantire l'integrità e la coerenza delle informazioni.
➔ Salva tutti i dati in uno o più database SQLite con estensione
spaziale Spatialite.
Rappresentazione dei dati
Una web-application consente di esporre sul web
funzionalità proprie di software standalone, rendendole
fruibili attraverso web browser, applicazioni per
smartphone e servizi di rete.
Rappresentazione dei dati
Una web-application consente di esporre sul web
funzionalità proprie di software standalone, rendendole
fruibili attraverso web browser, applicazioni per
smartphone e servizi di rete.
Un'architettura classica prevede tre elementi:
Una web-application consente di esporre sul web
funzionalità proprie di software standalone, rendendole
fruibili attraverso web browser, applicazioni per
smartphone e servizi di rete.
Un'architettura classica prevede tre elementi:
Rappresentazione dei dati
Client (Browser / App)
Una web-application consente di esporre sul web
funzionalità proprie di software standalone, rendendole
fruibili attraverso web browser, applicazioni per
smartphone e servizi di rete.
Un'architettura classica prevede tre elementi:
Application Server
Rappresentazione dei dati
Client (Browser / App)
Una web-application consente di esporre sul web
funzionalità proprie di software standalone, rendendole
fruibili attraverso web browser, applicazioni per
smartphone e servizi di rete.
Un'architettura classica prevede tre elementi:
Database Server
Rappresentazione dei dati
Application ServerClient (Browser / App)
Una web-application consente di esporre sul web
funzionalità proprie di software standalone, rendendole
fruibili attraverso web browser, applicazioni per
smartphone e servizi di rete.
Un'architettura classica prevede tre elementi:
Rappresentazione dei dati
Map Server
Application ServerClient (Browser / App)
Database Server
Esempi di Web-Application per l'analisi
idrologica e oceanografica
Esempi Applicativi: Sidro
Obiettivo del progetto Bilancio Idrologico è lo studio e la
valutazione delle risorse idriche della regione Sardegna,
per il periodo 1924 – 2008.
Nell'ambito del progetto è stata eseguita la calibrazione
del modello idrologico e sviluppata la web-application
Sidro per la consultazione via web dei dati di simulazione
prodotti.
Esempi Applicativi: Sidro
Esempi Applicativi: Sidro
Esempi Applicativi: Sidro
Esempi Applicativi: Sidro
Tecnologie impiegate:
Backend
➔ Sprite + Swatsl
➔ SQLite
➔ PostgreSQL + PostGIS
➔ Geoserver
➔ NodeJS
Frontend
➔ JQuery
➔ Bootstrap
➔ OpenLayers
Esempi Applicativi: Bashyt
Il progetto EnviroGRIDS ha l'obiettivo di monitorare e
analizzare le risorse idriche dell'intero bacino del mar
nero (2.2 milioni di km², 24 nazioni) attraverso tecnologie
avanzate.
Nell'ambito del progetto è stata sviluppata l'applicazione
Bashyt (BAsin Scale HYdrological Toolkit) che ha
permesso di analizzare via web e con strumenti user-
friendly la grande mole di dati di simulazione e studio
prodotta dai 30 partner coinvolti.
Esempi Applicativi: Bashyt
Esempi Applicativi: Bashyt
Esempi Applicativi: Bashyt
Esempi Applicativi: Bashyt
Tecnologie impiegate:
Backend
➔ Glite (Grid)
➔ Sprite + Swatsl
➔ SQLite
➔ Mapserver
➔ Tomcat
Frontend
➔ JQuery
➔ mscross
Esempi Applicativi: OMT
Il progetto Acque Costiere ha l'obiettivo di studiare
l’idrodinamica costiera per l’intera regione Sardegna e di
consentire la previsione di fenomeni di inquinamento
derivanti da Oil Spill.
Nell'ambito del progetto è stata messa in opera una
infrastruttura modellistica allo stato dell'arte per la
previsione operazionale delle dinamiche oceanografiche.
L'applicazione web-based OMT (Operational Marine
Tool) accede all'infrastruttura di calcolo ed espone i
risultati in maniera semplice e intuitiva.
Esempi Applicativi: OMT
Esempi Applicativi: OMT
Esempi Applicativi: OMT
Esempi Applicativi: OMT
Esempi Applicativi: OMT
Tecnologie impiegate:
Backend
➔ Python
➔ Linux
➔ Tomcat
Frontend
➔ JQuery
➔ Bootstrap
Conclusioni
➔ L'integrazione di competenze, dati e strumenti di
interpretazione affidabili consente di ottenere una
visione olistica e intuitiva di problemi complessi.
➔ L'utilizzo del web attraverso lo studio di front-end
usabili e ergonomici permette di rendere trasparente
agli utenti la complessità architetturale di back-end
complessi come quelli descritti.
➔ Le soluzioni e le tecnologie mostrate possono essere
estese ed applicate in ambiti di natura diversa.

More Related Content

Viewers also liked

Viewers also liked (11)

Aurkezpena argi kutsadura
Aurkezpena argi kutsaduraAurkezpena argi kutsadura
Aurkezpena argi kutsadura
 
Il sequenziamento dei genomi sardi al CRS4 Francesco Cucca (University of Sas...
Il sequenziamento dei genomi sardi al CRS4 Francesco Cucca (University of Sas...Il sequenziamento dei genomi sardi al CRS4 Francesco Cucca (University of Sas...
Il sequenziamento dei genomi sardi al CRS4 Francesco Cucca (University of Sas...
 
Michiel van Riemsdijk op TrendsFactory 2010 - De toekomst en relevantie van e...
Michiel van Riemsdijk op TrendsFactory 2010 - De toekomst en relevantie van e...Michiel van Riemsdijk op TrendsFactory 2010 - De toekomst en relevantie van e...
Michiel van Riemsdijk op TrendsFactory 2010 - De toekomst en relevantie van e...
 
Sensibilizazioa
SensibilizazioaSensibilizazioa
Sensibilizazioa
 
Seminario Cristian Lai, 06-09-2012
Seminario Cristian Lai, 06-09-2012Seminario Cristian Lai, 06-09-2012
Seminario Cristian Lai, 06-09-2012
 
Meteorologia numerica e supercalcolo
Meteorologia numerica e supercalcoloMeteorologia numerica e supercalcolo
Meteorologia numerica e supercalcolo
 
etxebizitzetako instalazio elektrikoak
etxebizitzetako instalazio elektrikoaketxebizitzetako instalazio elektrikoak
etxebizitzetako instalazio elektrikoak
 
Studi di associazione genetica e disegno sperimantale caso- controllo
Studi di associazione genetica e disegno sperimantale caso- controlloStudi di associazione genetica e disegno sperimantale caso- controllo
Studi di associazione genetica e disegno sperimantale caso- controllo
 
Seminario Maurizio Agelli, 20-09-2012
Seminario Maurizio Agelli, 20-09-2012Seminario Maurizio Agelli, 20-09-2012
Seminario Maurizio Agelli, 20-09-2012
 
Ignite paraimpu
Ignite paraimpuIgnite paraimpu
Ignite paraimpu
 
Material berriak
Material berriakMaterial berriak
Material berriak
 

Similar to Slide Soru - Collana Seminari CRS4 2015

Progetto e realizzazione di un'applicazione WebGIS per la visualizzazione di ...
Progetto e realizzazione di un'applicazione WebGIS per la visualizzazione di ...Progetto e realizzazione di un'applicazione WebGIS per la visualizzazione di ...
Progetto e realizzazione di un'applicazione WebGIS per la visualizzazione di ...diegohusu
 
Presentazione: Sviluppo di un hub di comunicazione in una applicazione per po...
Presentazione: Sviluppo di un hub di comunicazione in una applicazione per po...Presentazione: Sviluppo di un hub di comunicazione in una applicazione per po...
Presentazione: Sviluppo di un hub di comunicazione in una applicazione per po...gwalter85
 
Cert03 70-486 developing asp.net mvc 4 web applications
Cert03   70-486 developing asp.net mvc 4 web applicationsCert03   70-486 developing asp.net mvc 4 web applications
Cert03 70-486 developing asp.net mvc 4 web applicationsDotNetCampus
 
Tesi Discussione
Tesi DiscussioneTesi Discussione
Tesi DiscussioneYeser Rema
 
Un Web-GIS per i comuni della Valle della Cupa Realizzato in Ambiente Open So...
Un Web-GIS per i comuni della Valle della Cupa Realizzato in Ambiente Open So...Un Web-GIS per i comuni della Valle della Cupa Realizzato in Ambiente Open So...
Un Web-GIS per i comuni della Valle della Cupa Realizzato in Ambiente Open So...Marco Palazzo
 
Applicazioni web based
Applicazioni web basedApplicazioni web based
Applicazioni web basedMarco Liverani
 
Esposizione RIA
Esposizione RIAEsposizione RIA
Esposizione RIAdiodorato
 
GWT Development for Handheld Devices
GWT Development for Handheld DevicesGWT Development for Handheld Devices
GWT Development for Handheld DevicesGWTcon
 
Visual Studio Performance Tools
Visual Studio Performance ToolsVisual Studio Performance Tools
Visual Studio Performance ToolsAndrea Tosato
 
Generazione automatica diagrammi di rete con template pptx
Generazione automatica diagrammi di rete con template pptxGenerazione automatica diagrammi di rete con template pptx
Generazione automatica diagrammi di rete con template pptxGiacomoZorzin
 
GWT 2014: Energy Conference - 04 La gestione del processo di acquisizione e g...
GWT 2014: Energy Conference - 04 La gestione del processo di acquisizione e g...GWT 2014: Energy Conference - 04 La gestione del processo di acquisizione e g...
GWT 2014: Energy Conference - 04 La gestione del processo di acquisizione e g...Planetek Italia Srl
 
Modernize Legacy Systems with Kubernetes
Modernize Legacy Systems with KubernetesModernize Legacy Systems with Kubernetes
Modernize Legacy Systems with KubernetesGiulio Roggero
 
ASP.NET performance optimization
ASP.NET performance optimizationASP.NET performance optimization
ASP.NET performance optimizationAndrea Dottor
 
Progettazione di uno strumento per la reingegnerizzazione di applicazioni legacy
Progettazione di uno strumento per la reingegnerizzazione di applicazioni legacyProgettazione di uno strumento per la reingegnerizzazione di applicazioni legacy
Progettazione di uno strumento per la reingegnerizzazione di applicazioni legacyGiacomo Russo
 
Openatrium come backend caprowsky
Openatrium come backend   caprowskyOpenatrium come backend   caprowsky
Openatrium come backend caprowskyAlessandro Capra
 
Tesi Case Roberto
Tesi Case RobertoTesi Case Roberto
Tesi Case Robertoguestffdfbc
 
Webinar 20/09 Workflow di progettazione per le reti di drenaggio e/o di adduz...
Webinar 20/09 Workflow di progettazione per le reti di drenaggio e/o di adduz...Webinar 20/09 Workflow di progettazione per le reti di drenaggio e/o di adduz...
Webinar 20/09 Workflow di progettazione per le reti di drenaggio e/o di adduz...Servizi a rete
 

Similar to Slide Soru - Collana Seminari CRS4 2015 (20)

Progetto e realizzazione di un'applicazione WebGIS per la visualizzazione di ...
Progetto e realizzazione di un'applicazione WebGIS per la visualizzazione di ...Progetto e realizzazione di un'applicazione WebGIS per la visualizzazione di ...
Progetto e realizzazione di un'applicazione WebGIS per la visualizzazione di ...
 
Presentazione: Sviluppo di un hub di comunicazione in una applicazione per po...
Presentazione: Sviluppo di un hub di comunicazione in una applicazione per po...Presentazione: Sviluppo di un hub di comunicazione in una applicazione per po...
Presentazione: Sviluppo di un hub di comunicazione in una applicazione per po...
 
Cert03 70-486 developing asp.net mvc 4 web applications
Cert03   70-486 developing asp.net mvc 4 web applicationsCert03   70-486 developing asp.net mvc 4 web applications
Cert03 70-486 developing asp.net mvc 4 web applications
 
Presentazione
PresentazionePresentazione
Presentazione
 
Tesi Discussione
Tesi DiscussioneTesi Discussione
Tesi Discussione
 
Un Web-GIS per i comuni della Valle della Cupa Realizzato in Ambiente Open So...
Un Web-GIS per i comuni della Valle della Cupa Realizzato in Ambiente Open So...Un Web-GIS per i comuni della Valle della Cupa Realizzato in Ambiente Open So...
Un Web-GIS per i comuni della Valle della Cupa Realizzato in Ambiente Open So...
 
Applicazioni web based
Applicazioni web basedApplicazioni web based
Applicazioni web based
 
Esposizione RIA
Esposizione RIAEsposizione RIA
Esposizione RIA
 
GWT Development for Handheld Devices
GWT Development for Handheld DevicesGWT Development for Handheld Devices
GWT Development for Handheld Devices
 
Visual Studio Performance Tools
Visual Studio Performance ToolsVisual Studio Performance Tools
Visual Studio Performance Tools
 
Generazione automatica diagrammi di rete con template pptx
Generazione automatica diagrammi di rete con template pptxGenerazione automatica diagrammi di rete con template pptx
Generazione automatica diagrammi di rete con template pptx
 
GWT 2014: Energy Conference - 04 La gestione del processo di acquisizione e g...
GWT 2014: Energy Conference - 04 La gestione del processo di acquisizione e g...GWT 2014: Energy Conference - 04 La gestione del processo di acquisizione e g...
GWT 2014: Energy Conference - 04 La gestione del processo di acquisizione e g...
 
Modernize Legacy Systems with Kubernetes
Modernize Legacy Systems with KubernetesModernize Legacy Systems with Kubernetes
Modernize Legacy Systems with Kubernetes
 
ASP.NET performance optimization
ASP.NET performance optimizationASP.NET performance optimization
ASP.NET performance optimization
 
Progettazione di uno strumento per la reingegnerizzazione di applicazioni legacy
Progettazione di uno strumento per la reingegnerizzazione di applicazioni legacyProgettazione di uno strumento per la reingegnerizzazione di applicazioni legacy
Progettazione di uno strumento per la reingegnerizzazione di applicazioni legacy
 
Openatrium come backend caprowsky
Openatrium come backend   caprowskyOpenatrium come backend   caprowsky
Openatrium come backend caprowsky
 
Wcf data services
Wcf data servicesWcf data services
Wcf data services
 
Tesi Case Roberto
Tesi Case RobertoTesi Case Roberto
Tesi Case Roberto
 
Modulo drupal dati_geofisici_applicazioni_scientifiche
Modulo drupal dati_geofisici_applicazioni_scientificheModulo drupal dati_geofisici_applicazioni_scientifiche
Modulo drupal dati_geofisici_applicazioni_scientifiche
 
Webinar 20/09 Workflow di progettazione per le reti di drenaggio e/o di adduz...
Webinar 20/09 Workflow di progettazione per le reti di drenaggio e/o di adduz...Webinar 20/09 Workflow di progettazione per le reti di drenaggio e/o di adduz...
Webinar 20/09 Workflow di progettazione per le reti di drenaggio e/o di adduz...
 

More from CRS4 Research Center in Sardinia

Sequenziamento Esomico. Maria Valentini (CRS4), Cagliari, 18 Novembre 2015
Sequenziamento Esomico. Maria Valentini (CRS4), Cagliari, 18 Novembre 2015Sequenziamento Esomico. Maria Valentini (CRS4), Cagliari, 18 Novembre 2015
Sequenziamento Esomico. Maria Valentini (CRS4), Cagliari, 18 Novembre 2015CRS4 Research Center in Sardinia
 
Near Surface Geoscience Conference 2015, Turin - A Spatial Velocity Analysis ...
Near Surface Geoscience Conference 2015, Turin - A Spatial Velocity Analysis ...Near Surface Geoscience Conference 2015, Turin - A Spatial Velocity Analysis ...
Near Surface Geoscience Conference 2015, Turin - A Spatial Velocity Analysis ...CRS4 Research Center in Sardinia
 
GIS partecipativo. Laura Muscas e Valentina Spanu (CRS4), Cagliari, 21 Ottobr...
GIS partecipativo. Laura Muscas e Valentina Spanu (CRS4), Cagliari, 21 Ottobr...GIS partecipativo. Laura Muscas e Valentina Spanu (CRS4), Cagliari, 21 Ottobr...
GIS partecipativo. Laura Muscas e Valentina Spanu (CRS4), Cagliari, 21 Ottobr...CRS4 Research Center in Sardinia
 
Alfonso Damiano (Università di Cagliari) ICT per Smart Grid
Alfonso Damiano (Università di Cagliari) ICT per Smart Grid Alfonso Damiano (Università di Cagliari) ICT per Smart Grid
Alfonso Damiano (Università di Cagliari) ICT per Smart Grid CRS4 Research Center in Sardinia
 
Dinamica Molecolare e Modellistica dell'interazione di lipidi col recettore P...
Dinamica Molecolare e Modellistica dell'interazione di lipidi col recettore P...Dinamica Molecolare e Modellistica dell'interazione di lipidi col recettore P...
Dinamica Molecolare e Modellistica dell'interazione di lipidi col recettore P...CRS4 Research Center in Sardinia
 
Innovazione e infrastrutture cloud per lo sviluppo di applicativi web e mobil...
Innovazione e infrastrutture cloud per lo sviluppo di applicativi web e mobil...Innovazione e infrastrutture cloud per lo sviluppo di applicativi web e mobil...
Innovazione e infrastrutture cloud per lo sviluppo di applicativi web e mobil...CRS4 Research Center in Sardinia
 
ORDBMS e NoSQL nel trattamento dei dati geografici parte seconda. 30 Sett. 2015
ORDBMS e NoSQL nel trattamento dei dati geografici parte seconda. 30 Sett. 2015ORDBMS e NoSQL nel trattamento dei dati geografici parte seconda. 30 Sett. 2015
ORDBMS e NoSQL nel trattamento dei dati geografici parte seconda. 30 Sett. 2015CRS4 Research Center in Sardinia
 
Sistemi No-Sql e Object-Relational nella gestione dei dati geografici 30 Sett...
Sistemi No-Sql e Object-Relational nella gestione dei dati geografici 30 Sett...Sistemi No-Sql e Object-Relational nella gestione dei dati geografici 30 Sett...
Sistemi No-Sql e Object-Relational nella gestione dei dati geografici 30 Sett...CRS4 Research Center in Sardinia
 
Elementi di sismica a riflessione e Georadar (Gian Piero Deidda, UNICA)
Elementi di sismica a riflessione e Georadar (Gian Piero Deidda, UNICA)Elementi di sismica a riflessione e Georadar (Gian Piero Deidda, UNICA)
Elementi di sismica a riflessione e Georadar (Gian Piero Deidda, UNICA)CRS4 Research Center in Sardinia
 
Near Surface Geoscience Conference 2014, Athens - Real-­time or full­‐precisi...
Near Surface Geoscience Conference 2014, Athens - Real-­time or full­‐precisi...Near Surface Geoscience Conference 2014, Athens - Real-­time or full­‐precisi...
Near Surface Geoscience Conference 2014, Athens - Real-­time or full­‐precisi...CRS4 Research Center in Sardinia
 
Luigi Atzori Metabolomica: Introduzione e review di alcune applicazioni in am...
Luigi Atzori Metabolomica: Introduzione e review di alcune applicazioni in am...Luigi Atzori Metabolomica: Introduzione e review di alcune applicazioni in am...
Luigi Atzori Metabolomica: Introduzione e review di alcune applicazioni in am...CRS4 Research Center in Sardinia
 

More from CRS4 Research Center in Sardinia (20)

The future is close
The future is closeThe future is close
The future is close
 
The future is close
The future is closeThe future is close
The future is close
 
Presentazione Linea B2 progetto Tutti a Iscol@ 2017
Presentazione Linea B2 progetto Tutti a Iscol@ 2017Presentazione Linea B2 progetto Tutti a Iscol@ 2017
Presentazione Linea B2 progetto Tutti a Iscol@ 2017
 
Iscola linea B 2016
Iscola linea B 2016Iscola linea B 2016
Iscola linea B 2016
 
Sequenziamento Esomico. Maria Valentini (CRS4), Cagliari, 18 Novembre 2015
Sequenziamento Esomico. Maria Valentini (CRS4), Cagliari, 18 Novembre 2015Sequenziamento Esomico. Maria Valentini (CRS4), Cagliari, 18 Novembre 2015
Sequenziamento Esomico. Maria Valentini (CRS4), Cagliari, 18 Novembre 2015
 
Near Surface Geoscience Conference 2015, Turin - A Spatial Velocity Analysis ...
Near Surface Geoscience Conference 2015, Turin - A Spatial Velocity Analysis ...Near Surface Geoscience Conference 2015, Turin - A Spatial Velocity Analysis ...
Near Surface Geoscience Conference 2015, Turin - A Spatial Velocity Analysis ...
 
GIS partecipativo. Laura Muscas e Valentina Spanu (CRS4), Cagliari, 21 Ottobr...
GIS partecipativo. Laura Muscas e Valentina Spanu (CRS4), Cagliari, 21 Ottobr...GIS partecipativo. Laura Muscas e Valentina Spanu (CRS4), Cagliari, 21 Ottobr...
GIS partecipativo. Laura Muscas e Valentina Spanu (CRS4), Cagliari, 21 Ottobr...
 
Alfonso Damiano (Università di Cagliari) ICT per Smart Grid
Alfonso Damiano (Università di Cagliari) ICT per Smart Grid Alfonso Damiano (Università di Cagliari) ICT per Smart Grid
Alfonso Damiano (Università di Cagliari) ICT per Smart Grid
 
Big Data Infrastructures - Hadoop ecosystem, M. E. Piras
Big Data Infrastructures - Hadoop ecosystem, M. E. PirasBig Data Infrastructures - Hadoop ecosystem, M. E. Piras
Big Data Infrastructures - Hadoop ecosystem, M. E. Piras
 
Big Data Analytics, Giovanni Delussu e Marco Enrico Piras
 Big Data Analytics, Giovanni Delussu e Marco Enrico Piras  Big Data Analytics, Giovanni Delussu e Marco Enrico Piras
Big Data Analytics, Giovanni Delussu e Marco Enrico Piras
 
Dinamica Molecolare e Modellistica dell'interazione di lipidi col recettore P...
Dinamica Molecolare e Modellistica dell'interazione di lipidi col recettore P...Dinamica Molecolare e Modellistica dell'interazione di lipidi col recettore P...
Dinamica Molecolare e Modellistica dell'interazione di lipidi col recettore P...
 
Innovazione e infrastrutture cloud per lo sviluppo di applicativi web e mobil...
Innovazione e infrastrutture cloud per lo sviluppo di applicativi web e mobil...Innovazione e infrastrutture cloud per lo sviluppo di applicativi web e mobil...
Innovazione e infrastrutture cloud per lo sviluppo di applicativi web e mobil...
 
ORDBMS e NoSQL nel trattamento dei dati geografici parte seconda. 30 Sett. 2015
ORDBMS e NoSQL nel trattamento dei dati geografici parte seconda. 30 Sett. 2015ORDBMS e NoSQL nel trattamento dei dati geografici parte seconda. 30 Sett. 2015
ORDBMS e NoSQL nel trattamento dei dati geografici parte seconda. 30 Sett. 2015
 
Sistemi No-Sql e Object-Relational nella gestione dei dati geografici 30 Sett...
Sistemi No-Sql e Object-Relational nella gestione dei dati geografici 30 Sett...Sistemi No-Sql e Object-Relational nella gestione dei dati geografici 30 Sett...
Sistemi No-Sql e Object-Relational nella gestione dei dati geografici 30 Sett...
 
Elementi di sismica a riflessione e Georadar (Gian Piero Deidda, UNICA)
Elementi di sismica a riflessione e Georadar (Gian Piero Deidda, UNICA)Elementi di sismica a riflessione e Georadar (Gian Piero Deidda, UNICA)
Elementi di sismica a riflessione e Georadar (Gian Piero Deidda, UNICA)
 
Near Surface Geoscience Conference 2014, Athens - Real-­time or full­‐precisi...
Near Surface Geoscience Conference 2014, Athens - Real-­time or full­‐precisi...Near Surface Geoscience Conference 2014, Athens - Real-­time or full­‐precisi...
Near Surface Geoscience Conference 2014, Athens - Real-­time or full­‐precisi...
 
SmartGeo/Eiagrid portal (Guido Satta, CRS4)
SmartGeo/Eiagrid portal (Guido Satta, CRS4)SmartGeo/Eiagrid portal (Guido Satta, CRS4)
SmartGeo/Eiagrid portal (Guido Satta, CRS4)
 
Luigi Atzori Metabolomica: Introduzione e review di alcune applicazioni in am...
Luigi Atzori Metabolomica: Introduzione e review di alcune applicazioni in am...Luigi Atzori Metabolomica: Introduzione e review di alcune applicazioni in am...
Luigi Atzori Metabolomica: Introduzione e review di alcune applicazioni in am...
 
Mobile Graphics (part2)
Mobile Graphics (part2)Mobile Graphics (part2)
Mobile Graphics (part2)
 
Mobile Graphics (part1)
Mobile Graphics (part1)Mobile Graphics (part1)
Mobile Graphics (part1)
 

Slide Soru - Collana Seminari CRS4 2015

  • 1. Soluzioni software per l'analisi su web di dati ambientali a componente geografica Costantino Soru dino@crs4.it
  • 2. Outline ➔ Introduzione: Applicazioni web a vocazione geografica ➔ Procedure ETL ➔ Esempi applicativi ➔ Progetto Bilancio Idrologico – Sidro ➔ Progetto EnviroGRIDS – Bashyt ➔ Progetto Acque Costiere – OMT
  • 3. Introduzione Il gruppo si occupa di progettare e implementare soluzioni innovative per l'analisi di problematiche ambientali complesse come lo studio del ciclo dell'acqua o l'idrodinamica marina. Le applicazioni sviluppate sono tipicamente utilizzate nel campo della pianificazione ambientale e del supporto decisionale e sono fruibili dal web. Alla base delle applicazioni vi è l'utilizzo di strumenti di analisi numerica (modelli) ad approccio fisico.
  • 4. Modelli ambientali I modelli ambientali utilizzati necessitano di lunghi tempi di calcolo e risorse di storage elevate, ad esempio: ➔ Nell'ambito dell'analisi del ciclo dell'acqua la calibrazione del modello della regione Sardegna ha richiesto più di 2000 simulazioni. Per singolo run: ➔ Tempo di calcolo: 1h 40m ➔ Dimensione dell'output: >10GB ➔ Previsione idrodinamica marina: ➔ Tempo di calcolo: 5h (media) ➔ Dimensione dell'output: >1GB I codici vengono eseguiti su piattaforme di calcolo ad alte prestazioni (HPC).
  • 5. Modelli ambientali I software dei modelli richiedono complesse operazioni di creazione dell'input.
  • 6. Modelli ambientali I software dei modelli richiedono complesse operazioni di creazione dell'input. Download dei dati di input dal web
  • 7. Modelli ambientali I software dei modelli richiedono complesse operazioni di creazione dell'input. Download dei dati di input dal web Elaborazione input (Condizioni Iniziali, a contorno ecc)
  • 8. Modelli ambientali I software dei modelli richiedono complesse operazioni di creazione dell'input. Download dei dati di input dal web Elaborazione input (Condizioni Iniziali, a contorno ecc) Run del modello
  • 9. Modelli ambientali I software dei modelli richiedono complesse operazioni di creazione dell'input. Il pre-processing dell'input è risolto in modo automatico e temporizzato, senza intervento da parte dell'utente. Download dei dati di input dal web Elaborazione input (Condizioni Iniziali, a contorno ecc) Run del modello
  • 10. Extract Transform Load (ETL) L'output dei modelli non è adatto per l'utilizzo su web; è richiesta una selezione dei dati e la loro trasformazione in un formato più performante.
  • 11. Extract Transform Load (ETL) L'output dei modelli non è adatto per l'utilizzo su web; è richiesta una selezione dei dati e la loro trasformazione in un formato più performante. Run del modello
  • 12. Extract Transform Load (ETL) L'output dei modelli non è adatto per l'utilizzo su web; è richiesta una selezione dei dati e la loro trasformazione in un formato più performante. Elaborazione dell'output (Extract e Transform)Run del modello
  • 13. Extract Transform Load (ETL) L'output dei modelli non è adatto per l'utilizzo su web; è richiesta una selezione dei dati e la loro trasformazione in un formato più performante. Elaborazione dell'output (Extract e Transform)Run del modello Creazione Database (Load)
  • 14. Extract Transform Load (ETL) L'output dei modelli non è adatto per l'utilizzo su web; è richiesta una selezione dei dati e la loro trasformazione in un formato più performante. Elaborazione dell'output (Extract e Transform)Run del modello Esposizione su web Creazione Database (Load)
  • 15. Extract Transform Load (ETL) L'output dei modelli non è adatto per l'utilizzo su web; è richiesta una selezione dei dati e la loro trasformazione in un formato più performante. Il post-processing dell'output è risolto in modo automatico e trasparente per l'utente finale. Elaborazione dell'output (Extract e Transform)Run del modello Esposizione su web Creazione Database (Load)
  • 16. ETL SWAT: Strutture Dati L'output del modello SWAT viene scritto in file di testo con un struttura tabellare. Ulteriori informazioni utilizzate nel processo di elaborazione del modello sono memorizzate in file di tipo DBF, Shapefile e Raster. Per la rappresentazione web dei risultati di SWAT è necessario acquisire e rendere accessibili tutte le informazioni disponibili.
  • 17. ETL SWAT: Sprite Il software Sprite implementa la prima fase (Extract e Transform) della procedura ETL per Swat. ➔ Permette la selezione dei dati di interesse. ➔ Estrae i dati geografici (Raster e Shapefile) e climatologici (DBF) dal pre-processore ArcSwat. ➔ Normalizza e converte le informazioni secondo uno schema univoco. ➔ Crea un archivio compresso contenente le informazioni elaborate.
  • 18. ETL SWAT: SwatSL Swatsl (Swat to SpatiaLite) esegue le ultime fasi di trasformazione e la fase caricamento (Load) dei dati Swat. ➔ Esegue la trasformazione dei sistemi di riferimento sui dati spaziali. ➔ Legge i file testuali dell'output e li inserisce in tabelle relazionali. ➔ Normalizza i dati su uno schema relazionale univoco per garantire l'integrità e la coerenza delle informazioni. ➔ Salva tutti i dati in uno o più database SQLite con estensione spaziale Spatialite.
  • 19. Rappresentazione dei dati Una web-application consente di esporre sul web funzionalità proprie di software standalone, rendendole fruibili attraverso web browser, applicazioni per smartphone e servizi di rete.
  • 20. Rappresentazione dei dati Una web-application consente di esporre sul web funzionalità proprie di software standalone, rendendole fruibili attraverso web browser, applicazioni per smartphone e servizi di rete. Un'architettura classica prevede tre elementi:
  • 21. Una web-application consente di esporre sul web funzionalità proprie di software standalone, rendendole fruibili attraverso web browser, applicazioni per smartphone e servizi di rete. Un'architettura classica prevede tre elementi: Rappresentazione dei dati Client (Browser / App)
  • 22. Una web-application consente di esporre sul web funzionalità proprie di software standalone, rendendole fruibili attraverso web browser, applicazioni per smartphone e servizi di rete. Un'architettura classica prevede tre elementi: Application Server Rappresentazione dei dati Client (Browser / App)
  • 23. Una web-application consente di esporre sul web funzionalità proprie di software standalone, rendendole fruibili attraverso web browser, applicazioni per smartphone e servizi di rete. Un'architettura classica prevede tre elementi: Database Server Rappresentazione dei dati Application ServerClient (Browser / App)
  • 24. Una web-application consente di esporre sul web funzionalità proprie di software standalone, rendendole fruibili attraverso web browser, applicazioni per smartphone e servizi di rete. Un'architettura classica prevede tre elementi: Rappresentazione dei dati Map Server Application ServerClient (Browser / App) Database Server
  • 25. Esempi di Web-Application per l'analisi idrologica e oceanografica
  • 26. Esempi Applicativi: Sidro Obiettivo del progetto Bilancio Idrologico è lo studio e la valutazione delle risorse idriche della regione Sardegna, per il periodo 1924 – 2008. Nell'ambito del progetto è stata eseguita la calibrazione del modello idrologico e sviluppata la web-application Sidro per la consultazione via web dei dati di simulazione prodotti.
  • 30. Esempi Applicativi: Sidro Tecnologie impiegate: Backend ➔ Sprite + Swatsl ➔ SQLite ➔ PostgreSQL + PostGIS ➔ Geoserver ➔ NodeJS Frontend ➔ JQuery ➔ Bootstrap ➔ OpenLayers
  • 31. Esempi Applicativi: Bashyt Il progetto EnviroGRIDS ha l'obiettivo di monitorare e analizzare le risorse idriche dell'intero bacino del mar nero (2.2 milioni di km², 24 nazioni) attraverso tecnologie avanzate. Nell'ambito del progetto è stata sviluppata l'applicazione Bashyt (BAsin Scale HYdrological Toolkit) che ha permesso di analizzare via web e con strumenti user- friendly la grande mole di dati di simulazione e studio prodotta dai 30 partner coinvolti.
  • 35. Esempi Applicativi: Bashyt Tecnologie impiegate: Backend ➔ Glite (Grid) ➔ Sprite + Swatsl ➔ SQLite ➔ Mapserver ➔ Tomcat Frontend ➔ JQuery ➔ mscross
  • 36. Esempi Applicativi: OMT Il progetto Acque Costiere ha l'obiettivo di studiare l’idrodinamica costiera per l’intera regione Sardegna e di consentire la previsione di fenomeni di inquinamento derivanti da Oil Spill. Nell'ambito del progetto è stata messa in opera una infrastruttura modellistica allo stato dell'arte per la previsione operazionale delle dinamiche oceanografiche. L'applicazione web-based OMT (Operational Marine Tool) accede all'infrastruttura di calcolo ed espone i risultati in maniera semplice e intuitiva.
  • 41. Esempi Applicativi: OMT Tecnologie impiegate: Backend ➔ Python ➔ Linux ➔ Tomcat Frontend ➔ JQuery ➔ Bootstrap
  • 42. Conclusioni ➔ L'integrazione di competenze, dati e strumenti di interpretazione affidabili consente di ottenere una visione olistica e intuitiva di problemi complessi. ➔ L'utilizzo del web attraverso lo studio di front-end usabili e ergonomici permette di rendere trasparente agli utenti la complessità architetturale di back-end complessi come quelli descritti. ➔ Le soluzioni e le tecnologie mostrate possono essere estese ed applicate in ambiti di natura diversa.