I risultati dell'applicazione del modello sono pubblicati all'interno di un moderno sistema informativo Web-based, che integra una SDI (Spatial Data Infrastructure) e architetture avanzate client/server. Sarà presentato tale sistema che mira al potenziamento degli strumenti di gestione ambientale e alla promozione di approcci innovativi per il settore, che consentano di colmare le attuali lacune dei sistemi di osservazione e rappresentazione dei dati.
1. Soluzioni software per l'analisi su web
di dati ambientali a componente
geografica
Costantino Soru
dino@crs4.it
2. Outline
➔ Introduzione: Applicazioni web a vocazione
geografica
➔ Procedure ETL
➔ Esempi applicativi
➔ Progetto Bilancio Idrologico – Sidro
➔ Progetto EnviroGRIDS – Bashyt
➔ Progetto Acque Costiere – OMT
3. Introduzione
Il gruppo si occupa di progettare e implementare
soluzioni innovative per l'analisi di problematiche
ambientali complesse come lo studio del ciclo dell'acqua
o l'idrodinamica marina.
Le applicazioni sviluppate sono tipicamente utilizzate nel
campo della pianificazione ambientale e del supporto
decisionale e sono fruibili dal web.
Alla base delle applicazioni vi è l'utilizzo di strumenti di
analisi numerica (modelli) ad approccio fisico.
4. Modelli ambientali
I modelli ambientali utilizzati necessitano di lunghi tempi
di calcolo e risorse di storage elevate, ad esempio:
➔ Nell'ambito dell'analisi del ciclo dell'acqua la calibrazione del
modello della regione Sardegna ha richiesto più di 2000
simulazioni. Per singolo run:
➔ Tempo di calcolo: 1h 40m
➔ Dimensione dell'output: >10GB
➔ Previsione idrodinamica marina:
➔ Tempo di calcolo: 5h (media)
➔ Dimensione dell'output: >1GB
I codici vengono eseguiti su piattaforme di calcolo ad alte
prestazioni (HPC).
6. Modelli ambientali
I software dei modelli richiedono complesse operazioni di
creazione dell'input.
Download dei dati di
input dal web
7. Modelli ambientali
I software dei modelli richiedono complesse operazioni di
creazione dell'input.
Download dei dati di
input dal web
Elaborazione input
(Condizioni Iniziali, a
contorno ecc)
8. Modelli ambientali
I software dei modelli richiedono complesse operazioni di
creazione dell'input.
Download dei dati di
input dal web
Elaborazione input
(Condizioni Iniziali, a
contorno ecc) Run del modello
9. Modelli ambientali
I software dei modelli richiedono complesse operazioni di
creazione dell'input.
Il pre-processing dell'input è risolto in modo automatico e
temporizzato, senza intervento da parte dell'utente.
Download dei dati di
input dal web
Elaborazione input
(Condizioni Iniziali, a
contorno ecc) Run del modello
10. Extract Transform Load (ETL)
L'output dei modelli non è adatto per l'utilizzo su web; è
richiesta una selezione dei dati e la loro trasformazione in
un formato più performante.
11. Extract Transform Load (ETL)
L'output dei modelli non è adatto per l'utilizzo su web; è
richiesta una selezione dei dati e la loro trasformazione in
un formato più performante.
Run del modello
12. Extract Transform Load (ETL)
L'output dei modelli non è adatto per l'utilizzo su web; è
richiesta una selezione dei dati e la loro trasformazione in
un formato più performante.
Elaborazione dell'output
(Extract e Transform)Run del modello
13. Extract Transform Load (ETL)
L'output dei modelli non è adatto per l'utilizzo su web; è
richiesta una selezione dei dati e la loro trasformazione in
un formato più performante.
Elaborazione dell'output
(Extract e Transform)Run del modello
Creazione
Database (Load)
14. Extract Transform Load (ETL)
L'output dei modelli non è adatto per l'utilizzo su web; è
richiesta una selezione dei dati e la loro trasformazione in
un formato più performante.
Elaborazione dell'output
(Extract e Transform)Run del modello
Esposizione su
web
Creazione
Database (Load)
15. Extract Transform Load (ETL)
L'output dei modelli non è adatto per l'utilizzo su web; è
richiesta una selezione dei dati e la loro trasformazione in
un formato più performante.
Il post-processing dell'output è risolto in modo automatico
e trasparente per l'utente finale.
Elaborazione dell'output
(Extract e Transform)Run del modello
Esposizione su
web
Creazione
Database (Load)
16. ETL SWAT: Strutture Dati
L'output del modello SWAT viene scritto in file di testo
con un struttura tabellare.
Ulteriori informazioni utilizzate nel processo di
elaborazione del modello sono memorizzate in file di tipo
DBF, Shapefile e Raster.
Per la rappresentazione web dei risultati di SWAT è
necessario acquisire e rendere accessibili tutte le
informazioni disponibili.
17. ETL SWAT: Sprite
Il software Sprite implementa la prima
fase (Extract e Transform) della
procedura ETL per Swat.
➔ Permette la selezione dei dati di interesse.
➔ Estrae i dati geografici (Raster e Shapefile)
e climatologici (DBF) dal pre-processore
ArcSwat.
➔ Normalizza e converte le informazioni
secondo uno schema univoco.
➔ Crea un archivio compresso contenente le
informazioni elaborate.
18. ETL SWAT: SwatSL
Swatsl (Swat to SpatiaLite) esegue le ultime fasi di
trasformazione e la fase caricamento (Load) dei dati
Swat.
➔ Esegue la trasformazione dei sistemi di riferimento sui dati
spaziali.
➔ Legge i file testuali dell'output e li inserisce in tabelle relazionali.
➔ Normalizza i dati su uno schema relazionale univoco per
garantire l'integrità e la coerenza delle informazioni.
➔ Salva tutti i dati in uno o più database SQLite con estensione
spaziale Spatialite.
19. Rappresentazione dei dati
Una web-application consente di esporre sul web
funzionalità proprie di software standalone, rendendole
fruibili attraverso web browser, applicazioni per
smartphone e servizi di rete.
20. Rappresentazione dei dati
Una web-application consente di esporre sul web
funzionalità proprie di software standalone, rendendole
fruibili attraverso web browser, applicazioni per
smartphone e servizi di rete.
Un'architettura classica prevede tre elementi:
21. Una web-application consente di esporre sul web
funzionalità proprie di software standalone, rendendole
fruibili attraverso web browser, applicazioni per
smartphone e servizi di rete.
Un'architettura classica prevede tre elementi:
Rappresentazione dei dati
Client (Browser / App)
22. Una web-application consente di esporre sul web
funzionalità proprie di software standalone, rendendole
fruibili attraverso web browser, applicazioni per
smartphone e servizi di rete.
Un'architettura classica prevede tre elementi:
Application Server
Rappresentazione dei dati
Client (Browser / App)
23. Una web-application consente di esporre sul web
funzionalità proprie di software standalone, rendendole
fruibili attraverso web browser, applicazioni per
smartphone e servizi di rete.
Un'architettura classica prevede tre elementi:
Database Server
Rappresentazione dei dati
Application ServerClient (Browser / App)
24. Una web-application consente di esporre sul web
funzionalità proprie di software standalone, rendendole
fruibili attraverso web browser, applicazioni per
smartphone e servizi di rete.
Un'architettura classica prevede tre elementi:
Rappresentazione dei dati
Map Server
Application ServerClient (Browser / App)
Database Server
26. Esempi Applicativi: Sidro
Obiettivo del progetto Bilancio Idrologico è lo studio e la
valutazione delle risorse idriche della regione Sardegna,
per il periodo 1924 – 2008.
Nell'ambito del progetto è stata eseguita la calibrazione
del modello idrologico e sviluppata la web-application
Sidro per la consultazione via web dei dati di simulazione
prodotti.
31. Esempi Applicativi: Bashyt
Il progetto EnviroGRIDS ha l'obiettivo di monitorare e
analizzare le risorse idriche dell'intero bacino del mar
nero (2.2 milioni di km², 24 nazioni) attraverso tecnologie
avanzate.
Nell'ambito del progetto è stata sviluppata l'applicazione
Bashyt (BAsin Scale HYdrological Toolkit) che ha
permesso di analizzare via web e con strumenti user-
friendly la grande mole di dati di simulazione e studio
prodotta dai 30 partner coinvolti.
36. Esempi Applicativi: OMT
Il progetto Acque Costiere ha l'obiettivo di studiare
l’idrodinamica costiera per l’intera regione Sardegna e di
consentire la previsione di fenomeni di inquinamento
derivanti da Oil Spill.
Nell'ambito del progetto è stata messa in opera una
infrastruttura modellistica allo stato dell'arte per la
previsione operazionale delle dinamiche oceanografiche.
L'applicazione web-based OMT (Operational Marine
Tool) accede all'infrastruttura di calcolo ed espone i
risultati in maniera semplice e intuitiva.
42. Conclusioni
➔ L'integrazione di competenze, dati e strumenti di
interpretazione affidabili consente di ottenere una
visione olistica e intuitiva di problemi complessi.
➔ L'utilizzo del web attraverso lo studio di front-end
usabili e ergonomici permette di rendere trasparente
agli utenti la complessità architetturale di back-end
complessi come quelli descritti.
➔ Le soluzioni e le tecnologie mostrate possono essere
estese ed applicate in ambiti di natura diversa.