A big data approach for error detection in weather data (Marco Venturini, Amigo Climate)
•
0 likes•65 views
(May 11th 2019) Data Driven Innovation 2019. Dipartimento di ingegneria, Università degli Studi Roma Tre.
Recommended
More Related Content
Similar to A big data approach for error detection in weather data (Marco Venturini, Amigo Climate)
Similar to A big data approach for error detection in weather data (Marco Venturini, Amigo Climate) (20)
More from Data Driven Innovation
More from Data Driven Innovation (20)
A big data approach for error detection in weather data (Marco Venturini, Amigo Climate)
- 1. A Big Data approach for error detection in weather data SOON Marco Venturini
- 2. • Chi è Amigo Climate • Dati climatici e error detection • Architetture e tecnologie • Algoritmi e Machine Learning • Deployment • Risultati SUMMARY
- 3. ABOUT US Amigo è la prima SME italiana dedicata ai Servizi Climatici. Il clima sta cambiando. AdattarsiContrastare
- 4. ABOUT US Amigo è la prima SME italiana dedicata ai Servizi Climatici. Il clima sta cambiando. AdattarsiContrastare
- 5. ABOUT US Amigo è la prima SME italiana dedicata ai Servizi Climatici. Consulenza e supporto decisionale. Assicurazioni Water Utilities Energia
- 6. CLIMATE DATA Stazioni metereologiche Dati satellitari Radiosondaggi Sensori IoT Reanalisi Allerte meteo Modellizzazione Analisi DATA
- 7. CLIMATE DATA Stazioni metereologiche Dati satellitari Radiosondaggi Sensori IoT Reanalisi Allerte meteo Modellizzazione Analisi
- 8. CHALLENGE Sviluppare un framework di quality control delle osservazioni climatiche attraverso un approccio Big Data, salvaguardando gli eventi estremi Free funding Tech and business support Work environment Data
- 10. ARCHITETTURA Analytics Engine Machine Learning e analytics Apache Spark PySpark Data Visualization Web-service HTML5 D3js Data Routing Framework Routing Framework Apache NiFi HDFS Kerberos and Apache Ranger NoSQL Datastore Data
- 11. ARCHITETTURA Apache HBase Columns Family NoSQL DataStore Machine Learning and Analytics BackendFrontend D3js JavaScript Visualization Framework Web-Service Data Routing Framework
- 12. ARCHITETTURA Apache NiFi È una piattaforma integrata di logistica dei dati per automatizzare il movimento di dati tra sistemi diversi. Fornisce un controllo in tempo reale che semplifica la gestione dei movimenti di dati tra qualsiasi sorgente e qualsiasi destinazione. Event Processor
- 13. Input Output Pre-processing ML Processing Filtro valori non fisici Dataset enrichment Temporale Score assignment Identificazione outliers Rilevamento eventi estremi Spaziale Parametrico WORKFLOW
- 14. MACHINE LEARNING K-Means Clustering • Aumento della precisione predittiva • Necessità di allenare K modelli • Parallelizzabile • Facile da implementare • Features adattabili
- 15. MACHINE LEARNING Feature (!) Feature (!) ∑ Random Forest Regressor Random Forest • Versatile • Alte prestazioni su grandi moli di dati • Parallelizzabile • Efficiente su dataset non bilanciati • Robusto ad errori ed outliers
- 16. MACHINE LEARNING 24 osservazioni precedentiTemporal Osservazioni dei primi 5 vicini disponibiliSpatial Altre variabili scelte mediante analisi correlativaParametric Predizione
- 17. TRAINING Il dataset pilota consiste in osservazioni, più o meno omogenee, provenienti da stazioni meteorologiche e dispositive IoT • 7 variabili meteorologiche (temperatura, pressione atmosferica, wind speed, wind gust, accumulo precipitativo, dewpoint temperature, nuvolosità). • Metadati: posizione geografica e altitudine di ogni singola stazione • Intervallo temporale: 2004-01-01 to 2014-11-08, con step di 1 ora. • 9656 stazioni su tutta l’Europa. • 80 milioni di dati osservati • 210 GB di dati
- 18. COMPUTING La predizione è comparata all’osservazione corrente dove !"#$ è una approssimazione dell’errore minimo, calcolato sul training set, e % è il modulo, & per quello temporale, ' per quello spaziale e ( per quello parametrico #)* = , − ., 3 0 !"#$ predictions scores Ogni modulo ha fornisce il proprio score -> indice di errore
- 19. COMPUTING Lo score finale è calcolato attraverso la media pesata. I pesi sono relativi all’affidabilità dei modelli (sia per il cluster che per la tipologia di analisi) final score !" = $%!"% + $'!"' + $(!"( $% + $' + $( Score maggiore a 1 -> Errore
- 20. EVENTI ESTREMI Inizializzazione Fitting Definizione della threashold Filtering errors Raccolta tutti i dati estremi per ogni cluster Generalized Pareto Distribution Dai risultati del fitting Valori inferiori alla soglia non vengono più etichettati come errori
- 21. VISUALIZZAZIONE
- 22. VISUALIZZAZIONE
- 23. APPLICAZIONI
- 24. CONTATTI The Commercial team has a strong experience in entrepreneurship, commercialization, business and product design The Technical team has a strong scientific background and an impressive programming skills based on previous experience of the members Marco Venturini Data Engineer Sara Dal Gesso Physicist Marcello Petitta CEO Elisa Arnone Scientist Livia Ortolani Economist Brian Baldassarre Strategic Designer www.amigoclimate.com info@amigoclimate.com Vuoi entrare nel team?
- 25. Grazie!