GenerativeMap: visualizzazione ed esplorazione di una density map dinamica tramite un modello di apprendimento generarivo
•
0 likes•24 views
Presentazione per il corso di Information Visualization. Corso di Laurea Magistrale in Informatica - Università degli Studi di Salerno
Recommended
More Related Content
Similar to GenerativeMap: visualizzazione ed esplorazione di una density map dinamica tramite un modello di apprendimento generarivo
Similar to GenerativeMap: visualizzazione ed esplorazione di una density map dinamica tramite un modello di apprendimento generarivo (20)
More from Gianmarco Beato
More from Gianmarco Beato (10)
GenerativeMap: visualizzazione ed esplorazione di una density map dinamica tramite un modello di apprendimento generarivo
- 1. Università degli Studi di Salerno Dipartimento di Informatica Presentazione per il corso di Information Visualization GENERATIVEMAP: VISUALIZZAZIONE ED ESPLORAZIONE DI UNA DENSITY MAP DINAMICA TRAMITE UN MODELLO DI APPRENDIMENTO GENERATIVO Studenti: Gianmarco Beato (matr. 0522500782, g.beato1@studenti.unisa.it) Angela Vecchione (matr. 0522500814, a.vecchione21@studenti.unisa.it) Professore: Andrea Francesco Abate (abate@unisa.it) Venerdì 18 dicembre 2020 Anno Accademico 2020-2021 Corso di laurea Magistrale in Informatica Chen Chen, Changbo Wang, Xue Bai, Peiying Zhang, and Chenhui Li
- 2. 1/21 GenerativeMap: visualizzazione ed esplorazione di una density map dinamica tramite un modello di apprendimento generativo Gianmarco Beato e Angela Vecchione Venerdì 18 dicembre 2020 – a.a. 2020/2021 Presentazione per il corso di Information Visualization – prof. Andrea Abate STRUTTURA DELLA PRESENTAZIONE ❖ Concetti di base ❖ Lo scenario di interesse ❖ Descrizione del metodo ❖ La generazione dei dataset ❖ Modello generativo di densità ❖ Esperimento: dati della qualità dell’aria ❖ Conclusioni ❖ Bibliografia
- 3. 2/21 GenerativeMap: visualizzazione ed esplorazione di una density map dinamica tramite un modello di apprendimento generativo Gianmarco Beato e Angela Vecchione Venerdì 18 dicembre 2020 – a.a. 2020/2021 Presentazione per il corso di Information Visualization – prof. Andrea Abate STRUTTURA DELLA PRESENTAZIONE ❖ Concetti di base ❖ Lo scenario di interesse ❖ Descrizione del metodo ❖ La generazione dei dataset ❖ Modello generativo di densità ❖ Esperimento: dati della qualità dell’aria ❖ Conclusioni ❖ Bibliografia
- 4. 3/21 GenerativeMap: visualizzazione ed esplorazione di una density map dinamica tramite un modello di apprendimento generativo Gianmarco Beato e Angela Vecchione Venerdì 18 dicembre 2020 – a.a. 2020/2021 Presentazione per il corso di Information Visualization – prof. Andrea Abate • Pipeline: insieme di componenti software collegati tra loro in cascata in modo che il risultato prodotto da uno degli elementi sia l'ingresso di quello immediatamente successivo. CONCETI DI BASE (1/2)
- 5. 4/21 GenerativeMap: visualizzazione ed esplorazione di una density map dinamica tramite un modello di apprendimento generativo Gianmarco Beato e Angela Vecchione Venerdì 18 dicembre 2020 – a.a. 2020/2021 Presentazione per il corso di Information Visualization – prof. Andrea Abate • Density map: immagini ampiamente utilizzate per la raccolta dei dati, la rappresentazione dei dati di un insieme ed anche per mostrare il cambiamento di tali dati nel tempo. Numerosi sono gli esempi di applicazione: • Mappatura dei dati in meteorologia • Movimento del flusso dei vortici in oceanografia • Distribuzione geografica delle persone • etc… CONCETI DI BASE (2/2)
- 6. 5/21 GenerativeMap: visualizzazione ed esplorazione di una density map dinamica tramite un modello di apprendimento generativo Gianmarco Beato e Angela Vecchione Venerdì 18 dicembre 2020 – a.a. 2020/2021 Presentazione per il corso di Information Visualization – prof. Andrea Abate ❖ Concetti di base ❖ Lo scenario di interesse ❖ Descrizione del metodo ❖ La generazione dei dataset ❖ Modello generativo di densità ❖ Esperimento: dati della qualità dell’aria ❖ Conclusioni ❖ Bibliografia STRUTTURA DELLA PRESENTAZIONE
- 7. 6/21 GenerativeMap: visualizzazione ed esplorazione di una density map dinamica tramite un modello di apprendimento generativo Gianmarco Beato e Angela Vecchione Venerdì 18 dicembre 2020 – a.a. 2020/2021 Presentazione per il corso di Information Visualization – prof. Andrea Abate Possiamo individuare il probabile processo di cambiamento se si conoscono poche regole? Come possiamo descrivere il possibile cambiamento dei dati? Cosa succede in queste parti quando altre parti contengono meno informazioni? LO SCENARIO DI INTERESSE (1/2) • Esplorare la dinamicità dei dati spazio-temporali è diventata una sfida a lungo termine ed attraverso la loro visualizzazione possiamo osservare i diversi stati di tali dati.
- 8. 7/21 GenerativeMap: visualizzazione ed esplorazione di una density map dinamica tramite un modello di apprendimento generativo Gianmarco Beato e Angela Vecchione Venerdì 18 dicembre 2020 – a.a. 2020/2021 Presentazione per il corso di Information Visualization – prof. Andrea Abate • Per risolvere questi problemi ci si avvale di modelli generativi. • Esistono 2 principali categorie di modelli generativi: • Variational Autoencoder (VAE) • Generative Adversarial Network (GAN) • Le GAN sono utili per generare immagini ad alta risoluzione e fotorealistiche oltre ad implementare lo smooth morphing. • Smooth morphing: effetto grafico applicato alle immagini in movimento con l’obiettivo di trasformare un’immagine o una forma in un’altra mediante transizioni fluide. • Per ottenere l’interpolazione di due density map si tiene conto di tre argomenti: 1. Estrazione dei dati spazio-temporale 2. Generazione di immagini realistiche 3. Visualizzazione del campo di movimento LO SCENARIO DI INTERESSE (2/2)
- 9. 8/21 GenerativeMap: visualizzazione ed esplorazione di una density map dinamica tramite un modello di apprendimento generativo Gianmarco Beato e Angela Vecchione Venerdì 18 dicembre 2020 – a.a. 2020/2021 Presentazione per il corso di Information Visualization – prof. Andrea Abate ❖ Concetti di base ❖ Lo scenario di interesse ❖ Descrizione del metodo ❖ La generazione dei dataset ❖ Modello generativo di densità ❖ Esperimento: dati della qualità dell’aria ❖ Conclusioni ❖ Bibliografia STRUTTURA DELLA PRESENTAZIONE
- 10. 9/21 GenerativeMap: visualizzazione ed esplorazione di una density map dinamica tramite un modello di apprendimento generativo Gianmarco Beato e Angela Vecchione Venerdì 18 dicembre 2020 – a.a. 2020/2021 Presentazione per il corso di Information Visualization – prof. Andrea Abate DESCRIZIONE DEL METODO: LA GENERAZIONE DEI DATASET • Per addestrare un modello generale di deep learning per esplorare il cambiamento dei dati delle density map, è importante creare dei dataset. • La generazione dei dataset è fondamentale visto che non esistono dei dataset affidabili per effettuare il morphing delle density map. • Vien utilizzato l’algoritmo PN (Perlin Noise) che è efficace per la creazione e la simulazione di scene naturali nel mondo virtuale. • La raccolta dei dati può essere riassunta in 3 fasi: 1. Settaggio dei giusti parametri da dare in input all’algoritmo PN. 2. Selezione randomica di multiple regioni nelle immagini PN e acquisizione regolare di fotogrammi ad intervalli regolari. 3. Ripetizione dei passaggi precedenti fino ad ottenere una certa quantità di dati.
- 11. 10/21 GenerativeMap: visualizzazione ed esplorazione di una density map dinamica tramite un modello di apprendimento generativo Gianmarco Beato e Angela Vecchione Venerdì 18 dicembre 2020 – a.a. 2020/2021 Presentazione per il corso di Information Visualization – prof. Andrea Abate ❖ Concetti di base ❖ Lo scenario di interesse ❖ Descrizione del metodo ❖ La generazione dei dataset ❖ Modello generativo di densità ❖ Esperimento: dati della qualità dell’aria ❖ Conclusioni ❖ Bibliografia STRUTTURA DELLA PRESENTAZIONE
- 12. 11/21 GenerativeMap: visualizzazione ed esplorazione di una density map dinamica tramite un modello di apprendimento generativo Gianmarco Beato e Angela Vecchione Venerdì 18 dicembre 2020 – a.a. 2020/2021 Presentazione per il corso di Information Visualization – prof. Andrea Abate DESCRIZIONE DEL METODO: MODELLO GENERATIVO DI DENSITA’ (1/4) • Come base di questo lavoro viene adoperato il framework «BiGAN»: • Interpolazione: consiste nel calcolo matematico utile a stimare i valori intermedi tra due valori.
- 13. 12/21 GenerativeMap: visualizzazione ed esplorazione di una density map dinamica tramite un modello di apprendimento generativo Gianmarco Beato e Angela Vecchione Venerdì 18 dicembre 2020 – a.a. 2020/2021 Presentazione per il corso di Information Visualization – prof. Andrea Abate DESCRIZIONE DEL METODO: MODELLO GENERATIVO DI DENSITA’ (2/4) • Esempio di risultato con «BiGAN» originale, dove X1 e X2 rappresentano le due density map date in input e le F illustrano le varie interpolazioni tra le due immagini: • Si utilizza un nuovo modello generativo chiamato «Mp-GAN» per generare immagini 128 x 128 per ottenere migliori prestazioni grafiche. (a) Interpolazione BiGAN (b) Interpolazione Mp-GAN
- 14. 13/21 GenerativeMap: visualizzazione ed esplorazione di una density map dinamica tramite un modello di apprendimento generativo Gianmarco Beato e Angela Vecchione Venerdì 18 dicembre 2020 – a.a. 2020/2021 Presentazione per il corso di Information Visualization – prof. Andrea Abate DESCRIZIONE DEL METODO: MODELLO GENERATIVO DI DENSITA’ (3/4) • Il processo dinamico per il modello di morphing tra due density map si classifica in tre tipologie: connessione, shift e fusione. (a) Connessione (b) Shift (c) Fusione
- 15. 14/21 GenerativeMap: visualizzazione ed esplorazione di una density map dinamica tramite un modello di apprendimento generativo Gianmarco Beato e Angela Vecchione Venerdì 18 dicembre 2020 – a.a. 2020/2021 Presentazione per il corso di Information Visualization – prof. Andrea Abate DESCRIZIONE DEL METODO: MODELLO GENERATIVO DI DENSITA’ (4/4) • ROI = regione di interesse in cui vengono raccolte le informazioni. • Nella fig.(a) il cambiamento di densità tra l’interno e l’esterno della ROI è innaturale. • Nella fig.(c) viene utilizzata la Poisson Blending per fondere le immagini smussando i bordi.
- 16. 15/21 GenerativeMap: visualizzazione ed esplorazione di una density map dinamica tramite un modello di apprendimento generativo Gianmarco Beato e Angela Vecchione Venerdì 18 dicembre 2020 – a.a. 2020/2021 Presentazione per il corso di Information Visualization – prof. Andrea Abate ❖ Concetti di base ❖ Lo scenario di interesse ❖ Descrizione del metodo ❖ La generazione dei dataset ❖ Modello generativo di densità ❖ Esperimento: dati della qualità dell’aria ❖ Conclusioni ❖ Bibliografia STRUTTURA DELLA PRESENTAZIONE
- 17. 16/21 GenerativeMap: visualizzazione ed esplorazione di una density map dinamica tramite un modello di apprendimento generativo Gianmarco Beato e Angela Vecchione Venerdì 18 dicembre 2020 – a.a. 2020/2021 Presentazione per il corso di Information Visualization – prof. Andrea Abate ESPERIMENTO: DATI DELLA QUALITA’ DELL’ARIA • In questo esempio sono stati raccolti i dati della qualità dell’aria (AQI) in Cina e tali dati sono visualizzati mediante una mappa di calore (Heat Map). • Lo scopo è quello di mostrare l’andamento del cambio d’aria in alcune parti della Cina.
- 18. 17/21 GenerativeMap: visualizzazione ed esplorazione di una density map dinamica tramite un modello di apprendimento generativo Gianmarco Beato e Angela Vecchione Venerdì 18 dicembre 2020 – a.a. 2020/2021 Presentazione per il corso di Information Visualization – prof. Andrea Abate ❖ Concetti di base ❖ Lo scenario di interesse ❖ Descrizione del metodo ❖ La generazione dei dataset ❖ Modello generativo di densità ❖ Esperimento: dati della qualità dell’aria ❖ Conclusioni ❖ Bibliografia STRUTTURA DELLA PRESENTAZIONE
- 19. 18/21 GenerativeMap: visualizzazione ed esplorazione di una density map dinamica tramite un modello di apprendimento generativo Gianmarco Beato e Angela Vecchione Venerdì 18 dicembre 2020 – a.a. 2020/2021 Presentazione per il corso di Information Visualization – prof. Andrea Abate CONCLUSIONI • La pipeline «generative map» si è rivelata un strumento molto efficace per l’estrazione di density map dinamiche. • Il contributo di questo lavoro è stato quello di promuovere un approccio che possa aiutare gli utenti ad ottenere e prevedere la dinamicità dei dati per qualsiasi tipo di scenario.
- 20. 19/21 GenerativeMap: visualizzazione ed esplorazione di una density map dinamica tramite un modello di apprendimento generativo Gianmarco Beato e Angela Vecchione Venerdì 18 dicembre 2020 – a.a. 2020/2021 Presentazione per il corso di Information Visualization – prof. Andrea Abate ❖ Concetti di base ❖ Lo scenario di interesse ❖ Descrizione del metodo ❖ La generazione dei dataset ❖ Modello generativo di densità ❖ Esperimento: dati della qualità dell’aria ❖ Conclusioni ❖ Bibliografia STRUTTURA DELLA PRESENTAZIONE
- 21. 20/21 GenerativeMap: visualizzazione ed esplorazione di una density map dinamica tramite un modello di apprendimento generativo Gianmarco Beato e Angela Vecchione Venerdì 18 dicembre 2020 – a.a. 2020/2021 Presentazione per il corso di Information Visualization – prof. Andrea Abate BIBLIOGRAFIA • Definizione di morphing: https://it.wikipedia.org/wiki/Morphing • Chen Chen, Changbo Wang, Xue Bai, Peiying Zhang, and Chenhui Li, «GenerativeMap: Visualization and Exploration of Dynamic Density Maps via Generative Learning Model», IEEE TRANSACTIONS ON VISUALIZATION AND COMPUTER GRAPHICS, VOL. 26, NO. 1, JANUARY 2020 • Definizione di pipeline: https://it.wikipedia.org/wiki/Pipeline_software • Definizione di heat map: https://it.wikipedia.org/wiki/Mappa_di_calore#:~:text=La%20Mappa%20di%20calore%20(in,matrice%20sono%20r appresentati%20da%20colori. • Definizione di interpolazione: https://it.wikipedia.org/wiki/Interpolazione
- 22. 21/21 GenerativeMap: visualizzazione ed esplorazione di una density map dinamica tramite un modello di apprendimento generativo Gianmarco Beato e Angela Vecchione Venerdì 18 dicembre 2020 – a.a. 2020/2021 Presentazione per il corso di Information Visualization – prof. Andrea Abate GRAZIE PER L‘ATTENZIONE