1. VisualizArt
Introduzione agli Open Data e alle sue tecniche di visualizzazione
Martina Garofalo
m.garofalo26@studenti.unisa.it
1Università degli studi di Salerno
2. Overview
1. Open Data
• Definizione
• Scopi e utilizzi
• Dati georeferenziati
• Dove trovarli
2. Visualizzazione
• Capire il come e il perché
• Arte vs Informazione
• Desktop tools
• Web tools
3. Un esempio pratico
• Distribuzione dei governi sul territorio italiano
2Università degli studi di Salerno
3. Overview
1. Open Data
• Definizione
• Scopi e utilizzi
• Dati georeferenziati
• Dove trovarli
2. Visualizzazione
• Capire il come e il perché
• Arte vs Informazione
• Desktop tools
• Web tools
3. Un esempio pratico
• Distribuzione dei governi sul territorio italiano
3Università degli studi di Salerno
4. Open Data – Definizione (I)
Un contenuto o un dato si definisce aperto se chiunque è in grado di:
• utilizzarlo
• ri-utilizzarlo
• ridistribuirlo
soggetto, al massimo, alla richiesta di attribuzione e condivisione allo
stesso modo
4Università degli studi di Salerno
Fonte: Open Knowledge Foundation
5. Open Data – Definizione (II)
I dati per considerarsi aperti rispetto agli standard internazionali devono essere:
• Completi: inclusione di metadati per consentire l’esportazione, l’utilizzo e la
diffusione
• Primari: struttura sufficientemente granulare per consentire l’integrazione e
l’aggregazione con altre risorse
• Accessibili: resi disponibili al maggior numero possibile di utenti senza barriere
all’utilizzo, quindi preferibilmente attraverso il solo protocollo Hypertext Transfer
Protocol (HTTP) e senza il ricorso a piattaforme proprietarie
• In formati non proprietari: codificati in formati aperti e pubblici, sui quali non vi
siano entità (aziende o organizzazioni) che ne abbiano il controllo esclusivo
5Università degli studi di Salerno
6. Open Data – Definizione (III)
• Riutilizzabili: gli utenti devono essere messi in condizione di riutilizzarli e
integrarli, fino a creare nuove risorse, applicazioni e servizi di pubblica utilità
• Ricercabili: facilmente identificabili in rete, grazie a cataloghi e archivi facilmente
indicizzabili dai motori di ricerca
• Permanenti: tutte le proprietà elencate devono caratterizzare i dati nel corso del
loro intero ciclo di vita
6Università degli studi di Salerno
7. Open Data – Scala di qualità
7
Dati non strutturati
Dati strutturati, ma formato proprietario
Dati strutturati, formato non proprietario, possibili le elaborazioni
Dati strutturati, formato non proprietario, forniti di URI
Linked Open Data
Dati strutturati, formato non proprietario, forniti di URI, collegamento ad altri dataset
Università degli studi di Salerno
8. Overview
1. Open Data
• Definizione
• Scopi e utilizzi
• Dati georeferenziati
• Dove trovarli
2. Visualizzazione
• Capire il come e il perché
• Arte vs Informazione
• Desktop tools
• Web tools
3. Un esempio pratico
• Distribuzione dei governi sul territorio italiano
8Università degli studi di Salerno
9. Open Data - Scopi
• Rendere trasparente l’azione amministrativa – Open Government
• Favorire lo sviluppo della comunità
• Agevolare l’esecuzione di normali attività
• Accelerare il tasso di scoperta in campo scientifico
• Aumentare la consapevolezza dei cittadini
9Università degli studi di Salerno
10. Open Data - Utilizzi
Comprensione approfondita
• Visualizzazione grafica
• Strumenti di analisi
Accrescere la conoscenza
• Collegamento di dati omogenei provenienti da fonti diverse
• Collegamento di dati distinti per mezzo di elementi in comune
Analisi predittiva
• Data mining: insieme di tecniche e metodologie per l’estrazione di conoscenza
a partire da una media-grande quantità di dati
10Università degli studi di Salerno
11. Overview
1. Open Data
• Definizione
• Scopi e utilizzi
• Dati georeferenziati
• Dove trovarli
2. Visualizzazione
• Capire il come e il perché
• Arte vs Informazione
• Desktop tools
• Web tools
3. Un esempio pratico
• Distribuzione dei governi sul territorio italiano
11Università degli studi di Salerno
12. Open Data - Dati georeferenziati
Informazioni aggiuntive relative alla dislocazione geografica:
• Geometriche: relative alla rappresentazione cartografica degli oggetti
rappresentati; quali la forma (punto, linea, poligono), la dimensione e la
posizione geografica
• Topologiche: riferite alle relazioni reciproche tra gli oggetti (connessione,
adiacenza, inclusione etc…)
• Informative: riguardanti i dati (numerici, testuali etc…) associati ad ogni
oggetto
La posizione geografica è espressa in un particolare sistema geodetico
di riferimento (WGS84, CH1903, Roma 40, etc…)
12Università degli studi di Salerno
13. Overview
1. Open Data
• Definizione
• Scopi e utilizzi
• Dati georeferenziati
• Dove trovarli
2. Visualizzazione
• Capire il come e il perché
• Arte vs Informazione
• Desktop tools
• Web tools
3. Un esempio pratico
• Distribuzione dei governi sul territorio italiano
13Università degli studi di Salerno
14. Open Data - Dove trovarli
• European Union Open Data Portal
• dati.gov.it
• Istat
• DatiOpen.it
• Portale Cartografico nazionale, ISPRA, SNAP, OpenDataHub
e tanti altri…
14Università degli studi di Salerno
15. Open Data - Formati
Dataset: un insieme di dati strutturati in forma relazionale, cioè
corrisponde al contenuto di una singola tabella di database, oppure ad
una singola matrice di dati statistici
Formati: csv, tsv, json, xml, kml, xls, rdf, HTML, geojson,
shapefile (shp, shx, dbf), turtle, owl, gml
Ogni formato deve essere interpretato in modo diverso!
15Università degli studi di Salerno
16. Open Data – Esempi (I)
16Università degli studi di Salerno
17. Open Data – Esempi (II)
17Università degli studi di Salerno
18. Overview
1. Open Data
• Definizione
• Scopi e utilizzi
• Dati georeferenziati
• Dove trovarli
2. Visualizzazione
• Capire il come e il perché
• Arte vs Informazione
• Desktop tools
• Web tools
3. Un esempio pratico
• Distribuzione dei governi sul territorio italiano
18Università degli studi di Salerno
20. Overview
1. Open Data
• Definizione
• Scopi e utilizzi
• Dati georeferenziati
• Dove trovarli
2. Visualizzazione
• Capire il come e il perché
• Arte vs Informazione
• Desktop tools
• Web tools
3. Un esempio pratico
• Distribuzione dei governi sul territorio italiano
20Università degli studi di Salerno
22. Visualizzazione - Workflow (I)
22
Computer Science
Mathematics,
Statistics, Data Mining HCIGraphic Design
Università degli studi di Salerno
23. Visualizzazione - Workflow (II)
23
1. Acquire
Raccogliere i dati: file presenti sul disco o risorse web
2. Parse
Identificare categorie di dati in base al loro significato
Alcune domande utili:
• E’ un dataset esteso o no? E qual è la sua complessità?
• Che formato è? Ha bisogno di essere ‘pulito’ prima di procedere?
• La struttura necessita di una ristrutturazione?
Università degli studi di Salerno
24. Visualizzazione - Workflow (III)
24
3. Filter
Rimuovere tutto tranne i dati che ci interessano
4. Mine
Applicare metodi matematici o modelli statistici che ci permettano
di comprendere la semantica dei dati anche attraverso il
riconoscimento di patterns
Università degli studi di Salerno
25. Visualizzazione - Workflow (IV)
25
5. Represent
Trasformare i dati in semplici linee, barre, alberi…
6. Refine
Migliorare la prima visualizzazione per rendere i dati più chiari e più
accattivanti per l’utente
7. Interact
Aggiungere metodi per manipolare i dati e controllare quali aspetti
mostrare
Università degli studi di Salerno
26. Visualizzazione - Workflow (V)
Semplice, no?
26
Anche i migliori sbagliano!
Università degli studi di Salerno
27. Overview
1. Open Data
• Definizione
• Scopi e utilizzi
• Dati georeferenziati
• Dove trovarli
2. Visualizzazione
• Capire il come e il perché
• Arte vs Informazione
• Desktop tools
• Web tools
3. Un esempio pratico
• Distribuzione dei governi sul territorio italiano
27Università degli studi di Salerno
28. Visualizzazione - Arte vs Informazione (I)
Troppo spesso si dà più importanza alla forma visuale, trascurando
quasi del tutto la comprensione dei dati.
In alcuni casi i risultati sono considerati delle vere e proprie opere
d’arte, ma prive di significato.
In altri casi i risultati sono considerati semplicemente dei flop.
28Università degli studi di Salerno
29. Visualizzazione - Arte vs Informazione (II)
29
Nodi: utenti della schooX e tag
inseriti nei loro articoli
Esiste un arco se l’utente ha
scritto un articolo al cui
interno c’è il tag
Università degli studi di Salerno
30. Visualizzazione - Arte vs Informazione (III)
30
Frequenza dei nomi
utilizzati dalle donne e
dagli uomini per indicare
uno stesso colore e/o
sfumatura
Università degli studi di Salerno
31. Visualizzazione - Arte vs Informazione (IV)
31
Apparizione di
personaggi biblici in
capitoli differenti
Università degli studi di Salerno
32. Visualizzazione - Arte vs Informazione (V)
32
Frequenza delle parole utilizzate
negli articoli del NY Times
Università degli studi di Salerno
33. Visualizzazione - Arte vs Informazione (VI)
33
Incassi dei film al
botteghino
Università degli studi di Salerno
34. Visualizzazione - Arte vs Informazione (VII)
34
Bisogna evitare che l’utente dica:
«Bello, ma che significa?»
Università degli studi di Salerno
35. Overview
1. Open Data
• Definizione
• Scopi e utilizzi
• Dati georeferenziati
• Dove trovarli
2. Visualizzazione
• Capire il come e il perché
• Arte vs Informazione
• Desktop tools
• Web tools
3. Un esempio pratico
• Distribuzione dei governi sul territorio italiano
35Università degli studi di Salerno
36. Visualizzazione – Desktop tools (I)
36
Piattaforma interattiva open source per la visualizzazione e
l’esplorazione di qualsiasi tipo di grafo dinamico e gerarchico.
Selezionato per la Google summer of Code negli anni 2009, 2010,
2011, 2012, e 2013
Slogan: «Like Photoshop for graph»
Università degli studi di Salerno
37. Visualizzazione – Desktop tools (II)
Open source
Alte performance per interazioni real-time
Vasta gamma di layouts, statistics e filters
Diversi tipi di gestione dati
Creazione di grafi dinamici
Estendibile tramite plugin
Visualizzazione limitata ai grafi
Inutile su dati non strettamente relati tra loro
Dati di input da fornire in particolari strutture
37Università degli studi di Salerno
40. Visualizzazione – Desktop tools (V)
40
Framework scritto in C++ dedicato all’analisi e alla visualizzazione di
dati relati
Lo scopo degli sviluppatori è quello di offrire componenti riutilizzabili
per uno sviluppo efficiente di applicativi
Università degli studi di Salerno
41. Visualizzazione – Desktop tools (VI)
Open source
Buona documentazione
Facilità nel creare plugin e algoritmi
Resa grafica non accattivante
Linguaggi di sviluppo C++ e Python
Inutile con dati non relati tra loro
41Università degli studi di Salerno
43. Overview
1. Open Data
• Definizione
• Scopi e utilizzi
• Dati georeferenziati
• Dove trovarli
2. Visualizzazione
• Capire il come e il perché
• Arte vs Informazione
• Desktop tools
• Web tools
3. Un esempio pratico
• Distribuzione dei governi sul territorio italiano
43Università degli studi di Salerno
44. Visualizzazione – Web tools (I)
44
Disponibili un’infinità di librerie js e jQuery
Tra le migliori: Sigma.js, Arbor.js, D3.js, Highcharts, Google Charts
Tools, Google Fusion Tables, Raphaël, vis.js, dc.js, OpenLayers, etc…
Analizziamone alcune…
Università degli studi di Salerno
45. Visualizzazione – Web tools (II)
Ottima per rappresentare grafi
Semplice aggiungere interazioni
Permette l’applicazione di layout
Non supporta altre tipologie di visualizzazione
45
Sigma.js
Università degli studi di Salerno
47. Visualizzazione – Web tools (IV)
Primitive grafiche
Grandi potenzialità
Meccanismo delle selezioni
Complesso creare grafici anche molto semplici
Macchinoso nel gestire transizioni e interazioni
47
Data-Driven Documents
Università degli studi di Salerno
49. Visualizzazione – Web tools (VI)
Numerose tipologie di grafici
Stabilità e supporto
Buone interazioni
Dati richiesti in particolari strutture
Poco accattivante
49
Google Charts Tools
Università degli studi di Salerno
51. Visualizzazione – Web tools (VIII)
Facile creare grafici complessi
Massima esperienza utente
Buona documentazione
Supporto per visualizzazione di dati georeferenziati
Dati richiesti in particolari strutture
51
Highcharts
Università degli studi di Salerno
53. Overview
1. Open Data
• Definizione
• Scopi e utilizzi
• Dati georeferenziati
• Dove trovarli
2. Visualizzazione
• Capire il come e il perché
• Arte vs Informazione
• Desktop tools
• Web tools
3. Un esempio pratico
• Distribuzione dei governi sul territorio italiano
53Università degli studi di Salerno
54. Un esempio pratico (I)
Distribuzione dei governi sul territorio italiano
54Università degli studi di Salerno
55. Google OpenRefine
Valido tool per la gestione di dati disordinati, offre strumenti per:
1. Esplorare
Meccanismo delle facet e filter
2. Pulire e trasformare
GREL – Google Refine Expression Language
Possibilità di passare da un formato ad un altro
3. Estendere
Aggiunta di informazioni al dataset da webservice
55Università degli studi di Salerno
56. Un esempio pratico (II)
Distribuzione dei governi sul territorio italiano
Primo approccio: grafo
56Università degli studi di Salerno
57. Un esempio pratico (III)
Distribuzione dei governi sul territorio italiano
Primo approccio: grafo
57Università degli studi di Salerno
58. Un esempio pratico (IV)
Distribuzione dei governi sul territorio italiano
Primo approccio: grafo
58Università degli studi di Salerno
59. Un esempio pratico (V)
Distribuzione dei governi sul territorio italiano
Secondo approccio: grafico a barre
Librerie e moduli necessari
59
Contenitore del grafico
All’interno del contenitore si crea la chart
Università degli studi di Salerno
60. Un esempio pratico (VI)
Distribuzione dei governi sul territorio italiano
Secondo approccio: grafico a barre
60Università degli studi di Salerno
61. Un esempio pratico (VII)
Distribuzione dei governi sul territorio italiano
Secondo approccio: grafico a barre
DEMO
61Università degli studi di Salerno
62. Alcune considerazioni
• L’utente deve poter visualizzare i suoi open data nel modo più semplice possibile
(è preferibile un applicazione web)
• L’utente vuole una facile interpretazione dei dati
• L’utente vuole interagire con i dati
• Il programmatore deve comprendere i dati, ma vuole un meccanismo generale
per farlo
• Attenzione ai diversi formati dei dataset
62Università degli studi di Salerno
