VisualDDHub - first approach

1. VisualizArt Introduzione agli Open Data e alle sue tecniche di visualizzazione Martina Garofalo m.garofalo26@studenti.unisa.it 1Università degli studi di Salerno

2. Overview 1. Open Data • Definizione • Scopi e utilizzi • Dati georeferenziati • Dove trovarli 2. Visualizzazione • Capire il come e il perché • Arte vs Informazione • Desktop tools • Web tools 3. Un esempio pratico • Distribuzione dei governi sul territorio italiano 2Università degli studi di Salerno

4. Open Data – Definizione (I) Un contenuto o un dato si definisce aperto se chiunque è in grado di: • utilizzarlo • ri-utilizzarlo • ridistribuirlo soggetto, al massimo, alla richiesta di attribuzione e condivisione allo stesso modo 4Università degli studi di Salerno Fonte: Open Knowledge Foundation

5. Open Data – Definizione (II) I dati per considerarsi aperti rispetto agli standard internazionali devono essere: • Completi: inclusione di metadati per consentire l’esportazione, l’utilizzo e la diffusione • Primari: struttura sufficientemente granulare per consentire l’integrazione e l’aggregazione con altre risorse • Accessibili: resi disponibili al maggior numero possibile di utenti senza barriere all’utilizzo, quindi preferibilmente attraverso il solo protocollo Hypertext Transfer Protocol (HTTP) e senza il ricorso a piattaforme proprietarie • In formati non proprietari: codificati in formati aperti e pubblici, sui quali non vi siano entità (aziende o organizzazioni) che ne abbiano il controllo esclusivo 5Università degli studi di Salerno

6. Open Data – Definizione (III) • Riutilizzabili: gli utenti devono essere messi in condizione di riutilizzarli e integrarli, fino a creare nuove risorse, applicazioni e servizi di pubblica utilità • Ricercabili: facilmente identificabili in rete, grazie a cataloghi e archivi facilmente indicizzabili dai motori di ricerca • Permanenti: tutte le proprietà elencate devono caratterizzare i dati nel corso del loro intero ciclo di vita 6Università degli studi di Salerno

7. Open Data – Scala di qualità 7 Dati non strutturati Dati strutturati, ma formato proprietario Dati strutturati, formato non proprietario, possibili le elaborazioni Dati strutturati, formato non proprietario, forniti di URI Linked Open Data Dati strutturati, formato non proprietario, forniti di URI, collegamento ad altri dataset Università degli studi di Salerno

9. Open Data - Scopi • Rendere trasparente l’azione amministrativa – Open Government • Favorire lo sviluppo della comunità • Agevolare l’esecuzione di normali attività • Accelerare il tasso di scoperta in campo scientifico • Aumentare la consapevolezza dei cittadini 9Università degli studi di Salerno

10. Open Data - Utilizzi Comprensione approfondita • Visualizzazione grafica • Strumenti di analisi Accrescere la conoscenza • Collegamento di dati omogenei provenienti da fonti diverse • Collegamento di dati distinti per mezzo di elementi in comune Analisi predittiva • Data mining: insieme di tecniche e metodologie per l’estrazione di conoscenza a partire da una media-grande quantità di dati 10Università degli studi di Salerno

12. Open Data - Dati georeferenziati Informazioni aggiuntive relative alla dislocazione geografica: • Geometriche: relative alla rappresentazione cartografica degli oggetti rappresentati; quali la forma (punto, linea, poligono), la dimensione e la posizione geografica • Topologiche: riferite alle relazioni reciproche tra gli oggetti (connessione, adiacenza, inclusione etc…) • Informative: riguardanti i dati (numerici, testuali etc…) associati ad ogni oggetto La posizione geografica è espressa in un particolare sistema geodetico di riferimento (WGS84, CH1903, Roma 40, etc…) 12Università degli studi di Salerno

14. Open Data - Dove trovarli • European Union Open Data Portal • dati.gov.it • Istat • DatiOpen.it • Portale Cartografico nazionale, ISPRA, SNAP, OpenDataHub e tanti altri… 14Università degli studi di Salerno

15. Open Data - Formati Dataset: un insieme di dati strutturati in forma relazionale, cioè corrisponde al contenuto di una singola tabella di database, oppure ad una singola matrice di dati statistici Formati: csv, tsv, json, xml, kml, xls, rdf, HTML, geojson, shapefile (shp, shx, dbf), turtle, owl, gml Ogni formato deve essere interpretato in modo diverso! 15Università degli studi di Salerno

16. Open Data – Esempi (I) 16Università degli studi di Salerno

17. Open Data – Esempi (II) 17Università degli studi di Salerno

19. Visualizzazione – Questa sconosciuta 19Università degli studi di Salerno

21. Visualizzazione - Capire il perché C’è da chiederselo? 21Università degli studi di Salerno

22. Visualizzazione - Workflow (I) 22 Computer Science Mathematics, Statistics, Data Mining HCIGraphic Design Università degli studi di Salerno

23. Visualizzazione - Workflow (II) 23 1. Acquire Raccogliere i dati: file presenti sul disco o risorse web 2. Parse Identificare categorie di dati in base al loro significato Alcune domande utili: • E’ un dataset esteso o no? E qual è la sua complessità? • Che formato è? Ha bisogno di essere ‘pulito’ prima di procedere? • La struttura necessita di una ristrutturazione? Università degli studi di Salerno

24. Visualizzazione - Workflow (III) 24 3. Filter Rimuovere tutto tranne i dati che ci interessano 4. Mine Applicare metodi matematici o modelli statistici che ci permettano di comprendere la semantica dei dati anche attraverso il riconoscimento di patterns Università degli studi di Salerno

25. Visualizzazione - Workflow (IV) 25 5. Represent Trasformare i dati in semplici linee, barre, alberi… 6. Refine Migliorare la prima visualizzazione per rendere i dati più chiari e più accattivanti per l’utente 7. Interact Aggiungere metodi per manipolare i dati e controllare quali aspetti mostrare Università degli studi di Salerno

26. Visualizzazione - Workflow (V) Semplice, no? 26 Anche i migliori sbagliano! Università degli studi di Salerno

28. Visualizzazione - Arte vs Informazione (I) Troppo spesso si dà più importanza alla forma visuale, trascurando quasi del tutto la comprensione dei dati. In alcuni casi i risultati sono considerati delle vere e proprie opere d’arte, ma prive di significato. In altri casi i risultati sono considerati semplicemente dei flop. 28Università degli studi di Salerno

29. Visualizzazione - Arte vs Informazione (II) 29 Nodi: utenti della schooX e tag inseriti nei loro articoli Esiste un arco se l’utente ha scritto un articolo al cui interno c’è il tag Università degli studi di Salerno

30. Visualizzazione - Arte vs Informazione (III) 30 Frequenza dei nomi utilizzati dalle donne e dagli uomini per indicare uno stesso colore e/o sfumatura Università degli studi di Salerno

31. Visualizzazione - Arte vs Informazione (IV) 31 Apparizione di personaggi biblici in capitoli differenti Università degli studi di Salerno

32. Visualizzazione - Arte vs Informazione (V) 32 Frequenza delle parole utilizzate negli articoli del NY Times Università degli studi di Salerno

33. Visualizzazione - Arte vs Informazione (VI) 33 Incassi dei film al botteghino Università degli studi di Salerno

34. Visualizzazione - Arte vs Informazione (VII) 34 Bisogna evitare che l’utente dica: «Bello, ma che significa?» Università degli studi di Salerno

36. Visualizzazione – Desktop tools (I) 36 Piattaforma interattiva open source per la visualizzazione e l’esplorazione di qualsiasi tipo di grafo dinamico e gerarchico. Selezionato per la Google summer of Code negli anni 2009, 2010, 2011, 2012, e 2013 Slogan: «Like Photoshop for graph» Università degli studi di Salerno

37. Visualizzazione – Desktop tools (II) Open source Alte performance per interazioni real-time Vasta gamma di layouts, statistics e filters Diversi tipi di gestione dati Creazione di grafi dinamici Estendibile tramite plugin Visualizzazione limitata ai grafi Inutile su dati non strettamente relati tra loro Dati di input da fornire in particolari strutture 37Università degli studi di Salerno

38. Visualizzazione – Desktop tools (III) 38Università degli studi di Salerno

39. Visualizzazione – Desktop tools (IV) 39Università degli studi di Salerno

40. Visualizzazione – Desktop tools (V) 40 Framework scritto in C++ dedicato all’analisi e alla visualizzazione di dati relati Lo scopo degli sviluppatori è quello di offrire componenti riutilizzabili per uno sviluppo efficiente di applicativi Università degli studi di Salerno

41. Visualizzazione – Desktop tools (VI) Open source Buona documentazione Facilità nel creare plugin e algoritmi Resa grafica non accattivante Linguaggi di sviluppo C++ e Python Inutile con dati non relati tra loro 41Università degli studi di Salerno

42. Visualizzazione – Desktop tools (VII) 42Università degli studi di Salerno

44. Visualizzazione – Web tools (I) 44 Disponibili un’infinità di librerie js e jQuery Tra le migliori: Sigma.js, Arbor.js, D3.js, Highcharts, Google Charts Tools, Google Fusion Tables, Raphaël, vis.js, dc.js, OpenLayers, etc… Analizziamone alcune… Università degli studi di Salerno

45. Visualizzazione – Web tools (II) Ottima per rappresentare grafi Semplice aggiungere interazioni Permette l’applicazione di layout Non supporta altre tipologie di visualizzazione 45 Sigma.js Università degli studi di Salerno

46. Visualizzazione – Web tools (III) 46Università degli studi di Salerno

47. Visualizzazione – Web tools (IV) Primitive grafiche Grandi potenzialità Meccanismo delle selezioni Complesso creare grafici anche molto semplici Macchinoso nel gestire transizioni e interazioni 47 Data-Driven Documents Università degli studi di Salerno

48. Visualizzazione – Web tools (V) 48Università degli studi di Salerno

49. Visualizzazione – Web tools (VI) Numerose tipologie di grafici Stabilità e supporto Buone interazioni Dati richiesti in particolari strutture Poco accattivante 49 Google Charts Tools Università degli studi di Salerno

50. Visualizzazione – Web tools (VII) 50Università degli studi di Salerno

51. Visualizzazione – Web tools (VIII) Facile creare grafici complessi Massima esperienza utente Buona documentazione Supporto per visualizzazione di dati georeferenziati Dati richiesti in particolari strutture 51 Highcharts Università degli studi di Salerno

52. Visualizzazione – Web tools (IX) 52Università degli studi di Salerno

54. Un esempio pratico (I) Distribuzione dei governi sul territorio italiano 54Università degli studi di Salerno

55. Google OpenRefine Valido tool per la gestione di dati disordinati, offre strumenti per: 1. Esplorare Meccanismo delle facet e filter 2. Pulire e trasformare GREL – Google Refine Expression Language Possibilità di passare da un formato ad un altro 3. Estendere Aggiunta di informazioni al dataset da webservice 55Università degli studi di Salerno

56. Un esempio pratico (II) Distribuzione dei governi sul territorio italiano Primo approccio: grafo 56Università degli studi di Salerno

57. Un esempio pratico (III) Distribuzione dei governi sul territorio italiano Primo approccio: grafo 57Università degli studi di Salerno

58. Un esempio pratico (IV) Distribuzione dei governi sul territorio italiano Primo approccio: grafo 58Università degli studi di Salerno

59. Un esempio pratico (V) Distribuzione dei governi sul territorio italiano Secondo approccio: grafico a barre Librerie e moduli necessari 59 Contenitore del grafico All’interno del contenitore si crea la chart Università degli studi di Salerno

60. Un esempio pratico (VI) Distribuzione dei governi sul territorio italiano Secondo approccio: grafico a barre 60Università degli studi di Salerno

61. Un esempio pratico (VII) Distribuzione dei governi sul territorio italiano Secondo approccio: grafico a barre DEMO 61Università degli studi di Salerno

62. Alcune considerazioni • L’utente deve poter visualizzare i suoi open data nel modo più semplice possibile (è preferibile un applicazione web) • L’utente vuole una facile interpretazione dei dati • L’utente vuole interagire con i dati • Il programmatore deve comprendere i dati, ma vuole un meccanismo generale per farlo • Attenzione ai diversi formati dei dataset 62Università degli studi di Salerno

63. 63 Grazie dell’attenzione! Università degli studi di Salerno

VisualDDHub - first approach

VisualDDHub - first approach

Recommended

More Related Content

Similar to VisualDDHub - first approach

Similar to VisualDDHub - first approach(20)

VisualDDHub - first approach