Convegno Scientifico Reggio Calabria 28 ottobre 2016 Statistica e Open Data: strumenti innovativi per analizzare e progettare la coesione territoriale

1. Formati aperti, interazione,
visualizzazione grafica dei
dati statistici.
Il portale Linked Open Data
dell’Istat
Francesco Castanò (ISTAT)

2. OPEN DATA
• Dati accessibili a tutti
• Canale web privilegiato
• No copyright, brevetti o altre
forme di controllo
• No limiti alla riproduzione
• Disponibili più formati (CSV,
JSON, Excel, RDF/XML …)
LINKED (Open) DATA
• Standard tecnologici per pubblicare e connettere
tra loro via web collezioni di dati strutturati.
• Identificazione univoca dei singoli valori di un
dataset => Maggiore accessibilità
• Dati collegabili in base al “significato” (livello
semantico) => Maggiore comprensibilità
• Facile sviluppo applicazioni (es. web services o
applicazioni per la visualizzazione) => Maggiore
fruibilità
Effetti: forniscono un'identità ai dati
(aperti o non) e li rendono collegabili e
interoperabili.
Effetti: abbattono le barriere
culturali, legali ed economiche al
riuso
Open Data e Linked Open Data

3. Tra questi documenti, AgID
pubblica linee guida nazionali per
l'uso di Open Data da pubblicare e
condividere tra tutta la PA. Le linee
guida identificano il paradigma dei
linked data come la strada più
efficace ed efficiente per realizzare
l'interoperabilità semantica nella
collaborazione tra le PP.AA.
L'Agenzia per L’Italia dIGITALE (AgID), nel suo ruolo di abilitatore per la
pubblicazione e condivisione dell'informazione del settore pubblico,
rilascia ogni anno documenti strategici rivolti a indirizzare, favorire e
supportare la digitalizzazione della Pubblica Amministrazione.
(http://www.agid.gov.it/sites/default/files/linee_guida/patrimoniopubblicolg2014_v0.7finale.pdf)
Scenario nazionale

4. Finora esiste un portale di dati aperti a
livello nazionale gestito da AgID.
Il portale è accessibile all’indirizzo
http://www.dati.gov.it/ e contiene più
di 10000 serie di dati forniti da 76 PA.
Attraverso il portale Istat fornisce l’accesso a circa 700 dataset.
I dataset non vengono
memorizzati localmente ma
fanno riferimento al Web
Warehouse I.Stat
(http://dati.istat.it)
Scenario nazionale

5. Per quanto riguarda l'aumento del valore di dati statistici, le
caratteristiche principali di tale ambiente dovrebbero essere:
• Grado di apertura (riferito al modello a 5 stelle)
• Significato associato ai dati (mediante l'uso di uno specifico
strato semantico, definito attraverso ontologie)
• Diversi livelli di granularità
• Collegamento tra i dati (interoperabilità semantica)
• Modalità di uso e riuso di tipo M2M e HCI

6. • CSV, soprattutto tabelle, descritti da appositi metadati (livello 3).
• Excel, con metadati descritti in un foglio dedicato (livello 2).
• SDMX, con dati e metadati espressi secondo lo stesso modello (livello 3).
• Linked Open Data / RDF, costituiti da dati e metadati espressi secondo il modello
RDF (standard W3C), legato anche ad altri dati (esterni) (livelli 4 e 5).
L'Istat pubblica i dati attualmente aperti, secondo alcuni principali modelli di dati e formati
(e definiti secondo i livelli del modello a cinque stelle di Berners Lee)
Le 5 stelle degli Open Data (Tim Berners-Lee)

7. Per gestire e implementare soluzioni efficaci per la
condivisione dei dati tra organizzazioni statistiche e renderli
disponibili alla comunità degli utenti IT, possiamo definire tre
fasi principali:
• Dare a ciascuna classe di utenti (umano o macchina) il
modo più appropriato per utilizzare i dati;
• Rendere i dati in formato aperto, qualunque sia il livello di
apertura;
• Arricchire i dati con un livello semantico,
indipendentemente dalla condivisione dati su siti Web
pubblici.
Roadmap evolutiva

8. In sintesi, i piani futuri per la piattaforma sono mirati alla
realizzazione di un ambiente integrato di dati, costituito da:
• Dati aperti per usi pubblici (anche non di tipo Linked Data).
• Dati collegati per usi integrati interni (attraverso l'uso di
ontologie appositamente definite).
• Linked Open Data a livello elementare e aggregato per usi
interni e pubblici, disponibili per utenti umani e macchine,
riferiti alla maggior parte dei domini statistici ed
eventualmente arricchito da rappresentazione geografica
Il percorso dell’Istat

9. Elementary data
Aggregated data
Linked Open DataLinked data Open Data
Internal use (integration) Public use (sharing)
Initial stage Next stages
Aggregated
Linked Data
Aggregated Linked
Open Data
Elementary
Open Data
Elementary Linked Open
Data
Elementary
Linked Data
Aggregated Open Data

10. Datiopen.istat.it

11. Piattaforma per la
• Selezione
• Navigazione
• Ricerca
• Interrogazione
• Visualizzazione
di dati in formato aperto
Consente anche
• Accesso diretto ai dati via
Web Service
• Integrazione M2M (es. GIS-
LOD)
• Export verso ambienti di
produttività
• Conversione dei dati
• Visualizzazione con tool
esterni
Datiopen.istat.it

12. Data
Storage
Application
GUI
Technological Stack Functional Stack
Oracle Spatial and Graph Triple Store
Mapping to RDF EngineOracle Spatial and Graph
Oracle Spatial and Graph Reasoning Engine
SPARQL EndpointJoseki API
Graph Browser &
HTML/LOD
Interface
GUI for queriesPubby
Ad-Hoc Design &
Development
ORACLE
(12.1.0.2)
Open Source
Architettura IT

13. • Linguaggio di interrogazione per dati rappresentati tramite RDF.
• Standard dal 2008 del Data Access Working Group (w3c)
• Uno degli elementi chiave delle tecnologie del web semantico
• Consente di estrarre informazioni dalle basi di conoscenza distribuite sul web
Concetti
chiave dei
LOD
ASPETTI
SEMANTICI
MODELLO DEI
DATI
DATABASE
Database costruito
appositamente per il
salvataggio e il
recupero di triple
RDF
Il modello RDF descrive i concetti e le relazioni su di essi
attraverso l'introduzione di triple (soggetto-predicato-oggetto)
e consente la costruzione di query per interrogare i dati
Rappresentazion
e formale,
condivisa ed
esplicita di una
concettualizzazi
one di un
dominio di
interesse
espressa in una
logica
descrittiva.
SPARQL
RDF (RESOURCE DESCRIPTION FRAMEWORK)
TRIPLE STORE
LINGUAGGIO
DESCRITTORI E
ONTOLOGIE
DATI
Basi territoriali
Dati censuari per
sezione di
censimento
CENSIMENTO 2011

14. Descrive le misure e le
dimensioni relative agli
indicatori sulle famiglie
Ontologie
ABITAZIONI
TERRITORIO POPOLAZIONE
Descrive le misure e le
dimensioni relative agli
indicatori sulla
popolazione
Descrive le
caratteristiche
amministrative e
geografiche del territorio
Italiano
Descrive le misure e le
dimensioni relative agli
indicatori sulle abitazioni
FAMIGLIE
AREE
SPECIALI
CONFINI
AMMINISTRATIVI
CONFINI
STATISTICO-GEOGRAFICI
UNITÀ
SPECIALI
Regioni
Province
Comuni
Località abitate
Sezioni di censimento
Zone contestate
Isole amministrative
Abbazie
Ospedali
DIMENSIONI
MISURE
Sesso
Età
Stato civile
Popolazione
residente
DIMENSIONI MISURE
DIMENSIONI
MISURE

15. Territorio
• Oltre 402.903 Sezioni di
censimento
• 74.482 Località
• 2.200 Aree di censimento
• 3.631 Entità geomorfologiche
• Altre classi …
15
Indicatori
Oltre 140 Indicatori relativi a:
• Popolazione Residente
• Popolazione straniera
• Famiglie
• Grado di istruzione
• Condizione professionale
• Pendolarismo
• Alloggi
• Edifici
Numerosità dei Dati Coinvolti

17. V.3.15
Accesso guidato
Libertà di accesso
interazione
Accesso libero
UmanaM2M
Modalità di interazione
Navigazione
Interrogazione
guidata
Query REST su
SPARQL EndPoint
Interrogazione via
SPARQL EndPoint
Web Service
Download

18. Umana
Utenti
Esperti
Utenti
semi-esperti
Utenti
non esperti
Query predefinite
(Collezione di
interrogazioni semplici
e modificabili)
Query libere
(Interrogazione diretta
dei dati nel linguaggio
SPARQL)
Interrogazione
guidata
Download
Interrogazione via
SPARQL EndPoint
Navigazione
Libertà di accesso
Modalità di interazione
Accesso guidato Accesso libero
Tipointerazione

20. Utenti
semi-esperti
V.3.15
Accesso guidato
Libertà di accesso
Tipointerazione
Accesso libero
UmanaM2M
Modalità di interazione
Utenti
non esperti
Interrogazione
guidata
Download

22. Modalità disponibili per il
download dei dataset:
CSV
RDF/XML
JSON
TSV

23. • Servizio che funziona come pratica interfaccia che associa contenuti
semantici a indirizzi Web, conforme al protocollo SPARQL
• Consente agli utenti (umani o macchine) di interrogare una base di
conoscenza secondo il paradigma del Web semantico

24. V.3.15
Accesso guidato
Libertà di accesso
Accesso libero
UmanaM2M
Modalità di interazione
Utenti
Esperti
Utenti
semi-esperti
Interrogazione via
SPARQL EndPoint
Query predefinite
(Collezione di
interrogazioni semplici
e modificabili)
Query libere
(Interrogazione diretta
dei dati nel linguaggio
SPARQL)
Tipointerazione

27. V.3.15
Accesso guidato
Libertà di accesso
Accesso libero
UmanaM2M
Modalità di interazione
Download
Utenti
non espertiTipointerazione

29. V.3.15
Accesso guidato
Libertà di accesso
Accesso libero
UmanaM2M
Modalità di interazione
Query REST su
SPARQL EndPoint
Tipointerazione

37. V.3.15
Accesso guidato
Libertà di accesso
UmanaM2M
Modalità di interazione
Utenti
non esperti
Utenti
Esperti
Utenti
semi-esperti
Accesso libero
Navigazione
Tipointerazione

42. Uso dei dati: Tool per l’analisi interattiva
Grado di Trasformazione
Alto
PowerPivot
Basso
AltoBasso
Spreadsheet
Livellointerazione
D3.js
Tool online Visual
analysis
Tool
multidimensionali

43. Uso dei dati: Tool per l’analisi interattiva
Grado di Trasformazione
AltoBasso
AltoBasso
Spreadsheet
Livellointerazione

44. Comune di Palermo
Popolazione
Alloggi

45. Uso dei dati: Tool per l’analisi interattiva
Grado di Trasformazione
Alto
PowerPivot
Basso
AltoBasso
Livellointerazione

46. ComunediPalermo
Popolazione
Famiglie
Alloggi
Tabella Pivot di
PowerPivot
Grafico Pivot di
PowerPivot

47. Uso dei dati: Tool per l’analisi interattiva
Grado di Trasformazione
AltoBasso
AltoBasso
Tool online
Livellointerazione

48. Comune di Palermo
Popolazione
Alloggi

52. Uso dei dati: Tool per l’analisi interattiva
Grado di Trasformazione
AltoBasso
AltoBasso
Tableau
Livellointerazione

54. https://public.tableau.com/views/PiazzaArmerina/Dashboard1?:embed=y&:display_count=yes&:showTabs=y
Indicatori
originari
Indicatori
calcolati

55. https://public.tableau.com/views/PiazzaArmerina/Dashboard1?:embed=y&:display_count=yes&:showTabs=y
Indicatori
originari
Indicatori
calcolati

56. Grazie
http://datiopen.istat.it