Seminario Istat Roma, Aula Magna 19.11.19 La modernizzazione dei processi di diffusione in Istat e nel Sistema statistico nazionale via Cesare Balbo 16

1. La modernizzazione dei processi di diffusione
in Istat e nel Sistema statistico nazionale
Seminario, Roma 19 Novembre 2019
L’evoluzione della diffusione dei dati aggregati in Istat
e l’armonizzazione della diffusione in ambito Sistan
Francesco Rizzo
rizzo@istat.it

2. Indice
 I.Stat timeline
 Sviluppo software collaborativo ed implementazione di
standard internazionali
 Statistical data and Metadata eXchange (SDMX)
 Il progetto Hub della Statistica Pubblica
 SDMX Istat Toolkit
 Una nuova architettura di diffusione

3. Timeline della diffusione dei dati aggregati in Istat
2010
> 20
sistemi di
diffusione
I° installazione
I.Stat
2011
Istat partecipa
SIS-CC
2013
SEP
+
architettura
SDMX in Istat
2014
Architettura
SDMX in Istat
2016
Hub della
Statistica
Pubblica
2017
.Stat
re-engineering
+
sviluppo SW
collaborativo
2019
Sviluppo
architettura
back-end (MDM)
e DE beta
< 2010 2020-21
Migrazione .Stat
nuova piattaforma
OECD SIS-CC Statistical Information System – Collaboration Community

4. Uso di I.Stat
• Il sistema google analytics si fonda su un algoritmo proprietario di analisi delle utenze che rilascia una stima indicativa del
dato reale
• Sono conteggiati solo gli utenti e le visite di pagine esterni alla rete dell'Istituto
• La somma degli utenti per mese è superiore al complesso degli utenti dell'intero periodo a causa dell'eliminazione dei
doppioni (stessi dispositivi connessi nei diversi mesi)
• Nell'intervallo temporale considerato il sistema google analytics computa gli utenti una sola volta eliminando i doppioni,
tuttavia il conteggio delle utenze viene riattivato se viene cancellata la cache e/o viene effettuata una navigazione anonima

5. ISTAT
OECD
SIS-CC
EUROSTAT
Shared Tools
Expert Group
Sviluppo software collaborativo ed implementazione di
standard internazionali
Sistema Statistico
Europeo

6. Statistical Data and Metadata eXchange (SDMX)
 Sviluppato e manutenuto da 7 Organizzazioni
Internazionali (EUROSTAT, ECB, WB, UNSD, OECD,
IMF, BIS)
 Utilizzato per l’invio di dati e metadati ad Eurostat
 Riconosciuto da UNSD come “the preferred standard for
exchange and sharing of data and metadata in the global
statistical community”
 ISO standard: 17369
 Indicato come uno degli standard di riferimento nelle
“Linee guida nazionali per la valorizzazione del
patrimonio informative pubblico” rilasciato da AGID

7. Come SDMX viene utilizzato
 Reporting verso le Organizzazioni Internazionali
 Alla base dei sistemi di gestione dei metadati (Registry)
 Nel data warehousing (metadata-driven)
 Nei sistemi di diffusione
 Attraverso GUI, per guidare la ricerca e la
visualizzazione di tabelle statistiche
multidimensionali, grafici e mappe
 Come API per l’accesso machine-to-machine (SDMX-
ML, CSV, JSON, RDF)
 Per la validazione dei dati attraverso l’implementazione
del “Validation and Transformation Language”

8. Alcuni esempi di progetti di diffusione basati su SDMX
European Census Hub
IMF SDDS Plus
Sustainable Development Goals

9.  Migliorare la qualità dell’informazione diffusa all’interno del SISTAN
 Dati disponibili appena prodotti (Timeliness, Puntuality)
 Armonizzare i dati e metadati (Coherence, Comparability)
 Unico punto di accesso a dati prodotti da Enti diversi (Accessibility,
Clarity)
 Favorire la standardizzazione dei processi di diffusione nell’ambito
del Sistema Statistico Nazionale agevolando l’accesso ai relativi
dati e metadati
 Introduzione di standard internazionali (SDMX)
 Processi metadata-driven
 Data warehousing
 Contribuire sostanzialmente alle iniziative legate agli Open
(statistical)Data e all’interoperabilità semantica così come dettato
nell’Agenda Digitale italiana ed europea
Il progetto Hub della Statistica Pubblica

10. Come partecipare al progetto

11. Hub della statistica pubblica – Opzioni
SDMX
WS
I.STAT
Legacy
DDB
Meta & Data
Manager
Engineering or
Re-engineering
SDMX
DDB
SDMX
WS
Wrapping
CSV or
SDMX
files
Cloud (*)
SDMX
WS
Meta & Data
Manager
SDMX
DDB SDMX
WS
ISTAT
Enti Sistan
(*) Server Istat
Hub

12. SDMX Istat Toolkit
Database
Data exchange
SDMX

13. Una nuova architettura di diffusione
DMR
DDB
SUM
Sistemi di
produzione
SDMX
CSV
o
SDMX-ML
SDMX
API
CKAN
API
Official
website
Data
Explorer
Apps
LOD
SEP (M2M)
Others
Cataloghi digitali