M. Scanu - Sistema unitario di metadati. Componente relativa ai metadati strutturali – Uso di SDMX
Upcoming SlideShare
Loading in...5
×
 

Like this? Share it with your network

Share

M. Scanu - Sistema unitario di metadati. Componente relativa ai metadati strutturali – Uso di SDMX

on

  • 35,472 views

L’iniziativa SDMX in Istat: dai progetti pilota a Stat2015

L’iniziativa SDMX in Istat: dai progetti pilota a Stat2015

Statistics

Views

Total Views
35,472
Views on SlideShare
35,472
Embed Views
0

Actions

Likes
0
Downloads
10
Comments
0

0 Embeds 0

No embeds

Accessibility

Categories

Upload Details

Uploaded via as Microsoft PowerPoint

Usage Rights

CC Attribution-NonCommercial-ShareAlike LicenseCC Attribution-NonCommercial-ShareAlike LicenseCC Attribution-NonCommercial-ShareAlike License

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Processing…
Post Comment
Edit your comment

M. Scanu - Sistema unitario di metadati. Componente relativa ai metadati strutturali – Uso di SDMX Presentation Transcript

  • 1. Sistema unitario di metadati Componente relativa ai metadati strutturali – Uso di SDMX Mauro Scanu Responsabile UO “Sistema integrato di metadati” Servizio: Sviluppo sistema di metadati, Qualità Statistica e Coordinamento progetti europei di R&S ” Direzione: DCIQ1
  • 2. Sistema Unitario di Metadati Sommario Perché il SUM Relazione con GSBPM e i sistemi in uso in Istituto Uso di SDMX nel SUM Alcune possibili estensioni di SDMX2
  • 3. Perché il SUM Linee ispiratrici progettazione SUM Dotarsi di uno strumento di integrazione/armonizzazione e documentazione a supporto dei processi di raccolta, elaborazione e diffusione dei dati Tendere all’armonizzazione con gli standard internazionali e, in particolare, europei Pertanto, il SUM si dovrà integrare con i sistemi sviluppati o in corso di realizzazione all’Istituto3
  • 4. Sistema Unitario di Metadati - schema Corporate metadata warehouse Metadati Valutazione complessivaPianificazione strategica gestionali Metadati Metadati strutturali referenziali Specifica Diffusione e Disegno Preparazione Raccolta Trattamento Analisi Archiviazione Valutazione requisiti comunicazione Documentazione Dati Dati grezzi (inclusi Dati Dati di Report di (PAA, PST, aggregati Pubblicazioni i dati amministrativi) validati diffusione qualità piani metodologici/IT, intermedi architettura d’indagine, piano di campionamento,…) Corporate data warehouse 4
  • 5. Sistema Unitario di Metadati Confronto con altre esperienze Maggio 2012 – brainstorming DCIQ (in corso collaborazione con gruppo I.Stat) Giugno 2012 – presentazione DIQR Febbraio-Luglio 2012 – confronto con Banca d’Italia Settembre 2012 – incontro con gdl acquisizione dati Dicembre 2012 – incontro gdl sist. int. stime risultati econ. imprese dati indag. e ammin. Altri confronti: ABS, SFSO, StatCanada, Eurostat, OCSE. Inserito nell’EA, confronto con sistema di5 BA, compatibilità con GSIM
  • 6. Sistema Unitario di Metadati Obiettivi Tracciabilità dei processi: Tracciabilità delle informazioni prodotte nel ciclo di vita del dato per diversi scopi interni ed esterni e automatizzazione delle procedure Supporto alla produzione: Facilità nel recupero dei metadati e possibilità di poterli riusare nelle diverse fasi del processo produttivo Supporto alla ricerca e al corretto uso dei dati: Assegnazione del corretto significato dei dati, delle definizioni e delle condizioni di utilizzo, importante soprattutto ora che si6 parla di open data
  • 7. SUM metadati strutturali - Logica incrementale Metadati per macrodati (inclusa mappatura per SEP) Metadati per microdati Relazioni di trasformazione dei metadati Macrodati: 1. (entro il 2012) prima modellazione dei metadati strutturali per i dati già presenti in I.Stat (SDMX 2.0) e individuazione dello standard per la descrizione dei metadati strutturali per la versione a regime, in collaborazione con gruppo I.Stat 2. (entro il 2013/2014) costruzione/adeguamento software a supporto della nuova modellazione proposta e adeguamento dei metadati alla nuova modellazione7
  • 8. SUM metadati strutturali - Logica incrementale Metadati per macrodati (inclusa mappatura per SEP) Metadati per microdati Relazioni di trasformazione dei metadati Microdati 1. (entro il 2013) individuazione di uno standard per la descrizione dei metadati strutturali per i microdati (DDI, SDMX,…) 2. (entro il 2014) costruzione/adeguamento software 3. (entro il 2015) modellazione dei metadati strutturali per i microdati8
  • 9. SUM metadati strutturali – schema di relazioneEsempio di relazione fra SUM e una fase del processoproduttivo dei dati (raccolta dati) SUM Per consultazione e acquisizione Metadati per macrodatiAcquisizione metadati Metadata (inclusa mappatura per SEP) GUI presenti in SUM Per modifica Metadati per microdati Gestione e caricamento Relazioni di trasformazione dei metadati Consultazione Modifica metadati Caricamento metadati Web Service (I/O) – incluso SEP metadati SDMX + SDMX Esteso presenti in SUM non presenti in SUM in SUM Acquisizione metadati Meta presenti in SUM Portali, Sistemi, software generalizzati per l’acquisizione9 dati
  • 10. SUM: Uso di SDMX per la modellazione Prima modellazione concettuale dei metadati di diffusione seguendo la logica SDMX 2.0: CONCETTI DSD -unità statistica -concetti temporali(frequenza, periodo temporale) -variabile statistica categoriale/qualitativa -variabili numeriche/quantitative -operatore statistico -unità di misura -operatore di visualizzazione strutture di -informazione di supporto alla diffusione dei dati metadati relative agli ipercubi di dati LISTE -elenchi di unità statistiche -elenchi di conc. temporali (es: freq. Annuale, mensile,…) -classificazioni, -elenchi di misure -elenchi di operatori statistici, -elenchi di operatori di visualizzazione (num. decimali, fatt. di scala,…) -elenchi di informazioni di supporto alla diffusione dei dati (riservatezza, dati prov.,..)10
  • 11. Raffinamento rispetto a logica SDMX 2.0 concetti Metadati strutturali liste Lista piatta Livelli di Operazioni possibili: Concetti Raggruppamenti -Sinonimie nei codici classificazione (di output o per questionari) statistici -Operazioni fra codelist (fusione) (variabili) - Gestione del “totale” Classificazioni Evoluzione gerarchiche temporale concetti geografici Lista piatta concetti operativi (indicatori, misure, Rapporti raggruppamenti Unit multiplier,..) Funzionali fra gli Operazioni possibili: item di una -Operazioni fra codelist (fusione) Code list tempo (es: esp-imp=saldo) Unità / popolazione frequenza Time format Lista di unità “standard” (individui, famiglie, imprese,…)11
  • 12. SUM metadati strutturali: attività in corso 1 concept scheme cross domain (48 concetti) 18 liste di concetti relativi a variabili statistiche sui 19 temi di I.Stat Le code list usate in 18 temi (272 code list diverse, al netto delle versioni) Le DSD relative a 18 temi di I.Stat (209 DSD) Struttura e competitività del sistema delle imprese (8/5) Partecipazione sociale Ambiente ed energia (9/13) Conti nazionali (23/20) Popolazione e famiglie Agricoltura Condizioni economiche delle famiglie e disuguaglianze (35/29) Industria e Costruzioni (5/6) Salute e sanità (24/12) Servizi (18/12) Pubbliche amministrazioni e Assistenza e previdenza (13/7) istituzioni private (12/7) Commercio con lestero e Istruzione e formazione internazionalizzazione (3/2) Cultura, comunicazione, tempo libero Prezzi (6/7) Giustizia e sicurezza Lavoro (22/32) Opinioni dei cittadini e soddisfazione per12
  • 13. SUM metadati strutturali: cosa è disponibile Il sistema di metadati disponibile interagisce già con i sistemi: 1. SEP 2. I.Stat Nei prossimi mesi il legame fra il sistema di metadati e questi sistemi verrà esteso, oltre a iniziare la fase di confronto con gli altri sistemi che usano metadati Metadati per macrodati (inclusa mappatura per SEP) Metadati per microdati Relazioni di trasformazione dei metadati Sistema di interscambio Meta I.Stat SEP13
  • 14. SUM metadati strutturali: regole E’ necessario definire delle regole di interscambio per gestire il rapporto fra i metadati nel SUM e quelli necessari nelle diverse fasi del processo produttivo dei dati.14
  • 15. SUM metadati strutturali: regole Primo esempio: relazione con I.Stat (in collaborazione con PSS/C) Per il SUM è necessario organizzare i metadati secondo il loro significato statistico. Questo richiede che i metadati siano dettagliati in un modo da poter essere riusati nelle diverse fasi del processo di produzione del dato. Al contrario, per la diffusione del dato un eccessivo spacchettamento ed indicazione degli stessi in “campi diversi” renderebbe la lettura di difficile consultazione. Si sta quindi lavorando con il PSS/C per definire le regole di interconnessione tra I.Stat ed il SUM. La problematica principale riguarda il modo in cui si rappresenta e descrive il “tipo dato”. Gli elementi statistici che caratterizzano il tipo dato sono molteplici: unità statistica, operatore statistico, alcuni tipi di variabile, informazione di supporto,…15
  • 16. Esempio 1 Modellazione I.Stat: omogeneità nella distribuzione del reddito netto familiare Modellazione SUM Popolazione: famiglie Variabile di analisi: reddito netto familiare Operatore statistico: Indice di omogeneità – Indice di Gini16
  • 17. Esempio 2 Modellazione I.Stat: produzione lorda di energia elettrica da fonte rinnovabile - milioni di KWh Modellazione SUM Popolazione: operatori del settore elettrico DA SIDI /SIQual Variabile di analisi: produzione lorda di energia elettrica da fonte rinnovabile Operatore statistico: valore totale (totale di variabile) Unità di misura: KWh Fattore di scala: in milioni17
  • 18. SUM metadati strutturali: SDMX esteso Le regole di relazione fra i metadati gestiti in SUM e i metadati usati nelle diverse fasi del processo produttivo rendono SDMX 2.0 insufficiente, e richiedono uno standard aggiornato Esempio: relazione SUM con I.Stat (in collaborazione con PSS/C) 1. Necessità di documentare il legame fra i metadati del SUM e quelli di I.Stat (ad esempio per il “tipo dato”) 2. Possibilità di assegnare a una classificazione più codifiche (ad esempio codifiche OCSE, Eurostat, etc) 3. Estensione alla modellazione dei metadati relativi ai microdati (se necessario) 4. Documentazione sulla storicità delle modalità Necessità di miglioramenti nei software 1. Necessità di gestire l’ordine di visualizzazione delle modalità delle code list 2. Necessità di gestire relazioni complesse (es: più di un padre18 per una modalità di classificazione)
  • 19. GRAZIE PER L’ATTENZIONE19
  • 20. 4.COLLECT 5. PROCESS 7. DISSEMINATION Meta Micro Meta Macro data data data data 6 ANALYSE Operator (balance, index Elementary Validated Preaggregated data Statistical output Check, edit, codying disclosure controls number, ratio,..) Frame data data microdata or output data obtained from two preaggreatedData structure Questionnaire Data structure Data structure Statistical operator (from micro to macro data) data (ratio, balance,…) or Sample selection marginalization Frame Survey Analysis Analysis Data structurepopulation unit unit population Num. var. categorical/qualitative variable for prop. Numerical Numerical Numerical design question variable variable Marginalization of a Unit of Unit of Unit of Unit of measure measure measure measure Design Coded Qualitative Qualitative Qualitative variable question variable variable variableClassification Classification Classification Classification Classification 20