Aspetti territoriali dell'uso di dati informativi
nelle PA: esperienze e opportunità
CSI-Piemonte
Fossano, 11 Dicembre 2014
Agenda
G. Bonello
1. La strada dai Dati Pubblici ai
Big Data
2. Lo storytelling: un modo per
valorizzare i Dati e le
Conoscenze Pubbliche
3. Piemonte Visual Contest
M. Cavagnoli
4. Conoscere per decidere,
conoscere per partecipare, a
che punto siamo?
La strada
dai Dati Pubblici ai Big Data
Parte 1 - G. Bonello
L’evoluzione della generazione di informazioni
basi dati
basi dati storiche
dati dai cittadini
dati dagli
oggetti
dati dalla rete
archivi cartacei
Un patrimonio in continua crescita
Volumi
La crescita del Digital Universe
Le 4 dimensioni dei dati condivisi
(Gartner – EIM nel 21° secolo)
Big
data
More
data
Linked
data
More
Context
Social
data
More
relationshiips
Open
data
More
sources
Shared data
More stakeholders
La sfida più generale è la consumabilità di dati condivisi (shared data), articolata su 4 dimensioni:
Più dati: in quantità elevatissime
Più fonti: crescente varietà di fonti che richiede trasparenza
Più contesto: in relazione al quale solo i dati non strutturati sono interpretabili
Più relazioni: ad esempio le affinità colte attraverso i social data
Dalle Basi Dati Pubbliche ai Big Data
Quali tipi di dati?
Varietà
Tante, diverse, nuove fonti informative
Evoluzione nel tempo delle tipologie di dati
I dati pubblici: una risorsa importante
Obblighi
Opportunità
Dati Pubblici: due forze opposte
Riferimenti legislativi per i dati pubblici
Obblighi
Leggi sui Dati Pubblici
http://www.slideshare.net/ernestobelisario/open-data-i-nuovi-obblighi-normativi
Leggi sui Dati Pubblici
Trasparenza
http://www.magellanopa.it/bussola/
VALORIZZARE I DATI PUBBLICI
Opportunità
Intorno ad ogni azienda converge un immenso volume di dati
provenienti da:
CANALI INTERNI attraverso l’insieme dei processi operazionali
digitalizzati
CANALI ESTERNI attraverso l’interazione dell’azienda con il mondo
esterno
L’evoluzione tecnologica ci permette, attraverso adeguate
infrastrutture (hardware e software), di disporre di volumi enormi
di dati rispetto al passato, siano essi memorizzati all’interno dei
sistemi aziendali, siano essi accedibili all’esterno nel mondo web.
E’ pertanto importante definire un processo metodologico ed
operativo di estrazione di informazione e conoscenza dall’insieme
dei dati raccolti che rappresentano il PATRIMONIO INFORMATIVO
STRATEGICO dell’azienda.
Una società «data – driven»
PA e Sanità ai primi posti
Quanti dati si possono stivare nel Data Center del CSI?
Data Storage di informazioni “tradizionali”
Dati tradizionali
Dati
Transazionali e
testuali
Metadati e
Dati decisionali
Dati GIS
vettoriali
Dati GIS
raster
Dati
infrastrutturali
(log, mail,..)
Storage attuale 50Tb
Velocità media
Storage attuale 100Tb
Velocità medio-bassa
Storage attuale 0,1Tb
Velocità bassa
Storage attuale 4-5Tb
Velocità medio alta
Nuovi segmenti
Di dati
Storage complessivo in CSI
850 Tb
Storage attuale 300Tb
Velocità alta
Alcuni esempi di
Nuovi segmenti
Di dati
BDP: Biblioteca
Digitale
Piemontese
IMR:
Immagini in rete
Piattaforma
di streaming
Reti di sensori
Storage attuale 20Tb
Crescita annuale 20Tb
Velocità: media
Storage attuale 100Tb
Crescita annuale 25Tb
Velocità: bassa
Storage attuale 1Tb
Crescita annuale 0,2Tb
Velocità: media
Storage attuale 0,3Tb
Crescita annuale0,2Tb
Velocità: alta
Un esempio: piattaforma di streaming
0,00
50,00
100,00
150,00
200,00
250,00
2001 2002 2003 2004 2005 2006 2007 2008 2009 2010 2011
Gbyte
Anno
Contributodi ogni Punto di Pubblicazioneper anno
streamto2006
streamresidenzereali
streamregpie
streamprovto
streamgiuntareg
streameventi
streamcsi
streamconsreg
streamcomuneto
Velocità
Tipo dati vs velocità di aggiornamento
Biblioteca Digitale (Immagini, ecc.)
Leggi e atti amministrativi
Dati dai social network
Streaming sedute consiglio
Sensori
Dati geografici vettoriali
Dati geografici raster (da satellite,
radar, ecc.)
Telecamere strade
Basi dati alfanumeriche della PA
Ma crescono di più i dati della capacità
di usarli in modo intelligente…..
Tante “miniere”, pochi “minatori”
Da Data Governance ad Big Data Data Governance
GOVERNO CONTENUTI
DIGITALI
Basi Dati
Decisionali
Condivisione Dati PA
Basi Dati Operazionali
Riuso Dati
Pubblici
Interscambio
Metadati
Possibilità di usare in
modo “intelligente” il
bacino informativo
Incrocio di
informazioni
primarie per ottenere
informazioni a valore
aggiunto
Condivisione delle
informazioni tra le
pubbliche
amministrazioni e
verso i privati
Informazioni primarie
(numeri, testi, immagini, video, carte geografiche,…)
Semantica di descrizione delle informazioni
Social
Data
Linked Open
Data
IoT
Data
Con l’avvento di nuove fonti informative esterne alla pubblica
amministrazione, lo schema di riferimento (framework) per la Data
Governance è stato modificato
Lo schema deve ora tenere conto di diverse fonti dati oltre a quelle
interne alla PA: Social data, Open data, Linked Open Data, Big
Data.
Diventa quindi un «SOLB» framework finalizzato alla Big data
governance
Il framework evidenzia:
Lo strato di acquisizione dalle fonti dati molteplici
Lo strato di trattamento (raccolta ed bonifica dei dati) ed elaborazione (motori
semantici, strumenti di location intelligence, analisi visuale, strumenti
statistici previsionali)
Lo strato di accesso ai dati, che prevede sia formati «machine readable» (a
servizi, RDF ecc.) , sia in modalità più «human readable» (visualizzazione
dei dati)
Dalla Data Governance
alla Big data Governance
Access and sharing
SOLB Framework
Data sources Integration and
elaboration
Patrimonio
informativo
strutturato
(operazionali e
geografici)
Dati social
Sensori,
Internet of
things
Patrimonio
informativo
digitale non
strutturato
Data collection layer
Data quality layer
Visual analytics
& Forecasting
Location
intelligence
Motori
semantici
Dataintegrationlayer
Frontofficeeportali
Knowledge
sharing
Open Data
Trasparenza
Access and sharing
SOLB Framework: piattaforme
Data sources Integration and
elaboration
Patrimonio
informativo
strutturato
(operazionali e
geografici)
Dati social
Sensori,
Internet of
things
Patrimonio
informativo
digitale non
strutturato
Data collection layer
Data quality layer
Visual analytics
& Forecasting
Location
intelligence
Motori
semantici
Dataintegrationlayer
Frontofficeeportali
Knowledge
sharing
Open Data
Trasparenza
Nuove fonti dati, nuovi beneficiari
Data Science: studio EMC (2011)
Tratto da “Career of the Future: Data Scientist INFOGRAPHIC]”
Roadmapcompetenze
Analisi dei dati e intuizione….
Big Data and the Role of Intuition
(by Tom Davenport | 8:00 AM December 24, 2013)
“…..developing the right mix of intuition and data-driven analysis
is the ultimate key to success with this movement. Neither an
all-intuition nor an all-analytics approach will get you to the
promised land.”
http://blogs.hbr.org/2013/12/big-data-and-the-role-of-intuition/
Presentazione CSI Piemonte - Fossano 11 dicembre 2014 - parte 1

Presentazione CSI Piemonte - Fossano 11 dicembre 2014 - parte 1

  • 1.
    Aspetti territoriali dell'usodi dati informativi nelle PA: esperienze e opportunità CSI-Piemonte Fossano, 11 Dicembre 2014
  • 2.
    Agenda G. Bonello 1. Lastrada dai Dati Pubblici ai Big Data 2. Lo storytelling: un modo per valorizzare i Dati e le Conoscenze Pubbliche 3. Piemonte Visual Contest M. Cavagnoli 4. Conoscere per decidere, conoscere per partecipare, a che punto siamo?
  • 3.
    La strada dai DatiPubblici ai Big Data Parte 1 - G. Bonello
  • 4.
    L’evoluzione della generazionedi informazioni basi dati basi dati storiche dati dai cittadini dati dagli oggetti dati dalla rete archivi cartacei
  • 5.
    Un patrimonio incontinua crescita Volumi
  • 6.
    La crescita delDigital Universe
  • 7.
    Le 4 dimensionidei dati condivisi (Gartner – EIM nel 21° secolo) Big data More data Linked data More Context Social data More relationshiips Open data More sources Shared data More stakeholders La sfida più generale è la consumabilità di dati condivisi (shared data), articolata su 4 dimensioni: Più dati: in quantità elevatissime Più fonti: crescente varietà di fonti che richiede trasparenza Più contesto: in relazione al quale solo i dati non strutturati sono interpretabili Più relazioni: ad esempio le affinità colte attraverso i social data
  • 8.
    Dalle Basi DatiPubbliche ai Big Data
  • 9.
    Quali tipi didati? Varietà
  • 10.
    Tante, diverse, nuovefonti informative
  • 11.
    Evoluzione nel tempodelle tipologie di dati
  • 12.
    I dati pubblici:una risorsa importante
  • 13.
  • 14.
    Riferimenti legislativi peri dati pubblici Obblighi
  • 15.
    Leggi sui DatiPubblici http://www.slideshare.net/ernestobelisario/open-data-i-nuovi-obblighi-normativi
  • 16.
  • 17.
  • 18.
    VALORIZZARE I DATIPUBBLICI Opportunità
  • 19.
    Intorno ad ogniazienda converge un immenso volume di dati provenienti da: CANALI INTERNI attraverso l’insieme dei processi operazionali digitalizzati CANALI ESTERNI attraverso l’interazione dell’azienda con il mondo esterno L’evoluzione tecnologica ci permette, attraverso adeguate infrastrutture (hardware e software), di disporre di volumi enormi di dati rispetto al passato, siano essi memorizzati all’interno dei sistemi aziendali, siano essi accedibili all’esterno nel mondo web. E’ pertanto importante definire un processo metodologico ed operativo di estrazione di informazione e conoscenza dall’insieme dei dati raccolti che rappresentano il PATRIMONIO INFORMATIVO STRATEGICO dell’azienda. Una società «data – driven»
  • 20.
    PA e Sanitàai primi posti
  • 21.
    Quanti dati sipossono stivare nel Data Center del CSI?
  • 23.
    Data Storage diinformazioni “tradizionali” Dati tradizionali Dati Transazionali e testuali Metadati e Dati decisionali Dati GIS vettoriali Dati GIS raster Dati infrastrutturali (log, mail,..) Storage attuale 50Tb Velocità media Storage attuale 100Tb Velocità medio-bassa Storage attuale 0,1Tb Velocità bassa Storage attuale 4-5Tb Velocità medio alta Nuovi segmenti Di dati Storage complessivo in CSI 850 Tb Storage attuale 300Tb Velocità alta
  • 24.
    Alcuni esempi di Nuovisegmenti Di dati BDP: Biblioteca Digitale Piemontese IMR: Immagini in rete Piattaforma di streaming Reti di sensori Storage attuale 20Tb Crescita annuale 20Tb Velocità: media Storage attuale 100Tb Crescita annuale 25Tb Velocità: bassa Storage attuale 1Tb Crescita annuale 0,2Tb Velocità: media Storage attuale 0,3Tb Crescita annuale0,2Tb Velocità: alta
  • 25.
    Un esempio: piattaformadi streaming 0,00 50,00 100,00 150,00 200,00 250,00 2001 2002 2003 2004 2005 2006 2007 2008 2009 2010 2011 Gbyte Anno Contributodi ogni Punto di Pubblicazioneper anno streamto2006 streamresidenzereali streamregpie streamprovto streamgiuntareg streameventi streamcsi streamconsreg streamcomuneto
  • 26.
    Velocità Tipo dati vsvelocità di aggiornamento Biblioteca Digitale (Immagini, ecc.) Leggi e atti amministrativi Dati dai social network Streaming sedute consiglio Sensori Dati geografici vettoriali Dati geografici raster (da satellite, radar, ecc.) Telecamere strade Basi dati alfanumeriche della PA
  • 27.
    Ma crescono dipiù i dati della capacità di usarli in modo intelligente…..
  • 28.
  • 29.
    Da Data Governancead Big Data Data Governance GOVERNO CONTENUTI DIGITALI Basi Dati Decisionali Condivisione Dati PA Basi Dati Operazionali Riuso Dati Pubblici Interscambio Metadati Possibilità di usare in modo “intelligente” il bacino informativo Incrocio di informazioni primarie per ottenere informazioni a valore aggiunto Condivisione delle informazioni tra le pubbliche amministrazioni e verso i privati Informazioni primarie (numeri, testi, immagini, video, carte geografiche,…) Semantica di descrizione delle informazioni Social Data Linked Open Data IoT Data
  • 30.
    Con l’avvento dinuove fonti informative esterne alla pubblica amministrazione, lo schema di riferimento (framework) per la Data Governance è stato modificato Lo schema deve ora tenere conto di diverse fonti dati oltre a quelle interne alla PA: Social data, Open data, Linked Open Data, Big Data. Diventa quindi un «SOLB» framework finalizzato alla Big data governance Il framework evidenzia: Lo strato di acquisizione dalle fonti dati molteplici Lo strato di trattamento (raccolta ed bonifica dei dati) ed elaborazione (motori semantici, strumenti di location intelligence, analisi visuale, strumenti statistici previsionali) Lo strato di accesso ai dati, che prevede sia formati «machine readable» (a servizi, RDF ecc.) , sia in modalità più «human readable» (visualizzazione dei dati) Dalla Data Governance alla Big data Governance
  • 31.
    Access and sharing SOLBFramework Data sources Integration and elaboration Patrimonio informativo strutturato (operazionali e geografici) Dati social Sensori, Internet of things Patrimonio informativo digitale non strutturato Data collection layer Data quality layer Visual analytics & Forecasting Location intelligence Motori semantici Dataintegrationlayer Frontofficeeportali Knowledge sharing Open Data Trasparenza
  • 32.
    Access and sharing SOLBFramework: piattaforme Data sources Integration and elaboration Patrimonio informativo strutturato (operazionali e geografici) Dati social Sensori, Internet of things Patrimonio informativo digitale non strutturato Data collection layer Data quality layer Visual analytics & Forecasting Location intelligence Motori semantici Dataintegrationlayer Frontofficeeportali Knowledge sharing Open Data Trasparenza
  • 33.
    Nuove fonti dati,nuovi beneficiari
  • 34.
    Data Science: studioEMC (2011) Tratto da “Career of the Future: Data Scientist INFOGRAPHIC]”
  • 35.
  • 36.
    Analisi dei datie intuizione…. Big Data and the Role of Intuition (by Tom Davenport | 8:00 AM December 24, 2013) “…..developing the right mix of intuition and data-driven analysis is the ultimate key to success with this movement. Neither an all-intuition nor an all-analytics approach will get you to the promised land.” http://blogs.hbr.org/2013/12/big-data-and-the-role-of-intuition/