2016 05 18 Synapta ANCI e RENA workshop su tecnologie civiche e open data
1. ContrattiPubblici.org
data curation e business intelligence per
rendere sostenibile il knowledge graph della
trasparenza sui contratti della PA
Laboratorio ANCI “Tecnologie civiche e dati aperti come
strumenti di governo della complessità”
Torino, 18 maggio 2016
Federico Morando CEO Synapta Srl
Fellow Centro Nexa su Internet & Società
Public Lead Creative Commons Italia
2. 18/05/2016 ContrattiPubblici.org 2
Normativa: i pilastri fondamentali
● Direttiva PSI (2003/98/CE) relativa al riutilizzo
dell'informazione del settore pubblico
● come aggiornata dalla Nuova Direttiva PSI (2013/37/UE)
– Decreto Legislativo 24 gennaio 2006, n. 36 (e s. m. i.)
● Codice Amministrazione Digitale (D.Lgs. 82/2005)
● Decreto Trasparenza (D.Lgs. 33/2013)
● in fase di profonda revisione
3. 18/05/2016 ContrattiPubblici.org 3
Decreto Legisl. 24 gennaio 2006, n. 36
● Art. 1. Oggetto ed ambito di applicazione
● 1. [...] riutilizzo dei documenti contenenti dati pubblici nella disponibilità delle
pubbliche amministrazioni e degli organismi di diritto pubblico
● 2. [che] provvedono affinché i documenti [...] siano riutilizzabili a fini
commerciali o non commerciali [...]
● Art. 5. Richiesta di riutilizzo di documenti
● 1. Il titolare del dato adotta prioritariamente licenze aperte standard [...]
● 3. [...] esamina le richieste e rende disponibili i documenti al richiedente, ove
possibile in forma elettronica, entro il termine di trenta giorni, prorogabile di
ulteriori trenta giorni nel caso in cui le richieste siano numerose o complesse. In
caso di decisione negativa, il titolare del dato comunica al richiedente i
motivi del rifiuto sulla base delle disposizioni del presente decreto
– Quando e' adottata una decisione negativa ai sensi dell'articolo 3, comma 1, lettera h),
per la parte relativa ai diritti di proprieta' intellettuale, il titolare del dato indica, inoltre,
la persona fisica o giuridica titolare del diritto, se e' nota, oppure il licenziante dal quale
il titolare del dato stesso ha ottenuto il materiale.
4. 18/05/2016 ContrattiPubblici.org 4
Licenze Aperte Standard
● “licenza standard per il riutilizzo: il contratto, o altro
strumento negoziale, redatto ove possibile in forma
elettronica, nel quale sono definite le modalita' di
riutilizzo dei documenti delle pubbliche
amministrazioni o degli organismi di diritto pubblico”
● quindi, non solo le licenze Creative Commons, che
tuttavia restano lo strumento più diffuso, sia in Italia che
nell'Unione
6. 18/05/2016 ContrattiPubblici.org 6
6 combinazioni possibili
Attribuzione - Non commerciale - Non opere derivate
Attribuzione - Non commerciale - Condividi allo stesso modo
Attribuzione - Non commerciale
Attribuzione - Non opere derivate
Attribuzione - Condividi allo stesso modo
Attribuzione
7. 18/05/2016 ContrattiPubblici.org 7
solo 2 veramente “aperte”
Attribuzione - Non commerciale - Non opere derivate
Attribuzione - Non commerciale - Condividi allo stesso modo
Attribuzione - Non commerciale
Attribuzione - Non opere derivate
Attribuzione - Condividi allo stesso modo
Attribuzione
8. 18/05/2016 ContrattiPubblici.org 8
Focus
● tra gli obblighi di pubblicazione richiamati nel Decreto
Trasparenza, ci sono quelli della Legge 190/2012 (anticorruzione)
● Art. 1, c. 32: “le stazioni appaltanti sono in ogni caso tenute a
pubblicare nei propri siti web istituzionali: la struttura proponente;
l'oggetto del bando; l'elenco degli operatori invitati a presentare
offerte; l'aggiudicatario; l'importo di aggiudicazione; i tempi di
completamento dell'opera, servizio o fornitura; l'importo delle
somme liquidate. Le stazioni appaltanti sono tenute altresi' a
trasmettere le predette informazioni ogni semestre alla [ANAC]”
● l'ANAC (già AVCP, già CiVIT) ha pubblicato linee guida
dettagliate
● “Specifiche tecniche per la pubblicazione dei dati ai sensi dell’art. 1
comma 32 Legge n. 190/2012”
– famosi XML della sezione trasparenza
10. 18/05/2016 ContrattiPubblici.org 10
idea
● problema // opportunità sprecata
● PA investono tempo e denaro per generare dati per
trasparenza amministrativa
– vissuto come un onere burocratico vessatorio
– (quasi) nessuno li utilizza (appieno)
● soluzione
● organizzare e dar senso a questi dati con
competenze multidisciplinari
– giuridiche ed economiche per decifrare il giuridichese e
capire il processo amministrativo che genera i dati
– tecnologie linked data per facilitare la gestione di basi di dati
provenienti da fonti eterogenee e l'incrocio con altri dati
● l'utilizzo dei dati relativi alla trasparenza per fare
business intelligence offre un canale di sostenibilità
12. 18/05/2016 ContrattiPubblici.org 12
linked data
● nascono per l'interoperabilità sul Web
● fonti dati eterogenee
● soggetti indipendenti, prospettive diverse
● incrociare informazioni senza vincolare a strutture
dati ridige e predefinite, ma tramite
● un formalismo concettualmente semplice {s p o}
● identificatori globali accessibili in modi standard (URI)
● riutilizzo di vocabolari e tassonomie esistenti
● standard e raccomandazione del W3C
13. 18/05/2016 ContrattiPubblici.org 13
linked data
● nati come linked open data accessibili sul Web
● miglior modo di aprire i dati delle PA
secondo le linee guida AgID
● ideali per fare interoperabilità dentro organizzazioni
pubbliche o private che gestiscono dati eterogenei
● combinazione di dati strutturati
e descrizioni in linguaggio naturale
● eventuali tassonomie e/o standard
● diverse anagrafiche da collegare
● reti complesse di attori
14. 18/05/2016 ContrattiPubblici.org 14
innovatività
● non c'era nessuno che lo faceva ;-)
● spesso quando si dice questo si sbaglia, ma...
– ...interessante che un infomediario leader li acquisti da noi
– e che alcuni provider privati di informazioni sui bandi pubblici,
così come enti centrali e regionali, stiano valutando di farlo
● la tecnologia linked data funziona in questo campo
● scenario da manuale:
– soggetti eterogenei
– possibilità di ricreare un grafo
● “riconciliazione” ex post
– collegamenti a fonti terze
17. 18/05/2016 ContrattiPubblici.org 17
dati principali
● Codice Identificativo Gara
● oggetto del lotto
● procedura di scelta del contraente
● struttura proponente
● codice fiscale della stazione appaltante
● denominazione stazione appaltante
● partecipanti, inclusi raggruppamenti
● codice fiscale o P. IVA
● ragione sociale
● eventuale ruolo nel raggruppamento
● aggiudicazione e svolgimento
● aggiudicatario
● importo di aggiudicazione
● data di effettivo inizio
● data di ultimazione lavori
● importo somme liquidate
18. 18/05/2016 ContrattiPubblici.org 18
gran mole di dati
● dati 2015: 17.534 URL indice → ~200K file XML
● dati 2014: 18.030 URL indice → ~200K file XML
● >5,4 milioni di CIG validi
● più di 5,7 milioni di contratti distinti
● >16,6 mila stazioni appaltanti
● in aumento (+25%) coi dati 2015
● >800 mila aziende partecipanti
● >518 mila P. IVA valide e >215 mila codici fiscali
19. 18/05/2016 ContrattiPubblici.org 19
data quality & cleaning
● molti dati, processi eterogenei, vari fornitori IT
➔ molti errori (quelli immaginabili & molti altri)
✔ implementazione di codice per correggere
sistematicamente i più comuni
● processo oggi completamente automatizzato
● possibili aggiornamenti periodici
– mensili: alcune PA aggiornano i dati sistematicamente
● beneficio da nuova pubblicazione semestrale
● interlinking
21. 18/05/2016 ContrattiPubblici.org 21
interlinking
● fatto, con fonti open
● Indice della PA (SPC Data)
● DBPedia (internazionale e Italia)
● fatto, ma con fonti proprietarie
● dati Infocamere (tramite Atoka.io)
● potenzialmente (open o “open by default”)
● ISTAT
● osservatori regionali/nazionali
33. 18/05/2016 ContrattiPubblici.org 33
impatto sociale
● ContrattiPubblici.org come progetto di
social innovation
● oggi: i cittadini possono
– fruire facilmente i dati sulla trasparenza
(che nel formato XML nativo sono criptici)
– visualizzare e confrontare dati aggregati
● domani:
– incroci con ulteriori fonti, confronti visuali tra PA
● in programma:
– cittadinanza attiva
● crowdsourcing del monitoraggio
● attivare e seguire una richiesta di Accesso Civico (es. dati mancanti)
● “FaciliTO Giovani e Innovazione Sociale” all'interno di
Torino Social Innovation