Download as PDF, PPTX
Opendata for Aquila
- 1. open data for Aquila l’economia della conoscenza datiaperti senza copyright e disponibili per il riuso i n s i d e o u t 1 0 lunedì 5 maggio 14
- 2. la presentazione èestratta dai contributi open pubblicati in internet e dalla partecipazione diretta all’opendataday e all’opengeodata, corso di formazione PA, in Roma. In particolare: . Formez, Gianfranco Andriola . Comune Firenze, Emanuele Geri . Open Knowledge Foundation, Maurizio Napolitano . Lombardia Informatica, Daniele Crespi supporto grafico: mary heilmann art - europaconcorsi (ponti, incroci, infrastruttura) lunedì 5 maggio 14
- 3. gli Open Datasono: dati leggibili dalle macchine Open Definition di Open Knowledge Foundation «un contenuto o un dato si definisce aperto se chiunque è in grado di utilizzarlo, ri-utilizzarlo e ridistribuirlo, soggetto, al massimo, alla richiesta di attribuzione e condivisione allo stesso modo» La Open Knowledge Foundation è ‘Fondazione per la conoscenza aperta’ è una Organizzazione non profit con lo scopo di promuovere l'apertura dei contenuti e i dati aperti. Fu fondata il 24 maggio 2004 a Cambridge (Regno Unito). La fondazione ha pubblicato la definizione di Conoscenza aperta e partecipa a diversi progetti come il: Comprehensive Knowledge Archive Network e supporta lo sviluppo della Open Database License http://opendatamanual.org/ - Documento redatto dall’Open Knowledge Foundation il responsabile per l’Italia della Knowledge foundation è Maurizio Napolitano - Fondazione Bruno Kessler filosofia e pratica open lunedì 5 maggio 14
- 4. "Un giorno lemacchine risolveranno tutti i problemi, ma mai nessuna di esse riuscirà a formularne uno" A. Einstein HREF: fondazione per la qualità dell’informazione es.. il Data journalism http://www.innovatoripa.it lunedì 5 maggio 14
- 5. open data: categorie dati cartografici scientifici,medici, bioscienze genetica, chimica ... dati anagrafici dati governativi dati territoriali attivazione, verificaimpatto e monitoraggio politiche sociali gestione del territorio i tag più diffusi portale dati.gov.it: popolazione territorio 20122013 ambiente cartografia statistica 20062011 turismo elezioni commercio La PA da sempre raccoglie e archivia informazioni sulle tematiche più disparate. Oggi la PA ha la possibilità di restituire il patrimonio informativo accumulato e aggiornato alla comunità e agli operatori economici di settore. FORMEZ Pa lunedì 5 maggio 14
- 6. L'open data sirichiama alla più ampia disciplina dell’open government:tutte le attività dei Governi e delle Amministrazioni dello Stato devono essere aperte e disponibili per favorire azioni efficaci e garantire un controllo diffuso sulla gestione della cosa pubblica. trasparenza partecipazione collaborazione open data: la legislazione italiana Codice dell'Amministrazione Digitale (D. Lgs. n. 82/2005) prevede il principio di “disponibilità dei dati pubblici” (enunciato all’art. 2, comma 1, e declinato dall’art. 50, comma1) consiste nella possibilità, per soggetti pubblici e privati, “di accedere ai dati senza restrizioni non riconducibili a esplicite norme di legge ”(art.1, lett. o) (art. 11, D. Lgs. n.150/2009) "accessibilità totale (...) delle informazioni concernenti ogni aspetto dell’organizzazione, degli indicatori relativi agli andamenti gestionali e all’utilizzo delle risorse per il perseguimento delle funzioni istituzionali, dei risultati dell’attività di misurazione e valutazione ” obiettivi di (art. 12, D. Lgs. n. 82/2005). efficienza, efficacia, economicità, imparzialità, trasparenza, semplificazione e partecipazione” lunedì 5 maggio 14
- 7. quando un datoè aperto? scegliere il proprio piano pensionistico in USA prospetto ad hoc dati da enti pubblici che rilasciano propri dati in formato open •Department of Labor •Securities and Exchange Commission •U.S. Census Bureau •Equal Employment Opportunity Commission •Bureau of Labor Statistic economia BrightScope 3 ml in 2012 previsti 10 nel 2013 Utenti: prospetto ad hoc a costo vantaggioso (da 700 a 80 dollari) lunedì 5 maggio 14
- 8. se uno Statorealizza un’infrastruttura siamo poi noi utenti e operatori a dare il valore a quel bene secondo domande e opportunità di mercato, o per erogare servizi di pubblica utilità. open data : economia della conoscenza infrastruttura stradale : economia tradizionale lunedì 5 maggio 14
- 9. rimane da risolveresocialmente la perdita e la riconversione dell’attuale struttura di erogazione di servizi lunedì 5 maggio 14
- 10. i dati comeil carburante nella II Rivoluzione Industriale La terza Rivoluzione Industriale I Carbone II Petrolio III Dati altre correnti, mondo dei makers, terza rivoluzione industriale riferendosi alla stampa 3D/4D «Mentre i "nativi digitali" erano concentrati su quello che potevano fare in modo nuovo con le tecnologie, i "nativi dei dati" sono soprattutto interessati a quello che le nuove tecnologie possono fare per loro» Monica Rogati nativi digitali nativi dei dati lunedì 5 maggio 14
- 11. essere guidati dalla domanda filenon strutturati in formati immagine come .gif, .jpg, .png, o in formati proprietari come Microsoft Word o Adobe Pdf inserire i dati nel contesto supportare conversazioni intorno ai dati creare capacità competenze e network collaborare sui dati come una risorsa comune dati strutturati ma codificati con un formato proprietario (es. in formato Microsoft Excel) dati strutturati e codificati in un formato non proprietario (es. in formato .csv) dati strutturati e codificati in un formato non proprietario e dotati di un URI che li rende indirizzabili sulla rete e quindi utilizzabili direttamente online Linked Open Data (LOD), ovvero dati aperti (classificati a quattro stelle) che hanno collegamenti mediante link ad altri dataset ascolto richieste e risposta con dati aggiornamento manuali - analisi struttura scelte supporto descrizione dati formato - qualità permessi commenti contatti per domande discussioni off line link per lavorare guida analisi interesse esterno alla comunità feedback per migliorare datasets API nuove risorse connessioni datasets riuso http://www.w3.org/2012/06/pmod/pmod2012_submission_5.pdf Tim DavisTim Berners Lee the five stars of Open Data engagement obiettivi creare comunità intorno ai dati e passare dagli ingredienti di una pietanza al momento in cui la si mangia 4 5 3 2 1 4 5 3 2 1 lunedì 5 maggio 14
- 12. Prodotto del piùampio progetto delle Linee guida per i siti web della PA, strutturato in due parti principali: • Parte I - PA e dati aperti, introduce il concetto di Open Government, la prassi dell'Open Data e presenta un approfondito quadro normativo sui due temi. Questa prima parte si articola nei seguenti quattro capitoli: 1. Open Government; 2.Open Data; 3.Quadro Normativo; 4.Come avviare il processo di apertura dei dati • Parte II – Come procedere per aprire i dati della PA, contiene la descrizione degli aspetti tecnici, organizzativi e giuridici da affrontare prima di rendere disponibili i dati dell’Amministrazione. La seconda parte si articola nei seguenti cinque capitoli: 5.Organizzarsi per l’apertura dei dati; 6.Identificazione dei dati; 7. Analisi dei dataset; 8.Pubblicazione del Dataset; 9.Diffusione del Dataset Vademecum su Open Data Licenza italiana per i dati aperti Progettata per permettere a tutte le pubbliche amministrazioni italiane di diffondere i propri dati, la licenza I è stata sviluppata da Formez PA e ha lo scopo di promuovere la “liberazione” e valorizzazione dei dati pubblici secondo la linea già tracciata dal Ministero per la pubblica amministrazione e l'innovazione con la pubblicazione del nuovo Codice dell’amministrazione digitale, che all’Articolo 52 pone in primo piano la responsabilità delle pubbliche amministrazioni nel rendere disponibili i propri dati in modalità digitale. italian Open Data License (IODL) www.formez.it/iodl Fonte portale dati.gov Discussione online Per alimentare la discussione online sul Portale Dati.gov.ti, sulla Licenza IODL e più in generale sul tema open data è stato creato un gruppo su Innovatori PA, community promossa da Formez PA e Forum PA che raccoglie più di 4000 operatori del settore pubblico. Su Innovatori PA vengono inoltre segnalate iniziative, convegni, seminari online dedicati ai temi dell’open data e dell’open government. http://www.innovatoripa.it/groups/open-government http://www.spaghettiopendata.org •Creative Commons by •internet CCO •autocertificazione Open Data Istitute https://certificates.theodi.org/ Altre Licenze lunedì 5 maggio 14
- 13. NAME identificativo univoco TITLEtitolo dataset (lo legge utente ) THEME area tematica associata (Eurovoc 1) DESCRIPTION descrizione estesa dataset CREATOR/name nome produttore dataset M BOX e-mail PUBLISHER nome di chi pubblica M BOX MANTEINER responsabile pubblicazione ISSUED/CREATED data di creazione e rilascio MODIFIED data di modifica LICENZA formato licenza LANDING PAGE URL dove è descritto (.. può scaricare) THEME (groups) insieme al quale è associato (Eurovoc 2) SPATIAL copertura spaziale DISTRIBUTION (resources) forme in cui il dataset è disp. (API ..) TITLE nome della risorsa FORMAT formato della risorsa (estensione) ACCES/DOWNLOAD link download o API o end point spqrl CREATED data creazione risorsa MODIFIED data modifica risorsa metadati per cataloghi open data - CKAN campi descrittivi definiti da Agenzia Italia Digitale lunedì 5 maggio 14
- 14.
- 15. 2 esempi inItalia di open-geo-data Firenze Lombardia http://www.opengeodata.it i dati • statici (biblioteche, musei ..) • variabili (semafori, rastrelliere bici ..) • dinamici (eventi nei luoghi) • in tempo reale (posti nei parcheggi, sensori ..) lunedì 5 maggio 14
- 16. Piattaforma Tecnologica -open data piattaforma di pubblicazione degli open data sviluppata e promossa dalla Open Knowledge Foundation utilizzata per il catalogo nazionale di molti paesi (USA, UK, Brasile, Parlamento Europeo…) CKAN è un software open source che permette di catalogare i dataset e descriverli traverso una serie di metadati che da un lato aiutano gli utenti a navigare tra le informazioni e dall’altro favoriscono l’indicizzazione degli stessi dataset sui motori di ricerca. CKAN è costruito con Python per il backend e Javascript per quello che riguarda il frontend. Il suo motore di database è PostgreSQL e la sua ricerca è alimentato da SOLR. CKAN ha una architettura modulare che permette estensioni da sviluppare per fornire funzionalità aggiuntive. Il sistema di catalogazione utilizza il proprio modello interno per archiviare i metadati sui diversi record, e li presenta in una interfaccia web che permette agli utenti di selezionare e cercare tra i metadati CKAN la peculiarità principale è Harvesting, cioè permette l’importazione automatica dei dataset pubblicati dagli altri data store tramite APICKAN lunedì 5 maggio 14
- 17. le interfacce diaccesso ai contenuti cataloghi dataset è un framework che può generare animazioni bidimensionali o tridimensionali d’altissimo livello su qualunque device o sistema operativo. famo.us d3js.org libreria javascript per la visualizzazione dati .. numerici lunedì 5 maggio 14
- 18. UN ESEMPIO di Programma/Progettoper la creazione di dataset open da un sistema di rilevamento effettuato tramite sensori disposti sul territorio esiste in Italia dal 2008 ISPRA: Istituto Superiore per la Protezione e Ricerca Ambientale dal quale dipende il Servizio Mareografico Nazionale. Il SMN fornisce dati, pareri e consulenze a chiunque ne faccia richiesta e supporta gli enti locali e gli altri enti pubblici e di diritto pubblico. lunedì 5 maggio 14
- 19. by sciamlab einsideout10 M A R E O G R A F I C O maresensoriventoidrometricamareografosondaacquaondeanomaleinformazionivelapescasolebarometroultrasuonispiaggiamaresensoriventoidrometricamareografosondaacquaondeanomaleinformazionivelapescasolebarometroultrasuonispiaggiamareog maresensoriventoidrometricamareografosondaacquaondeanomaleinformazionivelapescasolebarometroultrasuonispiaggiamareventopesceacquaqualitài for open data maresensoriventoidrometricamareografosondaacquaondeanomaleinformazionivelapescasolebarometroultrasuonispiaggiamareventopesceacquaqualitàpressionevlbrezzavelamaretrotaondepression lunedì 5 maggio 14
- 20. for open data mareografico dataopen data linked open data oggi data 6/12 mesi open data 6/18 mesi linked open data PROGRAMMA Step I° Step II° - portale open L(O)D by sciamlab e insideout10 lunedì 5 maggio 14
- 21. benefit open data= rendere leggibili i dati alle macchine by sciamlab e insideout10 for open data mareografico gli Open Data aiutano a prendere decisioni migliori nella nostra vita, e consentono di essere più attivi nella società. rendere open data strutturale distinguere in categorie i dataset 1. STATICI - es. ubicazione 2. VARIABILI - sensori 3. DINAMICI - eventi 4. IN TEMPO REALE API di publisching per dataset variabili perchè •Trasparenza e controllo democratico •partecipazione •Aumento possibilità di scelta •Prodotti e servizi privati, nuovi o migliorati •Innovazione •Miglioramento e maggiore efficienza dei servizi pubblici •Misurazione dell'impatto delle politiche •Nuove conoscenze da fonti di dati combinati e modelli di grandi volumi di dati Open data ha una grande valenza economica. Diversi studi hanno stimato il valore economico dei dati aperti a diverse decine di miliardi di euro ogni anno nella sola Unione europea . Nuove combinazioni di dati possono creare nuove conoscenze e intuizioni, e nuovi campi di applicazione .Abbiamo visto come nella Londra del 19 ° secolo, il dottor Snow scoprì la relazione tra l’inquinamento dell'acqua potabile e il colera, combinando i dati su morti di colera con la posizione dei pozzi d'acqua . BIG DATA OPEN DATA LINKED OPEN DATA smart cities sensori business intelligence open gov community corporate data lunedì 5 maggio 14
- 22. by sciamlab einsideout10 for open data mareografico dati grezzi grezzi e subito perché i dati scadono, e perché sappiamo gestirli anche se non rifiniti e certificati Gratis perché gli introiti che una PA ottiene dalla vendita di tali dati è minima rispetto agli introiti di fiscalità generale dati grezzi L(O)D i dati isolati hanno poco valore nella cloud L(O)D possono essere incrociati nuovi servizi Riuso: creazione valore aggiunto parteciapazione attiva linked open data open data benefit interoperabilità • per i Cittadini e Imprese opportunità - conoscenza - business • per le Organizzazioni pubbliche distribuire il proprio valore e conoscenze open data reti di misura • mareografico • qualità acqua • onde anomale • altre reti di misura lunedì 5 maggio 14
- 23. by sciamlab einsideout10for open data mareografico Tutte le stazioni sono dotate di un sistema locale di gestione e memorizzazione dei dati e di un apparato di trasmissione (UMTS) in tempo reale alla sede centrale del SMN a Roma. Inoltre in 9 stazioni strategiche per la misura di fenomeni particolari (onde anomale) è presente un secondo sistema di trasmissione dati via satellite con tecnologia IRIDIUM che garantisce il collegamento anche in presenza di situazioni di black- out del sistema UMTS. Da quando la nuova Rete Mareografica Nazionale è pienamente operativa, il SMN mette a disposizione degli utenti informazioni aggiornate relative a serie storiche, osservazioni in tempo reale, previsione dei dati di marea astronomica, analisi dei dati a fini progettuali e scientifici. I dati mareografici e le costanti di marea locali aggiornate sono disponibili, il SMN ha inoltre provveduto ad effettuare un’operazione di recupero e riorganizzazione dei dati storici della rete preesistente, in forma digitale, in modo da poter affiancare alle osservazioni storiche quelle rilevate dalla nuova rete nazionale. La Rete Mareografica Nazionale utilizza esclusivamente stazioni di monitoraggio alimentate da energia prodotta con pannelli fotovoltaici. sir SMN Compito del SMN è quello di provvedere al r i l i e v o e d a l l a elaborazione delle grandezze relative al clima marittimo, allo stato dei litorali ed ai livelli marini, pubblicare gli elementi osservati ed elaborati, predisporre criteri, metodi e standard di raccolta, analisi e consultazione dei dati raccolti gestire la rete ondametrica nazionale Il SMN fornisce dati, pareri e consulenze a chiunque ne faccia richiesta e supporta gli enti locali e gli altri enti pubblici e di diritto pubblico •CONFRONTO TRA STAZIONI •PREVISIONI MAREA •ARCHIVIO DATI RETI DI MISURA STAZIONI SENSORI MAREOGRAFICO QUALITA’ ACQUA ONDE ANOMALE 36 ASTA IDROMETRICA IDROMETRO A GALLEGGIANTE MAREOGRAFO A ULTRASUONI SCENARIO SENSORE BAROMETRICO SONDA MULTIPARAMETRICA DIREZIONE VENTO LIVELLO PIEZOMETRICO LIVELLO RADAR TEMPERATURA ACQUA TEMPERATURA ARIA E RH % VELOCITA’ VENTO lunedì 5 maggio 14
- 24. by sciamlab einsideout10 for open data mareografico • piattafforma informatica in uso • sistemi di acquisizione e trasmissione dati dai sensori • sistemi di parametrizzazione e salvataggio dati • qualità dataset esistenti e definizione attività e tecnologie per la trasformazione in open data 3 stelle e successivamente in LOD • quantità dataset e loro relazioni • thesauri e ontologie base di settore (ambiente) e della organizzazione pubblica (Eurovoc) • possibili relazioni gerarchiche e associative tra i termini e studio modellazione ontologie • predisposizioni e ambiti di riuso • competitors e potenziali sviluppi della piattaforma e service API analisi open data for individuazione necessità e definizione contratto di licenze - riuso dei dati •IODL - Italian Open Data License http:// www.dati.gov.it/iodl/2.0/ •Creative Commons by •internet CCO •autocertificazione Open Data Istitute https:// certificates.theodi.org/ •.. others licenze •tecnico • piattaforma open data • CKAN + Tools (API) • Redlink API’s • trasformazione dataset • industrializzazione metadati associati • thesauri - ontologie •comunicazione • disegno interfacce per categoria utenza • individuazione canali di disseminazione •sviluppo • progetto della cloud: rilievo dei dati marini • individuazione e colegamento reti terze • predisposizione sviluppo API (imprese) • inserimento nella cloud L(O)D • collegamento con altri dataset: “Ambiente”, “mare, costa, difesa del suolo”, “mare, inquinamento ”. progetto lunedì 5 maggio 14
- 25. DisseminateExploitIntegrateAsses on my opendata Nella prima fase vengono valutati i potenziali dataset secondo diversi parametri: la disponibilità dei dati; la frequenza di aggiornamento; la loro ‘pulizia’. I dati vengono valutati anche contro i casi di uso comune. Al termine di questa fase gli use cases, i dataset e le attività di integrazione sono chiaramente definite. Nella fase di integrazione i dati vengono arricchiti per raggiungere la qualità a 5stelle, e renderli conformi al sistema di valutazione della cloud LOD. I dati vengono poi trasformati in un dataset di dati collegati per mezzo di procedure personalizzate, ripetute periodicamente al fine di mantenere sincronizzati i dataset con le risorse originali. Durante il processo di arricchimento, i dati possono essere ulteriormente integrati con i dati provenienti dal LOD creando connessioni significative e aumentando esponenzialmente il valore di dati. Al termine di questa fase una serie di ‘set di dati’ viene pubblicato e collegato con gli standard Open Data. Nella fase di valorizzazione i dati pubblicati sono utilizzati per soddisfare i casi d'uso originali, il riuso dei dataset con il flusso di lavoro editoriale, tagging dei contenuti, migliorando la SEO col significativo supporto di schema.org e fornendo campioni di mashup per i widget interattivi. Il risultato di questa fase è lo sfruttamento della cloud LOD nel flusso di lavoro esistente. Durante la fase di disseminazione dei risultati il progetto sarà promosso al fine di aumentare la propria visibilità, coinvolgere la comunità nel suo sfruttamento e raccogliere prezioso feedback. cloud LOD by sciamlab e insideout10for open data lunedì 5 maggio 14
- 26. architettura by sciamlabe insideout10for open data input output CKAN REDLINK IIIIIIIIII IIIIIIIIIIIIIIIII IIIIIIIIIIII opensourcecatalog frameworksemantico Content analisys Linked data Publishing Sparql end point layer di pubblicazione catalogo - API commerce IIIIII reti ISPRA altre reti layer di elaborazione e confronto parametri interfaccia Enti interfaccia cittadini interfaccia operatori connettori open data repository open data service ricerca dati portale sensori cms repository metadati motore di ricerca indice metadati data store API - Sparql Semantic search API -service- -alert- harvesting metadata - ontology lunedì 5 maggio 14
- 27. for Mareografico Siamo dueaziende, Sciamlab e Insideout10, specializzate in tecnologie open e framework semantici che hanno già molta esperienza: nella creazione di open data; nella trasformazione di dataset open in L(O)D; nei progetti di riuso dei dati realizzando connessioni tra reti ed API. La metodologia sviluppata nell’ambito delle tecnologie open data è arrivata ad un livello di maturazione tale da permetterci di affrontare e risolvere qualsiasi complessità derivata dai sistemi legacy; mentre preferiamo ancora adattare professionalmente le tecnologie semantiche modellando linguaggi e ontologie. Le applicazioni realizzate in quest’ambito sono quelle su cui si basa ad esempio, il portale nazionale http://www.dati.gov.it: per la creazione, gestione e pubblicazione di archivi di dataset open; e il framework di tecnologie semantiche www.redlink.co per l’arricchimento dei contenuti e la trasformazione in L(O)D. chi siamo - cosa by sciamlab e insideout10for open data lunedì 5 maggio 14
- 28. by sciamlab einsideout10for open data come con chi .. for mareografico 74 65 982 3STEP STEP SAPIENZA INNOVAZIONE ‘n 3 2 1 ACQUISIZIONE STATO DELL’ARTE: dalla trasmissione in frequenza alle reti digitali al dataset open LOD • sensori: tecnologie in uso per la rilevazione dei dati e loro trasmissione • semantica: domini informativi e ontologie modellazione su: ambiente, mare, alertsicurezza • ambiti d’uso e progetto esecutivo piattaforma PIATTAFORMATECNOLOGICA CATALOGODATASET SENSORI PIATTAFORMATECNOLOGICA SEMANTICADATASET sciamlab srl 6 9 PIATTAFORMAINTERFACCE TEST PIATTAFORMAAPI sicurezzaALERT service‘MAREOGRAFICO’ insideout10 srl 3 96 RETE SAILORNET DESIGNNEWMARKET MANUTENZIONEEVOLUTIVA RETE MAREOGRAFICO ALTRE RETI MONITORAGGIO AMBIENTALE 9 lunedì 5 maggio 14
- 29. GRAZIE i n si d e o u t 1 0 mausa out lunedì 5 maggio 14