Open Data 4 Startups

Open Data 4 Startups Christian Morbidoni (Net7) Massimo Zaglio (Top-IX)

Agenda
Obiettivi del Workshop
Big Data
Cosa sono gli Open Data e perchè Open Data?
Quali vantaggi possono dare gli Open Data?
Gli Open Data nel mondo
Chi produce Open Data?
Linked Open Data
Alcuni Datasets disponibili
Qualche esempio di Apps
Altri esempi
Le 10 Slide

Obiettivi del Workshop
Dare consapevolezza del valore potenziale degli dati open
Creare un'abbozzo di start-up utilizzando uno o più datasets (suggeriti e non)
Presentare in un pitch di 4 minuti il proprio "seme" di start-up

Big Data - A growing torrent
$600 to buy a disk drive that can store all the world's music
5 billion mobile phone in use in 2010
30 billion pieces of content shared on Facebook every month
40% of projected growth in global data generated per year VS 5% growth in global IT spending
235 terabytes data collected by US Library of Congress in April 2011
15 out of 17 sectors inthe United States have more data stored per company than the US Library of Congress
* rapporto McKinsey: Big Data: The next frontier of innovation, competition and productivity. (may 2011)

Big Data - Capturing its value
$300 billion potential annual value to US health care - more than X 2 total annual health care spending in Spain
€ 250 billion potential annual value to Europe's public sector administration - more than GDP of Greece
$600 billion potential annual consumer surplus from using personal location data globally
60% potential increase in retailers' operating margins possible with big data
140.000-190.000 more deep analytical talent position and 1.5 million more data-savvy needed to take full advantage of big data in the USA
* rapporto McKinsey: Big Data: The next frontier of innovation, competition and productivity. (may 2011)

Quanti di voi hanno preso l'autobus questa mattina?

Cosa sono gli Open Data e perche’ Open Data
da Wikipedia
Con Dati aperti , comunemente chiamati con il termine inglese Open Data anche nel contesto italiano, si fa riferimento ad una filosofia, che è al tempo stesso una pratica. Essa implica che alcune tipologie di dati siano liberamente accessibili a tutti, senza restrizioni di copyright, brevetti o altre forme di controllo che ne limitino la riproduzione

da Wikipedia
in pratica

da Wikipedia
in pratica
Open Data propone un modello di valorizzazione del patrimonio informativo pubblico basato sulla possibilità di usare i dati aperti per creare nuovi servizi e nuovi strumenti

Gli Open Data nel Mondo La mia amministrazione è impegnata a creare un livello di apertura senza precedenti nella gestione del Governo. Lavoreremo insieme per accrescere la fiducia del pubblico e per creare un sistema basato sulla trasparenza , la partecipazione e la collaborazione . Questa apertura rafforzerà la nostra democrazia e promuoverà l'efficenza e l'efficacia nel nostro Governo. Transparency and Open Government Memorandum for the Heads of Executive Departments and Agencies (2009) "People are tempted to keep it [data]. You hug your database, you don't want to let it go until you've made a beautiful website for it. Well I'd like to suggest that, yes, make a beautiful website, who am I to say don't make a beautiful website? Make a beautiful website, but first, give us the unadulterated data, we want the data, we want unadulterated data. We have to ask for raw data now. " Tim Berners-Lee, inventore del WEB e advisor data.gov.uk

USA - data.gov

UK - data.gov.uk

Italia - dati.piemonte.it

Quali vantaggi possono dare gli open data?
trasparenza
efficenza
concorrenza
innovazione

Chi produce gli Open Data? Il settore pubblico possiede e gestisce grandi quantità di dati e informazioni il cui valore app. in EU è 27 Miliardi di € (MEPSIR Report - Measuring European Public Sector Resources, 2006). La PSI può essere un primo grande fornitore di Open Data Il settore privato potrebbe però diventare il maggior produttore di Open Data se ne percepisse il giusto valore.

Huijboom e Van den Broek, May/April 2011, European Journal of ePractice
http://www.epractice.eu/files/European%20Journal%20epractice%20Volume%2012_1.pdf

Challenges
Public Administrations make data available ...

Community (and start-ups:-) ) should add business value and innovation

Serendipity
Innovation comes from unexpected use of data!

Challenges:
How to discover new related data?
How to link/merge data on-the-fly?
How to actually get (only) the data you need

Data-as-a-Service
I dati non sono più "chiusi" nelle applicazioni...
... ma consumati on-demand come un qualsiasi altro tipo di servizio
RESTful: accedere ai dati come si accede ad una risorsa web: tramite URL

Data Marketplaces
Business Model:
data owner: pay to publish
data user: pay for data delivery/trasformation/analysis services
...in different flavours.
Comprehensive overview:
http://www.slideshare.net/marin_dimitrov/linked-data-marketplaces
http://blog.datamarket.com/2011/02/25/the-emerging-field-of-data-markets-our-competitive-landscape/
New technologies >>>> new generation data marketplaces
Cosa offrono:
Operano su dati open e non
Forniscono dati on-the-fly attraverso API (anche custom)
Coinvolgono (in alcuni casi) la comunità nel mantenere (curation) i dati: crowdsourcing (e.g. Factual)
Forniscono strumenti integrati (web based) per l'esplorazione e la visualizzazione e lo "slicing" dei dati.

Linked (Open) Data
Linked Data spiegato da Tim Berners Lee:
http://www.ted.com/talks/tim_berners_lee_on_the_next_web.html
Basic principles:
Things have names (a person, a city, a company)
Let this names start with http://
...then we can get more data about things using a standard protocol
... others can directly point to things in my dataset (and vice-versa)
Represent data (relations among things) as RDF
Resource Description Framework is a W3C standard

Data as RDF Graph

The vision: a global interconnected database

The vision: aggregate/mix data on the fly

Linked data "hands on"
DBPedia fornisce una gran parte delle entità di wikipedia in formato Linked Data
Firenze: http://dbpedia.org/page/Florence
Firenze Renzi dbpedia-owl:leaderName

Dove trovare i dati
Un archivio di open (e non open) data:
http://ckan.net/
http://it.ckan.net/
Esempi:
5T: http://biennaledemocrazia.it/dataset/
Dati Piemonte: http://dati.piemonte.it

Linked data "hands on"
Datasets originali ISTAT: http://dati.istat.it/
Linked ISTAT: http://www.linkedopendata.it/datasets/istat-immigrazione
Example resource: http://data.linkedopendata.it/page/istat/resource/Obs-DCIS_POPSTRCIT-292248
SPARQL endpoint: http://sparql.linkedopendata.it/istat
SPARQL specs: http://www.w3.org/TR/rdf-sparql-query/

Example: data.worldbank.org
WORLD BANK - Statistical data
Web site: http://data.worldbank.org/
Example: http://data.worldbank.org/topic/labor-and-social-protection
Licence: http://data.worldbank.org/summary-terms-of-use
Access data: http://data.worldbank.org/use-our-data
APIs: http://data.worldbank.org/querybuilder
Data consuming app: http://databank.worldbank.org/ddp/home.do

Trasporti

Bambini

Trasparency

Ambiente

Altri esempi ...

The Linked Open Data Cloud
http://richard.cyganiak.de/2007/10/lod/lod-datasets_2010-09-22_colored.html

Example: http://datamarket.com/

Example: http://datamarket.com/
Data analysis: http://data.is/jlOExV

Example: freebase
Freebase è una grande basi di dati semantica aperta e collaborativa.
Contiene DBPedia e altre sorgenti dati + dati creati dalla comunità
http://www.freebase.com/

Crowdsourcing e geo-spazial data example: openstreetmaps.org
for humans: http://wiki.openstreetmap.org/
for machines: http://wiki.openstreetmap.org/wiki/API

The hacker's way
Quando licenze e copiright lo permettono...
Web Site scraping è un possibilità.
http://scraperwiki.com/
Es. http://scraperwiki.com/scrapers/aria-comune-di-torino/

Data curation: google refine
Data curation:
Aggregare, convertire, uniformare e correggere i dati
I dati provengono da una sorgenti diverse, pubbliche e private (file excel, siti web, wiki, web services)
Google Refine è un potente esempio di curation tool:
http://code.google.com/p/google-refine/

(Semantic) Data Filtering and curation
Still an open challenge.
Experimental tool:
Sig.ma : http://sig.ma/
Built on top of Sindice.com: http://sindice.com
Data widgets:
http://siteservices.sindice.com/widgets

Interesting tools and links
ONLINE DATA VISUALIZATION
G visualization Api: http://code.google.com/intl/it-IT/apis/chart/
Tableau Public: http://www.tableausoftware.com/public
Open Heat Map: http://www.openheatmap.com/
ONLINE STORAGE+VISUALIZATION
Google Public Data explorer: http://www.google.com/publicdata/home
IBM Many Eyes: http://www-958.ibm.com/software/data/cognos/manyeyes/
Google Fusion tables: http://www.google.com/fusiontables/Home
Impure: http://www.impure.com/ è un linguaggio visuale tipo Y! Pipes
per la data visualization. Molto potente ma non facile da usare.
CURATION & LINKING
Google Refine
Data Wrangler: http://vis.stanford.edu/wrangler/
OFFLINE TOOLS
R per dati statistici potentissimo molti plugin anche sparql:
http://www.r-project.org/
Jscript Library per la data visualization: http://thejit.org/
Anche questa: http://vis.stanford.edu/protovis/
Il miglior tool di network e graph analysis e visualization (non
facilissimo ma davvero powerful, ha plugin sparql): http://gephi.org/
Linguaggio turing complete per la dataviz, potentissimo, difficile (lo
usano tutti i visual artist seri): http://processing.org/

http://www.top-ix.org	8
url_unknown	5
http://paper.li	4
http://www.slideshare.net	1
http://us-w1.rockmelt.com	1
https://twitter.com	1

Open Data 4 Startups

by mzaglio

Accessibility

Categories

Upload Details

Usage Rights

6 Embeds 20

Statistics