Dati statici e dinamici Dati da: comune, Digital Location Dati Real time: eventi, MIIC, Gestore (AVM, Sensori traffico, Parcheggi), LAMMA METEO, .. Dati da UNIFI: OSIM service in LOD, RDF Store. Dati da Social media: twitter, non ancora Dati da Camera di Commercio: … non ancora… Dati di flusso: da Wifi, beacom, IOT, etc. Obiettivi e Progetti Architettura di riferimento: in, proc, out, services servizi, deduzioni, correlazioni, predizioni, etc. Applicazioni: Smart City e mobilita’, energia e Smart grid, Cultural Heritage, Turismo, Decision Support Systems, Risk Assessment, Smart School, Smart Health, etc. Progetti UNIFI: Sii-mobility SCN, Coll@bora SIN La sfida dell’aggregazione A che servono: Query per servizi di base e complessi: geografiche, near to here; per comune; NOW dati Real Time; …………………..con inferenza, per text .. Next relevant event, …. What may happen here……… Why this event occurred…. Cloud be this feasible ??? Problematiche: Dati di limitata interoperabilita’ semantica e qualita’ –> con molti si ottiene maggiore qualita’, l’interoperabilita’ va conquistata Gestione grosse moli di dati, flussi, etc. Soluzioni Ontologia + Dati, knowledge base, inferenza, ragionamento, Ontologia Km4City Processi di Processi di quality improvement, riconciliazione Processi di valutazione e di supporto alle decisioni Servizi per l’accesso ai dati LD e RDF Store: ECLAP, OSIM, ICARO Cloud, Km4City, etc.. RDF Store, and RDF SPARQL query LOG: Linked Open Graph, query integrate e navigazione fra store di varie istituzioni: dbpedia, Europeana, Senato, Camera, Comune, Getty, Geonames, etc. etc. Service map Architettura aggregazione servizi di calcolo, parallel and distributed: Scheduler as GRID, Hadoop NLP, quality improvement, etc. Arricchimenti per Link e per Location Processi di data mining, semantic computing, DSS

1. DISIT Lab, Distributed Data Intelligence and Technologies
Distributed Systems and Internet Technologies
Department of Information Engineering (DINFO)
http://www.disit.dinfo.unifi.it
1
Aggregatore di Open Data del
territorio fiorentino e toscano
FODD‐ Firenze Open Data Day, 21 Febbraio 2015
Prof. Paolo Nesi
DISIT Lab
Distributed Systems and Internet Technologies Lab
Distributed Data Intelligence and Technologies Lab
Dipartimento di Ingegneria dell’Informazione
Università degli Studi di Firenze
Via S. Marta 3, 50139, Firenze, Italia
tel: +39-055-2758515, fax: +39-055-2758570
http://www.disit.dinfo.unifi.it
paolo.nesi@unifi.it
DISIT Lab (DINFO UNIFI), FODD: 21 Feb
2015

2. DISIT Lab, Distributed Data Intelligence and Technologies
Distributed Systems and Internet Technologies
Department of Information Engineering (DINFO)
http://www.disit.dinfo.unifi.it
overview
• Dati statici e dinamici
• Obiettivi e Progetti
• La sfida dell’aggregazione
• Servizi per l’accesso ai dati
DISIT Lab (DINFO UNIFI), FODD: 21 Feb
2015
2

3. DISIT Lab, Distributed Data Intelligence and Technologies
Distributed Systems and Internet Technologies
Department of Information Engineering (DINFO)
http://www.disit.dinfo.unifi.it
3
Privati Tempo reale Pubblici Tempo reale (open data)
Pubblici statici (open data)Privati Statici
statistiche: incidenti, censimenti, votazioni
• Codice fiscale
• Foto non condivise
• Aspetti legali
• Cartella clinica
• ..
DISIT Lab (DINFO UNIFI), FODD: 21 Feb
2015

4. DISIT Lab, Distributed Data Intelligence and Technologies
Distributed Systems and Internet Technologies
Department of Information Engineering (DINFO)
http://www.disit.dinfo.unifi.it
Sorgenti Sul Territorio
• Open Data delle PA (circa 200 data set):
– Open Data del Comune di Firenze, Provincia, etc.
– Open Data della Regione, grafo regionale, ..
– Open Data da altre citta’, dalla commissione europea, da svariati
HUB: CKAN,
– LOD Universita’ di Firenze: Servizio OSIM
• Dati Real Time (centinaia di servizi real time):
– Osservatorio: AVM, Sensori Parcheggi, Flussi traffico
– LAMMA: Meteo
– Social Media: Twitter, blog, etc.
– Comune: Eventi, scuola, etc.
• Circa 120 milioni di dati fra Statici e Dinamici, con un
flusso di circa 6‐10 milioni al mese
DISIT Lab (DINFO UNIFI), FODD: 21 Feb
2015
4

5. DISIT Lab, Distributed Data Intelligence and Technologies
Distributed Systems and Internet Technologies
Department of Information Engineering (DINFO)
http://www.disit.dinfo.unifi.it
Altre Sorgenti
• Dati Aggregati e Linked Open Data:
– Da altre citta’, a livello regionale, nazionale, …
– Dalla Commissione europea
– RDF Store aperti: dbPedia, Europeana, Getty, Camera
Senato, Cultura Italia,
• ECLAP.eu, http://www.eclap.eu
• UNIFI, OSIM  http://osim.disit.org
– Web Crawling  GeoLocator ..
– Social Media  Blog Vigilance ..
– Link Discovering  riconciliazione, LOD Enricher
• Molti altri dati ….
DISIT Lab (DINFO UNIFI), FODD: 21 Feb
2015
5

6. DISIT Lab, Distributed Data Intelligence and Technologies
Distributed Systems and Internet Technologies
Department of Information Engineering (DINFO)
http://www.disit.dinfo.unifi.it
OSIM Semantic Search Engine
http://OSIM.disit.org
DISIT Lab (DINFO UNIFI), FODD: 21 Feb
2015
6
Assisted
Search
Full Text Search

7. DISIT Lab, Distributed Data Intelligence and Technologies
Distributed Systems and Internet Technologies
Department of Information Engineering (DINFO)
http://www.disit.dinfo.unifi.it
OSIM Functionalities
DISIT Lab (DINFO UNIFI), FODD: 21 Feb
2015
7
OSIM Semantic Search Engine

8. DISIT Lab, Distributed Data Intelligence and Technologies
Distributed Systems and Internet Technologies
Department of Information Engineering (DINFO)
http://www.disit.dinfo.unifi.it
overview
• Dati statici e dinamici
• Obiettivi e Progetti
• La sfida dell’aggregazione
• Servizi per l’accesso ai dati
DISIT Lab (DINFO UNIFI), FODD: 21 Feb
2015
8

9. DISIT Lab, Distributed Data Intelligence and Technologies
Distributed Systems and Internet Technologies
Department of Information Engineering (DINFO)
http://www.disit.dinfo.unifi.it
• Raccolgono dati e li rendono
interoperabili fra …
– Ambiente & energia
– Trasporti & mobilità
– Commercio & Turismo
– Servizi al cittadino
– Comportamento e stato della
popolazione nel rispetto della
privacy, anonymity…
• ABILITANO processi «SMART»
di analisi, previsioni e
deduzioni su base
– statistica, analitica, logica,
inferenziale, …
– sporadiche e/o in tempo reale
– …e per il supporto alle decisioni
9
Aggregatori sono abilitatori che..
DISIT Lab (DINFO UNIFI), FODD: 21 Feb
2015

10. DISIT Lab, Distributed Data Intelligence and Technologies
Distributed Systems and Internet Technologies
Department of Information Engineering (DINFO)
http://www.disit.dinfo.unifi.it
Dati singoli ai dati aggregati ….
• Sistemi di raccolta dati che devono essere
integrati a livello semantico
– milioni di milioni di dati complessi arrivano ogni
giorno alle centrali per essere analizzati: Open Data,
Real Time Data, Linked Data
• Sensori ed attuatori, sistemi
di comunicazione, kit su veicoli
– OD, sensori, social network,
blog, etc.
10
DISIT Lab (DINFO UNIFI), FODD: 21 Feb
2015

11. DISIT Lab, Distributed Data Intelligence and Technologies
Distributed Systems and Internet Technologies
Department of Information Engineering (DINFO)
http://www.disit.dinfo.unifi.it
Da dati aggregati alle deduzioni….
• Soluzioni di intelligence per l’analisi dei dati,
per produrre in automatico:
– deduzioni, correlazioni, implicazioni….
– Supporto alle decisioni per le Pub. Ammin.
– suggerimenti/raccomandazioni agli utenti anche
in base ai loro profili (per esempio: medicina
personalizzata), planning; alle aziende
• Soluzioni di analisi per la comprensione di
dati complessi
– fraseggi delle persone sulle social network,
i commenti riguardo ai servizi della PA, le
richieste di miglioramento dei servizi… (Natural
Language Processing)
– Comprensione di andamenti complessi da
misurazioni puntuali (Data Mining, Knowledge
Mining)
11
Microsoft geoflow
http://Log.disit.org
DISIT Lab (DINFO UNIFI), FODD: 21 Feb
2015

12. DISIT Lab, Distributed Data Intelligence and Technologies
Distributed Systems and Internet Technologies
Department of Information Engineering (DINFO)
http://www.disit.dinfo.unifi.it
• La sfida va verso l’integrazione di grosse moli dati non
omogenei per produrre deduzioni più ampie e precise
– Dalle infrastrutture di monitoraggio e controllo: energia,
ambiente, salute, traffico, taxi, etc.
12
http://www.Sii‐Mobility.org DISIT Lab (DINFO UNIFI), FODD: 21 Feb
2015

13. DISIT Lab, Distributed Data Intelligence and Technologies
Distributed Systems and Internet Technologies
Department of Information Engineering (DINFO)
http://www.disit.dinfo.unifi.it
Sii‐Mobility
• servizi personalizzati, connessi alla
mobilità nella città
• Piattaforma di partecipazione e
sensibilizzazione
• integrazione di metodi di pagamento e di
identificazione
• gestione delle aree a traffico controllato
– dinamica dei confini
– politiche di accesso
• interoperabilità ed integrazione dei
sistemi di gestione
• scambio dati fra PA e privati
13
http://www.Sii‐Mobility.org DISIT Lab (DINFO UNIFI), FODD: 21 Feb
2015

14. DISIT Lab, Distributed Data Intelligence and Technologies
Distributed Systems and Internet Technologies
Department of Information Engineering (DINFO)
http://www.disit.dinfo.unifi.it
Sii‐Mobility
14
http://www.Sii‐Mobility.org DISIT Lab (DINFO UNIFI), FODD: 21 Feb
2015

15. DISIT Lab, Distributed Data Intelligence and Technologies
Distributed Systems and Internet Technologies
Department of Information Engineering (DINFO)
http://www.disit.dinfo.unifi.it
overview
• Dati statici e dinamici
• Obiettivi e Progetti
• La sfida dell’aggregazione
• Servizi per l’accesso ai dati
DISIT Lab (DINFO UNIFI), FODD: 21 Feb
2015
15

16. DISIT Lab, Distributed Data Intelligence and Technologies
Distributed Systems and Internet Technologies
Department of Information Engineering (DINFO)
http://www.disit.dinfo.unifi.it
Aggregazione x Abilitazione
• Di servizi di base e
complessi:
– Risposte ad analisi di
accadimenti nella citta’
• Cosa potrebbe accadere
?
• Come potrebbe
migliorea la condizione
XX ??
– Valutazione del rischio
– Comprensione ed
Adattamento dei servizi
DISIT Lab (DINFO UNIFI), FODD: 21 Feb
2015
16
…….
Dati in
Real Time
Social Data
trends
Acquisizione
dati
Acquisizione
dati e
comprensione
Energia
Social
Media
Sensori
centrali
trasporti
Operatori
Telefonia
Gestore del
traffico
……
…….

17. DISIT Lab, Distributed Data Intelligence and Technologies
Distributed Systems and Internet Technologies
Department of Information Engineering (DINFO)
http://www.disit.dinfo.unifi.it
Ricerche sui dati
• Geografiche: near
to here; per
comune; per area
• Nel Tempo: dati
Real Time
• Testuali: ………
• RDF Store esterni,
internazionali ….
DISIT Lab (DINFO UNIFI), FODD: 21 Feb
2015
17

18. DISIT Lab, Distributed Data Intelligence and Technologies
Distributed Systems and Internet Technologies
Department of Information Engineering (DINFO)
http://www.disit.dinfo.unifi.it
Problematiche  integrazione
• Dati di limitata
interoperabilita’
semantica e
qualita’
• l’interoperabilit
a’ va
conquistata
dato su dato,
modello su
modello
• Gestione grosse
moli di dati,
flussi, etc.
DISIT Lab (DINFO UNIFI), FODD: 21 Feb
2015
18
Creare una base di conoscenza unica fondata su
un'ontologia comune per combinare tutti i dati
provenienti da diverse fonti e renderli semanticamente
interoperabili
• Creare query coerenti indipendentemente dalla fonte,
il formato, la data, l'ora, fornitore, etc.
• Arricchire i dati, renderli più completi, più affidabili,
ed accessibili
• Ridurre il rumore e la dipendenza dalla qualità
• Abilitare l’inferenza come materializzazione triple da
alcune delle relazioni
• consentire la realizzazione di nuovi servizi integrati
connessi alla mobilità
• fornire accesso alla base di conoscenza alle PMI di
creare nuovi servizi

19. DISIT Lab, Distributed Data Intelligence and Technologies
Distributed Systems and Internet Technologies
Department of Information Engineering (DINFO)
http://www.disit.dinfo.unifi.it
Smart‐city Ontology
km4city
19
84 Classes
93 ObjectProperties
103 DataPropertieshttp://www.disit.org/6461
DISIT Lab (DINFO UNIFI), FODD: 21 Feb
2015

20. DISIT Lab, Distributed Data Intelligence and Technologies
Distributed Systems and Internet Technologies
Department of Information Engineering (DINFO)
http://www.disit.dinfo.unifi.it
Km4City
– DC: Dublin core, standard
metadata
– OTN: Ontology for Transport
Network
– FOAF: for the description of
the relations among people
or groups
– Schema.org: for a description
of people and organizations
– wgs84_pos: for latitude and
longitude, GPS info
– OWL‐Time: reasoning on
time, time intervals
– GoodRelations: commercial
activities models
DISIT Lab (DINFO UNIFI), FODD: 21 Feb
2015
20
P. Bellini, M. Benigni, R. Billero, P. Nesi and N. Rauch, "Km4City Ontology Building vs Data Harvesting and Cleaning for
Smart‐city Services", International Journal of Visual Language and Computing, Elsevier,
http://dx.doi.org/10.1016/j.jvlc.2014.10.023
• Amministrazione
• Aspetti Sociali
• Strade ed elementi
• Punti di Interesse, turismo e
cultura
• Trasporti
• Sensori
• Aspetti Temporali
• Eventi: sportivi e culturali
• Spetti legali e descrittori
• Aspetti spaziali
• Servizi pubblici e salute
• ….

21. DISIT Lab, Distributed Data Intelligence and Technologies
Distributed Systems and Internet Technologies
Department of Information Engineering (DINFO)
http://www.disit.dinfo.unifi.it
Other
SPARQL
End points
DISIT Lab (DINFO UNIFI), FODD: 21 Feb
2015
21
Data Ingestion Manager
Admin. Interface
Distributed Scheduler
Admin. Interface
RDF Store Indexer
Admin. Interface
Indexing
Configuration
Database
Data Ingestion
Configuration
Database
Distributed
Scheduler Database
Static Data
harvesting Data
Mapping
To triple
Quality
Improve
ment
Indexing
Real Time
Data
Ingestion
RDF Store
Validation
Semantic
Interoperability
Reconciliation
Km4City
Ontology
triple
triple
RDF
Store +
indexes:
SPARQL
End point
Distributed
Bigdata store
R2RML
Models
Distributed processing
Data Ingestion and Mining RDF Indexing
Sporadic:
‐Validation
‐Reconciliation
‐Enrichment
RDF Store
Enrichment
Reasoning
Data Status
web pages
Data Ingestion and Mining

22. DISIT Lab, Distributed Data Intelligence and Technologies
Distributed Systems and Internet Technologies
Department of Information Engineering (DINFO)
http://www.disit.dinfo.unifi.it
Condizioni attuali dell’aggregatore
• Gestore OD con 1169 data sets
• Processi schedulati real time: 353
• Processi abortiti per time out: <3%
• 8‐10 Milioni di nuove triple al mese
• Processi periodici e sporadici di:
– ingestione, quality improvement,
trasformazione in triple,
indicizzazione,
– riconciliazione, validazione,
arricchimento (Vip names,
GeLocalizzazione servizi WEB), etc.
DISIT Lab (DINFO UNIFI), FODD: 21 Feb
2015
22

23. DISIT Lab, Distributed Data Intelligence and Technologies
Distributed Systems and Internet Technologies
Department of Information Engineering (DINFO)
http://www.disit.dinfo.unifi.it
NLP e Blog Vigiliance
• Recuperare informazioni
dagli utenti
• Validare le informazioni
fornite da siti e utenti in
relazione a quelle divulgate
da siti istituzionali
• Inserire le informazioni
estratte nella base di
conoscenza semantica
km4city per arricchire i dati
• Fornire le informazioni
arricchite agli utenti
attraverso il ServiceMap, un
portale web, un blog o i
social network come Twitter
DISIT Lab (DINFO UNIFI), FODD: 21 Feb
2015
23
Twitter
Facebook
Blog
‐ Search
‐ Q&A
‐ Graph
of Relations
‐ Social Platform
Semantic
Repository
Semantic
Computing
NLP
Inference
& Reasoning
Recommendations
& Suggestions
Link
Discovering
Reconciliation &
Disambiguation
(Names, Geo Tags etc.)

24. DISIT Lab, Distributed Data Intelligence and Technologies
Distributed Systems and Internet Technologies
Department of Information Engineering (DINFO)
http://www.disit.dinfo.unifi.it
DISIT Lab (DINFO UNIFI), FODD: 21 Feb
2015
24
Twitter Vigilance

25. DISIT Lab, Distributed Data Intelligence and Technologies
Distributed Systems and Internet Technologies
Department of Information Engineering (DINFO)
http://www.disit.dinfo.unifi.it
overview
• Dati statici e dinamici
• Obiettivi e Progetti
• La sfida dell’aggregazione
• Servizi per l’accesso ai dati
DISIT Lab (DINFO UNIFI), FODD: 21 Feb
2015
25

26. DISIT Lab, Distributed Data Intelligence and Technologies
Distributed Systems and Internet Technologies
Department of Information Engineering (DINFO)
http://www.disit.dinfo.unifi.it
Data processing
Distributed
Scheduler Database
Distributed Scheduler
Admin. Interface
DISIT Lab (DINFO UNIFI), FODD: 21 Feb
2015
26
Service Map
http://servicemap.disit.org
Linked Open Graph
http://log.disit.org
Smart City Engine
Admin. Interface
RDF Store
+ indexes:
SPARQL End point
Distributed processing
Reasoning and Deduction
Development Interfaces & Srv.
Decision Support
System
Servizi e strumenti
Data Analytics
Data Status
web pages
Other SPARQL
End points
sviluppatori
use
sviluppo
Km4City Strumenti e Servizi
RDF Query interface
http://log.disit.org/spqlquery/
ServiceMap API

27. DISIT Lab, Distributed Data Intelligence and Technologies
Distributed Systems and Internet Technologies
Department of Information Engineering (DINFO)
http://www.disit.dinfo.unifi.it
https://play.google.com/store/apps/deta
ils?id=org.disit.fodd
DISIT Lab (DINFO UNIFI), FODD: 21 Feb
2015
27

28. DISIT Lab, Distributed Data Intelligence and Technologies
Distributed Systems and Internet Technologies
Department of Information Engineering (DINFO)
http://www.disit.dinfo.unifi.it
http://log.disit.org/spqlquery/
DISIT Lab (DINFO UNIFI), FODD: 21 Feb
2015
28

29. DISIT Lab, Distributed Data Intelligence and Technologies
Distributed Systems and Internet Technologies
Department of Information Engineering (DINFO)
http://www.disit.dinfo.unifi.it
29
DISIT Lab (DINFO UNIFI), FODD: 21 Feb
2015

30. DISIT Lab, Distributed Data Intelligence and Technologies
Distributed Systems and Internet Technologies
Department of Information Engineering (DINFO)
http://www.disit.dinfo.unifi.it
30
DISIT Lab (DINFO UNIFI), FODD: 21 Feb
2015
Service Map
http://servicemap.disit.org

31. DISIT Lab, Distributed Data Intelligence and Technologies
Distributed Systems and Internet Technologies
Department of Information Engineering (DINFO)
http://www.disit.dinfo.unifi.it
Linea 4
DISIT Lab (DINFO UNIFI), FODD: 21 Feb
2015
31

32. DISIT Lab, Distributed Data Intelligence and Technologies
Distributed Systems and Internet Technologies
Department of Information Engineering (DINFO)
http://www.disit.dinfo.unifi.it
Linked Open Graph
http://log.disit.org
DISIT Lab (DINFO UNIFI), FODD: 21 Feb
2015
32

33. DISIT Lab, Distributed Data Intelligence and Technologies
Distributed Systems and Internet Technologies
Department of Information Engineering (DINFO)
http://www.disit.dinfo.unifi.it
DISIT Lab (DINFO UNIFI), FODD: 21 Feb
2015
33
http://log.disit.org

34. DISIT Lab, Distributed Data Intelligence and Technologies
Distributed Systems and Internet Technologies
Department of Information Engineering (DINFO)
http://www.disit.dinfo.unifi.it
DISIT Lab (DINFO UNIFI), FODD: 21 Feb
2015
34
Linked Open Graph
http://log.disit.org
A bus stop info….

35. DISIT Lab, Distributed Data Intelligence and Technologies
Distributed Systems and Internet Technologies
Department of Information Engineering (DINFO)
http://www.disit.dinfo.unifi.it
35
Ne volete sapere di più ?
http://www.disit.dinfo.unifi.it
http://www.disit.org/6056
DISIT Lab
Dipartimento di Ingegneria dell’Informazione
Università degli Studi di Firenze
Via S. Marta 3, 50139, Firenze, Italia
http://servicemap.disit.org (servizio sperimentale)
http://log.disit.org
paolo.nesi@unifi.it
DISIT Lab (DINFO UNIFI), FODD: 21 Feb
2015