Geography of Everything - Big Data en de rol van Locatie. Presentatie voor GIN-Zuid te Eindhoven 13 september 2016

1. Presentatie GIN-Zuid
13 september 2016 te Eindhoven
Erik van der Zee (VU/Geodan)

2.  Drs. Erik van der Zee
◦ Fysisch Geograaf en Bedrijfseconoom
◦ Senior Consultant GIS en Geo IT bij Geodan
◦ VU PhD Kandidaat “Added value of Location in Smart Cities”
◦ E-mail Erik.van.der.Zee@geodan.nl
◦ Twitter @erikvanderzee

3.  Wat is Big Data
 Voorbeelden (Spatial) Big Data
 IoT & Smart Cities
 Big Data Opslag
 Big Data Analyse
 Big Data en Artificial Intelligence (AI)
 Big Data toepassing in Nederland (voorbeelden)
 Big Data “Kwesties” (privacy & standaarden)
 Tot slot

4. Wat is Big Data

5.  IBM “Any data that cannot be captured,
managed, and/or processed using
traditional data management components
and techniques”
 Gartner “High-Volume, high-Velocity and
high-Variety information that demands
innovative forms of information processing
for enhanced insight and decision making”

7.  Steeds meer data creators (mensen + smart things “IoT”)
 Steeds meer content soorten (gestructureerd en ongestructureerd)
 Steeds meer variabelen (“phenomena”)
 Steeds meer delen via social networks (data duplicatie)
 Steeds meer bewaren (data, logfiles, “omdat het kan”)
 Steeds meer data combineren (“data met data” bvb output GIS analyse)
 Steeds meer voorspellen (extrapoleren, model output, scenario’s)

8.  Steeds hogere resoluties
 Ruimtelijke resolutie XYZ
 Tijd(sinterval) resolutie  van snapshots (“pictures”) naar continue meting,
streams of data (“movies”)
 Meetspectrum (“banden”)  van Multi-spectral naar Hyper-spectral (“data cubes”)
 Denk bvb Foto’s/Video’s maar ook aan AHN1, AHN2, AHN3, …

9.  Steeds meer digitale data
 Steeds meer ongestructureerde data

10.  Vrijwel alle Big Data heeft een locatie aspect
◦ Direct  Lat,Long of x,y,(z) coördinaten via Locatie Sensor
(GPS)
◦ Indirect  Join met ruimtelijke objecten bvb BAG of BGT
objecten

11. Voorbeelden Spatial Big Data

12.  EU Copernicus programma
 Sentinel Satellites (open remote sensing data)
 3.000 TB/year (~8 TB/day) raw data

13.  Zeer hoge resolutie images die grote gebieden afdekken
 http://www.gigapan.com/galleries/11203/gigapans/152220 (demo)

14.  DARPA’s big eye: ARGUS-IS 1.8-Gigapixel camera
for air surveillance
◦ Clear images of objects as small as 15 centimeters from
an altitude of six kilometers
◦ One gigapixel is equal to 1,000 megapixels. For
comparison: Modern professional digital cameras have a
resolution of about 20 megapixels
 1.000.000TB per day…
 City Wide Video Surveillance…
http://youtu.be/6VkKeM-OK6g?t=8m6s

16.  Selfdriving Cars / Drones (laserscanners)
 1 Gigabyte every second = 2 Petabyte data
per auto per jaar…

17.  Google Tango

18.  Georeferenced Social Media Content
 Voorbeeld http://onemilliontweetmap.com

19. Internet of Things &
Smart Cities

20. Things…

21.  Smart Internet Connected devices
 Thing
 +Micro computer (Arduino / Raspberry Pi / MEMS)
 + Sensors en Actuators
 + Internet connection
 + Digital identity (avatar + interactie mogelijkheden via API)
 = “Smart” Thing
 Héél veel Smart Things = “Internet of Things”
 Héél veel Smart Things = Héél veel Data… (spatial big data)
+ + + +
Thing Computer
Sensor(s)
and/or
Actuator(s)
Internet
Connection
Digital
Identity
(“avatar”)
=
Smart
Thing

22.  Facebook of Things…

23. * US Billion = NL Miljard
** US Trillion = NL Biljoen = 1000 Miljard
* ** * **

24. Sensing
Analysis and
Prediction
Act(uat)ing
raw events meaningful
events
Waarnemen
(data creatie)
Aansturen / notificeren /
routeren van objecten en
subjecten
Beschikbaarstelling
Open sensor data
Beschikbaarstelling
Analyses
Beschikbaarstelling
Acties
 Sensing  Analysis  Act(uat)ing

25.  Event processing
 Complex Event Processing (CEP)(meerdere sensor streams)
“Temp. > 30°C”
“Wind < 5km/u”
“Temp. > 30°C” AND “Wind < 5km/u”
Alarmmelding  “Smog risico”
(“meaningful event”)
“Temp. > 30°C”
Alleen overgangen meten

26. Big Data Storage

28. Big Data Analysis Tools

29.  “Traditional” BI tools (Tableau / Qlik etc.)
 Big IT providers MS Azure / IBM / Amazon
 Palantir
 Synerscope (NL - Helvoirt)
 Hadoop Ecosystem of Tools

30. Big Data Analysis

31.  Analyse van Verleden (historische data) Heden
(real-time data) en Toekomst (model output)

32.  Gestructureerde data vs Ongestructureerde data
 Steeds meer informatie uit ongestructureerde
data door slimme algoritmes (tekst / gezicht /
object herkenning, ...)  “convert to structured”

33.  Visualisatie hoort ook bij analyse
 “een kaart meer zegt dan 1000 woorden”
 Voor Big Data nieuwe visualisaties, bvb “event
tunnels”, dynamische spider diagrammen
(grafen) (zie bvb www.d3js.org)

34. Big Data & Artificial Intelligence…
(deep learning)

36.  Virtual Personal Assistants Siri, Google Now, Cortana, etc.
 Gedrag van virtuele spelers in Video Games
 Self Driving (smart) Cars
 Purchase Prediction (bvb welke boodschappen je nodig
hebt o.b.v. koelkast inhoud en agenda;"morgen feestje
voor x people")
 Fraud Detection (monitoren mogelijk misbruik creditcards)
 Online Customer Support (chat bots)
 News Generation (automatisch schrijven van teksten)
 Security Surveillance (monitoring of 1000s of cameras)
 Music and Movie Recommendation Services
 Smart Home Management (based on behavior patterns)
 Computer Aided Diagnostics and Advice (medical, law)

37. Gebruik van Big Data
(Voorbeelden uit Nederland)

38.  Handhaving luchtkwaliteitsnormen

40.  Efficiëntere routeringen
 Minder uitstoot Nox/fijnstof

41.  Vermindering uitstoot door efficiënter
parkeren (minder rondjes rijden  Minder
NOx uitstoot)

42.  Handhaving geluidsnormen
Clean-up (cars) Event start
End of
event

43.  Landelijke meetnetten (GW/OW/Meteo)
 Water Management en Modellering
 Sensing – Analysis – Acting (sluizen)

44.  3D modellen bomen o.b.v. AHN2/3 point
clouds + satellietbeelden
 Boomspecificaties afleiden (stam- en
kruinhoogte, stam- en kruinbreedte, boom
type etc.)
 Exacte aantallen + type bomen in NL

45.  Nationaal Datawarehouse Wegverkeergegevens (NDW)
 Dynamisch verkeersmanagement  bijsturen
verkeersstromen bij files en overschrijding van normen
(geluid/luchtkwaliteit) in bepaald gebied

46.  Airquality Egg (www.airqualityegg.com)
 SmartCitizen Kit (www.smartcitizen.me)

47. Big Data Kwesties

48.  Privacy en Security (wetgeving|hacking)
 Standaarden (interoperability)
 Visie en Strategie (beleid)
 Architectuur (systeem integratie)
 Kennis en Vaardigheden (opleiding)
 Gesloten vs Open data (Eigendom)
 Beheer (data kwantiteit en kwaliteit)

49.  Verzameling van data vaak gekoppeld
aan publieke taken
gezondheidsgegevens,
verkeersdoorstroming. Vaak ook
bijproduct (telecom gegevens)
 Niet alle data mogen zo maar
verzameld, bewerkt en verspreid
worden
 Rekening houden met Privacy,
(Staats)veiligheid, Doelbinding,
Bewaartermijnen, en Intellectueel
Eigendom
 Wet en regelgeving loopt vaak achter
de feiten aan

50.  Smart Things hebben vendor specifieke datamodellen + API protocols + applicaties (“een app
voor ieder thing…”)
 Standaarden zijn er inmiddels wel… maar worden niet gebruikt
◦ Awareness ontbreekt bij gemeenten
◦ Vendor Lock-in (gaan voor de snelle oplossing)
  Lastig om een overall (city scale) geïntegreerd beeld te krijgen
  Sensor data delen met buurgemeenten
API1 API2 API3 API…
Syst.
Vendor1
Syst.
Vendor2
Syst.
Vendor3
Syst.
Vendor
Sensor
Data 1
Sensor
Data 2
Sensor
Data 3
Sensor
Data …
App 1 App 2 App 3 App …
Energy Water Transport Environment
API1
Syst.
Vendor1
Sensor
Data 1
App 1
API2
Syst.
Vendor2
Sensor
Data 2
App 2
API3
Syst.
Vendor3
Sensor
Data 3
App 3
API…
Syst.
Vendor
Sensor
Data …
App …

51.  OGC SWE / Sensor Things
Standaarden
◦ Bieden standaard datamodel en API
beschrijvingen voor Smart Things
◦ Integratie informatie afkomstig van
verschillende vendors
◦ Interoperability tussen systemen in
/ tussen Smart Cities mogelijk
Smart City Interoperability
API1 API2 API3 API…
Syst.
Vendor1
Syst.
Vendor2
Syst.
Vendor3
Syst.
Vendor
Sensor
Data 1
Sensor
Data 2
Sensor
Data 3
Sensor
Data …
Smart City
Informatie
model (IMSC)
Real-Time Datamodel Transformation
Smart City
SensorThings
API
Smart City
SDKs
Smart City A Smart City B
Standaard APIs
Standaard APIs
City Applicaties
API1
Syst.
Vendor1
Sensor
Data 1
API2
Syst.
Vendor2
Sensor
Data 2
API3
Syst.
Vendor3
Sensor
Data 3
API…
Syst.
Vendor
Sensor
Data …

52.  Data standaarden (semantiek)
 Uitwisselingsstandaarden
◦ OGC SensorThings API / Datamodel

53. Tot Slot

54.  5D = 3D (XYZ) + Tijd + “Levels of Detail” (Schaalniveaus)
◦ Nederland volledig 3D gefotografeerd / gefilmd / gelaserscand
◦ Continue bijhouding 3D model via drones /self-driving cars
◦ Gecombineerd met real-time (sensor) data van smart things
◦ Op verschillende schaal (aggregatie) niveaus
 Now THATs Big…

55. Vragen?
Drs. Erik van der Zee
T +31 (0)20 5711 311
M +31 (0) 6 1009 9691
E erik.van.der.zee@geodan.nl
I www.geodan.nl
T @erikvanderzee
President Kennedylaan 1
1079MB Amsterdam
The Netherlands