Slides for a presentation given at a Fortum's internal big data event. The presentation drafts out a journey from big data through sensor data in general into automated use of cutting edge sensors, drones and data technology in inspecting infrastructure.
2. BIG DATA – IS IT JUST LARGE DATA?
• Data is gathered from multiple sources of varying quality
• Operational use of data is often awkward
• ”Data to knowledge” is a necessary intermediate step, but it’s
nothing more than intermediate
3. WHO GENERATES DATA?
Human-generated data:
• 5K tweets / s
• 25K events / s from a mobile game (about 200 GB / day)
• 40K Google searches / s
Machine-generated data:
• 5M bids / s at US options market
• 120 MB / s of diagnostics from a single gas turbine
• 1 PB / s at collision time from CERN LHC accelerator
4. SENSOR DATA
• Generated by machines
• May monitor a controlled subject: the myriad of sensors in a nuclear plant
• May observe the natural environment: ESA Copernicus satellites
• The Big Data upheaval has raised expectations about possibilities
5. OBSERVING THE ENVIRONMENT WITH SENSORS
• In data solutions often ”the real world comes and botches everything”
• Machine-generated data can usually avoid this problem
• Observing the environment with sensors, however, is an exception
6. WHAT ENVIRONMENT COULD WE OBSERVE?
• Space
• Natural phenomenons
• Human activity in large scale
• Infrastructure
7. MONITORING INFRASTRUCTURE
• We place high expectations for our public infrastructure
• Disruptions and breakdowns are very expensive
• The amount of infrastructure is colossal
• Typical infrastructure permits only external monitoring
8. WHY IS MONITORING INFRASTRUCTURE SO
EXPENSIVE?
• Monitoring needs to be extensive, continuous and diverse
• Many important observations are vague and cryptic even for a human
• Mistakes are very costly
9. HOW COULD WE SAVE ON THIS?
• Separate the data collection and evaluation phases
• Automate both!
• Machines can reliably run large and complex evaluations
• The data will have many unexpected use cases once it exists
10. DATA COLLECTION WITH UAVS
• UAVs minimize the data collection costs
• Access to hard-to-reach places
• Technology advances rapidly --> prices will drop further
• Europe has a single company with legal permits for BVLOS flights
11. AUTOMATIC EVALUATION OF THE DATA
• Machine is by far faster and more reliable evaluator than a human
• Proper use and complexity of data has been the historical problem
• Digitization of information allows for wholly new solutions
12. THE FUTURE OF SENSOR DATA
• Sensor size and cost will drop while quality and capabilities grow
• The last obstacle: Efficient distributed data gathering is only now
becoming feasible
• Massive potential of totally uprooting old business models
Editor's Notes
Nopeus, määrä, monimuotoisuus, mutta ne vain seurausta ideologian erosta: kerääminen ennen tarkoitusta, monimutkaisuuden tavoittelu
Dataa ei vain itsestään ilmesty ja toimi, vaan vaatii jatkuvaa huolenpitoa, strategista käsittelyä ja merkittävästi suurempaa teknistä kyvykkyyttä.
Oikein ymmärtäminen ja päätökset hankalia: yksityiskohdat, ihmiset + tilastot.
Ymmärrys tarvitaan ennen käyttöä.
Ymmärtäminen ei riitä, ymmärtäminen ei ole päätös eikä se skaalaudu.
Ihmisten tuottama data lähes aina ”pientä”.
Voi olla ideologisesti big dataa, mutta absoluuttisesti aina vain pienempää.
Lähes kaikki datat mahtuvat jo yhden koneen muistiin.
Esim. 1.5 sähköasiakkaan tuntitason mittaridata 25 vuodelta.
Sensoreita voidaan asentaa koneisiin, ripotella ympäriinsä ja keskittää kalliisiin laitteisiin
Ei tarvitse rajoittua vain tiettyyn datapisteeseen, ”mitä tietoa voisimme kerätä tästä kohteesta?”
Päätapaukset:
Ihmisten luoma data on täynnä sotkua, esimerkiksi tweettien kirjoitusvirheet, mobiilidatan sekavat timestampit, hyppivät ID:t
Tosimaailman bisnes-vaatimukset
Sisäinen data on hallittua, helppoa. Ulkomaailma on se mikä sotkee kaiken.
Ympäristön havainnoinnin kehitys: armeija -> avaruus -> turvallisuus -> tulevaisuus -> bisnes
Mitä tekisit, jos tietäisit tarkalleen peltojesi hyvät ja huonot kohdat ja syyt siihen?
Infran pitää olla ehdottoman luotettavaa.
Se on myös jatkuvasti ja *pitkään* ympäristön armoilla.
Betoniin ei voi asentaa sensoreita eikä putkivuotoja havaita reaaliajassa.
Infraa paljon, se kärsii jatkuvasti, riskejä ei sovi ottaa ja mahdollisia ongelmia valtavasti.
Eri arviointeja voi joutua tekemään tuhansia samasta kohteesta, ihmiselle hankalaa olla systemaattinen.
Datan ja päätösten teon epämääräisyys palaa kuvaan.
Aiemmin havainnoija keräsi silmin tietoja, joita sitten arvioi.
Voimme sen sijaan erottaa tiedon keruun, jolloin siihen ei kulu havainnoijan aikaa.
Seuraavaksi automoimme tiedon keruun.
Sitten automoimme havainnoinnin.
Säästöt: bensa, iso laite ja sen capex, kuljetus
Sensorit nyt merkittävä kustannuserä, ts. sivukustannukset romahtaneet lennokeilla
BVLOS-lennot Itä-Suomessa
”Kuvittele arvioija istumaan helikopteriin kun metsä virtaa ohi”
Vaikka tietoa kerättäisiinkin, sen tehokas käsittely ollut mahdotonta.
Me olemme ratkaisseet datan käytön monimutkaisuuden teknologiallamme.
Sensoridata on konedataa, se kasvaa kovalevyjen tahtia.
Sensoridata tulee totaalisesti muuttamaan ymmärryksemme ympäristöstä ja itsestämme.
Juuri nyt enemmän vanhan mullistamista kuin aivan uuden luontia.
Sharper Shape on pidemmällä kuin kukaan kahdella teknologian rintamalla.
Lennokkien BVLOS-käytössä infran tarkistamiseen JA
2) automaattisessa sensorifuusion mallinnuksessa
Kiitos!