Big data -esitys 12/2014

2. Big DataMEGATRENDI 2011 ⇒
"The next frontier for innovation,
competition and productivity"

3. “Cloud Computing” ja “Big Data”
cloudcom
puting
big data
Google-haut vuosina 2009-2014

4. Määritelmä ja
viitekehys

5. Mitä tarkoittaa big data?
1. Havaintoa siitä, että dataa on koko ajan määrällisesti
enemmän ja sen muoto ja laatu vaihtelevat suuresti
2. Haastetta hallita ja hyödyntää tuota tietomäärää
perinteisten järjestelmien ja ratkaisujen avulla
3. Ratkaisuja (tuotteet, palvelut, ohjelmistot,
teknologiat), joilla tuohon haasteeseen tartutaan

6. Big datan 3 V:tä
Volume Tietoa (dataa) on koko ajan enemmän. Se pitäisi
pystyä tallentamaan ja hyödyntämään.
Velocity Tietoa (dataa) tulee koko ajan nopeammin.
Päätöksiä pitäisi pystyä tekemään nopeasti.
Variety Tietoa (dataa) tulee eri muodoissa ja erilaisista
lähteistä, eikä se istu hyvin nykyisiin
toimintamalleihin.
Veracity, Value, Virality, Validity, Viscosity, Vulnerability…
myös muita V-kirjaimia on jälkeenpäin lisätty kuvaamaan ilmiötä.

7. = paljon nopeasti lisääntyvää
monimuotoista dataa
Big datan 3 V:tä
velocity → volume→
variety→
Big data

8. ● IDC sanoo (04/2014), että vuonna 2014 markkinat ovat 14
mrd $ ja kasvavat vuonna 2017 tasolle 32 mrd $
● Gartner sanoo (10/2012), että vuonna 2012 big data -
markkinat olivat jo 28 mrd $
● McKinseyn raportissa (05/2011) arvioitiin big datan
vuotuisen lisäarvo- ja kustannussäästöpotentiaalin olleen
jo vuonna 2011 arviolta 1 000 mrd €
Big data -markkinoiden koko

9. Muita käsitteitä?

10. Ilmiöllä on monta nimeä
● Internet of Things + Social Media
○ esineiden internet + ihmisten internet
● Big data
○ massadata yms. (mm. McKinsey)
● Internet of Everything
○ kaiken internet (Gartner → ihmiset, esineet, informaatio, paikat)
● Industrial Internet
○ teollinen internet (General Electric)
● Industrial Internet of Things
○ asioiden teollinen internet (Accenture)

11. Data on öljy?

12. Datan määrä maailmassa
v 2011
2 ZB
v 2020
v 2030
44 ZB 1 333 ZB

13. Esimerkkejä määrästä ja tiedon lähteistä
PB
TB
GB
MB
Monimuotoisuus
Big data
Web
CRM
ERP Purchase detail
Purchase record
Payment record
Segmentation
Offer details
Customer touches
Support contacts
Web logs
Offer history
A/B testing
Dynamic pricing
Affiliate networks
Search marketing
Behavioral
targeting
Dynamic funnels
Sensors / RFID / Devices
Mobile Web
User click stream
Sentiment
User generated content
Social interactions & feeds
Spatial & GPS coordinates
External demographics
Business data feeds
HD video, audio, images
Speech to text
Product / service logs
SMS / MMS
Määrä
Lähde: mukaillen Yli-Pietilä, Backman & Ahlgren

14. Data
Informaatio
Tietämys
Älykkyys
Näkemys
Ymmärrys
Viisaus
ARVO
Tiedon tasot
Lähde: mukaillen Laihonen et al. Tuomi, Thierauf Ackoff

15. Analytiikan askeleet kohti kilpailuetua
kohti reaaliaikaisuutta
Raportointi Ennustaminen Automatisointi

16. Datan lähteet

17. Mistä sitä dataa oikein tulee?
Saatavilla olevat
datavarannot
(avoin data, datamarkkinat)
Potentiaalinen data
(ei vielä kerätä)
Digitaalinen todellisuus
(internet, sosiaalinen media)
Fyysinen todellisuus
(sensorit, esineiden internet)
Organisaation hallussa tai
saatavilla oleva data
(ERP, CRM, DW, RDBMS)

18. Suppein näkökulma dataan
Tästä näkökulmasta big data
koskettaa ilmiönä n. 0,2 %
maailman organisaatioista
“Eihän meillä edes ole big dataa!”
Yrityksen oma strukturoitu data
Yrityksen vielä hyödyntämätön data
Yrityksen vielä keräämätön data

19. Suppeahko näkökulma dataan
Tästä näkökulmasta big data
koskettaa ilmiönä n. 3 %
maailman organisaatioista
“Entä jos hyödyntäisimme kaiken sen datan jota jo keräämme?”
Yrityksen oma strukturoitu data
Yrityksen vielä hyödyntämätön data
Yrityksen vielä keräämätön data

20. Verkostoitunut näkökulma dataan
Tästä näkökulmasta big data
koskettaa ilmiönä n. 22 %
maailman organisaatioista
“Voisimmeko kerätä enemmän dataa toiminnastamme?”
Yrityksen oma strukturoitu data
Yrityksen vielä hyödyntämätön data
Yrityksen vielä keräämätön data

21. Verkostoitunut näkökulma dataan
Tästä näkökulmasta big data
koskettaa ilmiönä n. 72 %
maailman organisaatioista
“Verkottunut yritys ei voi piilotella dataansa!”
Organisaatio
Kumppani Kumppani
Kumppani Kumppani
Kumppani Kumppani

22. Kokonaisvaltainen näkökulma dataan
“Pelkkä omaan dataan tuijottelu ei tuota ikuisesti kilpailuetua!”
Tästä näkökulmasta big data koskettaa ilmiönä n. 98 %
maailman organisaatioista
Avoin data
Datamarkkinat

23. Tietosuoja?

24. ● Avoimuuteen patistetaan
○ Esim. PSI-direktiivi (julk 06/2013, implementointi 07/2015)
● Tietosuoja huolettaa
○ Esim. oikeus poistaa omat tietonsa Googlesta
● Henkilötietojen omistajuus?
○ Lue LVM:n MyData-selvitys
Tietosuoja ja yksityisyys iso huoli

25. My Data on henkilötietojen osajoukko
Mikäli yksilöllä ei ole mahdollisuutta hyödyntää
ja hallinnoida jonkun muun hänestä keräämää
henkilötietoa, niin sitä ei voida kutsua my dataksi.
Jos hyödyntämisen ja hallinnan mahdollisuudet
ovat kaikkiin henkilötietoihin, voivat my data ja
henkilötiedot olla myös sama asia.

26. Uusi ammatti:
datatieteilijä

27. Toistaiseksi datatieteen
osaamisvaatimuksia voidaan harvoin
täyttää vain yhden työntekijän
voimin. Organisaation data-analyysi -
toiminnot ovatkin tavallisimmin
koottu tiimeihin.
Datatieteilijän rooli big datassa
Lähde: NIST / USA

28. Big datan teknologiat
● Hadoop (tunnetuin yksittäinen uusi teknologia)
● NoSQL (uudenlaiset tietokannat)
● Appliance (valmisratkaisut)
● In-memory -analytics
● Pilvipalvelut
○ Amazon
○ Google
○ IBM
○ Microsoft

29. Big Data
Landscape

30. Teknologiakirjo kasvaa..
ERP
SCM
Images
Audio
Video
Logs
Text
Web & Social
Input
Marketing
Analytics
Applicatios
Business
Intelligence
Data Mining
Math & Stats
Analytic tools
Marketing
Executives
Frontline
Employees
Business
Analysts
Statisticians
Data
Scientists
Engineers
Event Processing
Real Time
Data Platform
Store and Refine
Integrated Data
Warehouse
Operationalize
Discovery Platform
Exploration
Lähde: mukaillen Teradata

31. HadoopBig datan teollisuusstandardi

32. Googlen julkaisu Vuosi
Avoimen lähdekoodin
projekti
Vuosi Mihin tarkoitukseen?
GFS ja
MapReduce
2003,
2004
Hadoop 2006
Datan tallentaminen ja analysointi
(klusteri)
Sawzall 2005 Pig ja Hive 2008 Massa-analytiikka
BigTable 2006 HBase 2008 Avain-arvopari -tietokanta (NoSQL)
Pregel 2010 Giraph 2011 Graph-tietokanta
Dremel / F1 2010 Cloudera Impala 2012 Nopeat kyselyt (SQL)
Spanner 2012 ? ???? Transaktiot
Innoittajana Google

33. Mitä Hadoop tekee?
Hadoop valjastaa palvelinklusterin vastaamaan datan
tallennuksesta ja prosessoinnista.
Miksi haluaisin Hadoop-klusterin?
- edullista tallennustilaa (mikä vaan x86-palvelin käy)
- tehokasta prosessointia (rinnakkaisuus)
- toimintavarmuutta (moninkertainen tallennus)
- skaalautuvuutta (klusteria helppo laajentaa)
- ekosysteemit, lisäosia ja laajennoksia!

34. Klusteri?
Klusteri = joukko toisiinsa kytkettyjä
palvelimia (nodes), jotka suorittavat
annettua tehtävää hajautettuna,
mutta näkyvät käyttäjälle
yhtenä järjestelmänä

35. Hadoop sopii datan
tallentamiseen

36. Hadoop Distributed File System: HDFS
Node 1
data piece
Big Data
(= 1 or more files)
data piece
data piece
Node 2
data piece
data piece
data piece
Node 3
data piece
data piece
data piece
Node 4
data piece
data piece
data piece
HDFS
Lähde: mukaillen www.glennklockwood.com

37. Hadoop sopii datan
prosessointiin

38. Hadoop: Prosessoinnin logiikka
MapReduce: Viedään prosessointi datan luo!
Lähde: www.glennklockwood.com
“Map/reduce is ideally suited for
trivially parallel calculations on
large quantities of data.”

39. Hadoopin roolin
ennustetaan olevan
keskeinen

40. Hadoopin asema big data -ilmiössä
Hadoop
Datan määrä
Datanrakenteisuus
2 Tb1 Gb 20 Tb 200 Tb

41. HadoopMistä sellaisen saa?

42. Neljä vaihtoehtoa
1. hadoop.apache.org
2. Valmis jakelu
3. Hadoop osana laajempaa kokonaisuutta
4. Pilvipalvelu
Hadoopin käyttöönotto

43. 1. hadoop.apache.org
“Harva organisaatio päätyy käyttämään Hadoopia näin.
Startup-yritysten, tutkimuslaitosten ja yliopistojen
vaihtoehto.”
Vahvuudet (+) Ilmainen
Heikkoudet (-) Joutuu tekemään kaiken itse

44. 2. Valmis jakelu
Vahvuudet (+) Helppous, tuki, koulutus, partnerit ja
optimoitu suorituskyky
Heikkoudet (-) Lukittumisuhka (lock-in), maksullinen
“Tyypillinen tapa tällä hetkellä ottaa Hadoop käyttöön.
Objektiivinen vertailu hankalaa, tietoa vaikea saada. Vaatii
vahvaa kehitystiimiä.”

45. 3. Hadoop osana kokonaisuutta
Vahvuudet (+) Kehittyneet ominaisuudet,
integroitavuus, tuki- ja partneriverkosto
Heikkoudet (-) Kallis, vendor lock-in
“Tämä on se todennäköinen tapa, jolla Hadoop hiipii
yrityksiin, joilla on voimakas toimittajasuhde. Hadoop
osana isompaa kokonaisuutta.”

46. Vahvuudet (+) Nopea käyttöönotto, joustavuus,
kustannusten ennakointi
Heikkoudet (-) Tietoturvahuolet, lainsäädäntö, lisää
osaamisvaatimuksia
“Helpoin, riskittömin ja nopein tapa pilotointiin,
demoamiseen ja testaamiseen. Todennäköisesti
tulevaisuudessa yhä merkittävämpi vaihtoehto myös
tuotantokäyttöön.”
3. Hadoop pilvipalveluna

47. Pilvipalvelut
“Vuokrataan tallennustila ja
laskentateho”

48. 2008
2009
2010
2011
2012
2013
2014
Cloud computing in Gartner
Hype Cycle for Emerging Technologies
2008-2014
2015
Aika
Odotukset

50. Pilvipalvelut vahvassa kasvussa!
Company Market Share Growth-% (Q1 2014)
Amazon 28 % 67 %
Microsoft 8 % 154 %
IBM 7 % 80 %
Salesforce 6 % 37 %
Google 5 % 60 %
Synergy Research Group

51. Datan analysoiminen pilvessä
Terasortin maailmanennätys Googlen pilvipalvelussa:
“Since the servers used in MapR’s world record were
virtually instantiated in the Cloud, the cost estimate for
running the TeraSort was about $9 compared to the over
$5M estimate to run the previous record.”
joustavuudesta!
Tästä on kysymys:
$ 9 vs. $ 5 000 000

52. Big data Suomessa
Ivorio toteutti Liikenne- ja viestintäministeriölle
selvityksen suomalaisesta big data -markkinasta.
Mukana olivat julkishallinnon, yritysten,
palveluntarjoajien ja oppilaitosten edustajat.
http://www.lvm.fi/julkaisu/4156840/big-data-suomessa-keskustelualoite

53. Big data hyödyntäminen
Liikenne- ja viestintäministeriön big datan käyttö
-työryhmän raportissa esitetään luonnos
kansalliseksi strategiaksi ja ehdotuksia
kansallisiksi strategisiksi toimenpiteiksi, joiden
avulla voidaan lisätä suurten tietoaineistojen
hyödyntämistä Suomessa.
http://www.lvm.fi/julkaisu/4417803/big-datan-hyodyntaminen

54. Kiitos!
Immo Salo
@immon
fi.linkedin.com/in/immosalo
immo.salo@ivorio.fi
045 1233 563