En introduksjon til Big Data holdt for Tekna i Ingeniørenes Hus tirsdag 13. oktober 2015.

1. Hva er Big Data?
Knut O. Hellan
Head of Data Science
Companybook

2. Definisjon
• Volume - mye data
• Velocity - rask produksjon og rask tilgjengelighet
• Variety - tekst, bilder, lyd, film

3. Definisjon
• Volume - mengden data
• Velocity - rask produksjon og rask tilgjengelighet
• Variety - tekst, bilder, lyd, film
• Variability - inkonsistente data
• Veracity - datakvalitet og nøyaktighet
• Complexity - lenker, krysskoblinger og mer

4. Volume
• Giga, Tera, Peta, Exa, Zetta, Yotta?
• Uhåndterlig med tradisjonelle metoder

5. Velocity
• Millioner av brukere hele tiden
• Deteksjon av unormal oppførsel

6. Variety
• Helsedata mange forskjellige kilder:
• Diagrammer
• Monitoreringsutstyr
• Bilder
• Tekst

7. Variability
• Manglende eller feil data
• PHP tomt objekt blir array i
JSON
• Forvent det uventede - husk
Murphy

8. Complexity
• Bestemme gjennomsnittslengde på brukersesjoner
• Start og slutt basert på tid mellom hendelser
• Må gjøres for hver aktive bruker

9. Veracity
• Har vi riktige data?
• Er algoritmene riktige?
• Er måten vi identifiserer sesjoner på riktig?

10. Historie
• Amerikanske folketelling 1880
• Opptellingen tok 7 år
• 1890 ville tatt 13 år => Information Overload

11. Historie
• The Hollerith Tabulating
Machine
• Hullkort kodet med kjønn,
alder, bosted og mer
• Opptellingen tok 1 år

12. Historie
• 1944 Universitetsbibliotek vil
få plassproblem
• Yale har 200 millioner bøker i
2040
• Vil trenge over 6000
bibliotekarer

13. Historie
• Michael Cox and David Ellsworth (NASA)
• “Application-controlled demand paging for out-of-
core visualization”
• 1997

14. Divide & Conquer
• Del opp til håndterlig størrelse
• Gjør beregninger
• Samle delresultater

15. Mapreduce
• Del opp data
• Gjør beregninger (Map)
• Aggregere resultateter (Reduce)

16. Unix Mapreduce
paste servers data | xargs -P6 -n2 -I% sh -c 'set -- %;
<$2 ssh $1 map' | reduce
paste servers data
xargs
Alex Schepanovski

18. Map
• Del opp linjer i enkeltord
• Skriv ut hver ord og et ett-tall
• For hvert ord, legg sammen alle tall

19. Map II
Vi ser nærmere på aktuelle trender og bruksområder
samt hvilke systemer og verktøy som benyttes i ulike
kontekster
vi 1
ser 1
nærmere 1
…

20. Shuffle
Vi ser nærmere på aktuelle trender og bruksområder
samt hvilke systemer og verktøy som benyttes i ulike
kontekster
…
nærmere 1
og 1
og 1
på 1
…

21. Reduce
Vi ser nærmere på aktuelle trender og bruksområder
samt hvilke systemer og verktøy som benyttes i ulike
kontekster
…
nærmere 1
og 1, 1
på 1
…

22. Reduce
Vi ser nærmere på aktuelle trender og bruksområder
samt hvilke systemer og verktøy som benyttes i ulike
kontekster
…
nærmere 1
og 2
på 1
…

23. Indeksering
• Inputdata er alle dokumenter
• Mappere får hele dokumenter og dokument id
• Skriver ut ord og dokument id

25. • Distribuert filsystem HDFS
• Mapreduce YARN

26. • Distribuert database: HBase
• Nesten SQL for HDFS og
HBASE: Hive
• Apache Pig

27. Apache Hive
• Eksterne data mange formater
• Støtter eksterne funksjoner f.eks Python
• Komplekse Spørringer

28. Apache Pig
• SQL lignende
• Dataflytspråk
• Kompilerer til Mapreduce

29. Lambdaarkitektur

30. Strømming
• Distribuert sanntidsprosessering (real-time)
• Alternativ til Mapreduce
• Apache Storm

31. Minne
• Spark - skriv prosessering i valgfritt språk
• Tez - gjør Pig- og Hive- applikasjoner raskere

32. Transport - Kafka
• Distribuert pub-sub kø
• Klienten vet hvor den skal lese
• Kafka har fast buffer

33. Arkitektur
App Kafka Storm HDFS Hive
M/R
Spark

34. Relasjonsdatabase
• Relasjoner
• Megaserver - mye minne, disk og CPU
• Multi-server er dyrt

35. Relasjonsdatabase

36. • 12 TB RAM
• 3072 Kjerner
• Delt minne

37. Alternativer
• Microsoft Azure
• Amazon EC2 / AWS
• Apache Flink
• Logstash og Kibana

38. Oppdeling
• Mye data
• Del opp konsistent
• Nøkkel har fast adresse

39. Oppdeling
• Mye trafikk
• Mange like deler
• Alle kan brukes

40. Oppdeling
• Mye trafikk og data
• Del datasettet
• Dupliser hver del

41. Relatert teknologi

42. Maskinlæring

43. Deep Learning

44. Eksperimentere
• https://github.com/wurstmeister/storm-docker
• https://github.com/prasanthj/docker-hive-on-tez
• https://hub.docker.com/r/ypandit/hdp-spark/

45. Eksperimentere II
• Installere lokalt på Windows, Mac, Linux
• Google it

46. Ekperimentere III
• Torch (http://torch.ch/)
• iTorch
• Visualisering av nettverk

48. Knut O. Hellan
Head of Data Science
https://www.companybooknetworking.com/
http://www.your.md/