Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Beverwedstrijd Big Data (klas 3/4/5/6)

40 views

Published on

Beverwedstrijd lezing over Big Data
Doelgroep klas 3-6 VWO.
17 maart

Published in: Education
  • Be the first to comment

  • Be the first to like this

Beverwedstrijd Big Data (klas 3/4/5/6)

  1. 1. Bever Finale 2017 - 2018 Lezing over Big Data Prof.dr.ir. Arjen P. de Vries arjen@acm.org Nijmegen, March 16th, 2018
  2. 2. Big Data  De 3 Vs van Big Data: - Volume We meten steeds meer, en wat we aan data verkrijgen groeit sneller en sneller - Velocity Data komt sneller binnen dan we het kunnen analyseren – aardbeving waarschuwing alleen nuttig als het voor de beving is uitgerekend! - Variety Data is steeds vaker ongestructureerd, in de vorm van tekst, beeld of video.
  3. 3. Big Data: nieuwe mogelijkheden! Om  Data te genereren,  Delen,  Combineren  Analyseren .. die leiden tot nieuwe inzichten en een nieuwe manier van redeneren. (bron: Definitie van big data van de Nationale DenkTank)
  4. 4. Bijvoorbeeld in de wetenschap! (Banko and Brill, ACL 2001) (Brants et al., EMNLP 2007)
  5. 5. Diversiteit aan data  Tweets!  Alles wat er op sociale netwerken wordt geplaatst - Facebook, Instagram, Pinterest, …  Alles wat er aan sociale media wordt geproduceerd - YouTube, Flickr, …  Communicatie: - WhatsApp berichten en andere chat services als skype, Snapchat, … - Email  Locatie-informatie - De plek waar we ons bevinden, via smartphone GPS bv.  Wat we kopen, bv. Bonuskaart, kortingsbonnen, … en ga zo nog maar even door; denk bijvoorbeeld ook aan het Internet of Things (Bv., de verwarmingsketel, elektriceitsmeters, etc.)
  6. 6. Diversiteit aan data (Opdracht 1)  Doe jij ook mee met het creëren van data? Ja, daar kun je niet om heen. Denk er maar eens over na.  Hoe creëer jij data?  Kun jij je data voorstellen die jij zelf gecreëerd hebt maar waarvan je eigenlijk niet wilt dat anderen daar iets mee gaan doen?  Kun jij je ook data voorstellen die, als dat op het internet komt, voor jou nuttig kan zijn?
  7. 7. Herken eigennamen Ordenen zoekresultaten Voorspel wat jij wilt vinden Suggesties andere vragen
  8. 8. Spelfouten corrigeren Wat zou de gebruiker willen? Orden de “verticals” Suggesties zoekvragen
  9. 9.  August 4, 2006: Logs voor academici  3 maanden, 650 duizend gebruikers, 20 miljoen zoekvragen  Anonieme User IDs  August 7, 2006: AOL haalde de data weg, maar… internet vergeet nooit!  August 9, 2006: New York Times identificeert Thelma Arnold  “A Face Is Exposed for AOL Searcher No. 4417749”  Zoekvragen in een kleine gemeenschap, Lilburn, GA (pop. 11k)  Zoekvragen naar specifieke namen (Jarrett Arnold)  NYT journalist benadert alle 14 mensen in Lilburn met achternaam Arnold  Thelma Arnold bevestigt haar zoekvragen  August 21, 2006: 2 AOL werknemers ontslagen, CTO zelf weg  September, 2006: “Class action rechtzaak” ingediend tegen AOL AnonID Query QueryTime ItemRank ClickURL ---------- --------- --------------- ------------- ------------ 1234567 uw cse 2006-04-04 18:18:18 1 http://www.cs.washington.edu/ 1234567 uw admissions process 2006-04-04 18:18:18 3 http://admit.washington.edu/admission 1234567 computer science hci 2006-04-24 09:19:32 1234567 computer science hci 2006-04-24 09:20:04 2 http://www.hcii.cmu.edu 1234567 seattle restaurants 2006-04-24 09:25:50 2 http://seattletimes.nwsource.com/rests 1234567 perlman montreal 2006-04-24 10:15:14 4 http://oldwww.acm.org/perlman/guide.html 1234567 uw admissions notification 2006-05-20 13:13:13 … AOL Search Dataset Tnx Jamie Teevan
  10. 10. AOL Search Dataset  Anonieme IDs geen garantie voor anonimiteit  Logs bevatten direct identificerende informatie:  Namen, telefoonnummers, credit cards, BSNs  Tevens indirect identificerende informatie:  Thelma’s vragen uit het NYT artikel  Geboortedatum, geslacht en postcode is voldoende om 87% van de Amerikanen uniek te identificeren! Tnx Jamie Teevan
  11. 11. Big Data in NL  Aankopen bij bol.com  Bestemmingen van Booking.com op maat  Advertenties real-time verkopen, bv. bij nu.nl (Sanoma)  Nieuwsbrieven Blendle.nl  Kinderzoekmachine WizeNoze.com Etc. etc.
  12. 12. Twitter
  13. 13. Twitter  Wie leest er weleens een Tweet?  Wie weet er wat een “hashtag” is? #WIDM  Wie verstuurt er weleens een Tweet?
  14. 14. Je bent niet de enige!  6000 Tweets per seconde  500.000.000 Tweets per dag  200.000.000.000 Tweets per jaar internetlivestats.com
  15. 15. Al het werk van William Shakespeare: 5.500.000 letters… Duurt slechts 11,6 Twitter-seconde! quora.com/How-much-data-does-Twitter-store-daily
  16. 16. Hoeveel data is dat dan?
  17. 17. Hoeveel data is dat dan?  Byte = getal tussen 0 en 255 of een getal tussen -128 en +127   Hoe zit dan dan met letters?
  18. 18. Hoeveel data is dat dan?  6000 / s x 1 KB / = 6 MB / s = 500 GB / dag Alleen nog maar de Tweet tekst... … dus we missen: Plaatjes Web pagina’s Filmpjes Etc.
  19. 19. BIG Data (Opdracht 2)  Nieuwe data: 30.000 GigaByte/s = 3x104x109 B/s = 3x1013 B/s  Hardeschijf: 2 TB = 2x1012 B  Dus, na 0,07 seconden is jouw harde schijf al vol!! Bedenk hoe groot de harde schijf is die in jouw computer zit. Weet je dat niet? Ga er dan maar van uit dat je een harde schijf ter beschikking hebt van 2 TB (terabyte).  Hoeveel seconden (of minuten, uren of dagen) kun je aan data op slaan, uitgaande van 30.000 gigabytes per seconde?
  20. 20. BIG Data  24 uur = 86400 seconden  Met 3x1013 B/s is dat dan 2,6x1018 B aan data  Met 2x1012 B per schijf is dat 1.300.000 schijven per seconde!  Dus zo big is big! Hoeveel harde schijven van 2 TB heb je nodig om alle data van een dag op te slaan?
  21. 21. Terug naar Twitter: Puzzeltje! slideshare.net/raffikrikorian/twitter-by-the-numbers
  22. 22. @CWI – 2011
  23. 23. Source: Google Data Center (is the Computer)
  24. 24. A Prototype “Big Data Analysis” Task  Bekijk elk data-item  Extraheer “iets interessants”  Aggregeer de tussenresultaten - Hiervoor moet je gewoonlijk alle data sorteren en herverdelen over het datacentrum!  Genereer de gevraagde analyse-resultaten (Dean and Ghemawat, OSDI 2004)
  25. 25. Word Count: Baseline
  26. 26. MapReduce mapmap map map Shuffle and Sort: aggregate values by keys reduce reduce reduce k1 k2 k3 k4 k5 k6v1 v2 v3 v4 v5 v6 ba 1 2 c c3 6 a c5 2 b c7 8 a 1 5 b 2 7 c 2 3 6 8 r1 s1 r2 s2 r3 s3 mapmap map map Shuffle and Sort: aggregate values by keys reduce reduce reduce k1 k2 k3 k4 k5 k6v1 v2 v3 v4 v5 v6k1 k2 k3 k4 k5 k6v1 v2 v3 v4 v5 v6 ba 1 2ba 1 2 c c3 6c c3 6 a c5 2a c5 2 b c7 8b c7 8 a 1 5a 1 5 b 2 7b 2 7 c 2 3 6 8c 2 3 6 8 r1 s1r1 s1 r2 s2r2 s2 r3 s3r3 s3
  27. 27. MapReduce mapmap map map Shuffle and Sort: aggregate values by keys reduce reduce reduce k1 k2 k3 k4 k5 k6v1 v2 v3 v4 v5 v6 ba 1 2 c c3 6 a c5 2 b c7 8 a 1 5 b 2 7 c 2 3 6 8 r1 s1 r2 s2 r3 s3 mapmap map map Shuffle and Sort: aggregate values by keys reduce reduce reduce k1 k2 k3 k4 k5 k6v1 v2 v3 v4 v5 v6k1 k2 k3 k4 k5 k6v1 v2 v3 v4 v5 v6 ba 1 2ba 1 2 c c3 6c c3 6 a c5 2a c5 2 b c7 8b c7 8 a 1 5a 1 5 b 2 7b 2 7 c 2 3 6 8c 2 3 6 8 r1 s1r1 s1 r2 s2r2 s2 r3 s3r3 s3
  28. 28. MapReduce mapmap map map Shuffle and Sort: aggregate values by keys reduce reduce reduce k1 k2 k3 k4 k5 k6v1 v2 v3 v4 v5 v6 ba 1 2 c c3 6 a c5 2 b c7 8 a 1 5 b 2 7 c 2 3 6 8 r1 s1 r2 s2 r3 s3 mapmap map map Shuffle and Sort: aggregate values by keys reduce reduce reduce k1 k2 k3 k4 k5 k6v1 v2 v3 v4 v5 v6k1 k2 k3 k4 k5 k6v1 v2 v3 v4 v5 v6 ba 1 2ba 1 2 c c3 6c c3 6 a c5 2a c5 2 b c7 8b c7 8 a 1 5a 1 5 b 2 7b 2 7 c 2 3 6 8c 2 3 6 8 r1 s1r1 s1 r2 s2r2 s2 r3 s3r3 s3
  29. 29. MapReduce mapmap map map Shuffle and Sort: aggregate values by keys reduce reduce reduce k1 k2 k3 k4 k5 k6v1 v2 v3 v4 v5 v6 ba 1 2 c c3 6 a c5 2 b c7 8 a 1 5 b 2 7 c 2 3 6 8 r1 s1 r2 s2 r3 s3 mapmap map map Shuffle and Sort: aggregate values by keys reduce reduce reduce k1 k2 k3 k4 k5 k6v1 v2 v3 v4 v5 v6k1 k2 k3 k4 k5 k6v1 v2 v3 v4 v5 v6 ba 1 2ba 1 2 c c3 6c c3 6 a c5 2a c5 2 b c7 8b c7 8 a 1 5a 1 5 b 2 7b 2 7 c 2 3 6 8c 2 3 6 8 r1 s1r1 s1 r2 s2r2 s2 r3 s3r3 s3
  30. 30. Combiners  Commutatieve en associatieve operators? - Dan kan de reduce ook al voor de shuffle toegepast worden!  Commutatieve operator: A + B = B + A  Associatieve operator: (A + B) + C = A + (B + C)
  31. 31. combinecombine combine combine ba 1 2 c 9 a c5 2 b c7 8 partition partition partition partition mapmap map map k1 k2 k3 k4 k5 k6v1 v2 v3 v4 v5 v6 ba 1 2 c c3 6 a c5 2 b c7 8 Shuffle and Sort: aggregate values by keys reduce reduce reduce a 1 5 b 2 7 c 2 9 8 r1 s1 r2 s2 r3 s3 c 2 3 6 8
  32. 32. combinecombine combine combine ba 1 2 c 9 a c5 2 b c7 8 partition partition partition partition mapmap map map k1 k2 k3 k4 k5 k6v1 v2 v3 v4 v5 v6 ba 1 2 c c3 6 a c5 2 b c7 8 Shuffle and Sort: aggregate values by keys reduce reduce reduce a 1 5 b 2 7 c 2 9 8 r1 s1 r2 s2 r3 s3 c 2 3 6 8
  33. 33. combinecombine combine combine ba 1 2 c 9 a c5 2 b c7 8 partition partition partition partition mapmap map map k1 k2 k3 k4 k5 k6v1 v2 v3 v4 v5 v6 ba 1 2 c c3 6 a c5 2 b c7 8 Shuffle and Sort: aggregate values by keys reduce reduce reduce a 1 5 b 2 7 c 2 9 8 r1 s1 r2 s2 r3 s3 c 2 3 6 8
  34. 34. Quiz: Waarom moet de operator associatief en commutatief zijn?
  35. 35. Gemiddelde berekenen Quiz: reducer als combiner?
  36. 36. Gemiddelde berekenen Quiz: reducer als combiner?
  37. 37. Gemiddelde  Niet associatief!  “Het gemiddelde van een reeks gemiddelden is niet gelijk aan het gemiddelde van de reeks oorspronkelijke getallen” - Wanneer wel?!
  38. 38. Het kan toch!
  39. 39. Waarom werkt het nu wel?  De operator “gemiddelde” werkt niet meer op getallen, maar op de combinatie van deelsom en aantal  Deze nieuwe operator is wel associatief en commutatief!
  40. 40. Wat heb je geleerd?  Nieuwe mogelijkheden door meer data  Bedrijven als Google en Twitter hebben heel veel computers nodig – elke 12 seconden meer data op Twitter dan wat Shakespeare in zijn hele leven heeft geschreven!  Met kennis van algebra kunnen we algorithmen hetzelfde werk met minder computers laten doen Informatica is heel erg leuk!

×