Trenddetectie in big data:trendwatchers van de toekomstSandjai Bhulais.bhulai@vu.nl
De wereld van vandaagSandjai Bhulai (s.bhulai@vu.nl)
De wereld van vandaag: sociale mediaSandjai Bhulai (s.bhulai@vu.nl)
Sociale media in ons levenSandjai Bhulai (s.bhulai@vu.nl)
Sociale media in ons levenSandjai Bhulai (s.bhulai@vu.nl)
Sociale media in ons levenSandjai Bhulai (s.bhulai@vu.nl)
Sociale media in ons levenSandjai Bhulai (s.bhulai@vu.nl)
Sandjai Bhulai (s.bhulai@vu.nl), VU University  Sandjai Bhulai (s.bhulai@vu.nl)                                           ...
Sandjai Bhulai (s.bhulai@vu.nl), VU University  Sandjai Bhulai (s.bhulai@vu.nl)                                           ...
V4: volume, velocity, variety en valueSandjai Bhulai (s.bhulai@vu.nl)
V4: volume, velocity, variety en valueSandjai Bhulai (s.bhulai@vu.nl)
Twitter - populariteitSandjai Bhulai (s.bhulai@vu.nl)
The big picture                                       logistiek                            health                         ...
De logistieke sectorSandjai Bhulai (s.bhulai@vu.nl)
De logistieke sectorSandjai Bhulai (s.bhulai@vu.nl)
De logistieke sector                    +                        =                                                   nieuw...
De logistieke sector    Mobiele data eenheid:    • Marktonderzoek uitvoeren    • Route informatie doorgeven    • Demografi...
De energie sector   25                                                            35                                      ...
De energie sector    KNMI data bevat 22 factoren:    • Windsnelheid    • Hoogste windstoot    • Temperatuur    • Dauwpunts...
De energie sectorSandjai Bhulai (s.bhulai@vu.nl)
De retail sectorSandjai Bhulai (s.bhulai@vu.nl)
De retail sectorSandjai Bhulai (s.bhulai@vu.nl)
De retail sectorSandjai Bhulai (s.bhulai@vu.nl)
De retail sector                                                     Vele databronnen:                                    ...
Nieuws voorspellen op nu.nl?Sandjai Bhulai (s.bhulai@vu.nl)
Uitdaging #1    • Hoe krijg je (alle) Nederlandse Twitter berichten?    • Twitter heeft een streaming API    • Fair use po...
Twitter - populariteitSandjai Bhulai (s.bhulai@vu.nl)
Uitdaging #2    • Hoe detecteer je trends op Twitter?    •   Absolute frequenties van tweets    •   Relatieve frequenties ...
Trending topics    1. #PrayforMexico    2. #SocialMovies    3. #temblor    4. Sismo de 7.8    5. Earthquake in Mexico    6...
Trending topicsSandjai Bhulai (s.bhulai@vu.nl)
Aantal tweets voor #PrayforMexicoSandjai Bhulai (s.bhulai@vu.nl)
Snelheid van tweetsSandjai Bhulai (s.bhulai@vu.nl)
Versnelling van tweetsSandjai Bhulai (s.bhulai@vu.nl)
Uitdaging #3    • Wat doe je met de volgende tweets?    • “Brand in Amsterdam”    • “Vuur in 020”    • “Fikkie in A’dam”  ...
VisualisatieSandjai Bhulai (s.bhulai@vu.nl)
VisualisatieSandjai Bhulai (s.bhulai@vu.nl)
Live demo (prototype)    • Prototype: live twitter stream!    • Bijna volledige Nederlandse Twitter stroom    • Probeert n...
Van nu.nl naar straks.nlSandjai Bhulai (s.bhulai@vu.nl)
De toekomst    • Nog veel uitdagingen op ons pad:    •   Hoe om te gaan met retweets?    •   Integreren van reputatie scor...
VragenSandjai Bhulai (s.bhulai@vu.nl)
Upcoming SlideShare
Loading in …5
×

Engage12 - Sandjai Bhulai - Vrije Universiteit Amsterdam

1,749 views

Published on

0 Comments
1 Like
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total views
1,749
On SlideShare
0
From Embeds
0
Number of Embeds
773
Actions
Shares
0
Downloads
26
Comments
0
Likes
1
Embeds 0
No embeds

No notes for slide

Engage12 - Sandjai Bhulai - Vrije Universiteit Amsterdam

  1. 1. Trenddetectie in big data:trendwatchers van de toekomstSandjai Bhulais.bhulai@vu.nl
  2. 2. De wereld van vandaagSandjai Bhulai (s.bhulai@vu.nl)
  3. 3. De wereld van vandaag: sociale mediaSandjai Bhulai (s.bhulai@vu.nl)
  4. 4. Sociale media in ons levenSandjai Bhulai (s.bhulai@vu.nl)
  5. 5. Sociale media in ons levenSandjai Bhulai (s.bhulai@vu.nl)
  6. 6. Sociale media in ons levenSandjai Bhulai (s.bhulai@vu.nl)
  7. 7. Sociale media in ons levenSandjai Bhulai (s.bhulai@vu.nl)
  8. 8. Sandjai Bhulai (s.bhulai@vu.nl), VU University Sandjai Bhulai (s.bhulai@vu.nl) IARIA NexTech 2012 Amsterdam
  9. 9. Sandjai Bhulai (s.bhulai@vu.nl), VU University Sandjai Bhulai (s.bhulai@vu.nl) IARIA NexTech 2012 Amsterdam
  10. 10. V4: volume, velocity, variety en valueSandjai Bhulai (s.bhulai@vu.nl)
  11. 11. V4: volume, velocity, variety en valueSandjai Bhulai (s.bhulai@vu.nl)
  12. 12. Twitter - populariteitSandjai Bhulai (s.bhulai@vu.nl)
  13. 13. The big picture logistiek health retail care data telecom energie webshopSandjai Bhulai (s.bhulai@vu.nl)
  14. 14. De logistieke sectorSandjai Bhulai (s.bhulai@vu.nl)
  15. 15. De logistieke sectorSandjai Bhulai (s.bhulai@vu.nl)
  16. 16. De logistieke sector + = nieuwe dienstenSandjai Bhulai (s.bhulai@vu.nl)
  17. 17. De logistieke sector Mobiele data eenheid: • Marktonderzoek uitvoeren • Route informatie doorgeven • Demografisch onderzoek uitvoeren • Marketing informatie verzamelen • Werkbelasting meten • Collaboratief problemen oplossen • Participeren in gezondheidszorg • …Sandjai Bhulai (s.bhulai@vu.nl)
  18. 18. De energie sector 25 35 30 20 25 20 15 15 10 10 5 0 5 -5 12/23/2011 2/11/2012 4/1/2012 5/21/2012 7/10/2012 8/29/2012 -10 0 -15 12/23/2011 2/11/2012 4/1/2012 5/21/2012 7/10/2012 8/29/2012 -20Sandjai Bhulai (s.bhulai@vu.nl)
  19. 19. De energie sector KNMI data bevat 22 factoren: • Windsnelheid • Hoogste windstoot • Temperatuur • Dauwpuntstemperatuur • Duur van de zonneschijn • Globale straling • Duur van de neerslag • Luchtdruk • Bewolking • …Sandjai Bhulai (s.bhulai@vu.nl)
  20. 20. De energie sectorSandjai Bhulai (s.bhulai@vu.nl)
  21. 21. De retail sectorSandjai Bhulai (s.bhulai@vu.nl)
  22. 22. De retail sectorSandjai Bhulai (s.bhulai@vu.nl)
  23. 23. De retail sectorSandjai Bhulai (s.bhulai@vu.nl)
  24. 24. De retail sector Vele databronnen: 1. Transactie data 2. Google keywords 3. Demografische data 4. Social media Automatische trenddetectieSandjai Bhulai (s.bhulai@vu.nl)
  25. 25. Nieuws voorspellen op nu.nl?Sandjai Bhulai (s.bhulai@vu.nl)
  26. 26. Uitdaging #1 • Hoe krijg je (alle) Nederlandse Twitter berichten? • Twitter heeft een streaming API • Fair use policy geeft random 1% van de Twitter stream • Keywords volgen is toegestaan • Hoeveel data hebben we nodig? • Hoeveel data kunnen we krijgen? • Hoeveel data kun je afhandelen? • Hoeveel data kun je opslaan?Sandjai Bhulai (s.bhulai@vu.nl)
  27. 27. Twitter - populariteitSandjai Bhulai (s.bhulai@vu.nl)
  28. 28. Uitdaging #2 • Hoe detecteer je trends op Twitter? • Absolute frequenties van tweets • Relatieve frequenties van tweets • Snelheid van tweets • Versnelling van tweets • Seizoenspatronen • We hebben een real-time algoritme nodig • We moeten efficient met het geheugen omgaanSandjai Bhulai (s.bhulai@vu.nl)
  29. 29. Trending topics 1. #PrayforMexico 2. #SocialMovies 3. #temblor 4. Sismo de 7.8 5. Earthquake in Mexico 6. John Elway 7. Pat Bowlen 8. Marcelo Lagos 9. Azcapotzalco 10. Niñas de 13 y 14 20 maart 2012, Twitter.comSandjai Bhulai (s.bhulai@vu.nl)
  30. 30. Trending topicsSandjai Bhulai (s.bhulai@vu.nl)
  31. 31. Aantal tweets voor #PrayforMexicoSandjai Bhulai (s.bhulai@vu.nl)
  32. 32. Snelheid van tweetsSandjai Bhulai (s.bhulai@vu.nl)
  33. 33. Versnelling van tweetsSandjai Bhulai (s.bhulai@vu.nl)
  34. 34. Uitdaging #3 • Wat doe je met de volgende tweets? • “Brand in Amsterdam” • “Vuur in 020” • “Fikkie in A’dam” • “Ik heb brand gezien” • “Ik zag brand” • “Ik zie brand”Sandjai Bhulai (s.bhulai@vu.nl)
  35. 35. VisualisatieSandjai Bhulai (s.bhulai@vu.nl)
  36. 36. VisualisatieSandjai Bhulai (s.bhulai@vu.nl)
  37. 37. Live demo (prototype) • Prototype: live twitter stream! • Bijna volledige Nederlandse Twitter stroom • Probeert nieuws te detecteren voordat het in de mainstream media isSandjai Bhulai (s.bhulai@vu.nl)
  38. 38. Van nu.nl naar straks.nlSandjai Bhulai (s.bhulai@vu.nl)
  39. 39. De toekomst • Nog veel uitdagingen op ons pad: • Hoe om te gaan met retweets? • Integreren van reputatie scores? • Gebruik van profiel informatie? • Voordeel van semantisch onderzoek? • Toevoegen van andere sociale media? • Generaliseren naar andere talen? • Koppelen van GPS informatie? • …Sandjai Bhulai (s.bhulai@vu.nl)
  40. 40. VragenSandjai Bhulai (s.bhulai@vu.nl)

×