Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Wouter Weerkamp | Zoekmachines Evalueren ContentCafe #11

1,527 views

Published on

Praatje van wetenschapper en ondernemer Wouter Weerkamp over hoe je zoekmachines evalueert. Voor het elfde ContentCafe over Search.

Published in: Internet
  • Be the first to comment

Wouter Weerkamp | Zoekmachines Evalueren ContentCafe #11

  1. 1. Zoekmachines evalueren Wouter Weerkamp
  2. 2. ContentCafe, 8 april 2015 — Zoekmachines evalueren ( ) Werkt je interne zoekmachine eigenlijk wel goed? 2
  3. 3. ContentCafe, 8 april 2015 — Zoekmachines evalueren ( ) Hoe wapen je jezelf tegen verkopers, consultants en “experts”? 3
  4. 4. ContentCafe, 8 april 2015 — Zoekmachines evalueren ( ) zoekmachine koalabeer panter olifant luiaard koe click download share like leestijd aankoop 4
  5. 5. ContentCafe, 8 april 2015 — Zoekmachines evalueren ( ) Black box? • Prima! We kunnen niet overal verstand van hebben • Maar: meten is weten 5
  6. 6. ContentCafe, 8 april 2015 — Zoekmachines evalueren ( ) Waarom evalueren we? • Hoe gebruiken mensen je zoekmachine? • Wat is de kwaliteit van je huidige zoekmachine? • Waar kunnen we verbeteringen aanbrengen? • Is een nieuwe versie wel echt beter dan de oude? 6
  7. 7. ContentCafe, 8 april 2015 — Zoekmachines evalueren ( ) Log het gebruik • Monitor hoe bezoekers je zoekmachine gebruiken • Zoekvragen (populariteit, suggesties, …) • Getoonde resultaten • Clicks (resultaten, filters, …) • Pagination • Sessies, herformuleringen, heat maps, …
 7
  8. 8. ContentCafe, 8 april 2015 — Zoekmachines evalueren ( ) Evaluatiemethoden • Anekdotisch bewijs • Offline evaluatie • Online evaluatie • A/B tests • Interleaving 8
  9. 9. ContentCafe, 8 april 2015 — Zoekmachines evalueren ( ) Anekdotisch bewijs • “Ik zocht op ‘koe’ en toen vond ik een schaap” • “Ik vind nooit waar ik naar op zoek ben!” • “Met de nieuwe zoekmachine kan ik die ene pagina niet meer terugvinden” es 9
  10. 10. ContentCafe, 8 april 2015 — Zoekmachines evalueren ( ) Offline evaluatie 10 zoekmachinekoalabeer
  11. 11. ContentCafe, 8 april 2015 — Zoekmachines evalueren ( ) Offline evaluatie • Kwaliteit kan berekend worden (precisie, recall) • Data is herbruikbaar • Ideaal voor contentexperts, jullie kunnen relevantie van resultaten bepalen 11
  12. 12. ContentCafe, 8 april 2015 — Zoekmachines evalueren ( ) Online evaluatie • “Online” want op een live systeem met echte bezoekers • Realistischer dan offline evaluatie • Ook lastiger om te meten, vereist aparte systemen 12
  13. 13. ContentCafe, 8 april 2015 — Zoekmachines evalueren ( ) A/B test 13 zoekmachine A zoekmachine B
  14. 14. ContentCafe, 8 april 2015 — Zoekmachines evalueren ( ) A/B test • Varianten worden op hetzelfde moment getest, met echte bezoekers • Deel bezoekers ziet alleen resultaten van de nieuwe zoekmachine • wat als deze toch minder goed blijkt te zijn? 14
  15. 15. ContentCafe, 8 april 2015 — Zoekmachines evalueren ( ) Interleaving 15 koalabeer zoekmachine A zoekmachine B
  16. 16. ContentCafe, 8 april 2015 — Zoekmachines evalueren ( ) Interleaving • Geniet de voorkeur boven A/B test bij algoritmische wijzigingen • Sneller • Minder risico 16
  17. 17. ContentCafe, 8 april 2015 — Zoekmachines evalueren ( ) Kortom • De zoekmachine is wellicht een black box, maar • zorg dat je weet wat er speelt, hoe de zoekmachine gebruikt wordt. • meet de kwaliteit van je zoekmachine door offline evaluatie en herhaal dit regelmatig. • begrijp hoe je verbeteringen kan meten en gebruik dit in onderhandelingen. 17

×