Praatje van wetenschapper en ondernemer Wouter Weerkamp over hoe je zoekmachines evalueert. Voor het elfde ContentCafe over Search.

1. Zoekmachines
evalueren
Wouter Weerkamp

2. ContentCafe, 8 april 2015 — Zoekmachines evalueren ( )
Werkt je interne
zoekmachine eigenlijk
wel goed?
2

3. ContentCafe, 8 april 2015 — Zoekmachines evalueren ( )
Hoe wapen je jezelf tegen
verkopers, consultants en
“experts”?
3

4. ContentCafe, 8 april 2015 — Zoekmachines evalueren ( )
zoekmachine
koalabeer
panter
olifant
luiaard
koe
click
download
share
like
leestijd
aankoop
4

5. ContentCafe, 8 april 2015 — Zoekmachines evalueren ( )
Black box?
• Prima! We kunnen niet overal verstand van hebben
• Maar: meten is weten
5

6. ContentCafe, 8 april 2015 — Zoekmachines evalueren ( )
Waarom evalueren we?
• Hoe gebruiken mensen je zoekmachine?
• Wat is de kwaliteit van je huidige zoekmachine?
• Waar kunnen we verbeteringen aanbrengen?
• Is een nieuwe versie wel echt beter dan de oude?
6

7. ContentCafe, 8 april 2015 — Zoekmachines evalueren ( )
Log het gebruik
• Monitor hoe bezoekers je zoekmachine gebruiken
• Zoekvragen (populariteit, suggesties, …)
• Getoonde resultaten
• Clicks (resultaten, filters, …)
• Pagination
• Sessies, herformuleringen, heat maps, …
7

8. ContentCafe, 8 april 2015 — Zoekmachines evalueren ( )
Evaluatiemethoden
• Anekdotisch bewijs
• Offline evaluatie
• Online evaluatie
• A/B tests
• Interleaving
8

9. ContentCafe, 8 april 2015 — Zoekmachines evalueren ( )
Anekdotisch bewijs
• “Ik zocht op ‘koe’ en toen vond ik een schaap”
• “Ik vind nooit waar ik naar op zoek ben!”
• “Met de nieuwe zoekmachine kan ik die ene pagina
niet meer terugvinden”
es
9

10. ContentCafe, 8 april 2015 — Zoekmachines evalueren ( )
Offline evaluatie
10
zoekmachinekoalabeer

11. ContentCafe, 8 april 2015 — Zoekmachines evalueren ( )
Offline evaluatie
• Kwaliteit kan berekend worden (precisie, recall)
• Data is herbruikbaar
• Ideaal voor contentexperts, jullie kunnen relevantie
van resultaten bepalen
11

12. ContentCafe, 8 april 2015 — Zoekmachines evalueren ( )
Online evaluatie
• “Online” want op een live systeem met echte
bezoekers
• Realistischer dan offline evaluatie
• Ook lastiger om te meten, vereist aparte systemen
12

13. ContentCafe, 8 april 2015 — Zoekmachines evalueren ( )
A/B test
13
zoekmachine
A
zoekmachine
B

14. ContentCafe, 8 april 2015 — Zoekmachines evalueren ( )
A/B test
• Varianten worden op hetzelfde moment getest, met
echte bezoekers
• Deel bezoekers ziet alleen resultaten van de
nieuwe zoekmachine
• wat als deze toch minder goed blijkt te zijn?
14

15. ContentCafe, 8 april 2015 — Zoekmachines evalueren ( )
Interleaving
15
koalabeer
zoekmachine
A
zoekmachine
B

16. ContentCafe, 8 april 2015 — Zoekmachines evalueren ( )
Interleaving
• Geniet de voorkeur boven A/B test bij algoritmische
wijzigingen
• Sneller
• Minder risico
16

17. ContentCafe, 8 april 2015 — Zoekmachines evalueren ( )
Kortom
• De zoekmachine is wellicht een black box, maar
• zorg dat je weet wat er speelt, hoe de
zoekmachine gebruikt wordt.
• meet de kwaliteit van je zoekmachine door
offline evaluatie en herhaal dit regelmatig.
• begrijp hoe je verbeteringen kan meten en
gebruik dit in onderhandelingen.
17