Hoe meet de kwaliteit van je enterprise search engine? Workshop door Joyce van Aalten op de VOGIN-IP lezing 2016

1. Enterprise search: meten is
weten!
VOGIN-IP lezing
Donderdag 3 maart 2016
Joyce van Aalten

2. Voorstellen
• Joyce van Aalten, Invenier
– Niet zoeken, maar vinden
– Consultant en trainer
– Productonafhankelijk (GX, Drupal, SOLR),
en veel SharePoint

3. Meten is weten
• Want anekdotes zijn geen bewijs
– ”De zoekmachine doet het niet”
– “Ik vind niet wat ik zoek”
– “De oude zoekmachine was veel beter”

4. Wat vinden jullie van
• Wat valt je op aan de zoekresultaten van
– www.lobbes.nl
– www.bol.com

5. Voordat we gaan meten…
• Zijn de randvoorwaarden op orde?
– Is alles geïndexeerd?
– Zijn er “exotische” bestandsformaten die niet
herkend worden?
– Hoe vaak wordt content geïndexeerd? Duurt dat
een tijdje?
– Hoe zit het met rechten (is niet lezen ook niet
zien?)
– Is er content in andere talen?

6. Recall en precisie
Afbeelding uit: Search Patterns van Peter Morville en Jeffery Callender

7. Het één of het ander
Afbeelding uit: Search Patterns van Peter Morville en Jeffery Callender

8. Kwaliteit van zoekresultaten
• Recall
– Het aantal relevante items dat een zoekactie
oplevert in verhouding tot het totaal aantal
relevante items dat in het systeem aanwezig is
– 100% recall: ik vind alle items die relevant zijn
• Precisie
– Het aantal relevante treffers in verhouding tot
de opbrengst
– 100% precisie: alle items die ik vind zijn
relevant
Definities afkomstig uit: Organiseer je informatie: aan de slag met thesauri, taxonomieën, tags en topics

9. Kwaliteit van zoekresultaten

10. Het SharePoint lab
• Zoekvraag ‘pannenkoek’
• Bereken de recall en precisie
• Tip: er zijn in totaal 12 documenten

11. Een SharePoint lab

12. Het SharePoint lab
• Stel: ik laat de zoekmachine de zoekvraag
automatisch uitbreiden met ‘pannekoek’
• Wat gebeurt er met de recall en precisie?

13. Een SharePoint lab

14. Wat is goed of slecht?
• Is relatief, want waar vergelijk je mee
– Oude vs. nieuwe zoekmachine, 0-meting
• Interpretatie hangt af van je gebruikers
– Gebruikersstatistieken
• Meest gestelde zoekvragen
• Zoekvragen met 0 resultaten
– Zoekpatronen
• Liever hogere recall of hogere precisie
• Gewenste zoekbeleving

15. Zoekbeleving
• Kleurtjes, knoppen, pagina-indeling, Google
Doodle
• Snelheid
• Onherkenbare titel of omschrijving
(zoekresultaat slecht herkenbaar)
• Eigenaardige verfijningsmogelijkheden
• Verkeerde, te veel of geen facetten
• Geavanceerd zoeken ontbreekt (of is te
prominent aanwezig)

16. Testen zoekbeleving
Afkomstig van: vwo.com/ab-testing/

17. Verbeteren recall
• Zoekvraag uitbreiden met synoniemen of
andere termen
• Stemming, op delen van woorden zoeken
• Meer bronnen en bestandsformaten
indexeren
• Meer van dit/gerelateerde items tonen
• …
• Sleutelen aan zoekalgoritme

18. Verbeteren precisie
• Opschonen van content
• Metadata gebruiken, alleen op trefwoorden
zoeken
• Best bets
• Personaliseren
• (Meer) facetten aanbieden
• …
• Sleutelen aan zoekalgoritme

19. Vragen of meer weten?
• Mail: joyce@invenier.nl
• Website: www.invenier.nl
• Twitter: @joycevanaalten
• LinkedIn: /joycevanaalten