1.
Zoeken, vinden, en
aanbevelen:
personalisatie vs. privacy
David Graus
@dvdgrs
VOGIN-IP-lezing / 28 maart 2018

2.
Wie ben ik?

3.
Wie ben ik?

4.
Wie ben ik?

5.
Wie ben ik?

6.
Vandaag
1. Inleiding
a. Wat is personalisatie?
b. Waarom?
2. Inhoud: Hoe personalisatie?
3. De filter bubbel bestaat niet
Subjectiviteit!

7.
1a. Wat is personalisatie?

8.
Personalized results

9.
Personalisatie is:
• Zoeken en vinden
• op basis van persoonlijke {context, voorkeuren, smaak,
profiel}

10.
1b. Waarom personaliseren?

11.
1: het MOET

12.
1: het MOET
• Relevantie van zoekresultaten is:
• Subjectief [low inter-annotator agreement]
• Afhankelijk van (voor)kennis
• Afhankelijk van interesse in onderwerp
• Dynamisch
• Afhankelijk van tijd
• Afhankelijk van welke resultaten zijn bekeken
[1] Mizarro, “Relevance: The Whole History” (1997)

13.
1: het MOET
• Hoeveelheid data
• “High-precision” search
Personalized results

14.
2: het is GOED
• Iedereen wint:
• “Consument”
• “Discover items you might not have found otherwise”
• “Producent”
• Vergroot bereik
• Ontsluit de long-tail

15.
https://www.slideshare.net/DungManhChu/fd-recommendation-engine-in-personalized-newsletters

16.
https://www.slideshare.net/DungManhChu/fd-recommendation-engine-in-personalized-newsletters

17.
Click through A/B-test groups
https://www.slideshare.net/DungManhChu/fd-recommendation-engine-in-personalized-newsletters

18.
https://www.slideshare.net/DungManhChu/fd-recommendation-engine-in-personalized-newsletters

19.
Samenvattend
• Personalisatie moet:
• Relevantie is persoonsgebonden & contextafhankelijk.
• Noodzakelijk om dingen te kunnen vinden op web-
schaal.
• Personalisatie is goed:
• Lever de juiste info bij de juist doelgroep, verbeter
informatieontsluiting.

20.
2. Hoe?

21.
User profiling!

22.
I. Content-based
• Op basis van (meta)data van items

23.
Content-based op basis
van gebruikersprofiel

24.
Content-based op basis
van gebruikersprofiel
Users Items
RecSys
MatchingUser Profile Item profile

25.
Users
User Profile
Qualcomm krijgt bijna €1 mrd
boete van Brussel
Tags: Boete, Chips, EU, Mededinging, …
Rubriek: Ondernemen
Stylometrie: Aantal woorden: 635
Entities: Qualcomm, Apple, NXP, Intel, Google
Tags: Boete, Chips, EU, Mededinging, …
Rubriek: Ondernemen
Stylometrie: Aantal woorden: 635
Entities: Qualcomm, Apple, NXP, Intel, Google
Content-based op basis
van gebruikersprofiel

26.
Users
User Profile
Qualcomm krijgt bijna €1 mrd
boete van Brussel
Tags: Boete, Chips, EU, Mededinging, …
Big Data, Blog, Davos, Google, Technologie
Rubriek: Ondernemen, Davos
Stylometrie: 635 woorden, 524 woorden
Entities: Qualcomm, Apple (2), NXP, Intel,
Google (2), Microsoft, Salesforce
Topman van softwaremaker Salesforce
kraakt grote techbedrijven
Tags: Big Data, Blog, Davos, Google,
Technologie
Rubriek: Davos
Stylometrie: 524 woorden
Entities: Google, Apple, Microsoft, Salesforce
Content-based op basis
van gebruikersprofiel

27.
Users Items
RecSys
Matching
0.352
0.795
0.125
0.643
Content-based op basis
van gebruikersprofiel

28.
II. Collaborative Filtering
Make predictions (“filtering”) about the interests of a user, by
collecting preferences from many users (“collaborating”)

29.
Collaborative Filtering
Moshanin, CC BY-SA 3.0, https://commons.wikimedia.org/w/index.php?curid=24097346

30.
Collaborative Filtering
Moshanin, CC BY-SA 3.0, https://commons.wikimedia.org/w/index.php?curid=24097346

31.
Collaborative Filtering
Moshanin, CC BY-SA 3.0, https://commons.wikimedia.org/w/index.php?curid=24097346

32.
Collaborative Filtering
Moshanin, CC BY-SA 3.0, https://commons.wikimedia.org/w/index.php?curid=24097346

33.
Collaborative Filtering
Moshanin, CC BY-SA 3.0, https://commons.wikimedia.org/w/index.php?curid=24097346

34.
Collaborative Filtering
• Voordelen:
• Surprising effect
• Nadelen:
• Veel ‘gedrag’ nodig
• “Cold start”

35.
III. Evalueer+leer
• Korte termijn: Genereer rankings op basis van
voorspellingen, meet ‘kwaliteit’
• Lange(re) termijn: average time on page, aantal bezochte
pagina’s, returning visits, etc.

36.
Samenvattend
• Schat voorkeuren in op basis van gedrag;
• Van één gebruiker
• Van een groep/alle gebruikers
• Voorspel voorkeuren
• Meet effect (evalueer)

37.
What about
the Filter Bubbel?
By Knight Foundation - Eli Pariser, author of The Filter Bubble,
CC BY-SA 2.0, https://commons.wikimedia.org/w/index.php?curid=19516187

38.
Filter bubbel
“A filter bubble is a state of intellectual isolation that can
result from personalized searches when a
website algorithm selectively guesses what information a user
would like to see based on information about the user.”

39.
Filter bubbel
“Users become separated from information that disagrees
with their viewpoints, effectively isolating them in their own
cultural or ideological bubbles.”

40.
De filterbubbel
bestaat niet!

41.
1. Moeten we ons zorgen
maken?

42.
1. Moeten we ons zorgen
maken?
[We] focus on empirical evidence of the spread of
personalised news services and its likely effects on
political polarisation and political information.
[Zuiderveen Borgesius et al., 2016]

43.
1. Moeten we ons zorgen
maken?
• Het blijkt moeilijk jezelf volledig in een bubbel op te sluiten:
• Zowel offline:
• “Those who use a lot of partisan information also use an above-average
amount of mainstream news.”
• “[M]ost people by far still get their news via traditional sources, most
notably public-service television.”
• Als online:
• “People who choose personalisation are more likely to use an above-
average amount of general-interest news as well.”
• “A recent study suggests that the influence of [the Facebook] algorithm is
lower than the influence of the user’s choices.”
[Zuiderveen Borgesius et al., 2016]

44.
1. Moeten we ons zorgen
maken?
• “[T]here is no empirical evidence that warrants any
strong worries about filter bubbles.”
• “One lesson we should have learned from the past is that
panic does not lead to sane policies. More evidence is
needed on the process and effects of personalisation,
so we can shift the basis of policy discussions from fear
to insight.”
[Zuiderveen Borgesius et al., 2016]

45.
1. Moeten we ons zorgen
maken?
“Personalisation on news sites is still at an infant stage, and
personalised content does not constitute a substantial
information source for most citizens.”
[Zuiderveen Borgesius et al., 2016]

46.
Take-home
• We hoeven ons geen zorgen te maken.

47.
2. Kom maar op met dat
empirisch bewijs

48.
2. Methode
1. 👤
1. Verzamel 200 vrijwilligers met Google accounts.
2. Laat ze dezelfde zoekopdrachten invoeren.
3. Vergelijk resultaten.
2. 🤖
1. Maak Google “bots” (kunstmatige accounts).
• Varieer aspecten als locatie, demografische informatie, klikgedrag,
browsegeschiedenis, zoekgeschiedenis, etc.
2. Laat ze dezelfde zoekopdrachten invoeren.
3. Vergelijk resultaten.
[Hannák et al., 2013]

49.
2. Bevindingen 👤
• On average, 11.7% of results show differences due to
personalization on Google.
• Top ranks tend to be less personalized than bottom
ranks.
[Hannák et al., 2013]

50.
2. Bevindingen 👤
• ✅ A great deal of
personalization based on
location (especially for
company names, where users
received different store
locations).
• ❌ The least personalized
results tend to be factual and
health related queries.
[Hannák et al., 2013]

51.
2. Bevindingen 🤖
✅ Ingelogde vs. “cleared cookies” gebruikers
✅ Geolocatie
❌ Gender
❌ Age
❌ Search history
❌ Click history
❌ Browsing history
[Hannák et al., 2013]

52.
Take-home
• Het valt allemaal wel mee, met die filter bubbel…

53.
3. Meer empirisch bewijs

54.
3. Methode
• Deel MovieLens (een film aanbeveling (CF) & rating site)
gebruikers in twee groepen:
• Volgers: gebruikers die films uit hun aanbevelingen raten.
• Negeerders: gebruikers die films raten die niet in hun
aanbevelingen staan.
• Vergelijk tussen beide groepen, over tijd:
• Diversiteit van aanbevelingen
• Waardering voor films
[Nguyen et al., 2014]

55.
3. Bevindingen
1. Diversiteit:
• Bij zowel volgers als negeerders daalt de diversiteit van
hun aanbevelingen over tijd.
• Die daling is sterker bij negeerders dan bij volgers (!)
2. Waardering:
• Bij negeerders daalt de gemiddelde score (3.74 naar 3.55).
• Bij volgers blijft hij stabiel (rond de 3.68).
[Nguyen et al., 2014]

56.
Take-home
Een aanbevelingssysteem kan een bubbel-vertragend-effect hebben.

57.
4. Breek de bubbel

58.
4. Doel
Increase exposure to varied political opinions
with a goal of improving civil discourse
[Yom-Tov et al. 2014]

59.
4. Methode
• Deel zoekmachinegebruikers in op political leaning (op
basis van geo/kiesdistrict)
[Yom-Tov et al. 2014]

60.
4. Methode
• Ken (op basis van gebruikers+bezochte nieuwssites) de
onderliggende nieuwsbronnen political leaning-score toe.
[Yom-Tov et al. 2014]

61.
4. Methode
• Identificeer gepolariseerde zoekopdrachten (met sterke
political leaning beide kanten op).
[Yom-Tov et al. 2014]

62.
4. Methode
• Treatment group: Meng bij zoekresultaten bij blauwe
gebruikers rode websites in, en bij rode gebruikers
blauwe websites.
• Control group: Pas de zoekresultaten niet aan.
[Yom-Tov et al. 2014]

63.
4. Methode
1. Korte termijn: Vergelijk clicks/gedrag tussen treatment
group & control group.
2. Lange termijn: meet gedurende twee weken, per
gebruiker:
1. Polarisatie: Het verschil tussen leaning-score van een
gebruiker t.o.v. de gemiddelde leaning van alle
bronnen.
2. Engagement: Gemiddeld aantal zoekopdrachten +
gemiddeld aantal gelezen artikelen.

64.
4. Bevindingen 1
• Minder clicks op de ingemengde opposing
nieuwsbronnen.
• Maar, wanneer een opposing nieuwsbron kwa taalgebruik
lijkt op dat van (wat) de gebruiker (leest), is een gebruiker
eerder geneigd het artikel te lezen.
• “Results pages of the opposing viewpoint which had a
similarity higher than the average tended to be
clicked 38% more than those below the average.”
[Yom-Tov et al. 2014]

65.
4. Bevindingen 2
• Polarisatie:
• Treatment: gemiddelde leaning ‘daalt’ ~25% naar centrum
• Control: verwaarloosbare verschuiving (1%)
• Engagement:
• Treatment: Aantal zoekopdrachten: +9% / artikelen: +4%
• Control: Lichte afname in beiden (~2.5%)
[Yom-Tov et al. 2014]

66.
Take-home
• Je kunt mensen ‘nudgen’ om hun gedrag te ‘manipuleren’
• [Vermoedelijk] alleen bij mensen die ‘zweven’/niet sterk
gepolariseerd zijn.
• Is in die context een nudge niet een democratisch goed?
[Yom-Tov et al. 2014]

67.
5. Hoe vergelijkt een aanbeveling
van een 🤖 met die van een 👤

68.
5. Methode
• 🤖 Genereer aanbevelingen bij Volkskrant artikelen op basis van
verschillende (standaard) aanbevelingssystemen (CF & CB).
• 👤 Vergelijk met handgeselecteerde aanbevelingen van redactie.
• Meet “diversiteit” van artikelen in een set aanbevelingen:
• artikelinhoud
• tags
• categorieën
• sentiment/subjectiviteit
[Möller et al. 2018]

69.
5. Bevindingen
“Conventional recommendation algorithms at least preserve
the topic/sentiment diversity of the article supply.”
[Möller et al. 2018]

70.
Take-home
• Diversiteit blijft behouden bij geautomatiseerde
aanbevelingen.
[Möller et al. 2018]

71.
Daarnaast
• Technisch: Diversiteit kun je kwantificeren én inbouwen
(en willekeur is triviaal).
• Technisch: Feedback loop + “diversity in recommendation
sets increases user satisfaction” — aannemelijk dat
diversiteit ingebakken zit/als bijeffect komt.
• Technisch: Je weet nog niks van een nieuw item; je zult
die moeten aanbieden om signaal te krijgen.

72.
Refs
1. Zuiderveen Borgesius, F. & Trilling, D. & Möller, J. & Bodó, B. & de Vreese, C. & Helberger, N. (2016).
Should we worry about filter bubbles?. Internet Policy Review, 5(1). DOI: 10.14763/2016.1.401
2. Hannák, A. & Sapiezynski, P & Kakhki, A.M. & Krishnamurthy, B. & Lazer, D. & Mislove, A, & Wilson, C,
(2013). Measuring personalization of web search. In Proceedings of the 22nd international conference
on World Wide Web (WWW '13). ACM, New York, NY, USA, 527-538. DOI: 10.1145/2488388.2488435
3. Nguyen, T. T. & Hui, P. M. & Harper, F. M. & Terveen, L. & Konstan, J. A. (2014). Exploring the filter
bubble: the effect of using recommender systems on content diversity. In Proceedings of the 23rd
international conference on World wide web (WWW '14). ACM, New York, NY, USA, 677-686. DOI:
10.1145/2566486.2568012
4. Yom-Tov, E. & Dumais, S. & Guo, Q. (2014). Promoting Civil Discourse Through Search Engine
Diversity. Soc. Sci. Comput. Rev. 32, 2 (April 2014), 145-154. DOI: 10.1177/0894439313506838
5. Möller, J. & Trilling, D. & Helberger, N. & van Es, B. (2018). Do not blame it on the algorithm: an
empirical assessment of multiple recommender systems and their impact on content
diversity. Information, Communication & Society, DOI: 10.1080/1369118X.2018.1444076

73.
Dank!
David Graus
@dvdgrs