Zoeken, vinden, en aanbevelen: personalisatie vs. privacy

1. Zoeken, vinden, en aanbevelen: personalisatie vs. privacy David Graus @dvdgrs VOGIN-IP-lezing / 28 maart 2018

2. Wie ben ik?

3. Wie ben ik?

4. Wie ben ik?

5. Wie ben ik?

6. Vandaag 1. Inleiding a. Wat is personalisatie? b. Waarom? 2. Inhoud: Hoe personalisatie? 3. De filter bubbel bestaat niet Subjectiviteit!

7. 1a. Wat is personalisatie?

8. Personalized results

9. Personalisatie is: • Zoeken en vinden • op basis van persoonlijke {context, voorkeuren, smaak, profiel}

10. 1b. Waarom personaliseren?

11. 1: het MOET

12. 1: het MOET • Relevantie van zoekresultaten is: • Subjectief [low inter-annotator agreement] • Afhankelijk van (voor)kennis • Afhankelijk van interesse in onderwerp • Dynamisch • Afhankelijk van tijd • Afhankelijk van welke resultaten zijn bekeken [1] Mizarro, “Relevance: The Whole History” (1997)

13. 1: het MOET • Hoeveelheid data • “High-precision” search Personalized results

14. 2: het is GOED • Iedereen wint: • “Consument” • “Discover items you might not have found otherwise” • “Producent” • Vergroot bereik • Ontsluit de long-tail

15. https://www.slideshare.net/DungManhChu/fd-recommendation-engine-in-personalized-newsletters

17. Click through A/B-test groups https://www.slideshare.net/DungManhChu/fd-recommendation-engine-in-personalized-newsletters

19. Samenvattend • Personalisatie moet: • Relevantie is persoonsgebonden & contextafhankelijk. • Noodzakelijk om dingen te kunnen vinden op web- schaal. • Personalisatie is goed: • Lever de juiste info bij de juist doelgroep, verbeter informatieontsluiting.

20. 2. Hoe?

21. User profiling!

22. I. Content-based • Op basis van (meta)data van items

23. Content-based op basis van gebruikersprofiel

24. Content-based op basis van gebruikersprofiel Users Items RecSys MatchingUser Profile Item profile

25. Users User Profile Qualcomm krijgt bijna €1 mrd boete van Brussel Tags: Boete, Chips, EU, Mededinging, … Rubriek: Ondernemen Stylometrie: Aantal woorden: 635 Entities: Qualcomm, Apple, NXP, Intel, Google Tags: Boete, Chips, EU, Mededinging, … Rubriek: Ondernemen Stylometrie: Aantal woorden: 635 Entities: Qualcomm, Apple, NXP, Intel, Google Content-based op basis van gebruikersprofiel

26. Users User Profile Qualcomm krijgt bijna €1 mrd boete van Brussel Tags: Boete, Chips, EU, Mededinging, … Big Data, Blog, Davos, Google, Technologie Rubriek: Ondernemen, Davos Stylometrie: 635 woorden, 524 woorden Entities: Qualcomm, Apple (2), NXP, Intel, Google (2), Microsoft, Salesforce Topman van softwaremaker Salesforce kraakt grote techbedrijven Tags: Big Data, Blog, Davos, Google, Technologie Rubriek: Davos Stylometrie: 524 woorden Entities: Google, Apple, Microsoft, Salesforce Content-based op basis van gebruikersprofiel

27. Users Items RecSys Matching 0.352 0.795 0.125 0.643 Content-based op basis van gebruikersprofiel

28. II. Collaborative Filtering Make predictions (“filtering”) about the interests of a user, by collecting preferences from many users (“collaborating”)

29. Collaborative Filtering Moshanin, CC BY-SA 3.0, https://commons.wikimedia.org/w/index.php?curid=24097346

34. Collaborative Filtering • Voordelen: • Surprising effect • Nadelen: • Veel ‘gedrag’ nodig • “Cold start”

35. III. Evalueer+leer • Korte termijn: Genereer rankings op basis van voorspellingen, meet ‘kwaliteit’ • Lange(re) termijn: average time on page, aantal bezochte pagina’s, returning visits, etc.

36. Samenvattend • Schat voorkeuren in op basis van gedrag; • Van één gebruiker • Van een groep/alle gebruikers • Voorspel voorkeuren • Meet effect (evalueer)

37. What about the Filter Bubbel? By Knight Foundation - Eli Pariser, author of The Filter Bubble,   CC BY-SA 2.0, https://commons.wikimedia.org/w/index.php?curid=19516187

38. Filter bubbel “A filter bubble is a state of intellectual isolation that can result from personalized searches when a website algorithm selectively guesses what information a user would like to see based on information about the user.”

39. Filter bubbel “Users become separated from information that disagrees with their viewpoints, effectively isolating them in their own cultural or ideological bubbles.”

40. De filterbubbel bestaat niet!

41. 1. Moeten we ons zorgen maken?

42. 1. Moeten we ons zorgen maken? [We] focus on empirical evidence of the spread of personalised news services and its likely effects on political polarisation and political information. [Zuiderveen Borgesius et al., 2016]

43. 1. Moeten we ons zorgen maken? • Het blijkt moeilijk jezelf volledig in een bubbel op te sluiten: • Zowel offline: • “Those who use a lot of partisan information also use an above-average amount of mainstream news.” • “[M]ost people by far still get their news via traditional sources, most notably public-service television.” • Als online: • “People who choose personalisation are more likely to use an above- average amount of general-interest news as well.” • “A recent study suggests that the influence of [the Facebook] algorithm is lower than the influence of the user’s choices.” [Zuiderveen Borgesius et al., 2016]

44. 1. Moeten we ons zorgen maken? • “[T]here is no empirical evidence that warrants any strong worries about filter bubbles.” • “One lesson we should have learned from the past is that panic does not lead to sane policies. More evidence is needed on the process and effects of personalisation, so we can shift the basis of policy discussions from fear to insight.” [Zuiderveen Borgesius et al., 2016]

45. 1. Moeten we ons zorgen maken? “Personalisation on news sites is still at an infant stage, and personalised content does not constitute a substantial information source for most citizens.” [Zuiderveen Borgesius et al., 2016]

46. Take-home • We hoeven ons geen zorgen te maken.

47. 2. Kom maar op met dat empirisch bewijs

48. 2. Methode 1. 👤 1. Verzamel 200 vrijwilligers met Google accounts. 2. Laat ze dezelfde zoekopdrachten invoeren. 3. Vergelijk resultaten. 2. 🤖 1. Maak Google “bots” (kunstmatige accounts). • Varieer aspecten als locatie, demografische informatie, klikgedrag, browsegeschiedenis, zoekgeschiedenis, etc. 2. Laat ze dezelfde zoekopdrachten invoeren. 3. Vergelijk resultaten. [Hannák et al., 2013]

49. 2. Bevindingen 👤 • On average, 11.7% of results show differences due to personalization on Google. • Top ranks tend to be less personalized than bottom ranks. [Hannák et al., 2013]

50. 2. Bevindingen 👤 • ✅ A great deal of personalization based on location (especially for company names, where users received different store locations). • ❌ The least personalized results tend to be factual and health related queries. [Hannák et al., 2013]

51. 2. Bevindingen 🤖 ✅ Ingelogde vs. “cleared cookies” gebruikers ✅ Geolocatie ❌ Gender ❌ Age ❌ Search history ❌ Click history ❌ Browsing history [Hannák et al., 2013]

52. Take-home • Het valt allemaal wel mee, met die filter bubbel…

53. 3. Meer empirisch bewijs

54. 3. Methode • Deel MovieLens (een film aanbeveling (CF) & rating site) gebruikers in twee groepen: • Volgers: gebruikers die films uit hun aanbevelingen raten. • Negeerders: gebruikers die films raten die niet in hun aanbevelingen staan. • Vergelijk tussen beide groepen, over tijd: • Diversiteit van aanbevelingen • Waardering voor films [Nguyen et al., 2014]

55. 3. Bevindingen 1. Diversiteit: • Bij zowel volgers als negeerders daalt de diversiteit van hun aanbevelingen over tijd. • Die daling is sterker bij negeerders dan bij volgers (!) 2. Waardering: • Bij negeerders daalt de gemiddelde score (3.74 naar 3.55). • Bij volgers blijft hij stabiel (rond de 3.68). [Nguyen et al., 2014]

56. Take-home Een aanbevelingssysteem kan een bubbel-vertragend-effect hebben.

57. 4. Breek de bubbel

58. 4. Doel Increase exposure to varied political opinions   with a goal of improving civil discourse [Yom-Tov et al. 2014]

59. 4. Methode • Deel zoekmachinegebruikers in op political leaning (op basis van geo/kiesdistrict) [Yom-Tov et al. 2014]

60. 4. Methode • Ken (op basis van gebruikers+bezochte nieuwssites) de onderliggende nieuwsbronnen political leaning-score toe. [Yom-Tov et al. 2014]

61. 4. Methode • Identificeer gepolariseerde zoekopdrachten (met sterke political leaning beide kanten op). [Yom-Tov et al. 2014]

62. 4. Methode • Treatment group: Meng bij zoekresultaten bij blauwe gebruikers rode websites in, en bij rode gebruikers blauwe websites. • Control group: Pas de zoekresultaten niet aan. [Yom-Tov et al. 2014]

63. 4. Methode 1. Korte termijn: Vergelijk clicks/gedrag tussen treatment group & control group. 2. Lange termijn: meet gedurende twee weken, per gebruiker: 1. Polarisatie: Het verschil tussen leaning-score van een gebruiker t.o.v. de gemiddelde leaning van alle bronnen. 2. Engagement: Gemiddeld aantal zoekopdrachten + gemiddeld aantal gelezen artikelen.

64. 4. Bevindingen 1 • Minder clicks op de ingemengde opposing nieuwsbronnen. • Maar, wanneer een opposing nieuwsbron kwa taalgebruik lijkt op dat van (wat) de gebruiker (leest), is een gebruiker eerder geneigd het artikel te lezen. • “Results pages of the opposing viewpoint which had a similarity higher than the average tended to be clicked 38% more than those below the average.” [Yom-Tov et al. 2014]

65. 4. Bevindingen 2 • Polarisatie: • Treatment: gemiddelde leaning ‘daalt’ ~25% naar centrum • Control: verwaarloosbare verschuiving (1%) • Engagement: • Treatment: Aantal zoekopdrachten: +9% / artikelen: +4% • Control: Lichte afname in beiden (~2.5%) [Yom-Tov et al. 2014]

66. Take-home • Je kunt mensen ‘nudgen’ om hun gedrag te ‘manipuleren’ • [Vermoedelijk] alleen bij mensen die ‘zweven’/niet sterk gepolariseerd zijn. • Is in die context een nudge niet een democratisch goed? [Yom-Tov et al. 2014]

67. 5. Hoe vergelijkt een aanbeveling van een 🤖 met die van een 👤

68. 5. Methode • 🤖 Genereer aanbevelingen bij Volkskrant artikelen op basis van verschillende (standaard) aanbevelingssystemen (CF & CB). • 👤 Vergelijk met handgeselecteerde aanbevelingen van redactie. • Meet “diversiteit” van artikelen in een set aanbevelingen: • artikelinhoud • tags • categorieën • sentiment/subjectiviteit [Möller et al. 2018]

69. 5. Bevindingen “Conventional recommendation algorithms at least preserve the topic/sentiment diversity of the article supply.” [Möller et al. 2018]

70. Take-home • Diversiteit blijft behouden bij geautomatiseerde aanbevelingen. [Möller et al. 2018]

71. Daarnaast • Technisch: Diversiteit kun je kwantificeren én inbouwen (en willekeur is triviaal). • Technisch: Feedback loop + “diversity in recommendation sets increases user satisfaction” — aannemelijk dat diversiteit ingebakken zit/als bijeffect komt. • Technisch: Je weet nog niks van een nieuw item; je zult die moeten aanbieden om signaal te krijgen.

72. Refs 1. Zuiderveen Borgesius, F. & Trilling, D. & Möller, J. & Bodó, B. & de Vreese, C. & Helberger, N. (2016). Should we worry about filter bubbles?. Internet Policy Review, 5(1). DOI: 10.14763/2016.1.401  2. Hannák, A. & Sapiezynski, P & Kakhki, A.M. & Krishnamurthy, B. & Lazer, D. & Mislove, A, & Wilson, C, (2013). Measuring personalization of web search. In Proceedings of the 22nd international conference on World Wide Web (WWW '13). ACM, New York, NY, USA, 527-538. DOI: 10.1145/2488388.2488435  3. Nguyen, T. T. & Hui, P. M. & Harper, F. M. & Terveen, L. & Konstan, J. A. (2014). Exploring the filter bubble: the effect of using recommender systems on content diversity. In Proceedings of the 23rd international conference on World wide web (WWW '14). ACM, New York, NY, USA, 677-686. DOI: 10.1145/2566486.2568012  4. Yom-Tov, E. & Dumais, S. & Guo, Q. (2014). Promoting Civil Discourse Through Search Engine Diversity. Soc. Sci. Comput. Rev. 32, 2 (April 2014), 145-154. DOI: 10.1177/0894439313506838   5. Möller, J. & Trilling, D. & Helberger, N. & van Es, B. (2018). Do not blame it on the algorithm: an empirical assessment of multiple recommender systems and their impact on content diversity. Information, Communication & Society, DOI: 10.1080/1369118X.2018.1444076

73. Dank! David Graus @dvdgrs