White paper language items-agents

132 views
85 views

Published on

Published in: Education
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total views
132
On SlideShare
0
From Embeds
0
Number of Embeds
2
Actions
Shares
0
Downloads
1
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

White paper language items-agents

  1. 1. Taal, Items en Agenten Zelfconsistente ranking en positionering binnen een sociaal netwerk Kees van Overveld december 2012 We beschrijven een systeem waarin individuen (agenten) een mening kunnen communiceren over items, waarbij deze communicaties indirect ook leiden tot het tot stand komen van een mening over de individuen zelf. We beschrijven enkele toepassingen, met name in het licht van de route die geschetst is in [1i].Van absolute naar relatieve oordelenAls variant op het bekende raadsel ‘hoe lang is een Chinees’ kunnenwe ons de vraag stellen ‘hoe goed is een kunstwerk’. Hierbij mag‘kunstwerk’ vervangen worden door elk willekeurig ander itemwaarover een oordeel mogelijk is: een kookrecept, een geschrevenartikel, een feest, een politieke partij, … We zullen allebeoordeelbare dingen aanduiden als ‘items’.Het is tegenwoordig op het Internet een geliefde hobby omoordelen kenbaar te maken. Steeds meer websites hebben bijallerlei items reeksen sterretjes staan waarvan er meer of mindergekleurd zijn: het aantal gekleurde sterretjes is een maat voor hetaantal mensen dat het betreffende item positief gewaardeerd heeft.Kennelijk is het belangrijk dat we zoveel mogelijk dingen kunnenbeoordelen, en voor al die oordelen geldt: hoe meer sterretjes hoebeter.Toch is dit een wat beperkte visie op het beoordelingsproces. Aantenminste twee facetten wordt geen recht gedaan. Ten eerste zijnitems op veel meer facetten beoordeelbaar: een kookrecept ismisschien beter naar mate het gerecht lekkerder is, maar ook naarmate het recept duidelijker is opgeschreven, de ingrediëntenmakkelijker verkrijgbaar zijn, en de bereiding eenvoudiger. Daarbijkomt dat verschillendsoortige items misschien verschillendsoortigeaspecten hebben: van een geschreven artikel is het zinloos om tezeggen hoe lekker het gerecht is. En misschien is zelfs eenindividueel recept niet op alle recept-criteria beoordeelbaar. 1
  2. 2. Een tweede tekortkoming is dat alle oordelen van alle beoordelaarsals ononderscheidbaar worden beschouwd. Er geldt ultiemedemocratie op het Internet: one man, one vote.Deze tekortkomingen beperken de praktische bruikbaarheid van eenbeoordeling voor allerlei toepassingen. Een dergelijke ‘sterretjes’-beoordeling zegt niet zoveel. Met name is het niet mogelijk omoordelen van verschillende agenten uit elkaar te houden; individuelerecommendation wordt daarmee onmogelijk.De tekortkoming waarbij alle oordelen ononderscheidbaar wordenbehandeld lijkt het meest fundamenteel. Op het eerste gezicht is erechter maar één alternatief: het laten varen van het democratischeuitgangspunt. Maar dat druist heftig in tegen de geest van desociale interactie op het Internet. Er zijn natuurlijk gezaghebbendeopinies, en recepten van sterrenkoks zijn waarschijnlijk wel beter(in één of andere zin) dan ingezonden recepten in de kookrubriek,maar Internetgebruikers zijn niet zo dol op het autoriteitsargument.In dit document bestuderen we de vraag of het mogelijk is om eenbeoordelingssysteem te hebben waarin ieder individu invloed heeft,maar waarin bij die invloed toch gedifferentieerd wordt naarindividuen: niet iedereen heeft evenveel invloed. Dit lijkt een beetjeop vroege vormen van stemrecht, o.a. in Nederland: er zijnperioden geweest dat allen sommige sociale lagen mochtenstemmen, of alleen mannen. Het behoeft geen betoog dat hetgebruik van dergelijke absolute, van buitenaf opgelegde criteria,waaraan het gewicht van een stem ontleend kan worden, in dehuidige tijd onacceptabel is. In plaats daarvan zoeken we naarcriteria of beoordelingsmethoden die geen absolute input vanbuitenaf nodig hebben, maar waarbij het beoordelingsproces zelf dedifferentiatie tussen beoordelaars veroorzaakt.We geven hierna eerst kort de informele intuïtie van onze aanpak(zogenaamde ‘zelfconsistentie’); daarna gaan we iets verder in opde eisen die we aan een praktisch beoordelingssysteem stellen, enwe geven een voorstel voor een implementeerbare uitwerking.Zelfconsistentie: ‘wat je zegt dat ben je zelf’.In een traditioneel beoordelingssysteem kan het geven van eenoordeel aan een item gezien worden als: ‘Item I krijgt een zekerewaarde toebedeeld’, en hoe groter de geaccumuleerde waarde dieaan I toebedeeld wordt, hoe hoger het eindoordeel over I. Wat ergebeurt is echter, dat een agent A (een individu) een waarde aan Itoebedeelt. Er is dus meer informatie, namelijk de identiteit van A.De waarde die door A aan I wordt toegekend, zegt immers ook ietsover A zelf. 2
  3. 3. Laten we om te beginnen eens de eenvoudige situatie nemenwaarin I en A allebei door één eigenschap beschreven worden. Bij Iis dat ‘waarde, aangeduid als I.wii. Bij de agent is dat‘deskundigheid1’, A.d. Zowel waarde als deskundigheid stellen wevoor door iets dat op volgorde gezet kan worden, bijvoorbeeld eengetal op een schaal. Geen van beiden zijn ‘waarde’ en‘deskundigheid’ echter in absolute zin vast te stellen. Ze kunnenalleen relatief, in afhankelijkheid van elkaar bepaald worden. Zekunnen gedefinieerd worden door een tweetal circulaire definities: • een item heeft meer waarde naarmate meer deskundige agenten het waarderen • een agent is deskundiger naarmate hij in zijn waarderingen meer verschil maakt tussen items met een hoge waarde en items met een lage waarde.Merk op dat alleen de onderlinge afhankelijkheid tussen items enagenten het mogelijk maakt om uitspraken over, hetzij de waardevan een item, hetzij de deskundigheid van een agent te doen.Bovendien merken we op dat er een soort symmetrie tussen itemsen agenten ontstaat: agenten zijn beter naarmate ze beteronderscheid kunnen maken tussen items, en items zijn beternaarmate ze beter onderscheid kunnen maken tussen agenten.Als we dit direct zouden toepassen op mensen als agenten enbijvoorbeeld kunstvoorwerpen als items ontstaat een nogal schraalen simplistisch beeld. Alsof je alle mensen op volgorde vandeskundigheid zou kunnen zetten, en alle kunstvoorwerpen opvolgorde van waarde. Het is duidelijk dat het systeem veel meernuance behoeft om recht te doen aan de uiteenlopendheid vanmensen voor wat betreft hun interesses, deskundigheid enambities; ook kunstwerken (en items in het algemeen) moeten meteen rijker vocabulaire beschreven worden.Toch is ons eerste schot voor de boeg hoopvol: uit de tweecirculaire definities volgt namelijk een praktisch te implementerenwerkwijze om, uitgaande van een hoeveelheid beoordelingen diedoor agenten aan items toegekend zijn, een volgorde voor items uitte rekenen en een volgorde van agenten uit te rekenen zodanig dataan beide definities voldaan is. Voor de volledigheid geven we ditalgoritme aan het eind van dit artikel (zie appendix).1 Andere woorden waaraan je in dit verband kunt denken zijn verschillende soorten ‘literacy’ alsmedesommige van de dimensies uit een persoonlijkheidsprofiel zoals de big five. Deze dimensies zijnallemaal gekenmerkt door het feit dat het niet aan het individu zelf is om de waarde vast te stellen:hij/zij moet deze waarde ‘verdienen’ door de mate waarin hij/zij in staat is oordelen te geven overitems die ook door anderen beoordeeld zijn, of door de mate waarin hij/zij overeenstemming vertoontmet andere individuen waarvan al een profiel bekend is. Daarnaast zijn er ook dimensies in eenpersoonlijkheidsprofiel waar de agent wel autonoom is; dit zijn bijvoorbeeld ambitieniveaus,belangstellingssferen, en dergelijke. 3
  4. 4. Een praktisch zelfconsistent beoordelingssysteemWe hebben twee uitbreidingen nodig, wil ons voorstel praktischbruikbaar zijn. Ten eerste moeten agenten zowel als items doorwillekeurige aantallen ‘waardes’ en ‘deskundigheden’ voorgesteldkunnen worden; ten tweede moet de collectie ‘waardes’ en decollectie ‘deskundigheden’ instelbaar zijn al naar gelang debehoefte.Als er van meerdere waardes of deskundigheden (we zullen dezesamen ‘dimensies’ noemen) sprake is, die in samenhang tussenagenten en items op zelfconsistente wijze vastgesteld moetenworden, moeten we in staat zijn om op te schrijven hoe deuitgedeelde beoordelingen in het systeem verdisconteerd moetenworden.Bijvoorbeeld: bij een tentoonstelling zouden we twee waardes entwee deskundigheden kunnen onderscheiden2: voor een item, dewaardes bijzonderheid en populariteit; voor een agent: de matewaarin iemand kijk heeft op kunst (d.w.z., het vermogen waarmeeiemand ‘bijzondere’ kunst kan onderscheiden van ‘banale’ kunst),en de mate waarmee iemand kijk heeft op populariteit (d.w.z., hetvermogen waarmee iemand ‘populaire’ kunst kan onderscheidenvan ‘impopulaire’ kunst). Merk op dat zowel de twee waardes als detwee deskundigheden tot op zekere hoogte onafhankelijk zijn:bijzondere kunst hoeft niet populair te zijn, maar hoeft ook nietimpopulair te zijn; analoog voor populaire kunst, en analoog voorde twee soorten deskundigheden.In bovenstaand voorbeeld: als een agent uitspreekt dat een bepaalditem populair is, zal dat meer aan de populariteit-waarde van datitem bijdragen naarmate de agent een grotere deskundigheid heeftin het onderscheiden van populaire en impopulaire items; als eenagent uitspreekt dat een bepaald item bijzonder is zou dat kunnenbijdragen aan de populariteit van het item ongeacht dedeskundigheid van de agent in welk opzicht dat ook, maar het zalmeer bijdrage een de bijzonderheid van het kunstwerk naarmate deagent deskundiger is in het vaststellen van bijzondere kunst.Laten we dit scherper stellen: noem, voor een item, de tweedimensies BW en PW (bijzonderheidwaarde en populariteitswaarde)en de twee dimensies BD en PD (deskundigheid ten aanzien vanbijzonderheid, en deskundigheid ten aanzien van populariteit3).2 In een eerdere exploratie duidden we die aan met de ‘rode’ en de ‘gele’ muntjes’.3 Het hoeft in het algemeen zeker niet zo te zijn dat dimensies altijd in paartjes voorkomen, één alswaarde en de andere als deskundigheid. Tegenvoorbeelden zijn sommige dimensies van de big five of 4
  5. 5. Stel nu dat agent A aan item I een gunstig oordeel ten aanzien vanbijzonderheid uitreikt, dan zouden bijvoorbeeld de volgende drieregels van toepassing kunnen zijn4:I.BW  verhoog5 meer naarmate A.BD groter isA.BD  verhoog meer naarmate I.BW groter isI.PW  verhoog ongeacht enige eigenschap van AAls daarentegen een agent A aan item I een gunstig oordeel tenaanzien van de populariteit uitreikt, zouden de volgende twee regelsuitgevoerd kunnen worden:I.PW  verhoog meer naarmate A.PD groter isA.PD  verhoog meer naarmate I.PW groter is.Op deze manier wordt het mogelijk om van willekeurigekoppelingen tussen dimensies van items en agenten voor teschrijven hoe ze moeten leiden tot aanpassingen.De enige vereiste hiervoor is, dat het systeem waarin agenten enitems beschreven worden flexibel opgezet is, met andere woorden,dat naar willekeurig van agenten en items willekeurigeeigenschappen (dimensies) geadministreerd kunnen worden. Hetconfigureren van een evenement, waarin wordt beschreven hoevoor dat evenement de beoordeling (met als toepassingen daarvanfeedback, ranking en recommendation!) moeten werken, bestaatdan uit het opstellen van een script met daarin de regels die voordit evenement de koppelingen tussen de diverse dimensies regelen;op de achtergrond draait een gegeneraliseerde versie van hetalgoritme uit de appendix om te zorgen dat het door elkaaruitvoeren van al die regels leidt tot een zelf-consistent stel waarde-en deskundigheidsdimensies.Het aspect ‘taal’.De verschillende dimensies worden aangeduid met woorden dievoor verschillende evenementen verschillend kunnen zijn. Als echtereen aantal woorden gestandaardiseerd wordt (in een zogenaamdenamespace), kan informatie van één evenement naar een volgendevenement gecommuniceerd worden. In [i] spreken we bijvoorbeeldvan de koppeling tussen de bezoekerservaringen vansommige literacies die alleen als ‘deskundigheidsdimensie’ optreden, maar niet als imte-waarde.4 Ook hier gebruiken we weer de zogenaamde punt-notatie: A.B lees je als ‘A z’n B’, het betekent:‘eigenschap B van object A ‘.5 ‘verhoog’ moet hier niet letterlijk worden opgevat als: ‘maak deze waarde zonder meer groter’. Erzijn allerlei technische kwesties rondom normering die in acht moeten worden genomen om tevoorkomen dat waardes onvergelijkbaar worden. 5
  6. 6. achtereenvolgende evenementen: deze koppeling veronderstelt dateen deel van de dimensies die bij het eerste evenement een waardegekregen hebben, nog betekenis heeft bij het volgende evenement.Dit is mogelijk door het standaardiseren van (een deel) van dewoorden waarmee dimensies aangeduid worden, en het consistenthouden van de script-regels waarin het gedrag van die dimensiesbeschreven is.‘Woorden’ komen nog op een tweede manier in hetbeoordelingsmechanisme voor. Immers, tot dusver gaven wevoorbeelden waarin een beoordeling bestaat uit een ordinalewaarde (een getal op een of andere schaal). Vaak willen we echterook beoordelingen toestaan in de vorm van ‘tagging’ (= hettoekennen van woord-associaties aan een item). Tags kunnendaarbij uit een lijst te kiezen zijn; soms worden ook vrije tagstoegestaan.Als de betekenis van woorden voldoende vastgelegd is – dat wilzeggen, als er voldoende formeel gerepresenteerde connotatie vanwoorden in het systeem aanwezig is, kunnen ook regelsgeformuleerd worden waarin dimensies aangepast worden tengevolge van de gebeurtenis dat een agent zich door het invoerenvan een of meer woorden over een item uitlaat. Het is hierbijbelangrijk op te merken dat dit niet kan voor een ‘vrije’ tekst dienog nooit eerder in het systeem werd ingevoerd: die heeft immersnog geen vastgelegde connotatie. Toch kan zo’n vrije tekst welbewaard worden voor later gebruik, mits de beoordeling waar dezevrije tekst deel van uitmaakte ook nog andere, wel door hetsysteem herkende elementen bevatte (bijvoorbeeld een waarderingop een schaal, of tags uit de collectie al bekende woorden waarmeede nieuwe tekst verondersteld kan worden min of meer synoniem tezijn). Op die manier kan een ‘zelflerend’ beoordelingssysteemopgetuigd worden met een woordenschat die ‘vanzelf’ groter wordt.Een generiek zelfconsistent ranking- en profileringsysteemAls agenten en items in een triple store gerepresenteerd zijn is eenvoldoende flexibele opslagstructuur aanwezig om bovenstaandeideeën te realiseren. Een of meerdere namespaces zullen nodig zijnom de meest algemene sets regels te formuleren. Ook voor deimplementatie van ‘beoordeling door tagging’ is een triple store eengeschikt vertrekpunt. Zowel de connotatie van de aanwezig tags,als de inbedding van nieuwe tekstfragmenten als ‘tags voor detoekomst’ kunnen hierop geïmplementeerd worden.Wij zien dus als drie fundamentele componenten van een generiekezelfconsistente beoordelingsfunctionaliteit in de eSphere: 6
  7. 7. • een triple store waarin agenten, items en de taal waarmee agenten, items en tags op één uniforme manier opgeslagen zijn; • een voorziening om scripts te maken die beschrijven hoe elk beoordeling-event in enig door eSphere ondersteund evenement leidt tot het uitvoeren van regels voor het updaten van dimensies, waarbij die scripts gebruik maken van de woorden uit de triple store; • een gegeneraliseerde versie van het algoritme uit de appendix dat op de achtergrond alle in de scripts beschreven regels uitvoert en laat leiden tot een zelfconsistente set toewijzingen aan waardes en deskundigheden van alle items en agenten.Appendix: een eenvoudig algoritme voor een zelfconsistentebeoordeling van items en agenten; een voorlopige analyseen enkele experimentele resultaten.We geven het algoritme voor zelfconsistente ranking voor het eenvoudigstegeval, namelijk met één waardedimensie en één deskundigheidsdimensie. Laat Ade vector van alle kundigheden van agenten zijn: A[i] is de kundigheid van agentnr. i; laat I de vector van alle waardes van items zijn; I[j] is de waarde van itemnr. j. Zowel kundigheid en waarde is gerepresenteerd door een reëel getal tussen-1 en 1. Een oordeel, gegeven door agent i aan item j is ook een getal tussen -1en 1; de beoordelingen worden weergegeven door matrix B: B[i][j] is hetoordeel, gegeven door agent i aan item j. Initieel stellen we alle kundigheden enscores op een random waarde.Vervolgens herhalen we, tot convergentie: • Bereken een schatting voor de waardes: I’[j]=A•B[*,j]/√|A||B[*,j]|. Toelichting: wij berekenen de arccosinus van de hoek tussen kolom j van B en de vector A. Dit implementeert de intuïtie dat de waarde van een item vooral bepaald wordt door wat de meest kundige agenten over dat item oordelen. • Bereken een schatting voor de kundigheden: A’[i]=B[i,*] •I/√B[i,*]||I|. Toelichting: wij berekenen de arccosinus van de hoek tussen rij i van B en de vector I. Dit implementeert de intuïtie dat de kundigheid vooral bepaald wordt door de mate waarin de oordelen overeenstemmen met de (tot dusver beste schattingen van de) waardes. • Pas de waardes aan: I=αI+(1-α)I’ (hierbij is α een parameter die de balans tussen de stabiliteit van het algoritme en de snelheid van convergentie regelt: als α klein is convergeert het snel maar dreigt oscillerend gedrag; als α groot is treedt een stabiele maar langzamere convergentie op. • Pas de kundigheden aan: A=αA+(1-α)A’Als er convergentie optreedt, geldt I’=I en A’=A. Om te begrijpen wat ditbetekent veronderstellen we eerst dat gedurende het convergentieproces denormen van A en I nauwelijks veranderen. Inderdaad, |A| ≈ 0.25 * (aantalagenten); |I| ≈ 0.25 * (aantal items). Neem ook aan dat alle kolommen van B(ongeveer) dezelfde norm hebben, zeg Bk ≈ |A| (=wet van de grote getallen: bijvoldoende grote aantallen agenten en items zal aan deze aanname beter voldaanzijn. Merk op: dit komt dankzij de keuze om kennisniveaus en waarden tenormeren tussen -1 en 1: daardoor heeft een ‘goed’ item niet per se een groterenorm dan een ‘slecht’ item.). Analoog de rijen van B, met norm Br ≈ |I|. Dezekunnen we dan als constanten opvatten, en de eindtoestand van de iteratie kan 7
  8. 8. geschreven worden als I= ATB/√|A|Bk. Voorts is A=BIT/√|I|Br dus I=IBTB/√|A||I|BrBk. Met andere woorden, I is een eigenvector bij eigenwaarde √|A||I|BrBk ≈(aantal agenten * aantal items) van matrix BTB. Deze matrix is definitiet positief,en heeft dus een reëel spectrum; bovendien wordt hiermee ons iteratieproces teinterpreteren als de traditionele manier om een eigenvector (en wel die met degrootste eigenwaarde) van een matrix te vinden. Er zijn overigens verschillendealternatieve keuzes te maken wat betreft de normering; ook hoeft het algoritmeniet perse de agenten en items symmetrisch te behandelen. E.e.a. is onderwerpvan latere studie. Met het huidige algoritme zijn al enkele voorlopige numeriekeexperimenten verricht (zie ook de toelichting in de excelfile ‘zelfconsistentebeoordeling demo - symm.xls’. Dan blijkt dat convergentie bij volledige matrix Bprobleemloos reproduceerbaar is, d.w.z. dat bij verschillende (random)verdelingen van startwaarden voor kennisniveaus en waarden steeds dezelfdeeindtoestand gevonden wordt; de volgorde van de itemwaarden wordt steedsvolledig gevonden. Voor de volgorde van de kennisniveaus van de agenten geldteen iets ander gedrag: voor de agenten met de hoogste kennisniveaus is dereconstructie exact; naarmate de kennisniveaus lager zijn is de spreidingtoenemend groter. Ook kunnen we experimenten doen bij onvolledige respons:de matrix B kan sparse zijn (d.w.z., slechts een deel van de beoordelingen isbeschikbaar). Het blijkt dan bij bijvoorbeeld 50 items en 200 agenten nogmogelijk om de juiste volgorde van de itemwaarden te reconstrueren bij nietmeer dan 10% respons – (dat wil zeggen dat de gemiddelde agent over nietmeer dan 5 items een oordeel uitspreekt). 8
  9. 9. i ‘Kees van Overveld: ‘white paper cultuurfestivals’, december 2011ii We gebruiken hier de zogenaamde punt notatie. ‘a.b’ spreek je ut als ‘a z’n b’, en het betekent: de waarde vaneigenschap b van ‘ding’ a.

×