Trust and Reputation for 
    inferring quality of resources
invited talk at First International Workshop on Quality Contr...
Outline
■ Recommender Systems

■ New trend: explicit trust and trust metrics

■ Local and Global Trust Metrics

■ Space fo...
Recommender Systems in digital libraries

■ Recommender Systems suggest items the 

  user might like
0) Users express rat...
New trend: explicit trust
■ New trend: consider explicit trust between 

 users
  ●
      Problems in computing user simil...
Trust networks
■ Aggregate all the trust statements to produce a 

 trust network.                             A node is a...
PageRank: a trust metric?
Imagine the web as a
                              ■   Nodes are web pages, 
trust network
     ...
TM perspective: Local or Global
                1                  1
     Mary                Mena                 Bill

 ...
Why global?
■   Most of the systems use global trust metrics (ebay, 
    google, slashdot, ...)
■   Most papers assume the...
Some evidence: Epinions.com
What is Epinions.com?
■   Community web site where users can
    
        Write reviews about...
Epinions.com
 Dr.P profile 
  page
  Dr.P's Web of Trust
 (Block List is hidden)



        Do you 
 trust or distrust Dr....
Are there CORRECT ratings?
■ What is the correct rating of movie “Titanic”?

■ What is the correct rating of cd 

 “BackSt...
Are there correct trust statements?
■ Intuitively: a Controversial User is

  
      TRUSTED by some users
  
      DIST...
Controversial Users: an example
       1                                0
       1                                0
      ...
Some numbers about controversiality
■   Epinions.com dataset
    
        Real Users: ~150K
    
        Edges (Trust / ...
Experiment
 ■ Comparing 2 metrics about accuracy in 

   trust/distrust prediction.
    
        Global: ebay­like. Trust...
Experiment
■ How do we compare metrics?

■ Leave­one­out: Remove an edge in Trust 

 Network and try to predict it. Then c...
Exp. on Controversiality Percentage

                                           CP~0 = Controversial User
Error




      ...
Controversial Users: an example
            1                              0
            1                              0
...
Controversiality Epinions: summary
■   Most papers assume a peer has a unique quality 
    value (there are good peers and...
Tyranny of the Majority
■ Resist the temptation to model your system 

 (i.e. digital library) with good and bad peers 
 b...
Tyranny of the Majority: examples
Examples of minorities
■   Einstein
■   Galileo
■

■   ... basically evolution in societ...
Risk on the opposite side: DAILY ME
■ “Daily me” (aka “echo chambers”)

     
         [Cass Sunstein. Republic.com. Prin...
The two extremes
 Tyranny of the majority  <­­­>            Daily 
                    me
      Is there a balance in the ...
Conclusion 1/2
■ The more decentralized the enviroment (read 

 “open publishing”), 
■ the more needed to rely on decentra...
Conclusion 2/2
Final suggestion:
■ Resist temptation to design systems in which 

 there are concepts as “correct” and “wr...
Licence of these slides
These slides are released under

Creative Commons

Attribution­ShareAlike 2.5
You are free:

    *...
Thanks for your attention




 Thanks!
Questions?


                         27
Upcoming SlideShare
Loading in …5
×

Trust and Reputation for inferring quality of resources

1,200 views

Published on

invited talk at First International Workshop on Quality Control in Digital Libraries (QCDL'06)
27-28 April 2006, Udine, Italy

Paolo Massa

Published in: Technology
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total views
1,200
On SlideShare
0
From Embeds
0
Number of Embeds
22
Actions
Shares
0
Downloads
34
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

Trust and Reputation for inferring quality of resources

  1. 1. Trust and Reputation for  inferring quality of resources invited talk at First International Workshop on Quality Control in  Digital Libraries (QCDL'06) 27­28 April 2006, Udine, Italy Paolo Massa ITC/iRST, Trento, Italy massa@itc.it http://moloko.itc.it/paoloblog/ Slides licenced under CreativeCommons Attribution­ShareAlike (see last slide for more info) 1
  2. 2. Outline ■ Recommender Systems ■ New trend: explicit trust and trust metrics ■ Local and Global Trust Metrics ■ Space for subjectivity? Experiments on real  community of Epinions.com ■ Risks: Tyranny of the majority / Daily Me ■ Suggestion in modelling online systems (for  example, digital libraries) 2
  3. 3. Recommender Systems in digital libraries ■ Recommender Systems suggest items the  user might like 0) Users express ratings (opinions) 1) RS find users similar to active user  (neighbours) 2) RS recommends to active user items liked  by neighbours SIMILAR USERS Works for every domain: songs, movies, jokes, ..., digital  3
  4. 4. New trend: explicit trust ■ New trend: consider explicit trust between  users ● Problems in computing user similarity ­­> ask it  directly ● Users can express which other users they trust  (friends), ● And specifying the level of trust (i.e. In [0,1]) ● Concept used in E­marketplaces (Ebay.com,  Epinions.com, Amazon.com), News sites (Slashdot.org,  Kuro5hin.org), P2P networks (eDonkey, Gnutella, JXTA),  Jobs sites (LinkedIn, Ryze), Advogato.org, CouchSurfing, 4
  5. 5. Trust networks ■ Aggregate all the trust statements to produce a  trust network. A node is a user. A direct edge is a trust statement 0 Mena Ben 0.2 Properties of Trust: 0.9 ­ weighted (0=distrust, 1=max trust) 0.6 ­ subjective 1 ME Doc  ­ asymmetric ­ context­dependent Trust Metric (TM): ? ? Uses existing edges for predicting values of trust for non­existing edges,  1 Cory Mary  thanks to trust propagation (if you trust  someone, then you have some degree of  trust in anyone that person trusts). 5
  6. 6. PageRank: a trust metric? Imagine the web as a ■ Nodes are web pages,  trust network Edges are links (not  Web Web weighted). page page ■ PageRank  Web (Google)computes the  Web page page “importance” of every  single page based on  number and quality of  Web Web incoming edges... page page ■ So, YES: PageRank is  6
  7. 7. TM perspective: Local or Global 1 1 Mary Mena Bill How much Bill can be trusted? 0  On average (by the community)? ME 1  By Mary? Doc  And by ME? ■ Global Trust Metrics:   “Reputation” of user is based on number and quality of incoming edges. Bill has just one  predicted trust value (0.5). pred_trust(Bill)=0.5  PageRank (eBay, Slashdot, ). Work bad for controversial people (bush) ■ Local Trust Metrics  Trust is subjective ­­> consider personal views (trust “Bill”?) ➔ pred_trust(Mary,Bill)=1, pred_trust(ME,Bill)=0  AppleSeed, Golbeck TM, Advogato, ... 7  Local can be more effective if people are not standardized.
  8. 8. Why global? ■ Most of the systems use global trust metrics (ebay,  google, slashdot, ...) ■ Most papers assume there are (globally agreed)  good peers (that gives correct ratings) and  malicious or wrong peers (that don't agree with  good peers). ■ This assumption is not realistic (next slide) ■ It is dangerous: encourages herd behaviour and  penalizes creative thinkers, black sheeps,  unexpected opinions. 8
  9. 9. Some evidence: Epinions.com What is Epinions.com? ■ Community web site where users can  Write reviews about items and give them ratings  Express their Web of Trust (“Users whose reviews and  ratings you have consistently found to be valuable”)  Express their Block List (“Users whose reviews and ratings  ... offensive, inaccurate, or in general not valuable”) ■ Reviews of TRUSTed users are more visible ■ Reviews of DISTRUSTed users are hidden Evidence from real online  community of 150.000 users). 9
  10. 10. Epinions.com Dr.P profile  page Dr.P's Web of Trust (Block List is hidden) Do you  trust or distrust Dr.P? Ratings given by Dr.P 10
  11. 11. Are there CORRECT ratings? ■ What is the correct rating of movie “Titanic”? ■ What is the correct rating of cd  “BackStreetBoys”? ■ ... what is the correct rating of “Divina  Commedia”? Of my paper? ■ IF 99% of people likes “Divina Commedia”,  I'm forced to like it? Otherwise I'm wrong or  malicious? ■ No correct ratings. Just different subjective  11
  12. 12. Are there correct trust statements? ■ Intuitively: a Controversial User is  TRUSTED by some users  DISTRUSTED by some users ■ Do you want an example? 12
  13. 13. Controversial Users: an example 1 0 1 0 1 0 1 0 1 0 (....) (....) 1 0 100M people 100M people If you don't know Bush, should you trust Bush?  T(Bush)=0.5? Make sense? Here global metrics don't. 13
  14. 14. Some numbers about controversiality ■ Epinions.com dataset  Real Users: ~150K  Edges (Trust / Distrust): 841K (717K / 124K)  ~85K received at least one judgement (trust or distrust)  17.090 (>20%) are at least 1­controversial (at least 1  user disagrees with the majority)  ­­>  Non negligible  portion!  1.247 are at least 10­controversial  144 are at least 40­controversial  1 user is 212­controversial! (~400 trust her, 212 distrust  her) 14
  15. 15. Experiment ■ Comparing 2 metrics about accuracy in  trust/distrust prediction.  Global: ebay­like. Trust(A)=#trust/(#trust+#distrust)  Local: MoleTrust, based on Trust Propagation from  current user (simple and fast) Cycles are a problem ­­> Order peers  based on distance from source user Trust of users at level k is based only  on trust of users at level k­1 (and k) Trust propagation horizon & decay 15
  16. 16. Experiment ■ How do we compare metrics? ■ Leave­one­out: Remove an edge in Trust  Network and try to predict it. Then compute  error as absolute difference between Real  and Predicted value. 16
  17. 17. Exp. on Controversiality Percentage CP~0 = Controversial User Error Error Ebay = 0.5 on  Ebay Controversiality percentage Controversial Users Error MoleTrust2 smaller  but not as small as we  Error would like: can we reach 0? MoleTrust2 Controversiality percentage 17
  18. 18. Controversial Users: an example 1 0 1 0 1 0 1 1 1 0 R 1 0 D 1 1 (....) (....) 1 0 100M people 100M people Local Metric makes more sense. Your trust in  Bush depends on your trusted users! T(R,Bush)=1                               T(D,Bush)=0 18
  19. 19. Controversiality Epinions: summary ■ Most papers assume a peer has a unique quality  value (there are good peers and bad peers, goal  is to spot bad) ■ IRREALISTIC assumption (Evidence from real  online  community of 150,000 users). ■ Consequence: we need Local Trust Metrics  (personalized) [But most papers propose Global  Metrics] ■ Ref: [Controversial Users demand Local Trust Metrics: an  Experimental Study on Epinions.com Community, Massa,  19 Avesani,AAAI 2005]
  20. 20. Tyranny of the Majority ■ Resist the temptation to model your system  (i.e. digital library) with good and bad peers  because this is not realistic. ■ And it is dangerous  Tyranny of the majority [Democracy in America, de  Tocqueville, 1835] and [On Liberty, John Stuart Mill,  1859]  for one minority, which by definition has opinions that  are different from the ones of the majority, there is no  way to be protected “against the tyranny of the  prevailing opinion and feeling”. 20
  21. 21. Tyranny of the Majority: examples Examples of minorities ■ Einstein ■ Galileo ■ ■ ... basically evolution in society happens only if there is  someone who “thinks different”. ■ Suggestion: don't crush (or burn!) different thinkers!  Minority's opinions are opportunities. ■ No need to introduce it: online systems allow (local)  personalization ... however ... 21
  22. 22. Risk on the opposite side: DAILY ME ■ “Daily me” (aka “echo chambers”)  [Cass Sunstein. Republic.com. Princeton University  Press, 1999] ■ “technology has greatly increased people's ability to filter what  they want to read, see, and hear, to encounter only opinions of  like minded people and never again be confronted with people  with different ideas and opinions” ■ Risk: segmentation of society 22
  23. 23. The two extremes Tyranny of the majority  <­­­>            Daily  me Is there a balance in the middle? Could be no ratings at all? ... Wikipedia works Why not stopping assigning “Nobel” prizes? But what we teach to school pupils as “correct”? Forced by law to discuss with people we don't  agree with? ... this is more sociology than anything else ... 23
  24. 24. Conclusion 1/2 ■ The more decentralized the enviroment (read  “open publishing”),  ■ the more needed to rely on decentralized  assessment and control of quality (ratings,  trust ­­> recommender systems, reputation  systems, trust metrics).  Community of peers self­moderate itself 24
  25. 25. Conclusion 2/2 Final suggestion: ■ Resist temptation to design systems in which  there are concepts as “correct” and “wrong”  rating, “good” and “bad” user. ■ Offer both global and a local view.  (global is needed? ­­­ Need for a nobel prize? What is  culture?)   For example with a slidebar that lets you explore  the personalized view (daily me) and global view  (majority) and mixes of them. 25
  26. 26. Licence of these slides These slides are released under Creative Commons Attribution­ShareAlike 2.5 You are free:     * to copy, distribute, display, and perform the work     * to make derivative works     * to make commercial use of the work Under the following conditions: Attribution. You must attribute the work in the manner specified by the author or licensor. Share Alike. If you alter, transform, or build upon this work, you may distribute the resulting work only under a license identical to  this one.     * For any reuse or distribution, you must make clear to others the license terms of this work.     * Any of these conditions can be waived if you get permission from the copyright holder. Your fair use and other rights are in no way affected by the above. More info at http://creativecommons.org/licenses/by­sa/2.5/ 26
  27. 27. Thanks for your attention Thanks! Questions? 27

×