Collaborative Filtering based on star users. 2011, 23rd ICTAI

1. ICTAI 2011, Boca Raton
November 7, 2011
Collaborative Filtering Based on
Star Users
Qiang Liu
with Bingfei Cheng and Congfu Xu
College of Computer Science and Technology
Zhejiang University
Hangzhou, Zhejiang 310027, China
2012dtd@gmail.com

2. Outline
 Introduction
 Star-user-based Collaborative Filtering
 Experimental Results
 Conclusion

3. INTRODUCTION

4. Collaborative Filtering
User-based
 Neighborhood-based
Collaborative Item-based
Filtering(CF)
Bayesian Model
Factorization Model
 Model-based Maximum Entropy
Classification or Clustering
……

5. Motivation
 To improve the most widely used
technology in real-life recommender
systems.

6. Neighborhood Model
Similarity between users：
cov(������,������)

������������ ������������
◦ Pearson：
������∙������
������ ������
◦ Cosine:
◦ Other similarity measures
 Weighted sum of neighbors’
ratings:
◦ ������������,������ = ������������ +
∑������∈������ ������������,������ −������������ ∙ ������������,������
∑������∈������ ������������,������
Common items：1,4,6
Rating vectors of common items：
a=[1,4,5]
b=[2,2,5]

7. Challenges faced by traditional
methods
 Matching similar users (computing similarities ):
 Sparsity and noise
 Scalability
 ……

8. STAR-USER-BASED CF

9. The MPN users
 Let A, B, C, D are neighbors of users A, B,
C, D respectively.
 Then area E is the set of the most
popular neighbors(MPN).

10. What is star user
 Star users are special users who have
rated all items with relatively stable
standard.
 We maintain a small set of star users, and
treat them as fixed neighbors of every
general user

11. Problem Formulation
Filling the following matrix ℛ ∈ ������������×������ .
Items (N)
������������ … ������������ … ������������
������������ ? . . . ?
Star users(H)
… . . . . .
������������ . . ������������,������ . .
... . . . . .
������������ ? . . . ?

12. Prediction Model
 Selecting Star Neighbors:  Generate predictions
based on star users’
General Users (M)
������������ ������������ ������������
ratings:
�
������������,������ = ������������ +
∑������∈������ ������������,������ −������������ ∙ ������������,������
∑������∈������ ������������,������
������������
… …

Star Users (H)
The parameters are ������������,������
. . . . .
������������ ������������,������ and ������������,������ .
… . . . . .

. . . .
������������
... . . . . .
. . . . .
Relationship Matrix W

13. How we get star users（1）
1. Initialization star user matrix ℛ.
 Training Stage:
2. Predict each rating ������̂������,������ in the training set:
∑������∈������(������������,������ − ������̅������ ) × ������������,������
������̂������,������ = ������̅������ +
∑������∈������ ������������,������
3. The residual is ������������,������ = ������������,������ − ������̂������,������
gradient of ������������,������ 2 is:
and the
������������,������ 2 = −2������������,������ ∙ ∑
������−1
������ ∙������������,������
������
������������������,������ ������∈������ ������������,������

14. How we get star users（2）
4. Update each element of matrix ℛ:
 Training Stage:
������������,������
������������,������ ← ������������,������ + ������ ∙ ������������,������ ∙
∑������∈������ ������������,������
5. Repeat steps 2 to 4 until convergence.

15. How we get star users（3）
◦ ������ (users):The update frequency of ������̅������ .
 Parameters:
◦ ������ ������������������������������������������������������������ :The update frequency of
������������,������ ∈ ������ for each u, and s.
w������,������ is computed using Pearson Correlation
������ ∈ ������������×������
 Maintain the relationship matrix W:
until recommending stage.

16. EXPERIMENTAL RESULTS

17. Results on MovieLens Dataset
RMSE of our approach against Time requirement comparison
various H and comparison with
kNN

18. Item-based Model
 We firstly train a small set of star items
instead of star users.
 Predictions are computed as:
∑������∈������ ′ ������������,������ − ������������ × ������������,������
�
������������,������ = ������̅������ +
∑������∈������ ′ ������������,������

19. Results on Netflix Dataset
Our approach with different values Our approach with different values
of learning rate of H

20. Discussion
 Comparison with kNN  Comparison with SVD
◦ Accuracy ◦ Scientific explanation
◦ Data Sparsity ◦ Parameters
◦ Scalability ◦ Updating
������ ������2 × ������ ′
→ ������(������ × ������ × ������ ′ )
where ������ ≪ ������.

21. CONCLUSION

22. Summary
 We proposed a novel CF model based on
star users.
 The original intention is to improve
traditional neighborhood-based CF model.
 Experimental results on two datasets
verified the effectiveness of our approach.

23. Future work
 Incorporating contextual information into
our model.
 Validating our approach in practical
applications.

25. THANK YOU