2. Рекомендательные
системы
Лекция №1: введение
Андрей Данильченко
18 октября 2014

3. Структура
• Introduction
• Collaborative filtering
• Content-based & hybrid methods
• Evaluation

4. “Recommender Systems (RSs) are
software tools and techniques
providing suggestions for items to
be of use to a user”
F. Ricci
Introduction

5. Количество статей в области RS
по данным google scholar (от 2014-10-17)

6. Мы живем в эпоху
рекомендательных систем!

7. Классификация RS
Available data
Tags
&
Metadata
User history Content
Collaborative Content-based
Hybrid

8. Данные
• Рейтинги (explicit feedback)
• Унарные (like)
• Бинарные (like/dislike)
• Числовые (stars)
• История действий (implicit feedback)
• Теги, метаданные
~
• Отзывы
• Друзья (community-based RS)

9. Постановка задач RS
• Predict
• Recommend
• Similar

10. Collaborative filtering
• Neighborhood methods
• Matrix factorization methods

11. Collaborative filtering
Neighborhood methods

12. Идея метода (user-based)
Как продукт оценили похожие пользователи?
ˆ rui =
1
Ni (u)
rvi
Σ
v∈Ni (u)
Взвесим вклад каждого
ˆ rui =
wuvrvi
Σ
v∈Ni (u)
wuv
Σ
v∈Ni (u)
И нормализуем рейтинги
ˆ rui = h−1
wuvh rvi ( )
Σ
v∈Ni (u)
wuv
Σ
v∈Ni (u)
$
&&&
%
'
)))
(

13. Какое расстояние использовать?
• Косинусное расстояние
cos(u, v) =
ruirvi
Σ
i∈Iuv
Σ r2
rui
vj
i∈Iu
2
Σ
j∈Iv
• Корреляция Пирсона
PC(u, v) =
(rui − ru )(rvi − rv )
Σ
i∈Iuv
Σ (r− r)2
(r− r)2
ui u vi v i∈Iu
Σ
j∈Iv

14. Как нормализовать рейтинги?
• Mean centering
h rui ( ) = rui − ru
• Z-score
h rui ( ) =
rui − ru
σ u
• Percentile
h rui ( ) =
j ∈ Iu : ruj ≤ rui { }
Iu

15. Collaborative filtering
Matrix factorization methods

16. Наилучшее приближение ранга k
Теорема:
Если в матрице λ оставить k наибольших сингулярных векторов,
то получим наилучшее приближение матрицы A ранга k

17. Baseline predictors
Модель:
rˆuui =μ + bu + bi
argmin
b*
Σ ( 2
r−μ − b− b)
uui u i (u,i )∈R
Σ 2 +
Σ
bi
+λ bu
u∈U
2
i∈I
$
% &
'
( )
Функция ошибки:

18. SVD
Модель:
Tqi
rˆuui =μ + bu + bi + pu
argmin
p*q*b*
Σ 2
( r−μ − b− b− pTq)
uui u i u
i (u,i )∈R
2 ( )
+λ pu
2
+ qi
2
+ bu
2 + bi
Функция ошибки:

19. Neighborhood (item-based)
Модель:
rˆuui = bui +
sij ruj − buj ( ) j∈Sk (u,i ) Σ
sj∈S ij k (u,i ) Σ
u ruj − buj ( ) j∈Sk (u,i ) Σ
= bui + θij

20. Neighborhood (optimization)
Σ
u ruj − buj ( ) j∈Sk (u,i ) Σ
rˆuui = bui + ωij ruj − buj ( )
j∈R(u)
ˆ ruui = bui +
sij ruj − buj ( ) j∈Sk (u,i ) Σ
sj∈S ij k (u,i ) Σ
= bui + θij

21. Neighborhood (optimization + implicit)
u ruj − buj ( ) j∈Sk (u,i ) Σ
Σ + cij
rˆuui = bui + ωij ruj − buj ( )
j∈R(u)
Σ
j∈N(u)
ˆ ruui = bui +
sij ruj − buj ( ) j∈Sk (u,i ) Σ
sj∈S ij k (u,i ) Σ
= bui + θij

22. Neighborhood (normalization)
rˆuui = bui + R(u)
−
Σ + cij
1
2 ωij ruj − buj ( )
j∈R(u)
Σ
Σ + N(u)
−
1
2 Σ
cij
j∈N(u)
ˆ ruui = bui + ωij ruj − buj ( )
j∈R(u)
j∈N(u)
ˆ ruui = bui + Rk (i,u)
−
1
2 ωij ruj − buj ( )
j∈Rk (u)
Σ + Nk (i,u)
−
1
2 Σ
cij
j∈Nk (u)

23. Снова SVD
Модель:
Tqi
rˆuui =μ + bu + bi + pu
argmin
p*q*b*
Σ 2
( r−μ − b− b− pTq)
uui u i u
i (u,i )∈R
2 ( )
+λ pu
2
+ qi
2
+ bu
2 + bi
Функция ошибки:

24. Asymmetric-SVD
Модель:
T R(u)
rˆuui =μ + bu + bi + qi
−
1
2 ruj − buj ( ) xj
j∈R(u)
Σ + N(u)
−
1
2 Σ
yj
j∈N(u)
$
% &&
'
( ))
argmin
p*q*b*
Σ ( r− rˆ )2 +
λ quui uui i
(u,i )∈R
2
+ bu
2 + bi
Σ
2 + xj
2
+ yj
2
Σ
j∈N(u)
j∈R(u)
$
% &&
'
( ))
Функция ошибки:

25. SVD++
Модель:
T pu + N(u)
rˆuui =μ + bu + bi + qi
−
1
2 Σ
yj
j∈N(u)
$
% &&
'
( ))
argmin
p*q*b*
Σ ( r− rˆ )2 +
λ puui uui u
(u,i )∈R
2
+ qi
2
+ bu
2 + bi
Σ
2 + yj
2
j∈N(u)
$
% &&
'
( ))
Функция ошибки:

26. Integrated model
Модель:
T pu + N(u)
rˆuui =μ + bu + bi + qi
−
1
2 Σ
yj
j∈N(u)
$
% &&
'
( ))
+
+ Rk (i,u)
−
1
2 ωij ruj − buj ( )
j∈Rk (u)
Σ + Nk (i,u)
−
1
2 Σ
cij
j∈Nk (u)

27. А как все это
оптимизировать?

28. SGD-оптимизация модели SVD
Модель:
Tqi
rˆuui =μ + bu + bi + pu
argmin
p*q*b*
Σ 2
( r−μ − b− b− pTq)
uui u i u
i (u,i )∈R
2 ( )
+λ pu
2
+ qi
2
+ bu
2 + bi
Функция ошибки:
Правила для градиентного спуска:
bu ←bu +γ1 eui −λ1bu ( )
bi ←bi +γ1 eui −λ1bi ( )
pu ← pu +γ 2 euiqi −λ2 pu ( )
qu ←qi +γ 2 eui pu −λ2qi ( )

29. Ridge regression
Модель:
yi ←wT xi
wTw→0
argmin
w
nΣ
λwTw+ wT xi − yi ( )2
i=1
#
$ %
&
' (
Функция ошибки:
Точное решение:
w = (λ I + XTX)−1
XT y = (λ I + A)−1 d
A = XTX
d = XT y

30. ALS-оптимизация модели SVD
Модель:
Tqi
rˆuui =μ + bu + bi + pu
argmin
p*q*b*
Σ 2
( r−μ − b− b− pTq)
uui u i u
i (u,i )∈R
2 ( )
+λ pu
2
+ qi
2
+ bu
2 + bi
Функция ошибки:
P-step:
pu = λnuI + Au ( )−1 du
Au =Q[u]TQ[u] = qiqi
T
Σ
i:(u,i)∈R
Σ
d =Q[u]T ru = ruiqi
i:(u,i)∈R
Q-step:
qi = λniI + Ai ( )−1 di
Ai = P[i]T P[i] = pupu
T
Σ
u:(u,i)∈R
Σ
di = P[i]T ri = rui pu
u:(u,i)∈R

31. Сравнение моделей по RMSE
Модель 50 факторов 100 факторов 200 факторов Лучшее
Item-based
— —
—
0.9406
kNN
Neighborhood — — — 0.9002
SVD 0.9046 0.9025 0.9009 0.9009
Asymmetric
0.9037 0.9013 0.9000 0.9000
SVD
SVD++ 0.8952 0.8924 0.8911 0.8911
Integrated
model
0.8877 0.8870 0.8868 0.8868
на данных Netflix Prize

32. Модель 50 факторов 100 факторов 200 факторов Лучшее
Item-based
— —
—
0.9406
kNN
Neighborhood — — — 0.9002
SVD 0.9046 0.9025 0.9009 0.9009
Asymmetric
0.9037 0.9013 0.9000 0.9000
SVD
SVD++ 0.8952 0.8924 0.8911 0.8911
Integrated
model
0.8877 0.8870 0.8868 0.8868
на данных Netflix Prize
BULLSHIT!

33. Сontent-based methods
Tag-based methods
True content-based methods

34. Сontent-based methods
Tag-based methods

35. Давайте использовать тэги!

36. Способы генерации тэгов
• User-generated
• Web-mining
• Expert-generated
• Metadata

37. Similarity by tags (co-occurrence)
Данные:
облака тэгов и
Меры сходства:
• Жаккарда
• Дайса
• Охаи
Ti Tj
Ti Tj
Ti Tj
2 ⋅ Ti Tj
Ti + Tj
Ti Tj
Ti Tj

38. Similarity by tags (LSA)
• Разложим матрицу Items x Tags по SVD
• Меры сходства: косинусное расстояние и
др.
Item
features
≈ x x
Tags
Tag
features
Items
λ

39. Тэговый вандализм
Тэги Paris Hillton
Last.fm, май 2013

40. Тэговый вандализм — как бороться?
Исправленные тэги Paris Hillton
• User listening habbits
• Filter tags by
similarity

41. Сontent-based methods
True content-based methods

42. Пример — музыка
• Spectral centroid
• Spectral flatness
• Spectral skewness
• Spectral kurtosis
• Zero-Crossing Rate (ZCR)
• Mel Frequency Cepstrum Coefficients (MFCCs)
• Instrumentation
• Rhythm
• Harmony
• Structure
• Intensity
• Genre
• Mood
low-level
high-level

43. Hybrid methods

44. Классификация методов
• Weighted
• Switching
• Mixed
• Cascade

45. Evaluation

46. Как можно измерить качество RS?
• Offline test
• User study
• Online experiment

47. Offline evaluation
• Prediction accuracy
– RMSE
– MAE
• Usage prediction accuracy
– Precision/recall @N
– F1
– AUC
• Ranking accuracy
– DPM
– DGC
– Average Reciprocal Hit Rank (ARHR)
• Coverage
– Catalog coverage
– Sales diversity
– Gini index
– Shannon entropy

48. User study
• Confidence
• Trust
• Novelty
• Diversity
• Serendipity
• Robustness
• Adaptivity
• Scalability

49. Сравнивать легче!

50. Online study methods
• A-B testing
• Team-Driven Interleaving (TDI)

51. Андрей Данильченко
разработчик
Удачи!