Лекция-введение в рекомендательные системы в рамках курса по машинному обучению для студентов четвертого курса на кафедре КТ ИТМО. Часть 1 — kNN, SVD, iALS.

2. Рекомендательные
системы
Лекция 1
Андрей Данильченко
НИУ ИТМО, 10 ноября 2014

3. Что такое
рекомендательная
система?

5. 5

7. 7

8. 8

9. │ Recommender Systems
are software tools and
techniques providing
suggestions for items to
be of use to a user
F. Ricci “Recommender Systems Handbook”
9

10. Количество статей в области
по данным google scholar (от 2014-10-17)

11. 11

12. Какие бывают
рекомендательные
системы?

13. Классификация RS
Available data
Tags
&
Metadata
User history Content
Collaborative Content-based
Hybrid

14. Данные
• Рейтинги (explicit feedback)
• унарные (like)
• бинарные (like/dislike)
• числовые (stars)
• История действий пользователя (implicit feedback)
• Тэги, метаданные
• Комментарии, отзывы
• Друзья

15. Рекомендательные задачи
15
• Predict
• Recommend
• Similar

16. Как построить простую
рекомендательную
систему?
16

17. User-based kNN
Как продукт оценили похожие пользователи?
ˆ rui =
1
Ni (u)
rvi
Σ
v∈Ni (u)
Взвесим вклад каждого
ˆ rui =
wuvrvi
Σ
v∈Ni (u)
wuv
Σ
v∈Ni (u)
И нормализуем рейтинги
ˆ rui = h−1
wuvh rvi ( )
Σ
v∈Ni (u)
wuv
Σ
v∈Ni (u)
$
&&&
%
'
)))
(

18. Как посчитать расстояние?
Косинусное расстояние
Корреляция Пирсона
cos(u, v) =
ruirvi
Σ
i∈Iuv
Σ r2
rui
vj
i∈Iu
2
Σ
j∈Iv
PC(u, v) =
(rui − ru )(rvi − rv )
Σ
i∈Iuv
Σ (r− r)2
(r− r)2
ui u vj v i∈Iu
Σ
j∈Iv
Поправленное косинусное
расстояние
(adjusted cosine)
AC(u, v) =
(rui − ri )(rvi − ri )
Σ
i∈Iuv
Σ (r− r)2
(r− r)2
ui i vj j i∈Iu
Σ
j∈Iv

19. Как нормализовать рейтинги?
19
h rui ( ) = rui − ru
h rui ( ) =
rui − ru
σ u
h rui ( ) =
j ∈ Iu : ruj ≤ rui { }
Iu
Mean centering
Z-score
Percentile score

20. Как выиграть Netflix Prize?

21. http://sifter.org/~simon/journal/20061211.html

22. Singular Value Decomposition
Теорема:
если в матрице λ оставить k наибольших элементов, то полученное
произведение A’ будет наилучшим среди всех матриц ранга k
приближением матрицы A.

23. Baseline predictors
Модель:
rˆuui =μ + bu + bi
argmin
b*
Σ ( 2
r−μ − b− b)
uui u i (u,i )∈R
Σ 2 +
Σ
bi
+λ bu
u∈U
2
i∈I
$
% &
'
( )
Функция ошибки:

24. SVD
Модель:
ˆ rui =μ + bu + bi + pu
Функция ошибки:
Tqi
argmin
p*q*b*
Σ 2
( r−μ − b− b− pTq)
ui u i u
i (u,i )∈R
2 ( )
+λ pu
2
+ qi
2
+ bu
2 + bi

25. Optimization by SGD
Модель:
ˆ rui =μ + bu + bi + pu
Функция ошибки:
Tqi
argmin
p*q*b*
Σ 2
( r−μ − b− b− pTq)
ui u i u
i (u,i )∈R
2 ( )
+λ pu
2
+ qi
2
+ bu
2 + bi
Шаг стохастического градиентного спуска:
bu ←bu +γ1 eui −λ1bu ( )
bi ←bi +γ1 eui −λ1bi ( )
pu ← pu +γ 2 euiqi −λ2 pu ( )
qu ←qi +γ 2 eui pu −λ2qi ( )

26. Alternating Least Squares
P-step: обновление при фиксированных векторах item-ов
pu = λnuI + Au ( )−1 du
Au =Q[u]TQ[u] = qiqi
T
Σ
i:(u,i)∈R
Σ
du =Q[u]T ru = ruiqi
i:(u,i)∈R
Q-step: обновление при фиксированных векторах пользователей
qi = λniI + Ai ( )−1 di
Ai = P[i]T P[i] = pupu
T
Σ
u:(u,i)∈R
Σ
di = P[i]T ri = rui pu
u:(u,i)∈R

27. Что делать с implicit
feedback?

28. Как использовать implicit feedback?
Идея: rating => (preference, confidence)
pui ∈ {0,1}
cui ∈ ℜ+
∀(u, i) ∈ R
pui =1
pui = 0 иначе
cui =1+αrui
или
cui =1+α log 1+ rui
( β )

29. Обучение модели
argmin
x*y*
Σ 2
T yi ( )
cui pui − xu
(u,i )
Σ + yi
+λ xu
2
u
2
Σ
i
#
$ %
&
' (
Функция ошибки:
xu = (λ I +Y TCuY )−1
Y TCup(u)
yi = λ I + XTCi( X)−1
XTCi p(i)
Это сводится к уравнениям для ALS:

30. Обучение модели
argmin
x*y*
Σ 2
T yi ( )
cui pui − xu
(u,i )
Σ + yi
+λ xu
2
u
2
Σ
i
#
$ %
&
' (
Функция ошибки:
xu = (λ I +Y TCuY )−1
Y TCup(u)
yi = λ I + XTCi( X)−1
XTCi p(i)
Это сводится к уравнениям для ALS:
Но есть проблема!

31. Ускорение iALS
Идея:
Y TCuY = Y TY +Y T (Cu − I )Y
Cu − I
В матрице всего ненулевых элементов,
Cup(u)
в матрице всего ненулевых элементов,
Y TY
O f 2N + f 3 ( U )
nu
nu
а не зависит от пользователя!
Итого: обновляем вектора пользователей за

32. Интуиция iALS
Выпишем ALS-шаг в упрощенной форме:
xu = (λ I +Y TCuY )−1
Y TCu p(u) = λ I + Au ( )−1 du
Введем «нулевого» пользователя без фидбека:
Σ
Σ T yd= cpyi
0 0 0i
A0 = c0yi
i
i
T yi
Тогда для остальных пользователей выводим:
Σ
Au = A0 + (cui − c0 )yi
(u,i )∈N(u)
Σ
du = d0 + cui pui − c0 p0 ( ) yi
(u,i)∈N(u)

33. Как выбирать c0 и p0?
∀(u, i) ∈ N
Как и раньше:
pui =1
pui = 0 иначе
cui =1+αrui

34. Как выбирать c0 и p0?
∀(u, i) ∈ N
Как и раньше:
pui =1
pui = 0 иначе
cui =1+αrui
p0 = 0
c0 =1

35. А разве что-то еще
осталось?
35

36. If you like this lecture you will like these books

37. If you like this lecture you will also like

38. If you like this lecture you will probably like
http://www.4ducks.ru/pages/itmo-rs-2014.html

39. Удачи!
Андрей Данильченко
группа разработки рекомендательных систем, Яндекс
danilchenko@yandex-team.ru