meetup#5

1. Эффективные алгоритмы поиска
подобных объектов для терабайтов
данных
1

2. Манхэттенское расстояние и евклидова метрика
2

3. Расстояние Джаккарда
3

4. Look aLike
4

5. Задача: Look aLike
example.com
просмотрели
>=2 страниц
Вся аудитория
которую мы
видим
Интересная аудитория,
которую надо найти
5

6. 6

7. У нас было:
1) 250 000 000+ профилей
2) 1 000 000+ - площадок
3) 30000 RPS (2.5 млрд. в день)
7

8. Что такое для нас профиль?
8
Контекстная
информация (где,
откуда, с какого
устройства)
offline данные
История
поведения в
интернете

9. Описывать профиль можно по-разному:
9
kaggle.com westerns.ru
guns.ru
habrahabr.ru

10. 10viz by Pavel Kalaidin

11. Чистим данные
1) Выкидываем профили с недостаточной статистикой
2) И сайты, с которых идет больше всего и меньше всего трафика
11

12. MinHash и расстояние Джаккарда
12

13. Матричное представление профилей
hosts/profiles index
kaggle.com 1 1 0 1
habrahabr.ru 2 0 1 0
machinelearning.ru 3 1 0 1
analyticsvidhya.com 4 0 1 0
13

14. 14
Jaccard=0 Jaccard=1
Jaccard=0

15. Хэш-функции
index kaggle.com machinelearning.ru Minhash
(index + 1)
mod 3
2 1 1
(2*index + 1)
mod 3
0 1 0
15
index
kaggle.com 1
machinelearning.ru 3

16. MinHash-представление
(x + 1) mod 3 1 0 1
(2x + 1) mod 3 0 0 0
16

17. 17
Jaccard=0.5 Jaccard=1
Jaccard=0.5

18. Как выбрать количество хэш-функций?
18
Например, что бы посчитать с ошибкой не большей чем 0.1 нам нужно 100
хэш-функций, но уже 10000 с ошибкой не большей чем 0.01.

19. Как выбрать параметры хэш-функций?
a, b - случайные целые
числа < max(x)
c - простое число, чуть
большее чем max(x), общее
для всех
19

20. Locality Sensitive Hashing
20

21. minhash1 1 1
minhash2 3 3
minhash3 1 1
minhash4 2 4
Banding
band1
band2
21

22. Этап выделения профилей для
расчета растояний
band1 band2 band3 band4
- целевая аудитория (просмотрел на
example.com >=2 страниц)
22
Интересный
бэнд
Удаляем
Удаляем

23. k - ближайших соседей в пределах
интересного бэнда
23

24. Как выбрать количество бэндов?
24

25. 25

26. Но эксперимент никто не отменял
26
Долго, дорого и очень хорошо:) Быстро, дешево и не очень хорошо

27. Куда еще смотрим?
27

28. 28

29. DIMSUM
Dimension Independent Matrix Square using MapReduce
29

30. Что у нас есть?
Матрица A
размерности MxN, где M >> N и 0 <= a <=1 и
кол-во ненулевых элементов в строке <= L << N
machinelearning.ru habrahabr.ru
1 4
8 1
7 9
30

31. Что хотим найти?
Похожесть сайтов на основе их
посещения аудиторией.
31

32. Зачем?
Cнижения размерности для первого
алгоритма.
32

33. Наивно, долго, точно
33
Dimsum, быстро и почти точно

34. Стек используемых технологий:
1) Python
2) Hadoop
3) Luigi
4) Hbase
34

35. Спасибо!
35