Документ обсуждает методы обработки данных в режиме реального времени, акцентируя внимание на алгоритмах для оценки уникальных пользователей с высокой точностью и низким потреблением памяти. Автор описывает применение различных скетч-методов, таких как HyperLogLog и Count-Min Sketch, для эффективного анализа больших объемов данных. Приведены примеры и ссылки на дополнительные ресурсы о потоковых алгоритмах.

1. Обработка данных в RTB: быстро, дешево и на 98% точно
Павел Калайдин

2. Павел Калайдин
@facultyofwonder

3. данных очень много
памяти разумно мало
хотим все знать за один проход
время обработки -константно

4. max, min, mean

5. Как посчитать медиану?

6. Случайная выборка?

7. Reservoir sampling?
Возможно

8. Вероятностные алгоритмы?

9. Cойдет приблизительный ответ,
хотим знать распределение ошибки

10. frugal <-function(stream) {
m <-0
for(val instream) {
if(val >m)
m =m +1
elseif(val <m)
m =m -1
}
return(m)
}

11. deffrugal(stream):
m =0
forval instream:
ifval >m:
m +=1
elifval <m:
m -=1
returnm

12. Ограничение по памяти -1 int!
deffrugal(stream):
m =0
forval instream:
ifval >m:
m +=1
elifval <m:
m -=1
returnm
Реально работает?

14. Персентили?

15. Демо: bit.ly/frugalsketch
deffrugal_1u(stream, m=0, q=0.5):
forval instream:
r =np.random.random()
ifval >m andr >1-q:
m +=1
elifval <m andr >q:
m -=1
returnm

16. Потоковый + вероятностный = скетч

17. Что мы хотим?
Знать число уникальных пользователей
aka мощность множества или кардинальное число

18. Что мы хотим?
Знать число уникальных пользователей
по сайтам, интересам, временным интервалам

19. Когда мы это хотим?
Прямо сейчас

20. Данные:
1010элементов,
109уникальных int32
40Гб

21. Решение в лоб: хеш-таблица

22. Хеш-таблица:
4Гб

23. HyperLogLog:
1.5кб, 2% ошибка

24. Все начинается с алгоритма LogLog

25. Представьте, что сегодня утром я бросал монетку и записал, какое максимальное число раз подряд выпала решка

26. 2раза
100 раз

27. В каком случае я бросал дольше?

28. Нас интересуют паттерны
в хешах входных значений
(число 0 = решек в начале)

29. Хешируем, не семплируем!*
* нужна хорошая хеш-функция

30. Ждем:
0xxxxxx хешей -~50%
1xxxxxx хешей -~50%
00xxxxx хешей -~25%
и т.д.

31. оценка -2R,
где R -максимальное число лидирующих нулей

32. Я могу провести несколько экспериментов с подбрасыванием монетки и записать результаты на листок бумаги

33. ивзять среднее число

34. Этот способ называется - стохастическое усреднение

35. Напомню, текущая оценка -2R,
где R -максимальное число лидирующих нулей

36. Будем использовать M корзин,
в каждой из которой будем запоминать свой R

37. где ɑ -нормирующая константа

38. Это и есть LogLog алгоритм

39. LogLog
SuperLogLog
HyperLogLog
среднее гармоническое, а не арифметическое
+некоторые поправки

40. Число корзин и длина хеша определяют ошибку

41. LogLog
SuperLogLog
HyperLogLog
HyperLogLog++
Google, 2013
32 -> 64bit + поправки для маленьких мощностей
bit.ly/HLLGoogle

42. LogLog
SuperLogLog
HyperLogLog
HyperLogLog++
Discrete Max-Count
Facebook, 2014
bit.ly/DiscreteMaxCount

43. Large scale?

44. Объединение без потери точности!

45. У нас есть два HLL-скетча, возьмем максимальное значение из каждой корзины

46. Voila! Результирующий скетч
не потерял в точности

47. Код:
bit.ly/hyperloglog

48. Временное окно
bit.ly/SlidingHLL

49. Проверка на вхождение –
старый добрый фильтр Блума

51. Cколько раз мы встречали человека в интернете
за эту неделю?

52. Ответ -Count-Min скетч
bit.ly/CountMinSketch

53. w
i
+1
+1
+1
h1
h4
hd
d
Оценка -возьмем минимум из d значений.

54. хешируем, не семплируем
даем приблизительный ответ
экономим память
обрабатываем по мере поступления
этот слайд -“скетч” всего доклада

55. Много разных скетчей для разных задач:
персентили
частоты
коэффициент Жаккара
(похожесть множеств)

57. Это развивающаяся область:
stay tuned!

58. Еще по теме
Блог Neustar Research:
bit.ly/NRsketches
Обзор скетчей:
bit.ly/SketchesOverview
Лекции по потоковым алгоритмам: bit.ly/streaming-lectures

59. Спасибо за внимание
и happy sketching!
Знаете, как посчитать экономнее и точнее? pavel@rutarget.ru

60. Бонус
HyperLogLog на SQL:
bit.ly/HLLinSQL