HighLoad++ 2017 Зал «Мумбай», 8 ноября, 11:00 Тезисы: http://www.highload.ru/2017/abstracts/2936.html Уже много было докладов про то, как разные компании переезжают на Prometheus, и мы не исключение. Мы в Lamoda тоже успешно применяем Prometheus для целей мониторинга, наверное, как и все, складываем в него миллионы различных метрик и чувствуем себя хорошо. Prometheus достаточно успешно справляется с очень большой write-нагрузкой, а что же с read? Мне так же хочется затронуть тему read-нагрузки и поделиться с вами в том числе и нашим не самым удачным опытом использования Prometheus. ...

1. Prometheus как
time series
database
Тимур Нурутдинов

2. Кто мы?

3. IT в Lamoda
WE CODE THE FASHION
11 млн.
пользователей
60 внутренних
систем
4 000 сотрудников
Мы делаем один из самых крупных e-commerce проектов в России

4. Продуктовая команда
QA
Online shop development Monitoring & Statistics
Phones, tablets, watchesiOS + Android
Product owner

5. Задача - посчитать “циферку”

6. Задача - посчитать “циферку”

7. Задача. Минимальные требования
• Хранить исторические данные (до месяца)
• Возможность посчитать агрегатную функцию за произвольный
интервал времени в произвольной точке

8. Задача. Визуализируем
Время (~месяц)t1 t2
sum([t2 - 7d, t2])
sum([t1 - 7d, t1])
e1 e2 e3 e4 e6e5

9. Time series. Варианты
• Gorilla
• InfluxDB
• Prometheus
• Многие другие

10. Time series. Gorilla
http://www.vldb.org/pvldb/vol8/p1816-teller.pdf
Gorilla
(proxy cache 26h)
HBase
(Long-term
storage)

11. Time series. InfluxDB
• Негативный опыт.
• Сервер переставал принимать данные.
• Кластеризация платная.
• Сложный storage – Time-Structured Merge Tree (TSM)
https://docs.influxdata.com/influxdb/v1.2/concepts/storage_engine/

12. Time series. Prometheus
Prometheus
• Находится в эксплуатации
• Хорошо зарекомендовал себя в мониторинге
~ 1кк метрик каждые 15 секунд

13. Time series. С точки зрения данных
Sample = 64bit timestamp + 64bit value
Time series data = [Sample1, Sample2 … SampleN]

14. Prometheus. Вопрос?
• Наши данные?

15. Prometheus. Наши данные
• Всего около 500 млн. событий в месяц
• key(product_id + event_type) = time series

16. Prometheus. Вопрос?
• Наши данные?
• Как смоделировать наши данные в терминах prometheus?

17. Prometheus. Metric
metric_name{label_name=“value”} timestamp value

18. Prometheus. Metric
metric_name{label_name=“value”} timestamp value
product_id{type=“event”} timestamp value
~ 500к ключей

19. Prometheus. Metric
{__name__=“product_id”, type=“event”} timestamp value

20. Prometheus. Metric
{__name__=“product_id”, type=“event”} timestamp1 value1
{__name__=“product_id”, type=“event”} timestamp2 value2
{__name__=“product_id”, type=“event”} timestamp3 value3

21. Prometheus. Вопрос?
• Какой диск выбрать?
• Сколько диска/памяти?
• Какие ключевые ручки крутить?

22. Prometheus. Metric
fnv(sort({__name__=“product_id”, type=“event”}))
[{timestamp1, value1} … {timestampN, valueN}]
Файл

23. Prometheus. Chunk
Sample = timestamp (8 byte) + value (8 byte)
Chunk (1kb) = [Sample1, Sample2 … SampleN]
Metric (файл) = [Chunk1, Chunk2 ... ChunkN]

24. Prometheus. Chunk
5 bytes
headers
timebase time time time time ...
value value value ...base value value

25. Prometheus. Chunk. Encoding (v1)
timestamp Δ ΔΔ
1000000 0 0
1000015 15 0
1000029 29 -1
Δ = tn - tn-1
ΔΔ = (tn - tn-1) - (tn-1 - tn-2)

26. Prometheus. Chunk. Encoding (v1)
Value
1.ΔΔ так же как для timestamp
2. 0 bytes для постоянных значений

27. Prometheus. Chunk. Encoding (v1)
5 bytes
headers
Δtimebase time ΔΔtime ΔΔtime ΔΔtime ...
ΔΔvalue ΔΔvalue ΔΔvalue ...base value Δvalue
3.3 bytes per sample (в среднем)

28. Prometheus. Chunk. Encoding (v1)
Один из наших инстансов
500к метрик / каждые 15 сек / за 50 дней

29. Prometheus. Chunk. Encoding (v2)
Timestamp (Varbinary)
• Если ΔΔ в [-32; 31]: 10 + 6bit
• Если ΔΔ в [-65536; 65535]: 110 + 17bit
• Если ΔΔ в [-4194304; 4194303]: 111 + 23bit
• Если ΔΔ = 0: 0 + 7bit (повторы)

30. Prometheus. Chunk. Encoding (v2)
Value
1.0 bytes для постоянных значений
2.ΔΔ целые с переменным числом бит
3. следующее XOR предыдущее
4. 64 bit если XOR тоже 64
https://prometheus.io/blog/2016/05/08/when-to-use-varbit-chunks/

31. Prometheus. Chunk. Encoding (v2)
Value
1.0 bytes для постоянных значений
2.ΔΔ целые с переменным числом бит
3. следующее XOR предыдущее
4. 64 bit если XOR тоже 64
https://prometheus.io/blog/2016/05/08/when-to-use-varbit-chunks/
1.28 bytes per sample
(в среднем)

32. Prometheus. Chunk
head chunk
memory
disk
evictable chunks (LRU)
PromQL
Query
Engine
one file per time series
series hash:

33. Prometheus. Конфигурирование
• -storage.local.target-heap-size (Стоит указывать в 1.5 меньше
реальной величины)
• -storage.local.series-sync-strategy (По умолчанию adaptive,
вероятно можно never)

34. Prometheus. Indexes
LevelDB (Размер кэша)
-storage.local.index-cache-size.label-name-to-label-values
-storage.local.index-cache-size.label-pair-to-fingerprints
-storage.local.index-cache-size.fingerprint-to-metric
-storage.local.index-cache-size.fingerprint-to-timerange
https://prometheus.io/docs/operating/storage/

35. Prometheus. Indexes
Query (regexp)
product_id{type=“event_type1|event_type2”}
label-name-to-label-values

36. Prometheus. Что дальше?

37. • Задача выполнена. Бизнес доволен :)
• НО! Не устраивает производительность на чтение
• ~ 200rps с 150ms - среднее время ответа
• Пришлось написать маленький кэш
Prometheus. Результат

38. Бизнес метрика

39. Prometheus. Результат
• Много чего знаем о tsdb, смотрим в сторону cache + aerpospike
для некоторых задач

40. Prometheus. Еще
•Анализ временных рядов (ручной)
•Телеметрия для IoT и автоматический анализ
•Бизнес метрики и автоматический алертинг

41. Вопросы?
Спасибо за внимание
Меня зовут Тимур Нурутдинов
timur.nurutdinov@lamoda.ru
We are https://tech.lamoda.ru/