Документ посвящен построению системы аналитики в условиях agile разработки, обсуждая необходимость создания дата-платформы и архитектуру типового решения для сбора и обработки данных. Рассматриваются существующие решения для анализа и хранения данных, включая их компоненты, ограничения и подходы к улучшению надежности. Приводится опыт организации с конкретными цифрами по данным и работе команды, а также выводы о необходимости итеративного подхода в разработке.

1. Построение системы аналитики
в условиях agile разработки

2. Кто я? Что делаю?

3. О чем поговорим
• Зачем строить свою дата платформу
• Архитектура «типового» решения для сбора и обработки данных
• Как построить систему аналитики без штата data-engineer
• Про наш опыт наращивания экспертизы и итеративного
внедрения

4. Какая задача стояла
• Сбор данных о действиях пользователей с «вечным» хранением
• Проводить детальный анализ результатов АБ-тестов

5. Какие решения существуют
• Google Analy+cs, Я.Метрика и т.д.

6. Какие решения существуют
• Google Analy+cs, Я.Метрика и т.д.
• Быстрый старт в продуктовой аналитике для проекта
• Семплирование, но можно бороться
• Сложно строить гибкие агрегации
• Сложность анализа доходности
• 5-10% данных терялось

7. Какие решения существуют
• Google Analy+cs, Я.Метрика и т.д.
• Платные SaaS решения
Google Analy+cs 360, Op+mizely, MixPanel, SnowPlow
• Писать в логи или RDBMS
• Платформа для обработки данных
Clickstream, Data-pipeline, Data lake и другие Data*

8. Чего не хватало
• Простоты работы с данными для аналитиков
• Надежная доставка данных
• Валидация
• Контроль потерь
• Анализ действий пользователей по каждой сессии
• Проводить аналитику АБ-тестов на «сырых» данных
• Источника данных для рекомендательной системы

9. Какие решения существуют
• Google Analy+cs, Я.Метрика и т.д.
• Платные SaaS решения
Google Analy+cs 360, Op+mizely, MixPanel, SnowPlow
• Писать в логи или RDBMS
• Платформа для обработки данных
Clickstream, Data-pipeline, Data lake и другие Data*

10. А как делают другие?

11. Типовая платформа для обработки данных

12. Или такая….

14. С чего начать?

15. Компоненты платформы обработки данных

16. Компоненты платформы обработки данных
• Data WareHouse (DWH)
• Долгосрочное хранилище данных
• Распределенность
• Масштабирование
• Низкие требования к скорости выборок
Примеры: Amazon S3, HDFS, HP Vertica

17. Компоненты платформы обработки данных
• Быстрый доступ к данным
• Гибкие условия выборок
• Источник данных для отчетов
• Доступно ограниченное окно
исторических данных
• Ненормализованные данные
Примеры: MySQL, PostgreSQL, Clickhouse и
пр.

18. Компоненты платформы обработки данных
• Extract, Transform, Load (ETL)
• Валидация
• Обогащение данных
• Сбор метрик о качестве данных
Пример: NiFi, Spark Streaming,
Gobblin и т.д.

19. Компоненты платформы обработки данных
• Высокие требования к скорости
записи
• Резервирование
• Подушка безопасности
Пример: Kafka, RabbitMQ, Redis
и другие *MQ

20. Компоненты платформы обработки данных
Клиентские библиотеки для отправки
данных в API платформы.
Пример: JS-код Яндекс.Метрики,
PHP-клиент для отправки данных в
REST API.

21. Без чего не может существовать система?

22. Без хранилища!

23. О данных
• Цепочки действий пользователей с привязкой к дате
• Вопрос на которые хотим получать ответы:
• Сколько действий совершили за период?
• Сколько уникальных пользователей совершило действие за период?
• Какая конверсия была в воронке продаж?

24. Дополнительные требования к хранилищу
• Получить наиболее универсальное решение
• Возможность получить все действия одного
пользователя или сегмента пользователей
(фасетный поиск)
• Запрос данных о прохождении пользователей по
воронке без выгрузки всех данных
• Простота внедрения и эксплуатации

25. Выбор хранилища
• MySQL или другие RDBMS - сложность в
построении real>me-отчетов, сложно
масштабировать
• Аналитические базы Ver>ca - хорошо, но дорого
• Clickhouse – еще был слишком мал
• Greenplum
• Elas>cSearch

26. Elas%cSearch
• Документно-ориентированное хранилище
• Near Real Time (NRT)
• Распределенное решения для полнотекстового поиска ... а еще
аналитическое хранилище
• Гибкие возможности для партиционирования
• Экосистема kibana, logstash и прочие
• Разработан на базе Lucene и написан на Java
• Free + Open source. Аналоги: Solr, Sphinx

28. Ограничения Elas/cSearch
• Нет транзакций
• Медленная консистентная запись
• Нет контроля связей
• Нет JOINов, в классическом понимании

29. Хранилище же уже есть, давайте писать!

30. Осторожно, прототип!
• Подготовка структуры в основном процессе

31. Осторожно, прототип!
• Подготовка структуры в основном процессе

32. Осторожно, прототип!
• Подготовка структуры в основном процессе
• … и тут пришли аналитики

33. Мы знаем что делать…нам нужна очередь!
• RabbitMQ
• Ka)a, *MQ
• Redis

34. Чем будем «грузить» данные?
• Logstash
• ETL-framework
• Решили задачу на PHP J

35. Первая тестовая эксплуатация

37. Начали получать пользу

38. Поработаем над надежностью?

39. Сделали хранилище надежнее
• Кластер из 3-ех нод
• Но есть проблемка…скорость записи упала
больше чем в 2 раза

40. Ускоряем запись
• Запись через Bulk API – возможны потери
• 3-и бекенда + pcntl_fork

41. Обновление данных
Частичное изменение документов через script в Update API

43. Надежность очереди
• НЕ использовали кластер
• Несколько попыток на подключение

44. Готовое решение

45. С какими проблемами столкнулись
• Redis уже не хватает, с появлением нескольких точек назначения

46. Организация очередей внутри redis

47. Организация очередей внутри redis

48. С какими проблемами столкнулись
• Redis уже не хватает, с появлением нескольких точек назначения
• Индекс «распух» и нам пришлось переиндексировать данные

49. Была такая структура данных

50. Как сделать правильно

51. С какими проблемами столкнулись
• Redis уже не хватает, с появлением нескольких точек назначения
• Индекс «распух» и нам пришлось переиндексировать данные
• Хранилище без гарантированного SLA, но должно пониматься
быстро

52. Что имеем сейчас
Наша система сбора данных для анализа (ClickStream):
• ~ 7.5TB данных
• 12 млрд. документов
• В среднем 20 т. записей в минуту, бывают пики до 40 т.
(23 млн. в месяц)
• Кластер с данными: 9 node, 8 CPU, 64 RAM, SSD 12 TB
Команда:
• 5 продуктовых команд
• 10+ аналитиков
• 2 data-инженера

53. К чему пришли
• Имеем рабочую платформу для сбора данных
• Прожили на такой платформе ~3 года
• Понимание наших потребностей по работе с данными
• Итеративный подход - работает!
• Любая инфраструктура временная
• Приступили к построению новой версии платформы…

54. weberdever
weberdever
sereda@tutu.ru
Илья Середа
Спасибо за внимание!
weberdever
weberdever