Downloaded 10 times
Uploaded byOntico
Сегментируем 600 млн. пользователей в режиме реального времени каждый день. HBase/Kafka на службе DMP / Артем Маринов (Data-Centric Alliance)
Документ описывает платформу управления данными Facetz DMP, которая обрабатывает 600 миллионов пользователей в реальном времени. Основное внимание уделяется горизонтальной масштабируемости, скорости реакции на события и удобству мониторинга. Также обсуждаются технологии, такие как HBase и Kafka, используемые для обработки и хранения данных.
Сегментируем 600 млн. пользователей в режиме реального времени каждый день. HBase/Kafka на службе DMP / Артем Маринов (Data-Centric Alliance)
- 1. Сегментируем 600 млн пользователейв режиме реального времени каждый день. HBase/Kafka на службе DMP Маринов Артем Лидер разработки Facetz DMP Data-Centric Alliance 4
- 2. • Data ManagementPlatform • 600 млн пользователей Что такое Facetz DMP
- 3. • Data ManagementPlatform • 600 млн пользователей Что такое Facetz DMP 5.5 млрд / сутки
- 4. • Прямые установкипикселя • Поток данных от партнеров • Оффлайн выгрузки DMP Механизмы получения данных
- 5. Ключевые показатели • Горизонтальнаямасштабируемость
- 6. Ключевые показатели • Горизонтальнаямасштабируемость • Оценка объема аудитории
- 7. Ключевые показатели • Горизонтальнаямасштабируемость • Оценка объема аудитории • Удобство мониторинга и разработки • Хорошая скорость реакции на события
- 8.
- 9.
- 10. Как мы хранимданные в HBase 0674ae2-3b6f-… ROW_KEY a381112-2e6a-… 54947df8-0e9e-…
- 11. Как мы хранимданные в HBase 0674ae2-3b6f-… ROW_KEY a381112-2e6a-… 54947df8-0e9e-… family_1 family_2 FAMILY
- 12. Как мы хранимданные в HBase 0674ae2-3b6f-… ROW_KEY a381112-2e6a-… 54947df8-0e9e-… family_1 family_2 FAMILY COLUMN IP URL SEARCH_QUERY
- 13. Как мы хранимданные в HBase 0674ae2-3b6f-… ROW_KEY a381112-2e6a-… 54947df8-0e9e-… family_1 family_2 FAMILY COLUMN IP URL SEARCH_QUERY ts1 VERSION / VALUE highload.ru ts2 upyachka.ru ts3 buzzls.com ts1 конференция
- 14.
- 15. Как было раньше Loader AnalyticEngine statistics Partners
- 16. Ключевые показатели + Горизонтальнаямасштабируемость + Оценка объема аудитории
- 17. Ключевые показатели + Горизонтальнаямасштабируемость + Оценка объема аудитории — Удобство мониторинга и разработки — Хорошая скорость реакции на события
- 18. Ключевые показатели + Горизонтальнаямасштабируемость + Оценка объема аудитории — Удобство мониторинга и разработки — Хорошая скорость реакции на события
- 19. Ключевые показатели + Горизонтальнаямасштабируемость + Оценка объема аудитории — Удобство мониторинга и разработки — Хорошая скорость реакции на события
- 20. Чего мы хотим? •Писать данные в HBase сразу • Реагировать на события мгновенно • Удобство мониторинга и разработки
- 21. Loader bulk_load Начинаем сегментировать сразу •Смена workload, random read
- 22. Loader bulk_load Начинаем сегментировать сразу •Смена workload, random read • Макс. плотность хранения
- 23. Loader Segmentator trigger bulk_load Начинаем сегментировать сразу Get:5 Gb/s • Смена workload, random read • Макс. плотность хранения • Trigger на изменение данных
- 24. Loader Segmentator trigger bulk_load Начинаем сегментировать сразу Get:5 Gb/s • Смена workload, random read • Макс. плотность хранения • Trigger на изменение данных • Увеличиваем нагрузку
- 25. Начинаем сегментировать сразу Loader Segmentator trigger bulk_load /GOOGLEPartners Get: 5 Gb/s • Смена workload, random read • Макс. плотность хранения • Trigger на изменение данных • Увеличиваем нагрузку
- 26. Kafka — прекрасныйинструмент • Topic — набор partition • Partition — файл(ы) partition 1 partition 2 partition N
- 27. • Topic —набор partition • Partition — файл(ы) • Producers — пишут в конец • Consumer Group — независимы partition 1 partition 2 partition N Producers Kafka — прекрасный инструмент
- 28. • Topic —набор partition • Partition — файл(ы) • Producers — пишут в конец • Consumer Group — независимы partition 1 partition 2 partition N Producers Group AA: 7 A: 5 Kafka — прекрасный инструмент
- 29. • Topic —набор partition • Partition — файл(ы) • Producers — пишут в конец • Consumer Group — независимы partition 1 partition 2 partition N Producers Group A Group B A: 7 A: 5 B: 3 B: 8 Kafka — прекрасный инструмент
- 30. • Topic —набор partition • Partition — файл(ы) • Producers — пишут в конец • Consumer Group — независимы partition 1 partition 2 partition N Producers Consumer AA: 7 A: 5 B: 3 B: 8 Group A Consumer BGroup B Kafka — прекрасный инструмент
- 31. Независимые потребители Loader Segmentator trigger bulk_load / GOOGLEPartners •Сегментирование при изменении - done • Независимое подключение новых потребителей - done • Нужно писать в HBase сразу Get: 5 Gb/s
- 32. Пишем данные вреальном времени Loader • подготовка к random write
- 33. Stream-loaderLoader Пишем данные вреальном времени • подготовка к random write • шлем все логи в Kafka
- 34. • подготовка кrandom write • шлем все логи в Kafka • не успеваем сегментировать Stream-loaderLoader Пишем данные в реальном времени 2 часа
- 35. Самомасштабирование SegmentatorA B C D A A AA E A A AA D D D D B D D D D Segmentator partitioner UID
- 36. Самомасштабирование SegmentatorA B C D A A AA E A A AA D D D D B D D D D Segmentator event timestamp now A: now D: now partitioner UID
- 37.
- 38.
- 39. • Весь pipelineперед глазами • Поменяли - видим реакцию • Легко провести постанализ • Алертинг - не проблема Мониторинг изменений
- 40. • Утилизация ресурсовhadoop кластера • Точные средства хранения статистики в потоке • Различные оптимизации по CPU Планы
- 41. • Kafka хороша,но есть нюансы • Реальные данные — важны • Мониторинг, алертинг — вот это всё Подводя итоги
- 42. Вопросы? Ответы? Маринов Артем Лидерразработки Facetz DMP Data-Centric Alliance