Downloaded 25 times
Uploaded byOntico
BigПочта: как мы строили DataLake в Почте России / Алексей Вовченко (Luxoft)
Документ описывает опыт внедрения современных технологий в логистическую инфраструктуру компании BigПочта, включая обработку данных и построение отказоустойчивой системы. Основное внимание уделяется использованию различных инструментов, таких как Spark, Kafka, и ClickHouse для обработки и аналитики данных, а также критическим вопросам масштабируемости и доступности. Также рассматриваются проблемы и решения, связанные с потоковой переработкой данных и поддержкой высокой нагрузки пользователей.
More Related Content
Similar to BigПочта: как мы строили DataLake в Почте России / Алексей Вовченко (Luxoft)
BigПочта: как мы строили DataLake в Почте России / Алексей Вовченко (Luxoft)
- 1.
- 2. Кейс из жизни 2012год – посылка из США под новый год, с подарками всем друзьям •27 ноября - экспорт из США •25 декабря - появилась у нас на границе •30 декабря – поездка в центральный офис EMS вызволять (5 часов)
- 3.
- 4.
- 5. 47 тыс. отделений 2млн. новых отправлений в день 200-400 млн. событий в сутки Данные Почты России
- 6. Задача - Построитьотказоустойчивую инфраструктуру для решения задач почты Получение Хранение Очистка Валидация Обработка Аналитика Экспорт
- 7. Требования • OpenSource • Exadata+ OracleBI • уже работает, нужно лучше
- 8. Задачи на релиз0 1. Получить данные от всех логистических систем 2. Построить модель данных (матрешка) 3. Построить отчет «Остатки» состояние на вчера 4. Предоставить доступ к отчету пользователям
- 9.
- 10.
- 11.
- 12.
- 13. Map- Reduce Oozie Front REST (in) SQL Новые задачи• Нагрузка пользователей • Доступ к данным по ключу • Обработки данных не укладываются в реляционную логику
- 14. Выбор SQL движка •Загрузка из HDFS • Нагрузка – много пользователей • Тяжелые OLAP запросы
- 15. Выбор SQL движка– выводы: Все SQL движки над HDFS – медленные Лидеры
- 16.
- 17. Map- Reduce Oozie Front REST (in) стало • Доступк данным по ключу
- 18. Доступ к даннымпо ключу по ID из 100млрд записей найти 10-100 нужных (pochta.ru) • Решение key-value базы • Пробовали SparkSQL • Пробовали Hadoop/Hive/in-memory/Vertica • Кандидаты:
- 19. Релиз 1 Map- Reduce Oozie Cluster Spark SQLThrift Front REST (in)
- 20. Map- Reduce Oozie Cluster Spark SQL Thrift FrontREST (in) Новые задачи • А теперь давайте считать real-time…
- 21. Выбор streaming Задачи: • Kafka-> Kafka • Kafka -> Cassandra • Kafka -> Hadoop (Hive)
- 22.
- 23. Проблемы Spark Streaming Producer ?? Consumer ProducerMessage Message Consumer Producer Message Consumer At-Most-Once At-Least-Once Exactly-Once
- 24. Проблемы Spark Streaming ProducerMessage Message Consumer • Spark checkpoint когда изменился код• Offsets Zookeeper – медленно • Spark Kafka Direct API • Spark checkpoint • Реализовали свой механизм • PostgreSQL (ключ: topic, clientid, partition id, value: offset)
- 25.
- 26. Map- Reduce Oozie Cluster Spark SQL Thrift FrontREST (in) • Данные в batch != streaming
- 27.
- 28. Map- Reduce Oozie Cluster Spark SQL Thrift FrontREST (in) было
- 29. Релиз 2 Map- Reduce Oozie Cluster Spark SQLThrift Front REST (in)
- 30. Map- Reduce Oozie Cluster Spark SQL Thrift FrontREST (in) • Pentaho не держит нагрузку • Прием не держит пики • SparkThrift + Cassandra – не стабильны • Spark Streaming - высокодоступность
- 31.
- 32.
- 33. Высокодоступность SparkStreaming • Ночьюкластер занят на 100% • Если streaming-job падает, он не может подняться • Yarn очереди – жалко терять ресурсы
- 34.
- 35.
- 36.
- 37. Пилотирование Yandex ClickHouse •Очень быстрая база • ClickHouse + docker • Универсальный загрузчик данных (Spark+Scala+local-table+paritions)
- 38. Пилотирование Yandex ClickHouse •Провели нагрузочное тестирование • Результат – для наших задач не подходит • Под нагрузкой – 100% (3600%)CPU • Скорость сопоставима с Vertica, но очень большая нагрузка на оборудование
- 39. Пилотирование Flink • Flumeне всегда стабилен • Flume сложно мониторить • Шаг влево-вправо – сложно • Решение – Flink • Пробовали NiFi – не понравился
- 40.
- 41.
- 42.
- 43. Путь данных: Онлайнобработка data data Job1 data data
- 44. Путь данных: Сноваонлайн обработка data data Job1 data data
- 45. data data JobN data data JobM Cluster data Путьданных: онлайн сохранение в Cassandra
- 46. Путь данных: всяонлайн обработка data data JobN data data JobM Cluster data export
- 47. Путь данных: batchобработка Oozie data data data data
- 48.
- 49. Front+Docker+ nginx Node (0.5X) DataCloud frontdocker (Pentaho, rest, DC services) KafkaVertica Node (SAS 10k) Kafka Cluster + Vertica Cluster + ClickHouse Cluster + Spark Streaming Cluster Cassandra (SSD) Cassandra (SSD) Cassandra Cluster + HadoopControl (main ring) DataNode (SATA) DataNode (SATA) DataNode (SATA) DataNode (SATA) DataNode (SATA) Hadoop Cluster DataNode (SATA) А как же инфраструктура?
- 50. Одна инфраструктура • DataLake(for RAW data) • Batch ETL • Real-time processing • Analytics OLAP/OLTP processing • High-load rest (export) • High-load rest (input) • DataBus • BI • ML • Hortonworks HDP+HDF • Hadoop • Yarn • Hive(tez) • Spark (+streaming) • Flume • Kafka • Vertica • ClickHouse • PostgreSQL • Cassandra • Pentaho BI • Docker (scalable rest)
- 51. Можно миксовать Map- Reduce Sqoop Oozie Job1 JobN ClickHouse Cluster CH Front DockerFrontREST (out) REST (in) Flink
- 52. Нет свободной аналитики CHFront ClickHouse Map- Reduce Sqoop Oozie Job1 JobN Cluster DockerFront REST (out) REST (in) Flink
- 53. Streaming only, noHadoop Map- Reduce Sqoop Oozie Flink Job1 JobN ClickHouse Cluster CH Front DockerFront REST (out) REST (in)
- 54. Hadoop only, noStreaming Job1 JobN Map- Reduce Sqoop Oozie ClickHouse Cluster CH Front DockerFront REST (out) REST (in) Flink
- 55. Нет задач доступапо ключу REST (out) Cluster Job1 JobN Map- Reduce Sqoop Oozie ClickHouse CH Front DockerFront REST (in) Flink
- 56. Hadoop only, нетзадачи и BI ClickHouse CH Front REST (out) Cluster Job1 JobN Map- Reduce Sqoop Oozie DockerFront REST (in) Flink
- 57. Что осталось? • Flink->prod •More data -> more nodes • CI/CD full automatic • Monitoring/puppet everything • Sleep at the nights!
- 58. Что дальше? • DataLab(Spark ML, …) • IgNite • Spark structured streaming
- 59. Выводы • Не нужноостанавливаться на достигнутом • Каждую задачу должен решать свой инструмент • Не надо бояться расширять архитектуру за счет хороших и подходящих инструментов
- 60. BigПочта – вопросы? АлексейВовченко AVovchenko@luxoft.com Skype: itsnein https://www.linkedin.com/comm/in/alexey-vovchenko-3a1b6744