Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
Управление
разработкой Big
Data платформы
Почты России
Андрей Бащенко
Простая Big Data история
 Собираем все данные, до которых можем дотянуться
 Данные избыточны, можно терять
 Высокая дос...
 47.000 + отделений
 300.000 + сотрудников
 Логистическая сеть
 Ретейл с необходимостью
отслеживать каждый Item
 Разд...
Разворачивание вложений
Мультиплицирование операций
Мы повторяем операцию над
емкостью для каждого
вложения.
Получаем 400 ...
Контроль сроков доставки
Ситуационное реагирование
Идентификация и разрешение инцидентов,
для которых нужно реагирование в real-time.
Пример: зацик...
Process mining
Выявление и устранение ошибок и
неэффективностей в процессах.
Выявление и пресечение злоупотреблений.
Приме...
И еще задачи..
Управление по KPI Прогноз нагрузки и оставление
графика сотрудников
Аналитика
«Невозможно управлять тем, чт...
Из задач вытекают требования к решению:
 Сохранность данных >= 99,999
 Доступность >= 99,9
 Нужны и батч и стриминг обр...
Big Data Платформа
Фабрика Данных
Стриминг + Батч
Лаборатория Монетизации Данных
Внутренний инкубатор
Data Lake
Сортировоч...
Big Data платформа Почты России – Факты
 Обрабатывается до 1 млрд событий в сутки
 1+ Pb данных
 7200 VCPU, 25 Tb RAM, ...
Разработка Big Data платформы
 36 человек в команде разработки:
Architects, Product Owners, Analysts, Sen. Devs, QA
 100...
Стадия стартапа
Разработка v.0
Стадия стартапа.
Атмосфера творчества.
2015 год,
Команда
<10 человек
Кросс-функциональные команды
Cross-functional Team 1 Cross-functional Team 2
FrontendBackend
Плюсы
 Две команды делают бэ...
Разделение по компонентам
SLA
Front End Team
Back End Team
FrontendBackend
Плюсы
 Увеличена скорость разработки в
каждом ...
Масштабирование команд
Back End Team
…
Front End Team 1 Front End Team 2 Front End Team N Плюсы
 Команды разработки «фрон...
Тех долг накапливается в бэкенде
SLA
Back End Teams:
…
Front End Team 1 Front End Team 2 Front End Team N
Инфраструктура и...
Лаборатория монетизации данных.
Внутренний стартап акселератор.
Пилот
Прототип
Концепт Команда разработки
Инвестиции
Лаборатория монетизации данных.
Data-Driven продукты.
Лаборатория
монетизации
данных Оптимизация работы, повышение
качеств...
Мы центральный компонент ИТ ландшафта.
Чем больше мы делаем, тем больше новых задач...
ИТ системы Почты
Бизнес-блоки и
под...
Наращивать команду чтобы
угнаться за бэклогом?
Отказывать? Спихивать задачи на
другие продукты?
Брать в бэклог, называть
с...
Открытая экосистема вокруг общей платформы
SLA
Front End Team 1 Front End Team 2
External Team 1
Инфраструктура и управлен...
Открытый процесс разработки
DEV TEST UAT Pre-PROD PROD
Завершена разработка,
пройдено ревью, отчет
работает на тест,
постр...
Спасибо!
Андрей Бащенко
Руководитель направления Big Data
ABashchenko@luxoft.com
Upcoming SlideShare
Loading in …5
×

Создание BigData-платформы для ФГУП Почта России / Андрей Бащенко (Luxoft)

490 views

Published on

HighLoad++ 2017

Зал «Калининград», 8 ноября, 13:00

Тезисы:
http://www.highload.ru/2017/abstracts/3010.html

В этом докладе я расскажу, как BigData-платформа помогает трансформировать Почту России, как мы управляем построением и развитием платформы. Расскажу про найденные удачные решения, например, как разбиение на продукты с понятными SLA и интерфейсами между ними помогло нам сохранять управляемость с ростом масштабов проекта.
...

Published in: Engineering
  • Be the first to comment

  • Be the first to like this

Создание BigData-платформы для ФГУП Почта России / Андрей Бащенко (Luxoft)

  1. 1. Управление разработкой Big Data платформы Почты России Андрей Бащенко
  2. 2. Простая Big Data история  Собираем все данные, до которых можем дотянуться  Данные избыточны, можно терять  Высокая доступность не требуется  В основном достаточно батч-обработки
  3. 3.  47.000 + отделений  300.000 + сотрудников  Логистическая сеть  Ретейл с необходимостью отслеживать каждый Item  Разделить данные по географиям невозможно
  4. 4. Разворачивание вложений Мультиплицирование операций Мы повторяем операцию над емкостью для каждого вложения. Получаем 400 млн логистических операций в сутки.
  5. 5. Контроль сроков доставки
  6. 6. Ситуационное реагирование Идентификация и разрешение инцидентов, для которых нужно реагирование в real-time. Пример: зацикливание
  7. 7. Process mining Выявление и устранение ошибок и неэффективностей в процессах. Выявление и пресечение злоупотреблений. Пример: «серая» почта Потери от «серой» почты:  2015 год – 5,8 млрд руб.  2016 год – 3 млрд руб.
  8. 8. И еще задачи.. Управление по KPI Прогноз нагрузки и оставление графика сотрудников Аналитика «Невозможно управлять тем, что ты не можешь измерить» (С) Peter Drucker Геомаркетинг – оптимизация сети
  9. 9. Из задач вытекают требования к решению:  Сохранность данных >= 99,999  Доступность >= 99,9  Нужны и батч и стриминг обработки  Надо успевать пересчитать ВСЕ данные за ночь
  10. 10. Big Data Платформа Фабрика Данных Стриминг + Батч Лаборатория Монетизации Данных Внутренний инкубатор Data Lake Сортировочные машины Логистика Бухгалтерия Ретейл Фронт система Мобильное приложение Подписка онлайн Вызов курьера ПочтаМаркет Электронные письма Личный кабинет Transport Management System Переводы и Платежи Кадры Поиск Отправлений Рекламные услуги Финансовые услуги ИТ системы и сервисы Предприятия Шина Данных Big Data платформа Почты России
  11. 11. Big Data платформа Почты России – Факты  Обрабатывается до 1 млрд событий в сутки  1+ Pb данных  7200 VCPU, 25 Tb RAM, 2,5 Pb HDD  Линейное горизонтальное масштабирование
  12. 12. Разработка Big Data платформы  36 человек в команде разработки: Architects, Product Owners, Analysts, Sen. Devs, QA  100% Seniors + leads, 0% Regulars, 0% Juniors.  Основная единица разработки: Spark ETL Job на Scala
  13. 13. Стадия стартапа Разработка v.0 Стадия стартапа. Атмосфера творчества. 2015 год, Команда <10 человек
  14. 14. Кросс-функциональные команды Cross-functional Team 1 Cross-functional Team 2 FrontendBackend Плюсы  Две команды делают бэклог в два раза быстрее  Нагрузка распараллелилась  Здоровая конкуренция между командами за задачи Февраль 2016, Команда 12 человек Минусы  В команде сложно собрать все компетенции по тех. стэку  Уникальные носители компетенций становятся узким местом  Подходы и стандарты разработки команд расходятся все сильнее –> на общем кластере хаос
  15. 15. Разделение по компонентам SLA Front End Team Back End Team FrontendBackend Плюсы  Увеличена скорость разработки в каждом компоненте за счет специализации команд  Команда платформы DWH следит за стабильностью платформы и соблюдением требований к артефактам для деплоя на платформу Март 2016, Команда 15 человек Минусы  Просела разработка конечных фич
  16. 16. Масштабирование команд Back End Team … Front End Team 1 Front End Team 2 Front End Team N Плюсы  Команды разработки «фронта» можно масштабировать линейно – пользователи рады!  Возможна вертикальная специализация команд «фронта» под конкретных заказчиков – пользователи очень рады! SLA Июнь 2016, Команда 18 человек Минусы  Тех. долг накапливается в бэкенде
  17. 17. Тех долг накапливается в бэкенде SLA Back End Teams: … Front End Team 1 Front End Team 2 Front End Team N Инфраструктура и управление кластером Прием данных Промежуточный слой и стриминг SLA SLA Плюсы  Выделенная даже небольшая команда фокусируется только на своем компоненте и ликвидирует тех долг, своевременно рефакторит и развивает компонент, успевая за ростом платформы.  Еще больше разрезаем тех стек по компонентам – сильнее специализация, производительнее каждая отдельная команда. Январь 2017, Команда 25 человек Минусы  Увеличение цикла разработки если фича требует работ во всех компонентах
  18. 18. Лаборатория монетизации данных. Внутренний стартап акселератор. Пилот Прототип Концепт Команда разработки Инвестиции
  19. 19. Лаборатория монетизации данных. Data-Driven продукты. Лаборатория монетизации данных Оптимизация работы, повышение качества услуг, снижение издержек Увеличение выручки, рост доли рынка Сервис «черный список адресов» Оперативный мониторинг Логистики Центр управления почтовой сетью Конструктор почтовых продуктов Аналитика по клиентам Борьба с серой почтой Геоаналитика по развитию сети
  20. 20. Мы центральный компонент ИТ ландшафта. Чем больше мы делаем, тем больше новых задач... ИТ системы Почты Бизнес-блоки и подразделения Другие команды Бэклог Потоки данных, интеграции Витрины, аналитика ETL обработки Триггеры …. Продукты, выросшие из нашего инкубатора
  21. 21. Наращивать команду чтобы угнаться за бэклогом? Отказывать? Спихивать задачи на другие продукты? Брать в бэклог, называть сроки в годах? Что делать? Варианты.
  22. 22. Открытая экосистема вокруг общей платформы SLA Front End Team 1 Front End Team 2 External Team 1 Инфраструктура и управление кластером Прием данных Промежуточный слой и стриминг SLA SLA … Ситуационный центр
  23. 23. Открытый процесс разработки DEV TEST UAT Pre-PROD PROD Завершена разработка, пройдено ревью, отчет работает на тест, построение автомати- зировано в Oozie теста Пройдено тестирование Получен апрув от пользователей, работающий Oozie Поток работ Получен апрув на вывод в прод Стадии разработки окружения: Master Feature 1 Feature 2 Release Deploy Merge Deploy Master to Prod, UAT, Test Tag
  24. 24. Спасибо! Андрей Бащенко Руководитель направления Big Data ABashchenko@luxoft.com

×