1.
Управление
разработкой Big
Data платформы
Почты России
Андрей Бащенко

2.
Простая Big Data история
 Собираем все данные, до которых можем дотянуться
 Данные избыточны, можно терять
 Высокая доступность не требуется
 В основном достаточно батч-обработки

3.
 47.000 + отделений
 300.000 + сотрудников
 Логистическая сеть
 Ретейл с необходимостью
отслеживать каждый Item
 Разделить данные по географиям
невозможно

4.
Разворачивание вложений
Мультиплицирование операций
Мы повторяем операцию над
емкостью для каждого
вложения.
Получаем 400 млн
логистических операций в
сутки.

5.
Контроль сроков доставки

6.
Ситуационное реагирование
Идентификация и разрешение инцидентов,
для которых нужно реагирование в real-time.
Пример: зацикливание

7.
Process mining
Выявление и устранение ошибок и
неэффективностей в процессах.
Выявление и пресечение злоупотреблений.
Пример: «серая» почта
Потери от «серой» почты:
 2015 год – 5,8 млрд руб.
 2016 год – 3 млрд руб.

8.
И еще задачи..
Управление по KPI Прогноз нагрузки и оставление
графика сотрудников
Аналитика
«Невозможно управлять тем, что ты не
можешь измерить» (С) Peter Drucker
Геомаркетинг –
оптимизация сети

9.
Из задач вытекают требования к решению:
 Сохранность данных >= 99,999
 Доступность >= 99,9
 Нужны и батч и стриминг обработки
 Надо успевать пересчитать ВСЕ данные за ночь

10.
Big Data Платформа
Фабрика Данных
Стриминг + Батч
Лаборатория Монетизации Данных
Внутренний инкубатор
Data Lake
Сортировочные
машины
Логистика
Бухгалтерия
Ретейл
Фронт
система
Мобильное
приложение
Подписка
онлайн
Вызов
курьера
ПочтаМаркет
Электронные
письма
Личный
кабинет
Transport
Management
System
Переводы
и Платежи
Кадры
Поиск
Отправлений
Рекламные
услуги
Финансовые
услуги
ИТ системы и сервисы Предприятия
Шина Данных
Big Data платформа Почты России

11.
Big Data платформа Почты России – Факты
 Обрабатывается до 1 млрд событий в сутки
 1+ Pb данных
 7200 VCPU, 25 Tb RAM, 2,5 Pb HDD
 Линейное горизонтальное масштабирование

12.
Разработка Big Data платформы
 36 человек в команде разработки:
Architects, Product Owners, Analysts, Sen. Devs, QA
 100% Seniors + leads, 0% Regulars, 0% Juniors.
 Основная единица разработки: Spark ETL Job на Scala

13.
Стадия стартапа
Разработка v.0
Стадия стартапа.
Атмосфера творчества.
2015 год,
Команда
<10 человек

14.
Кросс-функциональные команды
Cross-functional Team 1 Cross-functional Team 2
FrontendBackend
Плюсы
 Две команды делают бэклог в два
раза быстрее
 Нагрузка распараллелилась
 Здоровая конкуренция между
командами за задачи
Февраль 2016,
Команда
12 человек
Минусы
 В команде сложно собрать все
компетенции по тех. стэку
 Уникальные носители
компетенций становятся узким
местом
 Подходы и стандарты разработки
команд расходятся все сильнее –>
на общем кластере хаос

15.
Разделение по компонентам
SLA
Front End Team
Back End Team
FrontendBackend
Плюсы
 Увеличена скорость разработки в
каждом компоненте за счет
специализации команд
 Команда платформы DWH следит
за стабильностью платформы и
соблюдением требований к
артефактам для деплоя на
платформу
Март 2016,
Команда
15 человек
Минусы
 Просела разработка конечных фич

16.
Масштабирование команд
Back End Team
…
Front End Team 1 Front End Team 2 Front End Team N Плюсы
 Команды разработки «фронта»
можно масштабировать линейно –
пользователи рады!
 Возможна вертикальная
специализация команд «фронта»
под конкретных заказчиков –
пользователи очень рады!
SLA
Июнь 2016,
Команда
18 человек
Минусы
 Тех. долг накапливается в бэкенде

17.
Тех долг накапливается в бэкенде
SLA
Back End Teams:
…
Front End Team 1 Front End Team 2 Front End Team N
Инфраструктура и управление кластером
Прием данных
Промежуточный слой и стриминг
SLA
SLA
Плюсы
 Выделенная даже небольшая
команда фокусируется только на
своем компоненте и ликвидирует
тех долг, своевременно
рефакторит и развивает
компонент, успевая за ростом
платформы.
 Еще больше разрезаем тех стек по
компонентам – сильнее
специализация, производительнее
каждая отдельная команда.
Январь 2017,
Команда
25 человек
Минусы
 Увеличение цикла разработки
если фича требует работ во всех
компонентах

18.
Лаборатория монетизации данных.
Внутренний стартап акселератор.
Пилот
Прототип
Концепт Команда разработки
Инвестиции

19.
Лаборатория монетизации данных.
Data-Driven продукты.
Лаборатория
монетизации
данных Оптимизация работы, повышение
качества услуг, снижение издержек
Увеличение выручки,
рост доли рынка
Сервис «черный список
адресов»
Оперативный
мониторинг
Логистики
Центр управления почтовой
сетью
Конструктор почтовых
продуктов
Аналитика по
клиентам
Борьба с серой
почтой
Геоаналитика по
развитию сети

20.
Мы центральный компонент ИТ ландшафта.
Чем больше мы делаем, тем больше новых задач...
ИТ системы Почты
Бизнес-блоки и
подразделения
Другие команды
Бэклог
Потоки данных, интеграции
Витрины, аналитика
ETL обработки
Триггеры
….
Продукты, выросшие
из нашего инкубатора

21.
Наращивать команду чтобы
угнаться за бэклогом?
Отказывать? Спихивать задачи на
другие продукты?
Брать в бэклог, называть
сроки в годах?
Что делать? Варианты.

22.
Открытая экосистема вокруг общей платформы
SLA
Front End Team 1 Front End Team 2
External Team 1
Инфраструктура и управление кластером
Прием данных
Промежуточный слой и стриминг
SLA
SLA
…
Ситуационный центр

23.
Открытый процесс разработки
DEV TEST UAT Pre-PROD PROD
Завершена разработка,
пройдено ревью, отчет
работает на тест,
построение автомати-
зировано в Oozie теста
Пройдено
тестирование
Получен апрув от
пользователей,
работающий Oozie
Поток работ
Получен апрув на
вывод в прод
Стадии разработки окружения:
Master
Feature 1
Feature 2
Release
Deploy
Merge
Deploy Master to
Prod, UAT, Test
Tag

24.
Спасибо!
Андрей Бащенко
Руководитель направления Big Data
ABashchenko@luxoft.com