В современном живом проекте, обслуживающем сотни тысяч пользователей по всем свету, каждая команда должна понимать, что нужно делать в каждый момент времени, чтобы достигнуть своих целей. Мой рассказ том, как наша команда из 4-х человек решает эту проблему в Ecwid.

1. WORKFLOW ОДНОЙ
OPS-КОМАНДЫ
ВЯЧЕСЛАВ КУЗНЕЦОВ
ECWID (УЛЬЯНОВСК)

2. • SaaS-платформа для интернет-
магазинов.
• > 1 000 000 клиентов по всему миру.
• ~ 130 000 000 посетителей в месяц.
• > 110 человек в команде.
• Ульяновск, Самара, Казань, San
Diego.
ECWID

3. Команда Operations отвечает за
качественную работу Ecwid. В других
командах таких людей могут называть
Ops'ами, DevOps'ами, SRE и т.п.
• Доступность
• Надежность
• Безопасность
OPERATIONS TEAM

4. WORKFLOW - ЭТО ОРГАНИЗАЦИЯ РАБОТЫ
ЗАЧЕМ OPS’АМ WORKFLOW?

5. • Задачи бывают разного размера
• Одни требуют 3 минуты от одного инженера
• Другие выливаются в месяцы работы всей
команды
На входе команды бесконечный поток мелких задач:
выдать доступ, поменять настройку базы.
И много крупных задач: интегрировать Auto-Scale
Group’ы, сделать релиз в одну кнопку.
ЗАЧЕМ OPS’АМ WORKFLOW?

6. МЕЛКИЕ ЗАДАЧИ ПЫТАЮТСЯ ЗАНЯТЬ ВСЕ
ДОСТУПНОЕ ВРЕМЯ
ЗАЧЕМ OPS’АМ WORKFLOW?

7. КАК ДЕЛАТЬ БОЛЬШИЕ / СЛОЖЫЕ
ПРОЕКТЫ?
ЗАЧЕМ OPS’АМ WORKFLOW?

8. БАЛАНСИРОВАТЬ
ЗАЧЕМ OPS’АМ WORKFLOW?

9. Есть разные уровни планирования
работы команды: тактическое и
оперативное.
• Quarterly planning
• Bi-weekly planning
• Daily meeting
УРОВНИ ПЛАНИРОВАНИЯ

10. • Рассматриваются крупные задачи.
• Проекты обсуждаются со stake
holder'ами.
• Обычно не более одной задачи на
инженера.
QUARTERLY PLANNING

11. Примеры:
• Пересмотреть систему поиска
аномалий в логах;
• Реализовать релиз новой версии, не
требующий Ops-инженера;
• Развернуть новый кластер в Европе.
QUARTERLY PLANNING

12. • Пересмотр состояния команды.
• Выбираем следующий шаг из задач.
• Приглашаем другие команды.
BI-WEEKLY PLANNING & RETROSPECTIVE

13. Примеры:
• Скоординировать пентестинг с AWS;
• Добавить поддержку consul в
скрипты деплоя;
• Сделать надежные VPN-тунели
между регионами.
BI-WEEKLY PLANNING & RETROSPECTIVE

14. • Оперативное планирование.
• Три вопроса из Scrum.
• Kanban доска не приживается.
DAILY MEETING

15. ЧТО ДЕЛАТЬ С ПОТОКОМ МЕЛКИХ ЗАДАЧ?
ON-CALL ROTATION

16. SUPPORT
BUGS
FEATURE
ON-CALL ROTATION

17. ЗАРУЛИТЬ ПОТОК МЕЛКИХ ЗАДАЧ В
ОТДЕЛЬНУЮ ОЧЕРЕДЬ
ON-CALL ROTATION

18. ОДИН ГРЕБЕТ SUPPORT,
ОСТАЛЬНЫЕ - ЗАПЛАНИРОВАННЫЕ ЗАДАЧИ
ON-CALL ROTATION

19. НУ ПОЧТИ...
ON-CALL ROTATION

20. ЕСТЬ ЕЩЕ ИНЦИДЕНТЫ
ON-CALL ROTATION

21. Итого, две ротации:
• дежурный на поддержке
• дежурный bug hunter
ON-CALL ROTATION

22. SUPPORT
BUGS
FEATURE
ON-CALL ROTATION

23. SUPPORT BUGS FEATURE FEATURE
3ДНЯ3ДНЯ
ON-CALL ROTATION

24. ON-CALL ROTATION

25. • Ежедневная работа дежурных.
• Еженедельные Scrum of Scrums.
• Контакт со stake holder'ами при
подговке планнингов.
ОБРАТНАЯ СВЯЗЬ ИЗ-ВНЕ

26. • Ретроспективы дают возможность
получить обратную связь от
команды.
• 1-on-1 дают обратную связь от
каждого члена команды.
ОБРАТНАЯ СВЯЗЬ ВНУТРИ

27. СЛИШКОМ МНОГО РАЗГОВОРОВ?
ЧТО В ИТОГЕ?

28. МЕЛКИЕ ШАГИ НА БОЛЬШОМ ОТРЕЗКЕ
ВРЕМЕНИ СКЛАДЫВАЮТСЯ В БОЛЬШОЙ
РЕЗУЛЬТАТ
ЧТО В ИТОГЕ?

29. Кузнецов Вячеслав, @smith3v
join ecwid.com