Let's talk about the types and methods of deployments, the problems faced by engineers and ops during deployments. Possible ways of control and different approaches to it. How to choose metrics that should be monitored during releases. Using Argo Rollouts as an example, we will analyze cases of monitoring technical and business metrics, forecasting, and rollback automation.

1. Інкрементальні
ролаути та ролбеки
з контролем бізнес-метрик
на кожному етапі
Kyrylo Melnychuk
CTO @

2. Про мене
Кирило Мельничук, CTO
Собаковод
20 років в IT
20 відтінків волосся
Люблю вигадувати
роботу

3. Про що це все?
Як ми прийшли до
інкрементальних
ролаутів
Які проблеми хотіли
вирішити
Що вийшло
І що ж там далі?

4. Трошки про нас
Український стартап, нам 1 рік
3500+ клієнтів
Startup of the Year 2023
62 мікросервіса
3500+ деплойментів за рік
PHP/Golang/Typescript
3 EKS кластера

5. Еволюція деплоїв

6. FTP

7. FTP SSH

8. FTP SSH SALT

9. FTP SSH SALT KUBECTL

10. FTP SSH SALT KUBECTL

11. We want more control

12. “Давайте не релізити
по пʼятницях”
Джейсон Стетхем

13. 10 релізів на день*
Одразу на всіх клієнтів
* і це ми ще не починали

14. Проблематика
Дуже важко контролювати
Релізи накладаються на релізи
Stage != prod
Різні мови, різні умови
QA не встигають
Лише ручний контроль

15. Що ми хочемо?
Зробити деплої
безпечнішими
Зняти навантаження
з людей
Зменшити можливість
помилки

16. Наш шлях
на Канари

17. Як було
ArgoCD
GitOps
Мерж в мейн -> деплой на всіх
Мерж по 3 апрувах
Ручний автомоніторинг помилок і аномалій після релізу
Ручний відкат за потреби

18. Як стало

19. Що розглядали
Flagger
CodeFresh
Jenkins
Spinnaker
Старі добрі костилі
Argo rollouts

20. Чому ArgoRollouts?
входить в екосистему (але можна юзати і в
голому кубі)
вбудовані CRD для роботи в kubernetes
система плагінів аналізатора (god bless you)
підтримка різних інгрес-контролерів
Для початку, в нас був ArgoCD =)

21. Що таке ArgoRollout?
Картинка нагло взята з документації

22. Доступні аналітики
Prometheus
Datadog / NewRelic / Wavefront
Kubernetes Job (opens a door to heaven!)
Web
CloudWatch
Graphite / InfluxDB
And a lot more (+ plugins!)

23. Приклади аналізаторів

24. Що ми використовуємо?
Github actions
Uspacy chat (так, у нас нема слака =)
ArgoCD
ELK (точніше, Opensearch)
Prometheus
Datadog
Custom metrics (про них далі)

25. Як це виглядає?

26. Правила ролбеків
Загальні (в темплейтах) та посервісні
% зміни error/access логів
сrashloop
кількість 5xx over time
метрики БД сервісу (CPUUtilization, slow queries)
Datadog: anomalies, response time
Бізнес-метрики: кількість нових реєстрацій

27. Висновки та майбутнє

28. Приємності
Дуже важко контролювати
Релізи накладаються на релізи
Stage != prod
Різні мови, різні умови
QA не встигають
Лише ручний контроль

29. Проблеми і складності
Виділені Canary-домени – не з коробки
False-positive та false-negative ролаути/ролбеки
Правила можуть сильно різнитися
Бізнес-метрики постійно змінюються

30. Що далі?
Інтеграція argo workflows, argo events, argo cd,
argo rollouts.
Автоматизувати апдейт порогів метрик
Динамічні стейджі
Управління процесом з чату
Дашборд релізів

31. Дякую! Питання?
uspacy.com
fb.com/imnightwriter