Мы возобновляем после перерыва митапы Software Craftsmanship, и наш пятнадцатый митап будет посвящен надежности и устойчивости систем. Мы разберем stability, reliability, fault-tolerance, availability, resilience, узнаем как они связаны друг с другом и как можно их измерять, а также как разрабатывать устойчивые и надежные программы. Также мы сформулируем принципы создания надежных систем, паттерны и антипаттерны надежности и устойчивости, отдельное внимание уделим устойчивости микросервисов в облаке. План митапа: Stability, reliability, fault-tolerance, availability, resilience, их связь и отличия Архитектура и шаблоны availability Шаблоны resilience Техники fault tolerance Устойчивости и надежность в облаке

2. Software Craftsmanship
meetup #15 online
Resilience and Reliability
Павел Вейник
CEO @ Hard & Soft Skills

3. Мы сегодня online
●Зарегистрировались 111
человек
●Наш пятый митап online
●При поддержке Sam Solutions
●Информационные партнеры
dev.by, tproger.ru
3

4. О митапах
● Часть проекта Hard & Soft Skills
● Поделиться и пообщаться
● Подобрать материал для курсов:
○ Технический лидер
○ От middle developer к senior
engineer
4

5. План митапов
14. Масштабирование монолита
15. Resilience and Reliability
16. ML Operations for engineers:
building ML pipeline 16 марта
17. ??? hardsoftskills.by/next_meetups
5

6. Цель этого митапа
Сделать обзор терминов и
подходов к надежности,
устойчивости и доступности
систем
6

7. План этого митапа
1.Подходы и шаблоны
2.Availability
3.Resilience
4.Fault-tolerance
5.Stability
6.Reliability
7

8. Шаблон timeout
● В ms может случиться всякое )
● Сервис отвечает даже если его
зависимость не отвечает
● Время ожидания ограничено
● Можно использовать с кэшем
8

9. Шаблон retry
● Или retry после паузы
● Если могут быть временные
проблемы (сеть, перезагрузка
сервиса...)
9

10. Шаблон circuit breaker
● Состояния
○ пропускает все запросы
○ пропускает только некоторые
○ не пропускает, паузка
● Меньше одновременных
запросов к загруженному
сервису
10

11. Шаблон rate limit
● Стоимость каждого вызова
● Более слабые гарантии ответа
● Защитный механизм
● Удобно использовать с кэшем
11

12. ● Отнимаем ресурсы у неважных
чтобы обслужить важные
● Сглаживаем нагрузку
● Удобно использовать с
динамическим
масштабированием
Шаблон throttling
12

13. ● Множество шаблонов
● Сглаживают нагрузку
● Увеличивают время ожидания
● Удобно для длинных/фоновых
задач
● Очередь - доп. компонент
Очередь
13

14. ● В облаке мониторить сложнее,
чем on-premise
● Раньше обнаруживать ошибки
● Обязательны логи упавших
проверок
● HTTP код, SLA, ответ...
Service health endpoint
14

15. N-version programming
15

16. ● Последовательный вариант n-
version programming
● В случае ошибки
○ выполняем ту же задачу другим
способом
Шаблон recovery blocks
16

17. ● Checkpoint and rollback recovery
● Компенсирующая транзакция
● Transactional outbox
● Scheduler-agent-supervisor
● их много…
● и используются в комбинациях
Еще шаблоны
17

18. Availability
● Отношение времени работы ко
всему времени
● 99.9%
● 99.99%
● 99.999%
● uptime.is
18

19. Availability
● Если есть зависимость
○ сервис 99.99
○ зависимость 99.99
○ 99.99 * 99.99 = 99.8
● Дублирование сервиса
○ 100 - 0.01* 0.01 = 99.9999
19

20. Availability
● Если неизвестна доступность для
зависимостей
○ среднее вр. между сбоями - o
○ среднее вр. восстановления - r
○ o/(o+r) = availability
20

21. Availability
● Чем выше Availability
○ тем сложнее система
○ тем дороже разработка
○ тем дороже поддержка
○ тем дороже TCO
● Не нужно делать 100% A
21

22. Availability problems
22
● Проблемы с железом
● Ошибки деплоя
● Увеличившаяся нагрузка
● Неожиданные входные данные
● Истечение срока сертификатов
● Ошибки в зависимостях
● Сбои инфраструктуры

23. Availability practices
23
● Изолирование зоны ошибки
● Избыточность и дублирование
● Микросервисы
● Автоматическое восстановление
● Best practices распределенных
систем

24. Availability operations
24
● Развертывание
○ canary
○ blue-green
○ feature-toggle
○ география развертывания

25. Availability operations
25
● Тестирование
○ performance
○ load/stress
○ failure/recovery
○ внешних зависимостей

26. Availability patterns
26
● Health endpoint monitoring
● Очередь сообщений как буфер
● Throttling
● Circuit breaker
● Geodes
● Независимые инстансы

27. Resiliency
27
● автоматическое обнаружение и
восстановление после сбоя

28. Resiliency patterns
28
● Bulk head (перегородка)
● Circuit breaker
● Компенсирующая транзакция
● Leader election
● Retry
● Scheduler-Agent-Supervisor
● Health monitoring endpoint

29. Fault-tolerance
29
● Способность выполнять
требования к системе несмотря
на текущие сбои

30. Техники fault-tolerance
30
● Железо
○ Built-in self test
○ Triple modular redundancy
● Software
○ N-version programming
○ Recovery blocks
○ Check-point and rollback
recovery

31. Fault-tolerance patterns
31
● Retry
● Timeout (retry, abort)
● Аудит консистентности данных
● Обработка исключений
● Rollback
● Incremental reboot
● N-version programming

32. Stability
32
Stability = depsOut/(depsOut + depsIn)
● метрика от 0 (стабильно) до 1
● отображает “возмущения” в
коде модуля после его
изменения

33. Stability
33
● Для пользователя - просто что
программа работает неизменно
● Связано с coupling/cohesion
● Под stability testing чаще всего
понимают тестирование
availability

34. Reliability
34
● Более абстрактный термин
● Чаще всего то же что и Availability
○ измеряется так же
● Сложность (связи модулей)
снижает Reliability

35. Reliability testing
35
● Включает
○ stability testing
○ recovery testing
○ stress testing
○ failover testing

36. Cloud
36
● Несколько инстансов в кластере
● Динамическое
масштабирование
● География
● Deployments

37. Микросервисы
37
● redundancy, дублирование
● балансировка нагрузки
● динамическое
масштабирование
● message bus
● throttling...

38. Микросервисы
38
● Sync коммуникации между ms:
○ retry
○ timeout, rate limit
○ rollback
○ circuit breaker
○ distributed tx (2pc)

39. Микросервисы
39
● Async коммуникации между ms:
○ compensating transactions
○ transactional outbox
○ caching
○ retry, fallback, circuit breaker,
rate limit

40. Курсы Hard & Soft Skills
● Цель митапов - материалы для
различных курсов
● Для мидлов, сеньеров, лидов,
архитекторов, CTO
● 18-го февраля вебинар по курсу
“Технический лидер”
40

41. Ссылки
41
● https://docs.microsoft.com/en-us/azure/architecture/framework/resiliency/reliability-patterns
● https://www.amazon.com/Clean-Architecture-Craftsmans-Software-Structure-ebook-dp-
B075LRM681/dp/B075LRM681/ref=mt_other?_encoding=UTF8&me=&qid=
availability
● https://medium.com/becloudy/architecting-for-reliability-part-1-concepts-17028343089
● https://docs.microsoft.com/en-us/azure/architecture/patterns/health-endpoint-monitoring
● https://microservices.io/patterns/observability/health-check-api.html
● https://docs.microsoft.com/en-us/previous-versions/msp-n-p/dn589781(v=pandp.10)?redirectedfrom=MSDN
● https://docs.aws.amazon.com/apigateway/latest/developerguide/api-gateway-request-throttling.html
fault-tolerance
● https://www.geeksforgeeks.org/fault-tolerance-techniques-in-computer-system/?ref=rp
● https://www.geeksforgeeks.org/difference-between-n-version-programming-and-recovery-blocks-techniques/?ref=rp
● https://www.eventhelix.com/RealtimeMantra/SoftwareFaultTolerance.htm
stability
● https://itnext.io/specification-pattern-and-how-to-quantify-the-improved-software-stability-9a7cf5a74f1f
● https://asu.pure.elsevier.com/en/publications/some-stability-measures-for-software-maintenance-2

42. Ссылки
● https://docs.microsoft.com/en-us/azure/architecture/framework/resiliency/reliability-patterns
● https://www.amazon.com/Clean-Architecture-Craftsmans-Software-Structure-ebook-dp-
B075LRM681/dp/B075LRM681/ref=mt_other?_encoding=UTF8&me=&qid=
availability
● https://medium.com/becloudy/architecting-for-reliability-part-1-concepts-17028343089
● https://docs.microsoft.com/en-us/azure/architecture/patterns/health-endpoint-monitoring
● https://microservices.io/patterns/observability/health-check-api.html
● https://docs.microsoft.com/en-us/previous-versions/msp-n-p/dn589781(v=pandp.10)?redirectedfrom=MSDN
● https://docs.aws.amazon.com/apigateway/latest/developerguide/api-gateway-request-throttling.html
fault-tolerance
● https://www.geeksforgeeks.org/fault-tolerance-techniques-in-computer-system/?ref=rp
● https://www.geeksforgeeks.org/difference-between-n-version-programming-and-recovery-blocks-techniques/?ref=rp
● https://www.eventhelix.com/RealtimeMantra/SoftwareFaultTolerance.htm
stability
● https://itnext.io/specification-pattern-and-how-to-quantify-the-improved-software-stability-9a7cf5a74f1f
● https://asu.pure.elsevier.com/en/publications/some-stability-measures-for-software-maintenance-2
42

43. Ссылки
reliability
● https://performancelabus.com/importance-of-stability-and-reliability-testing/#1
● https://www.ques10.com/p/21811/explain-software-reliability/
microservices
● https://hcis-journal.springeropen.com/articles/10.1186/s13673-018-0143-8
● http://www.ijcst.com/vol8/8.2/22-gagan-amrit-kaur.pdf
● https://livebook.manning.com/book/microservices-in-action/chapter-6/1
stability
● https://itnext.io/specification-pattern-and-how-to-quantify-the-improved-software-stability-9a7cf5a74f1f
43

44. Ссылки
шаблоны и техники
● https://www.vinsguru.com/timeout-pattern-microservice-design-patterns/
● https://docs.microsoft.com/en-us/azure/architecture/patterns/retry
● https://docs.microsoft.com/en-us/azure/architecture/patterns/circuit-breaker
● https://microservice-api-patterns.org/patterns/quality/qualityManagementAndGovernance/RateLimit.html
● https://docs.microsoft.com/en-us/azure/architecture/patterns/throttling
● https://docs.microsoft.com/en-us/azure/architecture/patterns/queue-based-load-leveling
● http://firstclassthoughts.co.uk/Articles/Design/RefactoringToMicroServicesTheEventQueue.html
● https://docs.microsoft.com/en-us/azure/architecture/patterns/bulkhead
● https://docs.microsoft.com/en-us/azure/architecture/patterns/health-endpoint-monitoring
● https://spaceradiation.eu/recovery-blocks-fault-tolerance-pattern/
● https://en.wikipedia.org/wiki/N-version_programming
44

45. Задайте мне вопрос
45