В докладе речь пойдёт об основных принципах разработки и обеспечения отказоустойчивости в системах, развёртываемых в облаках. Рассмотрим следующие темы: - что такое отказоустойчивые системы; - классификация возможных сбоев на уровне приложения и на уровне инфраструктуры; - подходы к обеспечению отказоустойчивости; - анализ и верификация отказоустойчивости; - TheButcher как инструмент обеспечения отказоустойчивости. Также увидим сравнение вживую отказоустойчивой и отказонеустойчивой систем, развёрнутых на OpenStack.

1. Стабильны ли ваши приложения в
облаках?
© Artem Rozumenko

2. Что будем делать
1. Посмотрим на тенденции в облачных хостингах
2. Поупражняемся в дизайне отказоустойчивой системы на бумаге
3. Рассмотрим на варианты автоматизации проверок
отказоустойчивости
4. Обсудим увиденное

3. How it looks outsideIDG Enterprise Cloud Research Jul 2013
Q: Which of the following best describes your organization’s current stance of cloud deployments?

4. How it looks outsideIDG Enterprise Cloud Research Jul 2013
Q: Approximately how much will your organization invest in cloud-based services
computing in next 12 months?

5. И что же происходит в клауде?
35%
28%
10%
20%
7%
Q: Why the applications hosted in cloud fails?
Functional issies
Networking issues
Hardware failures
Virtual machines failures
Social engineering issues

6. А ваше приложение может?
1. Размещать каждый сервис на отдельном сервере?
2. Расширять только те сервисы, которые нужно?
3. Нотифицировать, если какой-то из сервисов
становится недоступным?
4. Восстанавливаться в случае поломки?
5. А сколько у вас single point of failure ?

7. История про Market Data application
Необходимо создать приложение для The Bank. Это должен быть небольшой
встраиваемый html гаджет, который размешен вне инфраструктуры банка. На Гаджете
должны отображаться биржевые графики для основных индексов и компаний
(Ожидаемая нагрузка ~1000 пользователей в час)
Сервер
кеширования
mySQL Update
service
Веб
Сервер
Решениевлоб Question Answer
Каждый сервис на отельном
сервере?
Нет
Есть ли механизм расширения? Нет
Механизм автоматической
нотификации?
Нет
Автоматическое
восстановление?
Нет
Количество single point of failure Все
Основная причина отказа:
Каждый компонент это single point of failure

8. Question Answer
Каждый сервис на отельном
сервере?
Да
Есть ли механизм расширения? Нет
Механизм автоматической
нотификации?
Да
Автоматическое восстановление? Нет
Количество single point of failure 2
+ Cloud Watch
Solution#2
История про Market Data application
Update Service +
Mongo Arbiter
Mongo master Mongo slave
Web Server Web Server
Main Fail Reason:
Система не может восстановиться после
любого, даже простейшего сбоя
Amazon Elastic
Load Balancer

9. Question Answer
Каждый сервис на отельном
сервере?
Да
Есть ли механизм расширения? Да
Механизм автоматической
нотификации?
Да
Автоматическое восстановление? Да
Количество single point of failure 1
Solution#3
История про Market Data application
Update Service +
Mongo Arbiter
DB master DB slave
Web Server Web Server
custom monitoring &
automatic recovery
Acceptable:
Автоматическое восстановление
инфраструктуры и компонентов
приложения
Elastic
Load Balancer
Auto-scaling
group
Auto-scaling
group
Auto-scaling
group

10. TheButcher – инструмент проверки
отказоустойчивости
TheButcher is
a robustness
testing toolkit
for distributed systems

11. Варианты автоматизации проверок. Отдельные
тесты
Update Service +
Mongo Slave
DB master DB slave
Web Server Web Server
custom monitoring &
automatic recovery
Load BalancerJenkins + bDriver + unittest

12. Архитектура взаимодействия в конфигурации
«Отдельные тесты»

13. Варианты автоматизации проверок.
Централизованная система
TheButcher
Web UI
Command Line
Interface
RESTful API
Update Service +
Mongo Slave
DB master DB slave
Web Server Web Server
custom monitoring &
automatic recovery
Load Balancer

14. Архитектура взаимодействия в конфигурации
«Централизованная система»
project
system profile
Infected
Infestor
Infestor
Infestor
Schedule
Select proper
infected and
infestor
Execute
actions on
selected
agents
Create
Reports

15. Доступные разрушители стабильности
blink networking
Поочередное включение и выключение заданного сетевого адаптера (или всех, если не указать ниодного) с
указанными промежутками времени
butcher-agent blink networking <enable_network_timeout> <disable_network_timeout> [--adapters=None] [--work_time=0]
block dnsname Перенаправление указанного DNS адреса на 127.0.0.1 на установленное время
butcher-agent block dnsname <dnsname> <timeout>
burn cpu Загрузка CPU почти на 100% на установленное время
butcher-agent burn cpu <timeout>
burn disk Многопоточная запись и чтение файлов с указанными параметрами
butcher-agent burn disk <timeout> [--file_size=1k] [--thread_limit=200]
burn ram Максимальное заполнение ОЗУ на установленное время
butcher-agent burn ram <timeout>
disable network adapters Отключение сетевого(ых) адаптера(ов) на установленное время
butcher-agent disable network adapters <adapters> [timeout=0]
enable network adapters
Включение сетевого(ых) адаптера(ов). Если не указать адаптер, произойдет включение всех физических
адаптеров
butcher-agent enable network adapters [adapters=None]
exec command
Выполнение заданной команды из командной строки ОС. Определение наличие заданного текста в ответе
выполненой команды
butcher-agent exec command <cmd> [--result_should_contain=None] [--result_should_not_contain=None]
get process Возвращение информации о локального(ых) процессе(ах) с заданными параметрами
butcher-agent get process [--pids=None] [--names=None]
kill process Завершение локального(ых) процесса(ов) по указанным параметрам
butcher-agent kill process [--pids=None] [--names=None]
list network adapters Возвращение списка сетевых адаптеров
butcher-agent list network adapters
list process Возвращение списка запущенных локальных процессов
butcher-agent list process
restart node Перезагрузка сервера
butcher-agent restart node
resume process Возобновление остановленного(ых) локального(ых) процесса(ов) по заданным параметрам
butcher-agent resume process [--pids=None] [--names=None]
shutdown node Выключение сервера
butcher-agent shutdown node
suspend process Остановка локального(ых) процесса(ов) по заданным параметрам
butcher-agent suspend process [--pids=None] [--names=None]

16. И что?
1. Системы должны быть
отказоустойчивыми ровно
насколько, насколько требуется;
2. Верификация отказоустойчивости -
это не очень тривиально, но все же
необходимо.
Вопросы?
Artem Rozumenko
E-mail: artem_rozumenko@epam.com
Skype: rozumenko_artyom