Чтобы быстро двигаться, надо быстро двигаться :-) Скоростная разработка продукта невозможна без непрекращающегося выкатывания свежих изменений в боевое окружение. Именно это позволяет Ultimate-Guitar оставаться #1 world's guitar service. Когда-то давным-давно мы приняли для себя, что "мы движемся очень быстро и иногда из-за этого что-то ломаем. Недоставленный пользователям продукт/непроверенная гипотеза хуже, чем временная неработоспособность части сервиса. Поэтому мы убираем преграды между новым кодом и продакшном: не тратим время ни на тестирование, ни на строгий релиз-менеджмент". Многие возникающие проблемы касаются только обслуживания (датацентр, OS, каналы) и мониторинг, естественно, необходим. Ну, а раз уж у нас есть мониторинг, то давайте считать систему единым целым, которая может выходить из строя по различным причинам, одной из которых является ошибка в коде. Это привело нас к идее использовать мониторинг вместо тестирования. К чему это привело, почему мы любим Anturis, Graylog, Grafana, что главное в деплое - это быстрый откат и другие прелести управления звездолётом Ultimate-Guitar с дневным населением больше Москвы на скорости 10 деплоев/час - обо всё этом пойдёт речь в этом докладе: - Про скорость и цену быстрого развития (Innovation Costs). - Холакратия в бранчах, "сам себе релиз-инженер", ответственность и честность. - Скорость отката > скорость деплоя. - Как умер QA или демоны с tail и Graylog. - Когда не нужны микросервисы: успеть за 30 секунд, медленный Mercurial и шустрое комбо Git + Capistrano + Ansible. - Бесполезные фичи, бритва Оккама и пользователи, которые на самом деле любят изменения :-)

1. Тестирование через
мониторинг или
холакратия на практике
Максим Чистяков,
Ultimate Guitar

2. Немного об Ultimate-Guitar
• 17 лет
• 54 000 000 пользователей в вебе в месяц
• 189 000 авторов
• Первое место среди платных приложений в США,
Британии и Австралии
• 156 бутылок в год

3. Без подготовки

4. Эволюция
• Waterfall
• Scrum
• Kanban
• ???

5. The Wall
• Менеджеры

6. The Wall
• Менеджеры
• Стены

7. The Wall
• Менеджеры
• Стены
• QA

8. Устрой деплой!
• 9 человек
• 8-10 деплоев в час (40-50 деплоев в сутки)
• Несколько десятков серверов

9. Gone in 60 seconds
• 67 Мб
• 4K файлов - Ultimate Guitar
• 10K файлов - composer
• 60 секунд

10. Gone in 20 seconds
• 67 Мб
• 4K файлов - Ultimate Guitar
• 10K файлов - composer
• 60 секунд - Mercurial
• 40 секунд - HDD

11. Gone in 20 seconds
• 67 Мб
• 4K файлов - Ultimate Guitar
• 10K файлов - composer
• 60 секунд - Mercurial
• 40 секунд - HDD
• 20 секунд - SSD

12. Переключение версии

13. Переключение версии

14. Откаты
• Не больно
• Занимает 10 секунд

15. Про iOS/Android
• Google Play - няшка
• App Store - как обычно

16. Ловим 500-ые
• 10 ошибок за 10 минут

17. Ловим 500-ые
• 10 ошибок за 10 минут
• Graylog-агент → Graylog stream → Alert

18. Ловим 500-ые
• 10 ошибок за 10 минут
• Graylog-агент → Graylog stream → Alert
• Среднее время ответа ≥ 200 мс / 2 минуты

19. Ловим 500-ые
• 10 ошибок за 10 минут
• Graylog-агент → Graylog stream → Alert
• Среднее время ответа ≥ 200 мс / 2 минуты
• nginx access log

20. Ловим 500-ые
• 10 ошибок за 10 минут
• Graylog-агент → Graylog stream → Alert
• Среднее время ответа ≥ 200 мс / 2 минуты
• nginx access log
• Внешний мониторинг:
• Zabbix
• Anturis
• UpTime Robot

22. Определить ключевые метрики
• Присланные табы
• Совершенные платежные транзакции

23. Мониторинг окружения
• Все базы
• memcache
• Sphinx
• Redis
• Gearman
• WebDAV
• PHP modules
• php.ini
• PHP variables
• Логи
• ...

24. Мониторинг окружения
• Все базы
• memcache
• Sphinx
• Redis
• Gearman
• WebDAV
• PHP modules
• php.ini
• PHP variables
• Логи
• ...

25. Продуктовые метрики
MySQL slaves +

26. Jinba

27. Каждому - по мониторингу

28. Почему получилось
• Мониторинг важного

29. Почему получилось
• Мониторинг важного
• Быстрые откаты (деплой)

30. Почему получилось
• Мониторинг важного
• Быстрые откаты (деплой)
• Деплой ночью

31. Почему получилось
• Мониторинг важного
• Быстрые откаты (деплой)
• Деплой ночью
• Люди

32. Почему получилось
• Мониторинг важного
• Быстрые откаты (деплой)
• Деплой ночью
• Люди
• Все в одном месте

33. Спасибо!
m.chistyakov@ultimate-guitar.com
facebook.com/m.chistyakov