Доклад Ильи Кудинова, SQA Days-13, 26-27 апреля 2013, www.sqadays.com

1. ОрганизацияОрганизация
автоматизированного тестированияавтоматизированного тестирования
в схеме непрерывной интеграциив схеме непрерывной интеграции
Кудинов Илья, Badoo Development

2. Не автоматизированное тестированиеНе автоматизированное тестирование

3. Автоматизированное тестированиеАвтоматизированное тестирование

4. Немного цифр:Немного цифр:
●
2 релиза в день
●
>40 задач в день
●
≈70 разработчиков
●
22 QA инженера
●
≈180 миллионов пользователей
●
600 тысяч пользователей онлайн

5. Этапы контроля качестваЭтапы контроля качества
1. ???
2. ???
3. ???
4. ???
5. ???

6. 1. Code Review
2. ???
3. ???
4. ???
5. ???
Этапы контроля качестваЭтапы контроля качества

7. 1. Code Review
2. Тестирование на девелоперском сервере
3. ???
4. ???
5. ???
Этапы контроля качестваЭтапы контроля качества

8. 1. Code Review
2. Тестирование на девелоперском сервере
3. Тестирование в шоте
4. ???
5. ???
Этапы контроля качестваЭтапы контроля качества

9. 1. Code Review
2. Тестирование на девелоперском сервере
3. Тестирование в шоте
4. Тестирование на препродакшене
5. ???
Этапы контроля качестваЭтапы контроля качества

10. 1. Code Review
2. Тестирование на девелоперском сервере
3. Тестирование в шоте
4. Тестирование на препродакшене
5. Тестирование на продакшене
Этапы контроля качестваЭтапы контроля качества

11. Скучно?Скучно?
Исправляем!Исправляем!

14. 1. Code Review
2. Тестирование на девелоперском сервере
3. Тестирование в шоте
4. Тестирование на препродакшене
5. Тестирование на продакшене
Этапы контроля качестваЭтапы контроля качества

15. Code ReviewCode Review

16. Коммит-хуки gitКоммит-хуки git
●
Корректность имени ветки
●
Проверка валидности кода (phpcf!)
●
Проверка прав на мерж
●
Обновление тикетов
●
… и многое другое, всего около 40

17. Code ReviewCode Review

18. 1. Code Review
2. Тестирование на девелоперском сервере
3. Тестирование в шоте
4. Тестирование на препродакшене
5. Тестирование на продакшене
Этапы контроля качестваЭтапы контроля качества

19. 1. Code Review
1.5 Автоматическое тестирование ветки
2. Тестирование на девелоперском сервере
3. Тестирование в шоте
4. Тестирование на препродакшене
5. Тестирование на продакшене
Этапы контроля качестваЭтапы контроля качества

20. Автоматическое тестирование веткиАвтоматическое тестирование ветки

21. Многопоточная ПускалкаМногопоточная Пускалка
●
Сбор статистики по тестам
●
Оптимальное распределение по потокам
●
Красивый вывод в консоль
●
Формирование отчёта для TeamCity
●
17'000 юнит-тестов за 3-4 минуты!
●
Going OpenSource — stay tuned!

22. 1. Code Review
1.5 Автоматическое тестирование ветки
2. Тестирование на девелоперском сервере
3. Тестирование в шоте
4. Тестирование на препродакшене
5. Тестирование на продакшене
Этапы контроля качестваЭтапы контроля качества

23. ●
2 платформы — эмуляция продакшна
●
Собственная база данных
●
Свой sandbox для каждого девелопера
●
Общие для всех sandbox'ов демоны
Девелоперское окружениеДевелоперское окружение

24. Ручной запуск юнит-тестов иРучной запуск юнит-тестов и
интеграционных тестовинтеграционных тестов

25. 1. Code Review
1.5 Автоматическое тестирование ветки
2. Тестирование на девелоперском сервере
3. Тестирование в шоте
4. Тестирование на препродакшене
5. Тестирование на продакшене
Этапы контроля качестваЭтапы контроля качества

26. 1. Code Review
1.5 Автоматическое тестирование ветки
2. Тестирование на девелоперском сервере
3. Тестирование в шоте
4. Тестирование на препродакшене
5. Тестирование на продакшене
Этапы контроля качестваЭтапы контроля качества

27. 1. Code Review
1.5 Автоматическое тестирование ветки
2. Тестирование на девелоперском сервере
3. Тестирование в шоте
3.5 Автоматическое тестирование релиза
4. Тестирование на препродакшене
5. Тестирование на продакшене
Этапы контроля качестваЭтапы контроля качества

28. Знакомьтесь: АидаЗнакомьтесь: Аида

29. Automated Interactive Deploy AssistantAutomated Interactive Deploy Assistant
●
Деплой задач на препродакшн
●
Automerge
●
Запуск автоматических тестов
●
Рассылка уведомлений (jira, mail, jabber...)
●
… и многое другое!

30. Автоматическое тестирование релизаАвтоматическое тестирование релиза
●
Smoke-тесты при мерже ветки
●
Юнит-тесты
●
Интеграционные тесты
●
Selenium-тесты

31. А если в новом релизе падают тесты?А если в новом релизе падают тесты?

32. Deploy DashboardDeploy Dashboard
●
Список текущих релизов
●
Список задач в каждом релизе
●
Список активных шотов
●
Патчи к текущему релизу!

33. 1. Code Review
1.5 Автоматическое тестирование ветки
2. Тестирование на девелоперском сервере
3. Тестирование в шоте
3.5 Автоматическое тестирование релиза
4. Тестирование на препродакшене
5. Тестирование на продакшене
Этапы контроля качестваЭтапы контроля качества

34. Р Е Л И З !

35. 1. Code Review
1.5 Автоматическое тестирование ветки
2. Тестирование на девелоперском сервере
3. Тестирование в шоте
3.5 Автоматическое тестирование релиза
4. Тестирование на препродакшене
5. Тестирование на продакшене
Этапы контроля качестваЭтапы контроля качества

36. badoo.com
vk.com/badoocom
fb.com/BadooMoscow
twitter.com/BadooDev
habrahabr.ru/company/badoo/
vk.com/relzeg
fb.com/relzeg