Документ описывает методы управления большим количеством тестов в процессе автоматизированного тестирования. Основные проблемы включают нестабильность, необходимость в унификации фреймворков и оптимизации процесса тестирования. Предложенные решения включают модульную систему, приоритезацию тестов и автоматический перезапуск для повышения эффективности.

1. 1 | © 2016 RingCentral, Inc. All rights reserved.
Управление хаосом, или как жить
когда число тестов перевалило за
десятки тысяч.
Акмаев Дмитрий.
Санкт-Петербург. DINS

2. 2 | © 2016 RingCentral, Inc. All rights reserved.
О себе
► Акмаев Дмитрий
► Lead QA Automation в DINS
• до этого Quest Software (DELL), I-FREE
► 12 лет в тестировании
► Управляю проектом Global CI

3. 3 | © 2016 RingCentral, Inc. All rights reserved.
Предыстория

4. 4 | © 2016 RingCentral, Inc. All rights reserved.
Global continuous integration
►Интеграционный CI
►Тестовое окружение максимально близкое к PRO
►Полное собрание автотестов

5. 5 | © 2016 RingCentral, Inc. All rights reserved.
Проблемы

6. 6 | © 2016 RingCentral, Inc. All rights reserved.
Проблемы
►Перевернутая пирамида
►Десятки тысяч тестов
►Нестабильность
►Зоопарк фреймворков

7. 7 | © 2016 RingCentral, Inc. All rights reserved.
А все ли тесты нужны?

8. 8 | © 2016 RingCentral, Inc. All rights reserved.
А все ли тесты нужны?
►Не могут работать паралельно
►Есть аналоги не на UI
►Меняют окружение
►Долго бегущие

9. 9 | © 2016 RingCentral, Inc. All rights reserved.
Что делать?

10. 10 | © 2016 RingCentral, Inc. All rights reserved.
Унификация
ВОЕНКОМАТ► Меньше фреймворков
► Единый репортинг
► Кодеревью

11. 11 | © 2016 RingCentral, Inc. All rights reserved.
Модульная система
► Используйте только то, что нужно
► Создавайте свои модули

12. 12 | © 2016 RingCentral, Inc. All rights reserved.
Предварительная приемка
► Не должны мешать другим
► Соответствуют соглашениям
► Не используются таймауты

13. 13 | © 2016 RingCentral, Inc. All rights reserved.
Приоритезация / Группировка
► Быстро получить результат
► Проверять то, что менялось

14. 14 | © 2016 RingCentral, Inc. All rights reserved.
Запись результатов в базу
► Группировка результатов
► Быстрое сравнение
► Расширенная отчетность

15. 15 | © 2016 RingCentral, Inc. All rights reserved.
Выделение впервые упавших тестов
► Отдавать только разницу
► Делить на зоны ответственности

16. 16 | © 2016 RingCentral, Inc. All rights reserved.
Выделение впервые упавших тестов
Tests Day 1 Day 2 Day 3
Test 1 Passed Failed Failed
Test 2 Passed Passed Failed
Test 3 Passed Passed Passed
Test 4 Passed Failed Passed
Test 5 Passed Passed Failed

17. 17 | © 2016 RingCentral, Inc. All rights reserved.
Пометка известных падений
► Не отвлекаться на известное
► Выделение максимально
проблемных баг

18. 18 | © 2016 RingCentral, Inc. All rights reserved.
Автоматический перезапуск
► Сокращение ложных срабатываний
• Сетевые проблемы
• Редко улавимые сбои

19. 19 | © 2016 RingCentral, Inc. All rights reserved.
Контроль вносимых изменений
► Знать, кто мог сломать
► Не менять одновременно одно и то
же разными людьми

20. 20 | © 2016 RingCentral, Inc. All rights reserved.
Спасибо

21. 21 | © 2016 RingCentral, Inc. All rights reserved.
Контакты
► dakmaev@gmail.com
► https://vk.com/akmaev
► https://www.facebook.com/dmitry.akmaev