1. Карантинная зона для автотестов
Карантинная зона для автотестов
повышение стабильности и уменьшение трудозатрат
Быстрых Сергей
руководитель группы автоматизации

2. Семейство продуктов Plesk
Parallels Plesk Panel
Web Presence Builder
Customer & Business Manager
Поддержка более 15 операционных систем
более 60 конфигураций
2

3. Регрессионное тестирование (требования)
1. Запускать каждый день.
2. Запускать все автоматизированные тесты.
3. Покрывать все доступные конфигурации.
4. Заводить все найденные баги.
5. Получать полное представление о качестве продукта.
3

4. Регрессионное тестирование (ежедневный цикл)
Система автоматического Около 1000 Более 100 тестовых
выполнения тестов VEs серверов
Более 50000
результатов
запусков планов
Более 30
Более 7500 падений
15% не прошедших тестов
Система хранения тестов
• 1500 тест кейсов
4

5. Автоматический тест кейс
Подготовительные
BLOCKED
действия
Проверка
FAILED
функциональности
Скрипт
PASSED
5

6. Причины падений тест кейсов
новые баги
баги в тестах
известные, но еще неисправленные баги
ошибки сети
перегрузка тестовых серверов
рейс-кондишины
нестабильность приложений
6

7. Причины падений тест кейсов
Новые баги
15-20%
Известные баги
30-35%
Ложные падения
50%
7

8. Карантин – идем в обход
Запуск тест Подготовка Установка Исполнение
плана VE (s) продукта тестов
Обычная схема выполнения тестов
Проверка Исполнение
Подготовка Установка
условий упавших
нового VE продукта
карантина тестов
Карантин
8

9. Карантин – пропускаем лишнее
Подготовка
Тест план Bug VE
Bug
Тест 1
Bug
Тест 2 Запуск
Bug
Bug тестов
Тест 3 Bug
Bug
Bug
Тест N
Bug Выполнение Пропуск
теста теста
TMS Bug Tracker
9

10. Старый друг лучше новых двух?
FAILED BLOCKED SKIPPED
?
BLOCKED
SKIPPED
10

11. Что получили
100% PASSED
FAILED FAILED 50-60%
20 человека/часов в неделю
11

12. Планы на будущее
Тест план Bug • Для разработчика:
Bug проверки при
Тест 1 исправлении бага
Bug
Тест
Тест 2
Bug • Для тестировщика:
Тест
Тест 3 дополнительная
Bug
информация
Bug
Тест для верификации бага
Тест N
TMS Bug Tracker
12

13. Вопросы
Быстрых Сергей
?
руководитель группы автоматизации
|| Parallels
|| sbystrykh@parallels.com || skype: sergey.bystrykh
|| tel: +7.952.942.51.15 || http://www.parallels.com
13