Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
Карантинная зона для автотестовКарантинная зона для автотестовповышение стабильности и уменьшение трудозатрат             ...
Семейство продуктов Plesk Parallels Plesk Panel      Web Presence Builder            Customer & Business Manager      Подд...
Регрессионное тестирование (требования)1. Запускать каждый день.2. Запускать все автоматизированные тесты.3. Покрывать все...
Регрессионное тестирование (ежедневный цикл)  Система автоматического          Около 1000    Более 100 тестовых    выполне...
Автоматический тест кейс     Подготовительные                               BLOCKED         действия         Проверка     ...
Причины падений тест кейсов                   новые баги                  баги в тестах    известные, но еще неисправленны...
Причины падений тест кейсов                  Новые баги                   15-20%                Известные баги            ...
Карантин – идем в обход Запуск тест       Подготовка       Установка    Исполнение   плана             VE (s)         прод...
Карантин – пропускаем лишнее                                         Подготовка    Тест план         Bug                  ...
Старый друг лучше новых двух?       FAILED      BLOCKED            SKIPPED                   ?                   BLOCKED  ...
Что получили 100% PASSED FAILED            FAILED   50-60%           20 человека/часов в неделю                   11
Планы на будущее    Тест план      Bug                       • Для разработчика:                                Bug       ...
ВопросыБыстрых Сергей                             ?руководитель группы автоматизации|| Parallels|| sbystrykh@parallels.com...
Upcoming SlideShare
Loading in …5
×

CodeFest 2012. Быстрых С. — Карантинная зона для автотестов: повышение стабильности и уменьшение трудозатрат

692 views

Published on

  • Be the first to comment

  • Be the first to like this

CodeFest 2012. Быстрых С. — Карантинная зона для автотестов: повышение стабильности и уменьшение трудозатрат

  1. 1. Карантинная зона для автотестовКарантинная зона для автотестовповышение стабильности и уменьшение трудозатрат Быстрых Сергей руководитель группы автоматизации
  2. 2. Семейство продуктов Plesk Parallels Plesk Panel Web Presence Builder Customer & Business Manager Поддержка более 15 операционных систем более 60 конфигураций 2
  3. 3. Регрессионное тестирование (требования)1. Запускать каждый день.2. Запускать все автоматизированные тесты.3. Покрывать все доступные конфигурации.4. Заводить все найденные баги.5. Получать полное представление о качестве продукта. 3
  4. 4. Регрессионное тестирование (ежедневный цикл) Система автоматического Около 1000 Более 100 тестовых выполнения тестов VEs серверов Более 50000 результатов запусков планов Более 30 Более 7500 падений 15% не прошедших тестов Система хранения тестов • 1500 тест кейсов 4
  5. 5. Автоматический тест кейс Подготовительные BLOCKED действия Проверка FAILED функциональности Скрипт PASSED 5
  6. 6. Причины падений тест кейсов новые баги баги в тестах известные, но еще неисправленные баги ошибки сети перегрузка тестовых серверов рейс-кондишины нестабильность приложений 6
  7. 7. Причины падений тест кейсов Новые баги 15-20% Известные баги 30-35% Ложные падения 50% 7
  8. 8. Карантин – идем в обход Запуск тест Подготовка Установка Исполнение плана VE (s) продукта тестов Обычная схема выполнения тестов Проверка Исполнение Подготовка Установка условий упавших нового VE продукта карантина тестов Карантин 8
  9. 9. Карантин – пропускаем лишнее Подготовка Тест план Bug VE Bug Тест 1 Bug Тест 2 Запуск Bug Bug тестов Тест 3 Bug Bug Bug Тест N Bug Выполнение Пропуск теста теста TMS Bug Tracker 9
  10. 10. Старый друг лучше новых двух? FAILED BLOCKED SKIPPED ? BLOCKED SKIPPED 10
  11. 11. Что получили 100% PASSED FAILED FAILED 50-60% 20 человека/часов в неделю 11
  12. 12. Планы на будущее Тест план Bug • Для разработчика: Bug проверки при Тест 1 исправлении бага Bug Тест Тест 2 Bug • Для тестировщика: Тест Тест 3 дополнительная Bug информация Bug Тест для верификации бага Тест N TMS Bug Tracker 12
  13. 13. ВопросыБыстрых Сергей ?руководитель группы автоматизации|| Parallels|| sbystrykh@parallels.com || skype: sergey.bystrykh|| tel: +7.952.942.51.15 || http://www.parallels.com 13

×