• Share
  • Email
  • Embed
  • Like
  • Save
  • Private Content
CodeFest 2012. Быстрых С. — Карантинная зона для автотестов: повышение стабильности и уменьшение трудозатрат
 

CodeFest 2012. Быстрых С. — Карантинная зона для автотестов: повышение стабильности и уменьшение трудозатрат

on

  • 543 views

 

Statistics

Views

Total Views
543
Views on SlideShare
418
Embed Views
125

Actions

Likes
0
Downloads
2
Comments
0

4 Embeds 125

http://codefest.ru 98
http://2012.codefest.ru 18
http://2014.codefest.ru 8
http://hghltd.yandex.net 1

Accessibility

Categories

Upload Details

Uploaded via as Adobe PDF

Usage Rights

© All Rights Reserved

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Processing…
Post Comment
Edit your comment

    CodeFest 2012. Быстрых С. — Карантинная зона для автотестов: повышение стабильности и уменьшение трудозатрат CodeFest 2012. Быстрых С. — Карантинная зона для автотестов: повышение стабильности и уменьшение трудозатрат Presentation Transcript

    • Карантинная зона для автотестовКарантинная зона для автотестовповышение стабильности и уменьшение трудозатрат Быстрых Сергей руководитель группы автоматизации
    • Семейство продуктов Plesk Parallels Plesk Panel Web Presence Builder Customer & Business Manager Поддержка более 15 операционных систем более 60 конфигураций 2
    • Регрессионное тестирование (требования)1. Запускать каждый день.2. Запускать все автоматизированные тесты.3. Покрывать все доступные конфигурации.4. Заводить все найденные баги.5. Получать полное представление о качестве продукта. 3
    • Регрессионное тестирование (ежедневный цикл) Система автоматического Около 1000 Более 100 тестовых выполнения тестов VEs серверов Более 50000 результатов запусков планов Более 30 Более 7500 падений 15% не прошедших тестов Система хранения тестов • 1500 тест кейсов 4
    • Автоматический тест кейс Подготовительные BLOCKED действия Проверка FAILED функциональности Скрипт PASSED 5
    • Причины падений тест кейсов новые баги баги в тестах известные, но еще неисправленные баги ошибки сети перегрузка тестовых серверов рейс-кондишины нестабильность приложений 6
    • Причины падений тест кейсов Новые баги 15-20% Известные баги 30-35% Ложные падения 50% 7
    • Карантин – идем в обход Запуск тест Подготовка Установка Исполнение плана VE (s) продукта тестов Обычная схема выполнения тестов Проверка Исполнение Подготовка Установка условий упавших нового VE продукта карантина тестов Карантин 8
    • Карантин – пропускаем лишнее Подготовка Тест план Bug VE Bug Тест 1 Bug Тест 2 Запуск Bug Bug тестов Тест 3 Bug Bug Bug Тест N Bug Выполнение Пропуск теста теста TMS Bug Tracker 9
    • Старый друг лучше новых двух? FAILED BLOCKED SKIPPED ? BLOCKED SKIPPED 10
    • Что получили 100% PASSED FAILED FAILED 50-60% 20 человека/часов в неделю 11
    • Планы на будущее Тест план Bug • Для разработчика: Bug проверки при Тест 1 исправлении бага Bug Тест Тест 2 Bug • Для тестировщика: Тест Тест 3 дополнительная Bug информация Bug Тест для верификации бага Тест N TMS Bug Tracker 12
    • ВопросыБыстрых Сергей ?руководитель группы автоматизации|| Parallels|| sbystrykh@parallels.com || skype: sergey.bystrykh|| tel: +7.952.942.51.15 || http://www.parallels.com 13