Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Когда стоит закончить автоматизировать?

560 views

Published on

Доклад Павла Стрункина на конференции SQA Days-20. 24-26 ноября 2016. Минск
www.sqadays.com

Published in: Education
  • Be the first to comment

  • Be the first to like this

Когда стоит закончить автоматизировать?

  1. 1. Когда стоит закончить автоматизировать?
  2. 2. Об авторе: - Automation QA в SoftServe - 5 лет опыта - организатор QA Dnepr community Skype: pashidlos Email: pashidlos@gmail.com
  3. 3. • Проблемы • Декомпозиция проекта • Синхронизация автоматизированного и ручного тестирования • Расчеты (часы/$) • Заключение • Вопросы План
  4. 4. • Раздельная работа QA • Отсутствует стратегия автоматизации • Приоритеты не определены • Сроки не согласованы Проблемы
  5. 5. • Провели декомпозицю проекта • Определили критичность с точки зрения системы • Определили лучшие части для автоматизации Что мы сделали:
  6. 6. Декомпозиция
  7. 7. Критичность функционала • Critical • Major • Normal
  8. 8. Лучший функционал для автоматизации • Как быстро можно написать тест? • Сколько времени уходит на ручной прогон? • Код будет использован повторно? • Тест будет стабилен?
  9. 9. Комбинируем... Система Автоматизация Critical P1 P1 P2 Major P2 P1 P2 P1 P3 Normal P2 P3 P3 P1 P2 P3 АвтоматизацияСистема
  10. 10. Чек-лист
  11. 11. Оценка времени для тестов • P1: 12ч • P2: 27ч • P3: 6ч ИТОГО: 45ч
  12. 12. Оценка времени для ручной проверки • P1: 2ч • P2: 1.5ч • P3: 0.5ч ИТОГО: 4ч
  13. 13. Реальные затраты при ручной проверке В среднем два прогона тестов за релиз: ИТОГО: 8ч
  14. 14. Расчеты в часах Итого P1 P2 P3 Автоматизация (ч) 45 12 27 6 Ручная проверка (ч) 8 4 3 1 Реальные цифры по регрессии (в среднем два прогона за релиз) Количество релизов 6 3 9 6 Окупаемость автоматизации
  15. 15. Расчеты в деньгах QA рейт: 10$/ч • P1: 2ч = 20$ • P2: 1.5ч = 15$ • P3: 0.5ч = 5$ ИТОГО: 4ч= 40$ Automation QA рейт: 15$/ч • P1: 12ч = 180$ • P2: 27ч = 405$ • P3: 6ч = 90$ TOTAL: 45ч = 675$
  16. 16. Расчеты в деньгах Итого P1 P2 P3 Автоматизация ($) 675 180 405 90 Ручная проверка ($) 80 40 30 10 Окупаемость автоматизации Реальные цифры по регрессии (в среднем два прогона за релиз) Количество релизов 9 5 14 9
  17. 17. График окупаемости А как же поддержка тестов?
  18. 18. Поддержка +10 - 20 % каждый релиз
  19. 19. Расчеты с учетом затрат на поддержку Тесты Стоимость ($) 10% ($) 20% ($) Total 675 67.5 135 P1 180 18 36 P2 405 40.5 90 P3 90 9 18
  20. 20. График окупаемости с учетом поддержки
  21. 21. Расчет автоматизации Р1 тестов Итого P1 P2 P3 Автоматизация ($) 675 180 405 90 Ручная проверка ($) 80 40 30 10 Реальные цифры по регрессии (в среднем два прогона за релиз) Количество релизов 9 5 14 9 Окупаемость автоматизации
  22. 22. Расчет автоматизации Р1 тестов с учетом поддержки Тесты Стоимость ($) 10% ($) 20% ($) Total 675 67.5 135 P1 180 18 36 P2 405 40.5 90 P3 90 9 18
  23. 23. График окупаемости Р1 тестов с учетом поддержки P2+P3 нужно проверить вручную!
  24. 24. Добавляем Р2+Р3 тесты Итого P1 P2 P3 Автоматизация ($) 675 180 405 90 Ручная проверка ($) 80 40 30 10 Реальные цифры по регрессии (в среднем два прогона за релиз) Количество релизов 9 5 14 9 Окупаемость автоматизации
  25. 25. График окупаемости
  26. 26. Пример из жизни Покрытие Затраты на автоматизацию (ч) Тесты (ч) Поддержка (ч) Ручное тестирование (ч) Затраты на релиз (ч) 0% 0 0 96 96 33% 552 526 26 48 74 66% 1104 1051 52 16 68 99% 1,656 1577 79 4 83
  27. 27. График окупаемости (ч)
  28. 28. Расчет окупаемости ($) Покрытие Затраты на автоматизацию ($) Тесты ($) Поддержка ($) Ручное тестирование ($) Затраты на релиз ($) 0% 0 0 960 960 33% 8280 7890 390 480 870 66% 16560 15765 780 160 940 99% 24840 23655 1185 40 1225 QA рейт: 10$/ч Automation QA рейт: 15$/ч
  29. 29. График окупаемости ($)
  30. 30. • Автоматизировать сложные для ручной проверки тесты • Уменьшать время на поддержку тестов • Следить за изменением затрат на регрессию Как ускорить окупаемость автоматизации?
  31. 31. • Текущие затраты на регрессию (ТЗР) ▪ Ручное тестирование (ч/$) ▪ Поддержка автоматизированных тестов (ч/$) • Ожидаемые затраты на регрессию (ОЗР) ▪ Ручное тестирование (ч/$) ▪ Поддержка автоматизированных тестов (ч/$) Что отслеживать:
  32. 32. ТЗР > ОЗР ТЗР = ОЗР ТЗР < ОЗР Summary Ручное тестирование Автоматизация
  33. 33. http://qacommunity.com.ua/ https://vk.com/qadnepr Skype: pashidlos Email: pashidlos@gmail.com

×