Why testing take so long

10,825 views
10,993 views

Published on

Presentation from online conference ConfeT&QA (September 2012) about testing process in Agile environment with detailed analysis why it takes so long.

Published in: Technology
0 Comments
3 Likes
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total views
10,825
On SlideShare
0
From Embeds
0
Number of Embeds
8,703
Actions
Shares
0
Downloads
1
Comments
0
Likes
3
Embeds 0
No embeds

No notes for slide

Why testing take so long

  1. 1. Почему тестирование занимает так много времени? Николай Алименков http://xpinjection.com @xpinjection
  2. 2. Поле боя: «Обычный» Scrum
  3. 3. В чем собственно проблема? Итерация N+1: Протестировано только 40% Итерация N: Все протестировано, заказчик счастлив
  4. 4. Тестировщики лентяи и бездельники?!?
  5. 5. Что вас ждет сегодня? Несколько предположений о работе тестировщика 2 дня из жизни тестировщика Анализ, выводы и философское бухтелово
  6. 6. Предположение #1 СТОП! А почему так мало??? Берем модуль на тестирование Непрерывная сессия 90 минут Перерыв 3x Митинги Почта Перекуры Чаты Перерывы Еда
  7. 7. Предположение #2 Оооо! Это слишком упрощенный сценарий! 2 минуты 45 тестов 90 минут Цель тестирования – как можно большее покрытие
  8. 8. Предположение #3 Нашли дефект – надо о подготовить о нем отчет + + = 8 минут Снова упрощение! Это может занять целый день!
  9. 9. День первый. Вторник. 
  10. 10. Начнем с модуля А Крутая XP команда Модуль Время на отчет о дефекте (тесты, которые нашли дефекты) Время на тест дизайн и выполнение (тесты, которые не находят дефекты) Всего тестов А 0 минут (нет дефектов) 90 минут (45 тестов) 45
  11. 11. Переходим к модулю Б Такая же крутая XP команда, но все мы люди…  Модуль Время на отчет о дефекте (тесты, которые нашли дефекты) Время на тест дизайн и выполнение (тесты, которые не находят дефекты) Всего тестов А 0 минут (нет дефектов) 90 минут (45 тестов) 45 Б 10 минут (1 дефект) 80 минут (40 тестов) 41
  12. 12. На закуску модуль В Это наше слабое звено  Модуль Время на отчет о дефекте (тесты, которые нашли дефекты) Время на тест дизайн и выполнение (тесты, которые не находят дефекты) Всего тестов А 0 минут (нет дефектов) 90 минут (45 тестов) 45 Б 10 минут (1 дефект) 80 минут (40 тестов) 41 В 80 минут (8 дефектов) 10 минут (5 тестов) 13
  13. 13. Что мы видим? Модуль А отлично протестирован по покрытию Продолжать ли тестирование для модуля В? Модуль В отстает уже в 3 раза Модуль В отлично протестирован по дефектам
  14. 14. Давайте сделаем выводы… #1. Дефекты в продукте могут уменьшить покрытие или замедлить тестирование #2. Тестирование нельзя измерять ни покрытием ни количеством найденных дефектов
  15. 15. Начинается второй день…
  16. 16. В модуле А все без изменений Модуль Время на проверку исправлений Время на отчет о дефекте (тесты, которые нашли дефекты) Время на тест дизайн и выполнение (тесты, которые не находят дефекты) Новых тестов Всего тестов за 2 дня А 0 минут (не было дефектов) 0 минут (нет дефектов) 90 минут (45 тестов) 45 90
  17. 17. Команда модуля Б исправилась Модуль Время на проверку исправлений Время на отчет о дефекте (тесты, которые нашли дефекты) Время на тест дизайн и выполнение (тесты, которые не находят дефекты) Новых тестов Всего тестов за 2 дня А 0 минут (не было дефектов) 0 минут (нет дефектов) 90 минут (45 тестов) 45 90 Б 6 минут (был 1 дефект) 10 минут (1 дефект) 74 минуты (37 тестов) 38 79
  18. 18. Команде модуля В пришлось попотеть… Модуль Время на проверку исправлений Время на отчет о дефекте (тесты, которые нашли дефекты) Время на тест дизайн и выполнение (тесты, которые не находят дефекты) Новых тестов Всего тестов за 2 дня А 0 минут (не было дефектов) 0 минут (нет дефектов) 90 минут (45 тестов) 45 90 Б 6 минут (был 1 дефект) 10 минут (1 дефект) 74 минуты (37 тестов) 38 79 В 48 минут (было 8 дефектов) 40 минут (4 дефекта) 2 минуты (1 тест) 5 18
  19. 19. Что мы видим? Даже модуль Б уже отстает на 10% Модуль В за 2 дня отстал в 5 раз Это совершенно случайный и непредсказуемый процесс
  20. 20. Давайте сделаем выводы… #1. Нахождение дефектов сегодня требует проверки завтра, что еще уменьшает покрытие или замедляет тестирование #2. Качество продукта оказывает огромное влияние на скорость тестирования
  21. 21. НАМ ВСЕМ Ж…?!? ЧТО ЖЕ ДЕЛАТЬ?
  22. 22. Выход есть! Инженерные практики Короткий цикл обратной связи Отличие тестирования от проверок и автоматизация
  23. 23. И не затягивайте с тестированием!
  24. 24. @xpinjection http://xpinjection.com mikalai.alimenkou@xpinjection.com

×