В своем докладе я расскажу как мы в своей работе совмещаем тест-план и исследовательское тестирование. С первого взгляда, может показаться что это не совсем совместимые вещи. Исследовательское тестирование ассоциируется с методом свободного поиска, а тест-план наоборот – следование заданному порядку. Как совместить эти сущности и ничего не потерять – я попытаюсь рассказать.

1. Тест план и исследовательское тестирование
Василий Буров Ноябрь, 2014

2. Dell Software Group
Обо мне
•Василий Буров
•Тестирую с 2002 года
•В одной компании
•Один продукт
•Email: vasebur@gmail.com
•Skype: b_o_t_l_e_r

3. Dell Software Group
•Исследовательское тестирование как единственно возможный подход тестирования новой функциональности у большого энтрепрайз продукта с 10 летней историей.
•Тест-план – способ ничего не забыть проверить и отслеживать статус тестирования.
Расскажу о следующем

4. Dell Software Group
•Коробочный энтерпрайз продукт.
•Выполняет аудит больших смешанных компьютерных сетей (Windows, Unix, Linux системы).
•Хранилище данных собственной разработки.
•Индексация событий в хранилище для быстрого поиска.
•Сжимаем оригинальные события до 40 раз.
•Обрабатываем события поступающие на сервер со скоростью до 50000 в секунду.
•Умеем отслеживать сессии пользователя на машине.
О продукте

5. Dell Software Group
•5 разработчиков, 5 тестировщиков и один аналитик.
•Все работают более 5 лет в команде.
•3 тестировщика и один разработчик работают с момента основания продукта.
•У нас команда узконаправленных специалистов.
•Модель «автоматизация как сервис».
Наша команда

6. Dell Software Group
«Исследовательское тестирование – процесс, при котором одновременно происходит дизайн тестов, выполнение тестирования и обучение.» (Джеймс Бах).
Исследовательское тестирование

7. Dell Software Group
• Процесс импровизации, поиск ошибки экспромтом.
• Любой может заниматься ad hoc тестированием.
Ad Hoc тестирование

8. Dell Software Group
Подходы к тестированию
http://www.quardev.com/content/whitepapers/et_inside_spectator_sport.pdf

9. Dell Software Group
История: Сбор DHCP логов в репозитори и базу данных с агентом и без него.
Описание: В windows 2012 server у событий dhcp лога появились новые поля.
Задача: Проверить, что мы их корректно собираем.
Пример из жизни

10. Dell Software Group
Что получилось
•Нашлось некоторое количество ошибок.
•Их фикс требовал времени т.к. надо было разбираться как работает сборщик логов написанный давно.
•Было решено не тратить силы и не поддерживать сбор DHCP логов с этой версии ОС до поступления запроса от клиента.

11. Dell Software Group
•Особенность продукта - наличие в легаси кода.
•Начав применять сценарное тестирование время на написание тест кейсов было бы потрачено впустую.
•Уже написанные тест кейсы могут быть не актуальны в будущем.
Выводы

12. Dell Software Group
История: Запуск отчета по расписанию. Одновременный запуск нескольких отчетов.
Описание: Как правило, клиенты планируют запуск всех своих отчетов на одно время в нерабочие часы. Нужно уметь запустить все отчеты в заданное время и построить их без ошибок.
Задача: При компиляции отчет потребляет много машинных ресурсов. Было решено ограничить число одновременно исполняющихся отчетов. Это число задается параметром в конфигурационной базе. Остальные отчеты организовать в виде очереди на запуск.
Еще пример из жизни

13. Dell Software Group
•Таска запускалась на всех серверах в организации.
•Если таска не смогла запуститься в заданное время, то расписание терялось и следующих запусков не происходило.
•Не работал Failover.
•В результате была переделана структура тасок и работа с ними.
Что получилось

14. Dell Software Group
•Другая особенность продукта – давно сложившаяся архитектура и концепция.
•Неэффективность сценарного подхода и в этом примере – пришлось бы переписывать тест-кейсы.
Выводы

15. Dell Software Group
Продукт с 10-летней историей и особенности его разработки
•Много легаси кода.
•Сложившаяся архитектура и концепция.
•Много функционала который не отрезается и остается востребован.
•Билд строится за 4-8 часов.
•Нет спецификаций.
•Меняющиеся требования.
•Поддержка совместимости с предыдущими версиями.
•В среднем годовой релизный цикл.

16. Dell Software Group
Нам нужно
•Не забыть что-либо проверить.
•Дать аргументированный ответ о том, сколько понадобится времени на тестирование.
•Всегда знать где мы находимся.
•Если сроки поджимают, то отприоритезировать проверки.

17. Dell Software Group
В самом общем виде - это документ, отражающий что и как мы делаем чтобы оттестировать наш продукт. Нужен он для того, чтобы планировать работу, мобилизовать и распределить человеческие, временные и технические ресурсы. В некоторых компаниях Тест План выглядит как график и расписание работ. Где-то это сугубо технический документ. Нет общего стандарта. Есть тенденции, есть возможные типовые главы Тест Плана, которые исключительно хорошо описаны у Канера. Но, ни один конкретный тест план не содержит всех глав, которые есть в книжке. Он содержит те из них, которые адекватны конкретной задаче и нашему видению этой задачи.
(Михаил Портнов).
Тест-план

18. Dell Software Group
Рассматривать элементы тест-плана как области функциональности, внутри которых мы применяем исследовательское тестирование для их проверки.
Идея

19. Dell Software Group
•Проверка основной функциональности.
•Корректность обработки ошибок.
•Нагрузочное тестирование (тестирование производительности, стресс тестирование, наработка на отказ).
•Тестирование документации.
Структура тест плана

20. Dell Software Group
N
Name
Duration (ч.)
Status (%)
Actual Bugs
Notes
1
Проверка основной функциональности
…
2
Корректность обработки ошибок
…
3
Нагрузочное тестирование
…
4
Проверка документации
…
Итого
Шаблон тест-плана

21. Dell Software Group
•Пишем тест план.
•Оформляем в виде Excel документа и выкладываем на Sharepoint портал.
•Отправляем ссылку на документ всем заинтересованным лицам.
•Учитываем замечания (если были).
•Тестируем и поддерживаем тест план в актуальном состоянии.
•Профит 
Последовательность действий

22. Dell Software Group
Калькулятор

23. Dell Software Group
Тест план для проверки калькулятора
Name
Проверка основной функциональности
Ввод данных
Проверка арифметических операций
Проверка вывода результата на экран
Проверка работы интерфейса пользователя
Проверка работы на различных ОС
Операции с памятью
Закрытие программы
Проверка работы с минимальными правами
Корректность обработки ошибок
Ввод некорректных символов
Арифметические операции с некорректными данными
Ввод больших данных
Работа при нехватке системных ресурсов
Нагрузочное тестирование
Запуск нескольких копий калькулятора
Операции с большими данными
Проверка на наличие утечек
Проверка документации

24. Dell Software Group
•Исследовательское тестирование это не только ручное тестирование.
•Исследовательское тестирование это не только тестирование «черного ящика».
•Исследовательское тестирование это не только выполнение тестов.
•Исследовательское тестирование это не хаотический процесс.
Заключение

25. Dell Software Group
• Нет универсального подхода.
• Все определяется условиями разработки и характеристиками
конкретного продукта.
• Комбинируйте подходы и берите те их части которые лучше
всего удовлетворяют вашим условиям.
Заключение

26. Dell Software Group
Вопросы
Email: vasebur@gmail.com Skype: b_o_t_l_e_r

27. Dell Software Group
•Сэм Канер, Джек Фолк, Енг Кек Нгуен, “Тестирование программного обеспечения. Фундаментальные концепции менеджмента бизнес приложений”.
•Cem Kaner, James Bach, Bret Pettichord, “Lessons Learned in Software Testing”.
•James Bach, “General Functionality and Stability Test Procedure”.
http://www.satisfice.com/tools/procedure.pdf
•Jon Bach, “Exploratory Testing. Inside the Spectator Sport”. http://www.quardev.com/content/whitepapers/et_inside_spectator_sport.pdf
•Cem Kaner, “The Value of Checklists and the Danger of Scripts: What Legal Training Suggests for Testers”.
http://www.kaner.com/pdfs/ValueOfChecklists.pdf
Список литературы