Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Тест-план и исследовательское тестирование

7,900 views

Published on

Презентация Василия Бурова на SQA Days-16
14-15 ноября 2014, Санкт-Петербург, Россия
www.sqadays.com

Published in: Education
  • Be the first to comment

Тест-план и исследовательское тестирование

  1. 1. Тест план и исследовательско е тестирование Василий Буров Ноябрь, 2014
  2. 2. Dell Software Group Обо мне • Василий Буров • Тестирую с 2002 года • В одной компании • Один продукт • Email: vasebur@gmail.com • Skype: b_o_t_l_e_r
  3. 3. • Исследовательское тестирование как единственно возможный подход тестирования новой функциональности у большого энтрепрайз продукта с 10 летней историей. • Тест-план – способ ничего не забыть проверить и отслеживать статус тестирования. Dell Software Group Расскажу о следующем
  4. 4. • Коробочный энтерпрайз продукт. • Выполняет аудит больших смешанных компьютерных сетей (Windows, Unix, Linux системы). • Хранилище данных собственной разработки. • Индексация событий в хранилище для быстрого поиска. • Сжимаем оригинальные события до 40 раз. • Обрабатываем события поступающие на сервер со скоростью до 50000 в секунду. • Умеем отслеживать сессии пользователя на машине. Dell Software Group О продукте
  5. 5. • 5 разработчиков, 5 тестировщиков и один аналитик. • Все работают более 5 лет в команде. • 3 тестировщика и один разработчик работают с момента основания продукта. • У нас команда узконаправленных специалистов. • Модель «автоматизация как сервис». Dell Software Group Наша команда
  6. 6. Исследовательское тестирование «Исследовательское тестирование – процесс, при котором одновременно происходит дизайн тестов, выполнение тестирования и обучение.» Dell Software Group (Джеймс Бах).
  7. 7. • Процесс импровизации, поиск ошибки экспромтом. • Любой может заниматься ad hoc тестированием. Dell Software Group Ad Hoc тестирование
  8. 8. Dell Software Group Подходы к тестированию http://www.quardev.com/content/whitepapers/et_inside_spectator_sport.pdf
  9. 9. История: Сбор DHCP логов в репозитори и базу данных с агентом и без него. Описание: В windows 2012 server у событий dhcp лога появились новые поля. Задача: Проверить, что мы их корректно собираем. Dell Software Group Пример из жизни
  10. 10. Dell Software Group Что получилось • Нашлось некоторое количество ошибок. • Их фикс требовал времени т.к. надо было разбираться как работает сборщик логов написанный давно. • Было решено не тратить силы и не поддерживать сбор DHCP логов с этой версии ОС до поступления запроса от клиента.
  11. 11. • Особенность продукта - наличие в легаси кода. • Начав применять сценарное тестирование время на написание тест кейсов было бы потрачено впустую. • Уже написанные тест кейсы могут быть не актуальны в будущем. Dell Software Group Выводы
  12. 12. История: Запуск отчета по расписанию. Одновременный запуск нескольких отчетов. Описание: Как правило, клиенты планируют запуск всех своих отчетов на одно время в нерабочие часы. Нужно уметь запустить все отчеты в заданное время и построить их без ошибок. Задача: При компиляции отчет потребляет много машинных ресурсов. Было решено ограничить число одновременно исполняющихся отчетов. Это число задается параметром в конфигурационной базе. Остальные отчеты организовать в виде очереди на запуск. Dell Software Group Еще пример из жизни
  13. 13. • Таска запускалась на всех серверах в организации. • Если таска не смогла запуститься в заданное время, то расписание терялось и следующих запусков не происходило. • Не работал Failover. • В результате была переделана структура тасок и работа с ними. Dell Software Group Что получилось
  14. 14. • Другая особенность продукта – давно сложившаяся архитектура и концепция. • Неэффективность сценарного подхода и в этом примере – пришлось бы переписывать тест-кейсы. Dell Software Group Выводы
  15. 15. Dell Software Group Продукт с 10-летней историей и особенности его разработки • Много легаси кода. • Сложившаяся архитектура и концепция. • Много функционала который не отрезается и остается востребован. • Билд строится за 4-8 часов. • Нет спецификаций. • Меняющиеся требования. • Поддержка совместимости с предыдущими версиями. • В среднем годовой релизный цикл.
  16. 16. Dell Software Group Нам нужно • Не забыть что-либо проверить. • Дать аргументированный ответ о том, сколько понадобится времени на тестирование. • Всегда знать где мы находимся. • Если сроки поджимают, то отприоритезировать проверки.
  17. 17. В самом общем виде - это документ, отражающий что и как мы делаем чтобы оттестировать наш продукт. Нужен он для того, чтобы планировать работу, мобилизовать и распределить человеческие, временные и технические ресурсы. В некоторых компаниях Тест План выглядит как график и расписание работ. Где-то это сугубо технический документ. Нет общего стандарта. Есть тенденции, есть возможные типовые главы Тест Плана, которые исключительно хорошо описаны у Канера. Но, ни один конкретный тест план не содержит всех глав, которые есть в книжке. Он содержит те из них, которые адекватны конкретной задаче и нашему видению этой задачи. (Михаил Портнов). Dell Software Group Тест-план
  18. 18. Рассматривать элементы тест-плана как области функциональности, внутри которых мы применяем исследовательское тестирование для их проверки. Dell Software Group Идея
  19. 19. • Проверка основной функциональности. • Корректность обработки ошибок. • Нагрузочное тестирование (тестирование производительности, стресс тестирование, наработка на отказ). • Тестирование документации. Dell Software Group Структура тест плана
  20. 20. Dell Software Group Шаблон тест-плана N Name Duration (ч.) Status (%) Actual Bugs Notes 1 Проверка основной функциональности … 2 Корректность обработки ошибок … 3 Нагрузочное тестирование … 4 Проверка документации … Итого
  21. 21. • Пишем тест план. • Оформляем в виде Excel документа и выкладываем на Sharepoint портал. • Отправляем ссылку на документ всем заинтересованным лицам. • Учитываем замечания (если были). • Тестируем и поддерживаем тест план в актуальном состоянии. • Профит  Dell Software Group Последовательность действий
  22. 22. Dell Software Group Калькулятор
  23. 23. Тест план для проверки калькулятора Dell Software Group Name Проверка основной функциональности Ввод данных Проверка арифметических операций Проверка вывода результата на экран Проверка работы интерфейса пользователя Проверка работы на различных ОС Операции с памятью Закрытие программы Проверка работы с минимальными правами Корректность обработки ошибок Ввод некорректных символов Арифметические операции с некорректными данными Ввод больших данных Работа при нехватке системных ресурсов Нагрузочное тестирование Запуск нескольких копий калькулятора Операции с большими данными Проверка на наличие утечек Проверка документации
  24. 24. • Исследовательское тестирование это не только ручное тестирование. • Исследовательское тестирование это не только тестирование «черного ящика». • Исследовательское тестирование это не только выполнение тестов. • Исследовательское тестирование это не хаотический процесс. Dell Software Group Заключение
  25. 25. • Нет универсального подхода. • Все определяется условиями разработки и характеристиками конкретного продукта. • Комбинируйте подходы и берите те их части которые лучше всего удовлетворяют вашим условиям. Dell Software Group Заключение
  26. 26. Dell Software Group Вопросы Email: vasebur@gmail.com Skype: b_o_t_l_e_r
  27. 27. Список литературы • Сэм Канер, Джек Фолк, Енг Кек Нгуен, “Тестирование программного обеспечения. Фундаментальные концепции менеджмента бизнес приложений”. • Cem Kaner, James Bach, Bret Pettichord, “Lessons Learned in Software Testing”. • James Bach, “General Functionality and Stability Test Procedure”. Dell Software Group http://www.satisfice.com/tools/procedure.pdf • Jon Bach, “Exploratory Testing. Inside the Spectator Sport”. http://www.quardev.com/content/whitepapers/et_inside_spectator_spor t.pdf • Cem Kaner, “The Value of Checklists and the Danger of Scripts: What Legal Training Suggests for Testers”. http://www.kaner.com/pdfs/ValueOfChecklists.pdf

×