Тестирование ПО. Перевод слайдов курса MVA

1. Шаптала Максим | Компьютерная академия Шаг

2. Тестирование ПО
01 | Основы тестирования ПО
1.1 Тестирование ПО
1.2 Программные и железные компоненты
1.3 Основы программирования
1.4 Управление жизненным циклом
04 | Управление проектами тестирования
4.1 Основные этапы тестирования
4.2 Agile подход
4.3 Работа в распределенной команде
02 | Методологии тестирования ПО
2.1 Техники тестирования
2.2 Уровни тестирования
2.3 Типы тестов
05 | Работа с багами
5.1 Выявление программных дефектов
5.2 Журналирование багов
5.3 Управление багами
03 | Разработка тестов ПО
3.1 Пользовательское централизованное
тестирование
3.2 Тестируемость ПО
3.3 Разработка плана тестирования
компонентов
3.4 Особенности тестирования
3.5 Appropriately Scoped Test Cases
06 | Автоматизация тестирования ПО
6.1 Автоматизация тестирования
6.2 Стратегия автоматизация тестирования
6.3 Написание автоматизированных тестов
6.4 Управление тестовыми скриптами
Содержание курса

3. 02 | Методологии тестирования ПО

4. 2.1 Техники тестирования
2.2 Уровни тестирования
2.3 Типы тестов
Обзор

5. 02 | Методологии тестирования ПО
2.1 Техники тестирования

6. Обзор раздела
В этом разделе будут рассмотрены следующие вопросы:
– Техники тестирования. Темы: ручное тестирование,
автоматизированное тестирование, тестирование черный и белый
ящики.

7. Основные вопросы
Что такое ручное тестирование?
Какие преимущества автоматизированного тестирования?
Чем отличается тестирование черного ящика от тестирования
белого ящика?

8. Ручное тестирование
Первый опыт тестирования мы получаем во время изучения
программирования: попробуй и посмотри как это работает.
Это самый простой подход называют ручным тестированием.
При ручном тестировании тестер играет роль пользователя и
проверяет есть ли какое-либо неожиданное или
нежелательное поведение приложения.
Часто, используют план тестов со специфическими тестовыми
случаями для обеспечения тщательного исследования
проекта.
Тестер может быть или не быть частью команды
разработчиков.

9. Автоматизированное тестирование
Автоматизованное тестирование проводится с применением
тестового программного обеспечения (такого, как Microsoft®
Test Manager в Microsoft Visual Studio®) для контроля и
отслеживания одного или более автоматически исполняемых
тестов.
Автоматизованные тесты могут быть созданы и
сконфигурированы каждый раз для новой версии проекта (или
части исходного кода).
Microsoft Test Manager предоставляет детальный отчет о
результатах каждого автоматического теста.

10. Ручное или автоматизированное тестирование
Ручные и автоматизированные тесты дополняют друг друга;
оба типа тестов важны для обеспечения высокого качества
программного обеспечения.
Автоматизация является быстрой и позволяет проверить
поведение ПО на различных исходных данных; оно также
позволяет повторять тесты во время развития проекта. В связи
с тем, что выполнение тестов производиться на компьютере,
усталость и ошибки, которые иногда сопровождаются при
выполнении повторяющихся задач исключаются.
Не смотря на то, что ручные тесты обычно более длительны
(т.к. они выполняются человеком), они часто требуют намного

11. Тестирование черного ящика (Black box)
Тестирование черного ящика связано с отсутствием
информации/знаний о том как работает тестируемая система.
Этот тип тестирования имитирует работу конечного пользователя.
В общем случае, тестер не знает как работает код – он выполняет ввод
и изучает результат. Этот человек не обязательно должен знать
программирование.
Примерный сценарий тестирования черного ящика включает:
 Тестирование, что пользовательский интерфейс содержит все требования и
функционал.
 Тестирование различных входных параметров (включаю ввод выходящих за
ожидаемый диапазон данных, таких, как ввод отрицательного числа для
веса).
 Нагрузочное или стрессовое тестирование системы.
 Тестирование безопасности проекта или системы.

12. Тестирование белого ящика (White Box)
Также известный как стеклянный ящик, чистый ящик или
открытый ящик.
Это тестирования связано с исследованием кода на
потенциальные сценарии отказа или сбоя.
Тестовые случаи создаются тем, кто анализирует код
приложения и подготавливает тесты для обеспечения что
поведение класса соответствует спецификации.
Сценарий тестирования белого ящика предусматривает:
 Тестирование подпрограмм которые используются “за сценой.”
 Тестирование циклов и условий на точность.
 Тестирование производительности кода или алгоритма

13. Видео
Простое воспроизведение ошибок с помощью
ручного тестирования
http://channel9.msdn.com/Series/Visual-Studio-2012-Premium-and-
Ultimate-Overview-RUS/Visual-Studio-Ultimate-2012-Easily-
reproducing-issues-through-manual-testing-RUS

15. Вопросы раздела
 Что такое ручное тестирование?
 В чем преимущество автоматизированного тестирования?
 Чем отличается тестирование черного ящика от тестирования
белого ящика?

16. 2.2 Уровни тестирования
02 | Методологии тестирования

17. Обзор раздела
В этом разделе будут рассмотрено:
– Модульное тестирование
– Компонентное и интеграционное тестирование

18. Главные вопросы
Как называется уровень тестирования, когда разработчик тестирует
отдельный метод?
Что такое интеграционное тестирование?
Какое другое название для интеграционных тестов?

19. Модульное тестирование (Unit Testing)
Модульные тесты это автоматизированные тесы, которые
проверяют функциональность на уровне компонентов, классов,
методов или уровне собственности.
Основная цель модульного тестирования является в том, чтобы
взять небольшую часть тестируемого приложения, изолировать
ее от остального кода и выяснить является ли ее поведение
таким как ожидается.
Каждый модуль тестируется отдельно перед интегрированием
его в компоненты для тестирования интерфейса между
модулями.
Модульные тесты должны быть написаны перед тем (или в

20. Пример модульного теста
Рассмотрим пример мобильного приложения которое принимает рост
и вес человека, затем рассчитывает индекс массы тела (ИМТ) и затем
дает рекомендации для улучшения здоровья и спортивной формы.
Индекс массы рассчитывается используя высоту в дюймах, но
пользователь ввел футы и дюймы (например, 5’6”).
Модульный тес будет включать тестовый метод или функцию которая
конвертирует футы и дюймы в общие дюймы.
Метод, которые рассчитывает индекс массы с весом и общие дюймы
может быть другим модульным тестом.
 Отметим, что модульные тесты покрывают код который не обязательно
видимый для пользователя, он, возможно, не осознают, что высота будет
конвертирована.

21. Компонентное и интеграционное тестирование
С точки зрения тестирования, индивидуальные модули
интегрируются вместе для формированию больших
компонент. В простейшем случае, два модуля, которые уже
протестированы объединяют в интегрированный компонент и
тестируют интерфейс между ними.
Это тестирование называют интеграционное (или
“компонентное тестирования”).
Интеграционное тестирование выявляет проблемы которые
проявляются при объединении модулей. Новые ошибки,
которые появляются скорее всего связаны с интерфейсами
между модулями чем с самими модулями – это упрощает

22. Пример интеграционного теста
В нашем примере вычисления индекса массы тела,
предположим, что мы написали метод конвертирования роста
человека в дюймы и что мы написали отдельный метод
который использует соответствующую формулу для
вычисления ИМТ.
Когда мы пишем третий метод который получает
пользовательский ввод, вызывает метод конвертации и
использует результат для вызова метода расчета , нам
необходимо выполнить интеграционный тест между этими
частями кода.

23. Вопросы раздела
 Как называется когда разработчик тестирует отдельный метод?
 Что такое интегрированные тесты?
 Какое другое название интегрирующих тестов?

24. 2.3 Типы тестирования
02 | Методологии тестирования ПО

25. Обзор раздела
В этом разделе будет рассмотрено следующее:
– Типы тестов
– Тема включает:
Функциональный
Производительности
Регрессионный
Безопасности
Стрессовый
Доступности
Удобства использования
Тестирование локализации

26. Основные вопросы
Что такое регрессия в разработке программного обеспечения?
Какой пример ситуации которая может нагрузить программную
систему?
Какой из типов тестов помогает обеспечить поддержку
пользователей с ограниченными возможностями?

27. Регрессионное тестирование
При изменениях в проекте возможно что существующий код
не будет работать или ранее не выявленные баги начнут
проявлять себя. Этот тип багов называют регрессионными.
Для перехвата этих ошибок, целый проект должен пройти
регрессионные тесты: полностью повторное тестирование
измененной программы предпочтительнее чем тестирование
только измененных модулей, что гарантирует отсутствие
ошибок с изменениями.

28. Стрессовое тестирование
Тестирование в небольших масштабах, например один
пользователь работающий с веб-приложением или базой данных,
только ручной ввод, не может выявить проблемы, которые могут
появиться при использовании приложения в условиях реальной
нагрузки, в «реальном мире».
Нагрузочное тестирование выявляет функциональные ограничения
системы. Это реализуется путем создания экстремального
воздействия, таких как большой объем данных или одновременно
большое количество пользователей.
 Эти тесты также называют нагрузочными так как тестируют систему
при тяжелых нагрузках.
Автоматизация теста позволяет выполнить тяжелы стрессовые
тесты с минимальными трудозатратами.

29. Тесты производительности
Тестирование производительности определяет отзывчивость,
производительность, надежность, и/или масштабируемости
системы, в рамках данной рабочей нагрузки.
Для веб приложений, тестирование производительности часто
тесно связано с стресс тестированием, измеряющим задержку
(lag) и отзывчивость под нагрузкой.
Для других приложений (десктопных и мобильных, например),
тест производительности измеряет скорость и использование
ресурсов таких, как память и жесткий диск.

30. Видео
Нагрузочное тестирование приложений в Visual Studio
http://channel9.msdn.com/Series/Visual-Studio-2012-Premium-and-
Ultimate-Overview-RUS/Visual-Studio-Ultimate-2012-Load-testing-
applications-in-Visual-Studio-RUS

32. Тестирование безопасности
Тест безопасности проверяет службы безопасности
приложения и выявляет потенциальные проблемы с
безопасностью.
Большинство проектов в использует подход черного ящика
для тестирования безопасности, позволяющий экспертам по
безопасности, которым не известен код приложения
исследовать его на дыры и недостатки.

33. Тестирование удобства использования
Тестирование удобства использования исследует то, как
реальные пользователи на самом деле используют ПО.
Например:
 Измеряется как долго для пользователя может занять выполнение
задания.
 Отслеживание как много “кликов” или пользовательских действий
занимает для выполнения задания или доступ к функции.

34. Тестирование локализации
Локализация переводит ГПИ продукта и иногда изменяет
некоторые начальные настройки для того, что бы приложение
было подходящим для другого региона.
 Например, локализованный проект для Великобритании может
изменить язык на английский и единицы измерения, например,
длинны на дюймы или футы.
Тестирование локализации позволяет проверить качество
локализации продукта для определенной целевой
культуры/локали.
Это тестирование сфокусировано на ГПИ и других областях
связанных с локализацией (установка и обновление в
локализованной среде, совместимость железа основанного на
целевом регионе и т.д.).

35. Тестирование доступности
Проверяет поддержку для пользователей с ограниченными
возможностями. Тестирование доступности может включать:
 Соответствие: Соответствует ли оно требованиям
законодательства?
 Эффективность: Могут ли пользователи с ограниченными
возможностями использовать приложение?
 Полезность: Предоставляет ли приложение адекватную
функциональность для пользователей с ограниченными
возможностями?
 Удовлетворенность: Как приложение воспринимается
пользователями с ограниченными возможностями?
Тестирование доступности может включать в себя тесты на удобство
использования для инвалидов с применением вспомогательных
технологических устройств.

36. Видео
Простое тестирование пользовательских интерфейсов с
помощью закодированных тестов
пользовательского интерфейса
http://channel9.msdn.com/Series/Visual-Studio-2012-Premium-and-
Ultimate-Overview-RUS/Visual-Studio-Ultimate-2012-Easily-testing-
user-interfaces-with-Coded-UI-tests-RUS

38. Вопросы раздела
 Что такое регрессия при разработке программного обеспечения?
 Какой пример ситуации которая может привести программную
систему в стрессовое состояние?
 Какой тип тестирования помогает убедится в поддержке
пользователей с ограниченными вомзожностями?

39. Дополнительные ресурсы к этой лекции
MSDN Software Testing Resources
Testing Process for Application Blocks http://msdn.microsoft.com/en- us/library/ff649517.aspx
Black Box & White Box Testing for Application Blocks http://msdn.microsoft.com/en- us/library/ff649503.aspx
Patterns and Practices: Manual System Tests http://msdn.microsoft.com/en- us/library/jj159334.aspx
Test Early and Often http://msdn.microsoft.com/en- us/library/vstudio/ee330950.aspx
Unit Testing http://msdn.microsoft.com/en- us/library/aa292197.aspx
Unit Testing: Testing the Inside http://msdn.microsoft.com/en- us/library/jj159340.aspx
Integration Testing http://msdn.microsoft.com/en- us/library/aa292128.aspx
Unit testing, component level testing and UI testing,
what to use and when
http://blogs.msdn.com/b/raulperez/archive /2010/04/29/unit-testing-
component- level-testing-and-ui-testing-what-to-use- and-when.aspx
Regression Testing http://blogs.msdn.com/b/narendra_parihar
s_blog/archive/2012/04/20/regression- testing.aspx
Performance and Stress Testing http://msdn.microsoft.com/library/dd2935 40.aspx
Security Testing http://msdn.microsoft.com/en- us/library/aa292190.aspx
Localization Testing http://msdn.microsoft.com/en- us/library/aa292138.aspx
Testing a User Interface (UI) http://msdn.microsoft.com/en-
us/library/windows/desktop/ff728827.aspx