Уровни атоматизации. Модульное тестирование. Функциональное тестирование (без графического интерфейса). Тестирование GUI. Соотношение объемов автоматизации по уровням. Идеальный вариант. Реальный вариант. Методики автоматизации. Общие сведения. Факторы успешного использования. Применимость. Record/Play, Plain old tests, Keyword-driven, Data-driven, TDD, BDD. Стек автоматизации. Как выбрать инструменты. Основные составляющие стека автоматизации.

1. Автоматизация тестирования
Уровни. Инструменты. Методы.

3. Уровни атоматизации
● Модули

4. Уровни атоматизации
● Non-GUI функционал
● Модули

5. Уровни атоматизации
● GUI функционал
● Non-GUI функционал
● Модули

6. Уровни атоматизации
● GUI функционал
● Non-GUI функционал
● Модули
?

7. Уровни атоматизации
● GUI функционал
● Non-GUI функционал
● Модули

8. Уровни атоматизации
● GUI функционал
● Non-GUI функционал
● Модули

9. Уровни атоматизации
Как исправить?

10. Уровни атоматизации
Как исправить?
● Культура написания обширных unit-тестов

11. Уровни атоматизации
Как исправить?
● Культура написания обширных unit-тестов
● Testable API

12. Методики автоматизации

13. Методики автоматизации
● Record/Play
● Plain old tests
● Keyword-driven
● Data-driven
● TDD/BDD

14. Методики автоматизации: Record/Play
Чувствительность к:
● Изменениям интерфейса
● Изменениям в функционале
● Внешним данным

15. Методики автоматизации: Record/Play
● Виртуальный пользователь ● Встроенная поддержка
Система
Интерфейс
Rec/Play
Система
Интерфейс
Rec/Play

16. Методики автоматизации: Record/Play
Факторы успешного применения
● Независимость от контекста
● Функциональная стабильность
● Независимость от UI
● Разделение тестов на UI и логику

17. Методики автоматизации: Record/Play
● Старый код
● Ручные сценарии
неоправданны
● Неизменность
интерфейса как
требование
● Поведение будет
значительно меняться
● Невозможно
зафиксировать
состояние данных
● Тесты как часть
спецификации системы

18. Методики автоматизации: Plain coding
driver.Url= baseUrl+ "/login/";
driver.FindElement(By.Id("username")).Clear();
driver.FindElement(By.Id("username")).SendKeys("admin");
driver.FindElement(By.Name("password")).Clear();
driver.FindElement(By.Name("password")).SendKeys("admin");
driver.FindElement(By.Name("submit")).Click();
driver.FindElement(By.LinkText("Log out")).Click();
driver.SwitchTo().Alert().Accept();

19. Методики автоматизации: Plain coding
LoginAs("admin", "admin");
Logout();

20. Методики автоматизации: Plain coding
Факторы успешного применения
● Тесты как полноценный программный
продукт
● Высокий уровень владения навыками
программирования

21. Методики автоматизации: Keyword driven
Window Component Action Data Expected Value
LoginPage DomainComboBox Select CompanyDomain
LoginPage UserIDTextBox EnterText <username>
LoginPage UserPasswordTextBox EnterText <password>
LoginPage LoginButton VerifyAction "loggedIn"

22. Методики автоматизации: Keyword driven
Факторы успешного применения
● Разделение деятельности сценаристов и
разработчиков
● Определение уровня абстракции

23. Методики автоматизации: Data driven

24. Методики автоматизации: Data driven
Факторы успешного применения
● Параметризация тестов
● Сочетание с другими методами

25. Методики автоматизации: TDD

26. Методики автоматизации: TDD
Факторы успешного применения
● Поддержка со стороны менеджмента
● Фокус на качестве тестов
● Старые тесты - самые ценные
● Ревью и перекрестное написание тестов/кода
● Ложное чувство идеальности

27. Методики автоматизации: BDD

28. Методики автоматизации: BDD
Факторы успешного применения
● Выяснение целей владельцев продукта
● Фичи в соответствуют целям
● Спецификация наглядным тестом
● Вовлечение владельцев в разработку фич и
сценариев.

29. Методики автоматизации: BDD

30. Стек автоматизации

31. Стек автоматизации
Система
Тесты

32. Стек автоматизации
● Непосредственно тесты
Система
Тесты

33. Стек автоматизации
● Непосредственно тесты
● Драйвер для работы с системой
Система
Драйвер системы
Тесты

34. Стек автоматизации
● Фреймворк запуска тестов
● Непосредственно тесты
● Драйвер для работы с системой
Система
Драйвер системы
Фреймворк
Тесты

35. Стек автоматизации
● Сборщик проекта
● Фреймворк запуска тестов
● Непосредственно тесты
● Драйвер для работы с системой
Система
Драйвер системы
Фреймворк
Сборщик
Тесты

36. Стек автоматизации
● Сервер CI
● Сборщик проекта
● Фреймворк запуска тестов
● Непосредственно тесты
● Драйвер для работы с системой
Система
Драйвер системы
Фреймворк
Сборщик
CI
Тесты

37. Язык
Стек автоматизации
● Сервер CI
● Сборщик проекта
● Фреймворк запуска тестов
● Непосредственно тесты
● Драйвер для работы с системой
● Язык разработки
Система
Драйвер системы
Фреймворк
Сборщик
CI
Тесты

38. Язык
Стек автоматизации
● Сервер CI
● Сборщик проекта
● Фреймворк запуска тестов
● Непосредственно тесты
● Драйвер для работы с системой
● Язык разработки
● IDE Система
Драйвер системы
Фреймворк
Сборщик
CI
Тесты
IDE

39. Репозиторий
Стек автоматизации
● Сервер CI
● Сборщик проекта
● Фреймворк запуска тестов
● Непосредственно тесты
● Драйвер для работы с системой
● Язык разработки
● IDE
● Репозиторий
Система
Драйвер системы
Фреймворк
Сборщик
CI
Тесты
Язык
IDE

40. Репозиторий
Стек автоматизации
● TFS, Travis, Jenkins, QAComplete
● CMake, MSBuils, Ant, TestComplete
● xUnit, MSTest, TestComplete
● Непосредственно тесты
● WebDriver, CodedUI, TestComplete
Система
Драйвер системы
Фреймворк
Сборщик
CI
Тесты
Язык
IDE

41. Стек автоматизации: как выбрать?
Тестируемая система
● доступные инструменты
● требуемое покрытие по платформам

42. Стек автоматизации: как выбрать?
Язык разработки тестов
● доступность специалистов
● возможность обучения
● «кто нам поможет?»
● возможности языка
● среда разработки

43. Стек автоматизации: стоимость владения
Внешняя
● лицензии
● консультации
● обучение
● доработка
Внутренняя
● зарплата
● обучение
● доработка

44. Стек автоматизации: стоимость владения
● схема оплаты
● открытость
● портируемость