В этом докладе вы услышите историю о том, как можно построить процесс автоматизированного тестирования и непрерывной интеграции за короткий период времени. Мы поговорим о точках роста, развития и внедрения автоматизированного тестирования на уже существующем проекте. Вы узнаете, что с чего начинать автоматизированное тестирование и как выбрать "работающую" стратегию. После доклада вы захотите избавиться или значительно сократить ручное тестирование и ручной труд у себя на проекте. Вы откроете для себя целую систему, элементы который можно будет внедрять у себя, и которые будут работать. Доклад будет интересен всем тестировщикам, разработчикам и менеджерам проектов.

1. Моя система
Автоматическое тестирование
Игорь Любин
1

2. 2

3. 3

4. CRM
Pinpad
Киоск
WebCallCenter
3rd
4

5. Моя система
• Разжечь угли
• Провести пытки
• Закрутить гайки
5

6. The Joel test
1. Пользуетесь ли вы системой контроля версий?
2. Можете ли вы собрать продукт за один шаг?
3. Выполняете ли вы ежедневные билды?
4. Используете ли вы базу данных ошибок?
5. Исправляете ли вы ошибки перед написанием нового кода?
6. Есть ли у вас актуальный план работ?
7. Есть ли у вас спецификация?
8. Предоставлены ли вашим программистам спокойные условия для работы?
9. Используете ли вы новейшее дорогое оборудование?
10. Есть ли у вас тестеры?
11. Пишут ли кандидаты на работу код во время собеседования?
12. Проводите ли вы коридорное тестирование удобства использования программ?
http://russian.joelonsoftware.com/Articles/TheJoelTest.html
6

7. Проектный треугольник
7

8. Сокращение цикла разработки
Анализ Разработка Тестирование
8

9. Сокращение цикла разработки
9
Анализ Разработка
ТРИЗ http://www.altshuller.ru/triz/

10. Разжигаем угли
Подготовка к проекту
10

11. Какой первый автоматический тест?
11

12. Как вы запускаете тесты?
12

13. Сборка, выкладка и тест
13

14. Проводим
пытки
14
Тестирование

15. Пирамида тестирования
http://positiveflower.blogspot.ru/2012/12/agile.html
15

16. Тестировщики тоже могут писать юнит-тесты
16

17. Пример
Фронты (UI)APIUnit
Core
Json Web
XML PinPad
17

18. Сначала позитив
18
Сергей Мартыненко О стратегиях тестирования
http://blog.shumoos.com/archives/293

19. Чек-лист покрытия API
19
• Хотя бы один тест с ответом 200 ОК
• Проверка JSON схемы ответа, проверка наличия полей и их правильных типов
• Проверка измененного состояния
• Проверить, что изменения легли в БД
• Проверки очередей
• Проверки в смежных системах
• Тесты на кэш
• Вызов метода дважды
• Максимальное число параметров, расширения команды, другие способы вызова
• «Плохие» статусы у пользователей и карт
• Not found => Валидные, но несуществующие в системе значения параметров
• Invalid => Плохие значения параметров, пробелы, выход за границу допустимых значений
• Not specified => Пустые значения параметров, другие типы, проверка обязательных
• Пустой запрос = {}
• Запрос без параметров = ""
• Все ли покрыто из документации?

20. Правило 21-го UI теста
20

21. Что лучше css
или xpath
локаторы?
21

22. Что лучше css
или xpath
локаторы?
22
Лояльные
разработчики
и id локаторы

23. 23

24. Закручиваем
гайки
24
Договариваемся о правилах

25. «Фича» готова, если на нее есть автотест
25

26. Тесты должны быть зеленые
26

27. На каждую ошибку автотест
27

28. Сначала чиним баги,
потом пишем новый код
28

29. Заключение
• Разжигаем угли
• Первым делом автоматизировать сборку и выкладку
• Запросить/выделить/добыть/выбить – машины для CI
• Проводим пытки
• Пишем тесты на разных уровнях: unit, API, UI
• Заручаемся поддержкой разработчиков
• Закручиваем гайки
• Договариваемся о правилах
• «Фича» готова, если на нее написан автотест
• Тесты должны быть зеленые
• На каждую ошибку автотест
• Сначала чиним баги, потом пишем новый код
29

30. Что было? Что стало?
• Сборка делалась на
компьютере разработчика
• Выкладки проводились
вручную
• Тесты не писались/Запускались
изредка
• «А что работает?»
• Непрерывная интеграция
• Тесты на разных уровнях
• Все тесты зеленые
• Измерямое покрытие
30

31. Контакты
• Skype: igor.lyubin
• Email: igor.lyubin@outlook.com
31

32. Пример api теста
32
[Test, Smoke]
public void Shoud_find_customer_by_id ()
{
var customerId = Db.GetCustomerId();
var response = Api.SendRequest("find_customer_by_id", new { customer_id = customerId });
Assert.That(response.StatusCode, Is.EqualTo(HttpStatusCode.OK));
Assert.That(response.DeserializeTo<CustomerResult>().CustomerId, Is.EqualTo(customerId));
}

33. Roy Osherove “The Art of Unit Testing”
Manual tests suck
33

34. Автоматическое тестирование
vs
Автоматизация тестирования
Игорь Хрол http://sqadays.com/ru/talk/19552
34