В командах есть разные роли: тестировщики, разработчики, автоматизаторы, бизнес-аналитики. Менеджмент хорошо понимает процесс разработки если каждый этап выполняется разными узкими специалистами. Хорошо это или плохо в контексте эффективного написания и использования автоматических тестов? Приходите, попробуем обсудить и разобраться в этом вопросе.
QA Fest 2019. Петр Тарасенко. QA Hackathon - The Cookbook 22
QA Fest 2017. Игорь Хрол. Кто должен писать автоматические тесты?
1. Hire the top 3% of freelance talent www.toptal.com
Кто должен писать
автоматические
тесты?
Игорь Хрол, Минск
www.toptal.comHire the top 3% of freelance talent
2. Hire the top 3% of freelance talent www.toptal.com
Кто перед вами?
● Игорь Хрол
● Team Lead / QA Engineer в отделе
аналитики Toptal
● >10 лет в отрасли
● Инженер, тимлид, менеджер,
архитектор, тренер, консультант
● Python, Scala, Ruby, Java, SQL и другое
● www.khroliz.com
2
3. Hire the top 3% of freelance talent www.toptal.com3
4. Hire the top 3% of freelance talent www.toptal.com
О чём говорим?
● Подходы по организации автотестов
● Постараюсь описать как плюсы, так и минусы
4
5. Hire the top 3% of freelance talent www.toptal.com
Классическая картина
мира
www.toptal.comHire the top 3% of freelance talent
6. Hire the top 3% of freelance talent www.toptal.com
Автотесты
Автоматизаторы
Тест кейсы
Разработка автотестов
Ручные
тестировщики
6
7. Hire the top 3% of freelance talent www.toptal.com
Использование
Билд на
тестирование
Тест кейсы
Ручные
тестировщики
Автотесты
Автоматизаторы
Ручные
тестировщики
7
8. Hire the top 3% of freelance talent www.toptal.com
Доработка
автотестов
Автоматизаторы
Поддержка
Красный
автотест
Дефект
Разработчики
Ручные
тестировщики
8
9. Hire the top 3% of freelance talent www.toptal.com
http://www.yatester.ru/2017/08/blog-post.html
9
10. Hire the top 3% of freelance talent www.toptal.com
Что хорошего?
10
● Красивые и сложные процессы
○ Менеджеры повышают ЧСВ
11. Hire the top 3% of freelance talent www.toptal.com
● Красивые и сложные процессы
○ Менеджеры повышают ЧСВ
Что хорошего?
11
● Узкая специализация
○ Можно сделать работу менее квалифицированными людьми
12. Hire the top 3% of freelance talent www.toptal.com
Что плохого?
● Высокая формализация при передаче информации
12
● Неочевидное использование автотестов
● Разработка мало вовлечена
13. Hire the top 3% of freelance talent www.toptal.com
Где можно применять?
Для outsourcing’a
отдельных кусков
разработки
13
В классическом
enterprise
14. Hire the top 3% of freelance talent www.toptal.com
От каждого по
возможностям, каждому -
по фреймворку
www.toptal.comHire the top 3% of freelance talent
15. Hire the top 3% of freelance talent www.toptal.com
Фрейворк
Разработка автотестов
“Ручные”
тестировщики
Автоматизаторы
Автотесты
15
16. Hire the top 3% of freelance talent www.toptal.com
Использование
Автотесты
16
Билд на
тестирование
“Ручные”
тестировщики
Ручные тесты
17. Hire the top 3% of freelance talent www.toptal.com
Что хорошего?
● Можно сразу писать автотесты
17
● Меньше документации
● Нужно меньше автоматизаторов
18. Hire the top 3% of freelance talent www.toptal.com
Что плохого?
Требуется более высокая квалификация тестировщиков
18
19. Hire the top 3% of freelance talent www.toptal.com
Где можно применять?
“Продвинутый” enterprise
19
Для outsourcing’a
тестирования целиком
20. Hire the top 3% of freelance talent www.toptal.com
Универсальный солдат
www.toptal.comHire the top 3% of freelance talent
21. Hire the top 3% of freelance talent www.toptal.com
Ручные тесты
QA инженер
21
Автотесты
22. Hire the top 3% of freelance talent www.toptal.com
Что хорошего?
Проще в управлении
Меньше потерь на передачу
информации
23. Hire the top 3% of freelance talent www.toptal.com
Что плохого?
Результат часто неудовлетворительный,
когда “ручному тестировщику” добавляют
разработку автотестов
24. Hire the top 3% of freelance talent www.toptal.com
Где можно применять?
В небольших командах, где нет
смысла разводить большое
количество ролей
Если у вас есть правильный
“тестировщик”
25. Hire the top 3% of freelance talent www.toptal.com
Нигилизм
www.toptal.comHire the top 3% of freelance talent
26. Hire the top 3% of freelance talent www.toptal.com
Кто пишет автоматические тесты?
Никто
27. Hire the top 3% of freelance talent www.toptal.com
Схема разработки I
Ручные тест
кейсы
Ручные тест
кейсы
Ручные тест
кейсы
Билд на
тестирование
Ручные
тестировщики
28. Hire the top 3% of freelance talent www.toptal.com
Схема разработки II
28
29. Hire the top 3% of freelance talent www.toptal.com
Что хорошего?
Быстро и дешево
29
30. Hire the top 3% of freelance talent www.toptal.com
Что плохого?
Быстро и дёшево только в начале
30
31. Hire the top 3% of freelance talent www.toptal.com
Где можно применять?
● Разработка прототипов
● Короткие проекты
● Заказчик, которого вы видите в
первый и последний раз
31
32. Hire the top 3% of freelance talent www.toptal.com
Модульные тесты
www.toptal.comHire the top 3% of freelance talent
33. Hire the top 3% of freelance talent www.toptal.com
Кто пишет и поддерживает?
● Если пишутся, то разработчиками
● Плотно связаны с кодом
● QA обычно туда не допускается
● Часто дублируют проверки более высокоуровневых тестов
34. Hire the top 3% of freelance talent www.toptal.com
Вспомним про
“пирамиду”
https://www.youtube.com/watch?v=JYY_52DTJqs Heisenbug’2016
https://www.youtube.com/watch?v=ZC_GH4AANqc QA Fest’2015
35. Hire the top 3% of freelance talent www.toptal.com
Тесты пишут разработчики
www.toptal.comHire the top 3% of freelance talent
36. Hire the top 3% of freelance talent www.toptal.com
Кто пишет и поддерживает?
● Разрабатывается вместе с кодом
○ можно до кода (TDD, BDD, ATDD)
○ можно после
○ можно параллельно
37. Hire the top 3% of freelance talent www.toptal.com
Что хорошего?
● Можно делать выбор между разными типами автотестов
(приёмочные, API, модульные) для поддержания баланса
“пирамиды”
● Кардинально меняется эффективность от автотестов
● Тестируемость приложения закладывается в процессе
37
38. Hire the top 3% of freelance talent www.toptal.com
Что плохого?
● Требуются ответственные разработчики
● Разработчики должны уметь тестировать
● Непонятная роль QA на проекте
38
39. Hire the top 3% of freelance talent www.toptal.com
Где можно применять?
● Амбициозные стартапы
● Передовые компании
39
40. Hire the top 3% of freelance talent www.toptal.com
Подводя итоги...
www.toptal.comHire the top 3% of freelance talent
41. Hire the top 3% of freelance talent www.toptal.com
Для успешных автотестов требуются
1. Продуманные тестовые сценарии
2. Качественный фреймворк и инструментарий
3. Подготовленное приложение
4. Максимальное использование низкоуровневых проверок
42. Hire the top 3% of freelance talent www.toptal.com
От исполнителя требуется
1. Знать то, как тестировать, чтобы не автоматизировать ненужное
(быть “тестировщиком”)
2. Владеть фреймворками и инструментами (быть “автоматизатором”)
3. Понимать архитектуру приложения, чтобы тестировать в нужных
местах
4. Знать код приложения, чтобы писать модульные тесты (быть
“разработчиком”)
43. Hire the top 3% of freelance talent www.toptal.com
Можно раскладывать разные
функции по конвейеру
44. Hire the top 3% of freelance talent www.toptal.com
Или повышать квалификацию и
развиваться в разные стороны
45. Hire the top 3% of freelance talent www.toptal.com
Спасибо!
Вопросы?
www.toptal.comHire the top 3% of freelance talent
Игорь Хрол
igor.khrol@toptal.com
khroliz@gmail.com
skype: igor.khrol