Мой доклад с Comaqa-2016 Autumn "Автоматизация для не-автоматизаторов - хотелки и реальность"

1. Автоматизация для не-автоматизаторов:
Хотелки и реальность
Андрей Ладутько
Ноябрь 5, 2016

2. АНДРЕЙ ЛАДУТЬКО
Минск, Беларусь
Тест-лид, Эксперт ЦКТ
8+ лет опыта
Процессы, аудиты, тест-дизайн, личная эффективность
SQA Days-12-20 – докладчик и куратор
ISTQB Full Advanced Level
ladutko_andrey@tut.by, andrey_ladutko@epam.com
ladutko_andrey
sof_minsk
http://qastugama.blogspot.comp://qastugama.blog
spot.com

3. 3CONFIDENTIAL
О ЧЕМ ПОГОВОРИМ
•Почему я здесь
•Плюсы и минусы автоматизации
•Обходим минусы
•Вывод
•Ваши вопросы

4. 4CONFIDENTIAL
ЗАКАЗЧИКИ ЛЮБЯТ АВТОМАТИЗИРОВАННОЕ ТЕСТИРОВАНИЕ
http://www.istqb.org/documents/ISTQB_Worldwide_Software_Testing_Practices_Report.pdf

5. 5CONFIDENTIAL
АВТОМАТИЗАЦИЯ И ПРОЦЕССЫ ТЕСТИРОВАНИЯ

6. 6CONFIDENTIAL
ПЛЮСЫ АВТОМАТИЗАЦИИ
1. Заказчики любят автоматизацию
2. Автоматизацию легко продавать
3. Автоматизация - тренд
4. CI невозможна без АТ
5. АТ ускоряет релиз
6. АТ минимизирует влияние человеческого фактора
7. Экономит деньги?

7. 7CONFIDENTIAL
… И МИНУСЫ
1. Дорого
2. Находит мало дефектов
3. Много времени на сопровождение
4. Нужны опытные специалисты
5. АТ нестабильны
6. Может потребовать много времени для запуска

8. 8CONFIDENTIAL
1. АВТОМАТИЗАЦИЯ ДОРОГАЯ

9. 9CONFIDENTIAL
ТРЕУГОЛЬНИК КАЧЕСТВА
Time
Costs
Quality
Visibility
Automation

10. 10CONFIDENTIAL
ОЖИДАНИЯ ЗАКАЗЧИКА ОТ АВТОМАТИЗАЦИИ
Деньги
(экономия на
ручном
тестировании)
Улучшить
Качество
Время
(ускорить релиз)

11. 11CONFIDENTIAL
ЗАКАЗЧИК ХОЧЕТ СЭКОНОМИТЬ
1. Посчитать ROI (чем чаще релизы – тем
эффективнее автоматизация)
2. Подумать о других способах сэкономить
деньги (например, не тестировать области
с малым риском)
3. Обсудить эти пункты с заказчиком перед
началом автоматизации
Деньги
(экономия на
ручном
тестировании)

12. 12CONFIDENTIAL
ЗАКАЗЧИК ХОЧЕТ УСКОРИТЬ РЕЛИЗЫ
1. Определите желаемую частоту релизов
2. Внедрите CI
3. Увеличьте объем API и юнит-тестов вместо
UI-тестов
4. Увеличьте скорость запуска тестов
(параллель)
5. Подумайте о стабилизации тестов
(инструмент, фреймворк, взаимодействие
с разработчиками чтобы подготовить UI для
автоматизации)
Время
(ускорить релиз)

13. 13CONFIDENTIAL
ПИРАМИДА АВТОМАТИЗАЦИИ
В идеале* Заказчик хочет

14. 14CONFIDENTIAL
КУДА РАСХОДУЕТСЯ БЮДЖЕТ
http://www.istqb.org/documents/ISTQB_Worldwide_Software_Testing_Practices_Report.pdf

15. 15CONFIDENTIAL
• Юнит-тесты всегда красные – процесс не работает
• Юнит тесты всегда зеленые – есть вероятность, что они ничего не
проверяют. Как проверить?
МОДУЛЬНОЕ ТЕСТИРОВАНИЕ. КАК ПРОВЕРИТЬ?

16. 16CONFIDENTIAL
МУТАЦИОННОЕ ТЕСТИРОВАНИЕ
Test suites are measured by the percentage of mutants that they kill.
Execute SAME test
Mutant killed
Execute SAME test
Mutant survived

17. 17CONFIDENTIAL
ЮНИТ VS МУТАЦИОННОЕ ТЕСТИРОВАНИЕ
Industry Target Value:
>85% for mutation testing coverage
Mutation coverage =
# 𝑜𝑓 𝑚𝑢𝑡𝑎𝑡𝑖𝑜𝑛𝑠 𝑘𝑖𝑙𝑙𝑒𝑑
# 𝑜𝑓 𝑎𝑙𝑙 𝑚𝑢𝑡𝑎𝑡𝑖𝑜𝑛𝑠

18. 18CONFIDENTIAL
ЗАКАЗЧИК ХОЧЕТ УЛУЧШИТЬ КАЧЕСТВО
1. Тщательно подумайте, может ли
автоматизация улучшить качество
2. Посчитайте метрики, проведите аудит
проекта
3. Разработайте улучшения
Улучшить
Качество

19. 19CONFIDENTIAL
2. АВТОМАТИЗАЦИЯ НАХОДИТ МАЛО ДЕФЕКТОВ

20. 20CONFIDENTIAL
1. Заносите в багтрекер и отмечайте все дефекты, найденные автоматизацией (more visibility)
2. Проанализируйте области, выделите те, в которых автоматизация принесет наибольший эффект
3. Посмотрите перекрытия в тестах по уровням, нет ли избыточности
4. Посчитайте на % невалидных дефектов, переоткрытых дефектов, которые заводит автоматизация,
проанализируйте причины их возникновения
Метрики и измерения в помощь:
• % покрытия АТ (тесты с высоким приоритетом)
• Частота регрессии
• # дефектов на АТ
• Время разработки АТ
СОВЕТЫ

21. 21CONFIDENTIAL
3. АТ ТРЕБУЕТ МНОГО ВРЕМЕНИ НА СОПРОВОЖДЕНИЕ

22. 22CONFIDENTIAL
1. Используйте инструменты для ускорения анализа результатов АТ (Allure, EPAM RP и т.д.):
нестабильные тесты, тесты по открытым дефектам, визуализация результатов запуска АТ
2. Проанализируйте, есть ли необходимость запускать все тесты: какие можно исключить, и/или
запускать реже
3. Разбейте тесты по группам и уровням (приоритеты + модули)
4. Подумайте о низкоуровневой автоматизации (Unit, API)
Метрики и измерения в помощь:
• Сколько времени уходит на анализ автотестов
• % тестов, поддающихся автоматизации
• Стабильность АТ
• % времени необходимого на сопровождение АТ
• # дефектов на 1 запуск автотеста
СОВЕТЫ

23. 23CONFIDENTIAL
goal
ВЫВОД

24. 24CONFIDENTIAL
ladutko_andrey@tut.by, andrey_ladutko@epam.com
ladutko_andrey
sof_minsk
http://qastugama.blogspot.com
СПАСИБО!