Presentation for Selenium Camp 2015

1. Получаем максимум от
автоматизации
Антон Сирота
Skype: Yader-2007

2. Обо мне
Тимлид группы автоматизации
Активный спикер QA Talk в Херсоне, Одессе и Львове
Докладчик QA School в Херсоне
Создатель менторских программ, а также ментор
QA Automation в компании
Основатель и куратор внутреннего курса Thucydides
С#

3. Когда автоматизация считается успешной?
Автотесты не пропускают баги
Не более 5% рандомно падающих тестов
Все тесты успевают пробежать за ночь (до 10ч.)
Имеем чистую и доступную для всех отчетность
Автотесты покрывают большую часть тестовых сценариев

4. Каждый раз
тестировать
руками долго

5. Нужны
автоматические
тесты

6. С чего все начиналось
JenkinsMavenTestNGSelenium RCJava

7. Как все начиналось
Был Selenium RC который все действия делал через JS
Были “какие-то” автотесты
Автотесты гонялись, но мы все-равно проходили все тест
кейсы руками
Не было никакой отчетности
Стабильно 20% тестов падало по непонятным на то причинам
QA мешали тестам, тесты мешали QA
Вскоре тесты стали бежать более 12ти часов

8. Как с этим всем бороться?

9. Нужно понимать причины падений быстро
Нужны логи
Сделали 2 уровня логирования и информативные логи при падении

10. Нужно понимать причины падений быстро
Давайте делать скриншоты
Добавили взятие скриншота на падении и доступ к нему прямо из CI

11. Нужно понимать причины падений быстро
Будем сохранять всю страницу
Начали сохранять всю html страницу при падении теста

12. Что делаем для получения качественного кода и
стабильных результатов
Code Review Review board
Прогон в персональных
группах перед тем как
тесты уйдут в основную
группу

13. Нужно улучшить сам процесс
Каждый тест прикреплять к тест кейсу
Отмечать в Test Manager все
автоматизированные тест кейсы
Автоматизировать нужные тест кейсы
Добавить ежедневную отчетность

14. Завести тикет
Выключить тест
Оставить тесту
комментарий с
номером тикета
Оставить
комментарий в
тикете
Ждать когда баг
устранят и
вернется тикет
Включить тест и
закрыть тикет
Что делать когда
тест словил баг?

15. Изменения в
требованиях
Апдейт тест
кейса
Тикет на QA
Automation
команду
Апдейт автотеста
Закрыть тикет
Что делать если
поменялись
требования?

16. Все довольно таки не плохо

17. А посмотрим-ка на общую статистику
Dashboard View - https://wiki.jenkins-ci.org/display/JENKINS/Dashboard+View

18. Для заказчика также важны отчеты и прогресс

19. Тесты бегут долго,
нужно что-то менять

20. Распараллеливание

21. Долой QA “мешающих” нашим автотестам!
А может объединим усилия?
Dev1 Dev2 QA Prod
Dev1 Dev2 QA Prod
QA Prod
Manual QA
Automation

22. А что вы делаете с результатами автотестов?

23. А мы больше ничего не делаем, у нас
автотесты самостоятельные 

24. Как происходит автоотмечание
+

25. Что имеем сейчас в результате
Автоматизация стала быстрой и налаженной
Более 60% санити и регрессии проходится автотестами
Покрыли 2700 сценариев, 300 из которых мобильные
2700 х 2 сервера = 5400 результатов тестов за ночь
От 2х то 5-ит процентов тестов валятся ночью если нет блокеров.
Каждую итерацию имеем автоматически проставленные
результаты в тест сьютах
Чистая и подробная ежедневная отчетность
Перешли на Continuous Delivery

26. Continuous Delivery
Auto Manual AutoAutoAuto
Puppet
Module Unit
Tests
Platform
Tests
Deliver To
Staging
Application
Acceptance
Tests
Deploy To
Production
Post Deploy
Tests

27. Вопросы?
Антон Сирота
Skype: Yader-2007
E-mail: Yader-2008@ya.ru