Speeding up UI tests, profiling of UI tests

1. Разгоняем UI автоматизированные тесты.
Профилирование UI тестов.
Балахонов Павел
QA Automation Engineer
Mail.Ru Group

2. Немного обо мне
• Работаю в автоматизации
тестирования более 6 лет
• Увлекаюсь современными
технологиями
• Мечтаю автоматизировать весь
мир =)

3. Суть проблемы
• Большое время прогона UI тестов
• Нечестная балансировка нагрузки в инфраструктуре
• Нечестное распараллеливание тестов
• Отсутствие стабильности системы прогона тестов
• Сложность поддержки инфраструктуры
• Медленные тесты

5. Зависимость времени прогона от размера test suite

6. Профилирование
тестов

7. Замедление прогона на уровне теста
• Использование статических таймаутов
• Выставление precondition через UI интерфейс
• Использование только положительных условий
ожидания
• Неоправданные обращения к браузеру
• Начало теста с главной страницы

8. Статические таймауты
Thread.sleep(500)
waitABit(500)

9. Выставление precondition через UI интерфейс

10. Использование только положительных условий ожидания
public boolean isButtonPresent() {
return waitForElementPresent(By.xpath(buttonLocator));
}
@Step
public void buttonShouldNotBePresent() {
assertFalse(“Кнопка отображается на странице”, isButtonPresent());
}
@Step
public void buttonShouldBePresent() {
assertTrue(“Кнопка не отображается на странице”, isButtonPresent());
}

11. Неоправданные обращения к браузеру
private WebElement getInputField(FieldData field) {
String locator = String.format(inputFieldLocator, field.getType);
return getDriver().findElement(By.xpath(locator));
}
public void enterValueAndEnter(FieldData field, String value) {
getInputField(field).sendKeys(value);
getInputField(field).sendKeys(Keys.ENTER);
}

12. Начало теста с главной страницы

13. Пути решения

14. Динамические таймауты и слушатели ожидания

15. Выставление precondition теста через API

16. Целесообразное использование нужных условий ожидания
public boolean isButtonPresent() {
return waitForElementPresent(By.xpath(buttonLocator));
}
public boolean isButtonNotPresent() {
return waitForElementNotPresent(By.xpath(buttonLocator));
}
@Step
public void buttonShouldBePresent() {
assertTrue(“Кнопка не отображается”, isButtonPresent());
}
@Step
public void buttonShouldNotBePresent() {
assertTrue(“Кнопка отображается”, isButtonNotPresent());
}

17. Уменьшение взаимодействия с браузером
private WebElement getInputField(FieldData field) {
String locator = String.format(inputFieldLocator, field.getType);
return getDriver().findElement(By.xpath(locator));
}
public void enterValueAndEnter(FieldData field, String value) {
WebElement field = getInputField(field);
field.sendKeys(value);
field.sendKeys(Keys.ENTER);
}

18. Система запуска UI тестов. Selenium GRID.

19. Selenium GRID + Docker

20. Распараллеливание Selenium тестов

21. Разбиение прогона на Batches

23. Структура системы параллельного запуска UI тестов на
проектах Почта, Cloud и Media (нагрузка >3000 тестов)

24. Сравнение зависимостей времен прогона от размера test suite

26. Контакты:
Skype: svyatoj88
E-mail: p.balahonov@corp.mail.ru