STABILITY IN UNSTABILITY SELF-HEALING TEST AUTOMATION

1. STABILITY IN UNSTABILITY
SELF-HEALING
TEST AUTOMATION

2. Анна Чернышева
Lead Test Automation Engineer, EPAM
WEB TESTING
Akita owner
https://github.com/alfa-laboratory/akita

3. MANUAL
TESTING
SIMPLE
AUTOMATION
TOOLS
AGILE,
FAST
AUTOMATION
CONTINOUS
TESTING
ML, AI
TESTING

4. БЫСТРЫЙ ЦИКЛ ОБРАТНОЙ СВЯЗИ МЕЖДУ
РАЗРАБОТЧИКАМИ И РЕЗУЛЬТАТАМИ
ТЕСТИРОВАНИЯ

5. АВТОМАТИЗИРОВАННЫЕ ТЕСТЫ
ПРОСТЫЕ, ЭФФЕКТИВНЫЕ И СТАБИЛЬНЫЕ

6. РЕДИЗАЙН

7. ПОТОМУ ЧТО ФРОНТ ТАК РЕШИЛ

8. <div class="column-control__column column-control__column-padding-tile
column-control__column-mobile-res-100 column-control__column-min-res-100
column-control__column-middle-res-50 column-control__column-max-res-50
column-control__padding-tile-min column-control__padding-tile-middle
column-control__padding-tile-mobile column-control__padding-tile-max">
<div class="column-control__column-par">
<div data-component="BannerBuilder"
id="content_en_homepage-themes_2019_D306_jcr-
content_content-paragraph_column-control-dff9_column-0-content_banner-
builder-8bf1"
class="banner-builder banner-builder__wrapper js-flyer-
component banner-builder__1548877541698">

9. ~ 1500 тестов
~ 40% падений тестов из-за изменения локатора
ТРАТИМ ВРЕМЯ НА ОБНОВЛЕНИЕ ЛОКАТОРОВ,
ВМЕСТО НАПИСАНИЯ НОВЫХ ТЕСТОВ

10. Хватит это терпеть!
NoSuchElementException

11. Self Healing Tests - No More Unstable Tests

12. КАК ЖЕ
ЗАСТАВИТЬ
ТЕСТЫ
ЧИНИТЬ
САМИХ СЕБЯ?

15. CatDog

16. РАСПОЗНАВАНИЕ ИЗОБРАЖЕНИЙ

17. НАЖАТА «ДОБАВИТЬ В КОРЗИНУ»
Вырезаем и сохраняем изображение кнопки

18. НАЖАТА «ДОБАВИТЬ В КОРЗИНУ»
Вырезаем и сохраняем изображение кнопки

19. НАЖАТА «ДОБАВИТЬ В КОРЗИНУ»
Вырезаем и сохраняем изображение кнопки
НАЖАТА «ДОБАВИТЬ В КОРЗИНУ»
Определяем, где сохраненный фрагмент
находится на экране и нажимаем на нее

20. PROS & CONS
‣ Простота написания и
поддержки тестов
‣ Запуск тестов на
всевозможных
окружениях
‣ Быстрое обнаружение
изменений на UI
‣ Долго обучать нейронку
‣ Нужен эталон
‣ Ложные срабатывания

21. https://applitools.com/

22. ДИНАМИЧЕСКИЕ ЛОКАТОРЫ

24. ‣ В режиме реального времени
анализируем DOM страницы,
извлекаем объекты, их
атрибуты и ранжируем

25. ‣ Рейтинг локатора
увеличивается
шаг теста пройден с локатором
вверху списка

26. ‣ Рейтинг текущего локатора
уменьшается и используется локатор
ниже из списка
шаг теста упал с локатором вверху
списка

27. ‣ Просим перепроверить UI
ни один из локаторов не подходит

28. PROS & CONS
‣ Динамическое
обновление состояния
‣ Простота написания и
поддержки тестов
‣ ML алгоритм надо учить
‣ Только для новых
тестов
‣ Зависимость от
реализации поиска
элемента

29. ИНСТРУМЕНТЫ НА РЫНКЕ

31. СУЩЕСТВУЮЩИЕ ИНСТРУМЕНТЫ
ЗАСТАВЛЯЮТ ЖИТЬ В ИХ ЭКОСИСТЕМЕ

32. ЗАДУМАЛИСЬ О НОВОМ ПОДХОДЕ

33. ИДЕЯ И ВИДЕНЬЕ
‣Для использования на любом этапе развития проекта
‣Без зависимости от фреймворка
‣Замена статических локаторов динамическими

34. ИДЕЯ И ВИДЕНЬЕ
‣Для использования на любом этапе развития проекта.
‣Без зависимости от фреймворка.
‣Замена статических локаторов динамическими

35. PoC

36. Определяет сходства (или различия) между двумя графами
graph edit distance (GED)
Расстояние редактирования между g1 и g2, представляет собой
количество операций редактирования, при которых g1 достигает g2.

37. Преобразование g1 в g2 с помощью операций
замены, вставки, удаления
Deleted a Deleted div

39. //button[contains(@class,'default-btn')]
<button role="button" type="button" class="button
button_size_m default-btn"><span
class="button__content"><span
class="button__text">Кнопка</span></span></button>
БЫЛО

40. <button role="button" id="id-id" type="button" class="button
button_size_l"><span class="button__content"><span
class="button__text">Кнопка</span></span></button>
СТАЛО

41. In node body > div#react-app > div.app.app_theme_alfa-on-white >
div.app.app_theme_alfa-on-white > div.page.page_theme_alfa-on-white >
div.page__content.page__content_offset > div.content.content_theme_alfa-on-white >
div > div > div > div:
Removed: <button role="button" type="button" class="button button_size_m
button_theme_alfa-on-white default-btn">...</button>:
body > div#react-app > div.app.app_theme_alfa-on-white > div.app.app_theme_alfa-
on-white > div.page.page_theme_alfa-on-white > div.page__content.page__content_offset
> div.content.content_theme_alfa-on-white > div > div > div:nth-of-type(1) > div
Added: <span class="checkbox-group checkbox-group_type_normal checkbox-
group_theme_alfa-on-white control-group" role="group" tabindex=«-1»>…</span>
.
.
.
НАХОДИМ РАЗНИЦУ МЕЖДУ ДВУМЯ DOM
СТАНИЦЫ

42. In node :root:
Modified: <button role="button" id="id-id" type="button" class="button
button_size_mbutton_size_l button_theme_alfa-on-white default-btndata">...</button>:
In node :root:
Removed: <button role="button" type="button" class="button button_size_m
button_theme_alfa-on-white default-btn">...</button>:
Added: <span class="checkbox-group checkbox-group_type_normal checkbox-
group_theme_alfa-on-white control-group" role="group" tabindex="-1">...</span>:
In node :root:
Removed: <button role="button" type="button" class="button button_size_m
button_theme_alfa-on-white default-btn">...</button>:
Added: <span class="input-group input-group_width_available input-
group_theme_alfa-on-white control-group" role="group" tabindex="-1">...</span>:
СРАВНИВАЕМ ADDED ЭЛЕМЕНТЫ С
ИСКОМЫМ

43. //body/div[@id="react-app"]/div[contains(concat(" ",normalize-space(@class),"
")," app ")][contains(concat(" ",normalize-space(@class)," ")," app_theme_alfa-
on-white ")]/div[contains(concat(" ",normalize-space(@class)," ")," app ")]
[contains(concat(" ",normalize-space(@class)," ")," app_theme_alfa-on-white ")]/
div[contains(concat(" ",normalize-space(@class)," ")," page ")][contains(concat("
",normalize-space(@class)," ")," page_theme_alfa-on-white ")]/
div[contains(concat(" ",normalize-space(@class)," ")," page__content ")]
[contains(concat(" ",normalize-space(@class)," ")," page__content_offset ")]/
div[contains(concat(" ",normalize-space(@class)," ")," content ")]
[contains(concat(" ",normalize-space(@class)," ")," content_theme_alfa-on-white
«)]/div/div/div/div/button
ФОРМИРУЕМ НОВЫЙ ЛОКАТОР

44. public WebElement findElement(By by) {
WebElement el;
try {
el = super.findElement(by);
} catch (NoSuchElementException ex) {
By newBy = getNewLocator();
el = findElementByNewLocator(newBy);
}
return el;
}
EventDriver extends EventFiringWebDriver

46. СТРАТЕГИЯ
На каждое действие сохраняем состояние DOM

47. СТРАТЕГИЯ
На каждое действие сохраняем состояние DOM
NoSuchElementException

48. СТРАТЕГИЯ
На каждое действие сохраняем состояние DOM
Находим разницу между двумя DOM и предлагаем
вариант нового локатора
NoSuchElementException

49. СТРАТЕГИЯ
На каждое действие сохраняем состояние DOM
Находим разницу между двумя DOM и предлагаем
вариант нового локатора
Сохраняем успешный локатор и предлагаем
использовать его
NoSuchElementException

50. PROS
‣ Хорошо работает при изменении атрибутов
‣ Нет привязки к конкретной экосистеме
‣ Для проектов на любой стадии разработки

51. CONS
‣ Привязка к Selenium
‣ Новые локаторы выглядят устрашающе
‣ Высокое потребление памяти
‣ Пока не стабильно при больших изменениях
DOM с глубокой вложенностью

52. BROWSER PLUGIN

53. JsonWireProtocol
Response Status Codes
7 NoSuchElement
An element could not be located on the page using the
given search parameters.
POST /session/:sessionId/element
Search for an element on the page,
starting from the document root.
Command Summary

54. LIFEHACK
//*[@id=«react-app»]/div/div[1]/div/div[2]/div/div/div/
div[1]/div/div/button
//*[@id=«react-app»]/div/div[1]/div/div[2]/div/div/div/
div[1]/div/div

55. LIFEHACK
Обращение к родителю не найденного элемента
работает в ~70% случаев
//*[@id=«react-app»]/div/div[1]/div/div[2]/div/div/div/
div[1]/div/div/button
//*[@id=«react-app»]/div/div[1]/div/div[2]/div/div/div/
div[1]/div/div

56. Q&A
facebook.com/anna.chernyshova.79