Slides from Selenium Camp 2014 talk (February 28, 2014, stage A) about screenshot based testing.

1. Yandex
experience in
screenshot
based testing
Selenium Camp, 28.02.14

2. Леонид Руденко
lead QA engineer
@leonsabr
leonsabr@yandex-team.ru
http://habrahabr.ru/
company/yandex/blog/
200968/

3. Серп

4. Колдунщик

5. Колдунщик

6. Вы тестируете представление?

7. Вы сравниваете скриншоты?

8. Знаете проблемы?

10. План
Зачем тестировать верстку
Проблемы и решения
Демо
А оно вам надо?

11. Зачем тестировать верстку
Проблемы и решения
Демо
А оно вам надо?

12. Обычные функциональные тесты

13. Слишком долго

14. «Сдвиг на пиксель – откатываем!»

15. Сравнение скриншотов

16. В основе

17. Зачем тестировать верстку
Проблемы и решения
Демо
А оно вам надо?

18. Проблемы
• Серп – «шумная» страница
• Кроссбраузерность
• Как сделать хороший отчет?

19. Страница выдачи изменчива

20. Страница выдачи изменчива

21. Так проще!

22. Selenium Grid

24. Специальная олимпиада браузеров

25. Opera: нужен скриншот?

26. Opera: нужен скриншот?
window.open(!
"http://www.yandex.ru", !
"ya",!
"height=400,width=1200”!
);!
26

27. Специальная олимпиада браузеров

28. IE
Windows

29. Потерянные клики

30. Специальная олимпиада браузеров

31. Функциональные тесты
WebDriver driver = ...;!
driver.get()/findElement()/...!
...!
assertThat(...);!

32. Функциональные тесты
WebDriver driver = ...;!
driver.get()/findElement()/...!
...!
assertThat(...);!
driver.get()/findElement()/...!
...!
assertThat(...);!
!

33. Функциональные тесты + скриншот
WebDriver driver = ...;!
driver.get()/findElement()/...!
...!
takeScreenshot(element);!
!
!
!
!

34. Как представить результаты?

35. Как представить результаты?
• все важное – наверх
• скриншоты не прятать
• помочь в считывании диффа
• разделять диффы скриншотов и broken
• устаревшие сценарии не интересны

36. Зачем тестировать верстку
Проблемы и решения
Демо
А оно вам надо?

37. Кунсткамера: поехал текст

38. Кунсткамера: изображения

39. Кунсткамера: CSS

40. Кунсткамера: данные

41. Кунсткамера: переводы

42. В чем профит?

43. Зачем тестировать верстку
Проблемы и решения
Демо
А оно вам надо?

44. Стоит обратить внимание, если
• нужно тестировать верстку

45. Стоит обратить внимание, если
• нужно тестировать статическую графику

46. Стоит обратить внимание, если
• у сервиса есть «темы оформления»

47. Твой сервис?

48. Что может доставить проблемы?
• изменчивость сервиса

49. Что может доставить проблемы?
• нужно больше браузеров

50. Что может доставить проблемы?
• случайные ошибки (IE, фокус, …)

51. Что было дальше: весь серп

52. Что было дальше: CI

53. Вопросы?