Документ освещает использование Geb и Spock для автоматизации тестирования браузеров с акцентом на продемонстрированные примеры кода и методологии. Основное внимание уделяется вопросам обеспечения качества версий приложений и использованию различных функциональных тестов, включая smoke testing и data-driven тестирование. В заключение рассматриваются подходы к структурированию тестов, включая использование модулей и шаблонов, а также будущие направления тестирования.

1. BDD and browser automation with
Geb and Spock
Данилюк Богдан
Jeeconf | may 2014 | @bogdand

2. Главный вопрос жизни
вселенной и всего такого

3. Главный вопрос жизни
вселенной и всего такого
Как в любой момент быть уверенным в
качестве текущей версии вашего
приложения и дать возможность людям
понять что же оно делает?

4. Кто я?
● C Groovy / Grails начиная с 2008 года
● Успешно внедрили и используем Geb /
Spock
● - Groovy / Grails курс
● Первый разработчик в TransferWise,
сейчас 100+ человек

5. TransferWise

6. TransferWise

7. С чего все начиналось?

8. ≈ 0% покрытие тестами
С чего все начиналось?

9. Smoke testing

10. ● Тестировалось <10 страниц
● Время прохождения тестов ≈1 минута
● Обнаруженных ошибок - мало =)
Smoke testing

11. Geb
very groovy browser automation

12. Geb
● Groovy обертка вокруг Selenium 2
● Лицензия ASL2
● Текщая версия: 0.9.2
● Дружит с JUnit и Spock
● Groovy Page object
● http://gebish.org

13. Geb - WebDriver
● Мобильные браузеры:
○ iPad
○ iPhone
○ Android
○ Blackberry
● PhantomJS
● HtmlUnit

14. Простой Geb test
go "http://www.google.com"
$("input", name: "q").value("JeeConf")
$("button", name: "btnG").click()
waitFor { $("div", id: "search").displayed }
assert $("div", id: "search").text()
.contains("jeeconf.com")

15. Простой Geb test
go "http://www.google.com"
$("input", name: "q").value("JeeConf")
$("button", name: "btnG").click()
waitFor { $("div", id: "search").displayed }
assert $("div", id: "search").text()
.contains("jeeconf.com")

16. Простой Geb test
go "http://www.google.com"
$("input", name: "q").value("JeeConf")
$("button", name: "btnG").click()
waitFor { $("div", id: "search").displayed }
assert $("div", id: "search").text()
.contains("jeeconf.com")

17. Простой Geb test
go "http://www.google.com"
$("input", name: "q").value("JeeConf")
$("button", name: "btnG").click()
waitFor { $("div", id: "search").displayed }
assert $("div", id: "search").text()
.contains("jeeconf.com")

18. Простой Geb test
go "http://www.google.com"
$("input", name: "q").value("JeeConf")
$("button", name: "btnG").click()
waitFor { $("div", id: "search").displayed }
assert $("div", id: "search").text()
.contains("jeeconf.com")

19. Простой Geb test
go "http://www.google.com"
$("input", name: "q").value("JeeConf")
$("button", name: "btnG").click()
waitFor { $("div", id: "search").displayed }
assert $("div", id: "search").text()
.contains("jeeconf.com")

20. Метод $()
$(«css selector», «index or range», «attribute / text matchers»)
Примеры
$("div") // все div элементы
$("div", 0) // первый div элемент
$("div", 0..2) // первых три div элемента
// Третий H2 элемент с текстом “Geb”
$("h2", 2, text: "Geb")

21. CSS3 селекторы
$("div.some-class p:first[title='some']")
$("ul li a")
$("table tr:nth-child(2n+1) td")
$("div#content p:first-child::first-line")

22. Атрибуты
Поиск по атрибутам
//<div foo="bar">
$("div", foo: "bar")

23. Атрибуты
Поиск по атрибутам
//<div foo="bar">
$("div", foo: "bar")
Поиск по тексту
//<div>foo</div>
$("div", text: "foo")

24. Навигация
Поиск по атрибутам
//<div foo="bar">
$("div", foo: "bar")
Поиск по тексту
//<div>foo</div>
$("div", text: "foo")
Поиск по регулярным выражениям
//<div>foo</div>
$("div", text: ~/f.+/)

25. Вспомогательные функции
$("p", text: startsWith("p"))
$("p", class: contains("section"))
$("p", id: endsWith(~/d/))
Больше примеров в документации

26. Относительный поиск
$("p").previous()
$("p").prevAll()
$("p").next()
$("p").parent()
$("p").siblings()
$("div").children()
$("p").nextAll(".listing")

27. Functional testing

28. Functional testing
● Время прохождения тестов - 20 минут
● Обнаруженных ошибок - уже больше =)
● Грядут редизайны веб страниц

29. Geb
Страницы и модули

30. Page Object
class WikipediaPage extends Page {
static url = "https://www.wikipedia.org"
static at = { title == "Wikipedia" }
static content = {
search { $("#searchInput") }
}
}

31. Page Object
class WikipediaPage extends Page {
static url = "https://www.wikipedia.org"
static at = { title == "Wikipedia" }
static content = {
search { $("#searchInput") }
}
}

32. Page Object
class WikipediaPage extends Page {
static url = "https://www.wikipedia.org"
static at = { title == "Wikipedia" }
static content = {
search { $("#searchInput") }
}
}

33. Page Object
class WikipediaPage extends Page {
static url = "https://www.wikipedia.org"
static at = { title == "Wikipedia" }
static content = {
search { $("#searchInput") }
}
}

34. Page Object использование
Browser.drive {
to WikipediaPage
assert at(WikipediaPage)
search = "JeeConf"
}

35. Опциональный контент
class OptionalPage extends Page {
static content = {
errorMsg(required: false) { $("p.errorMsg") }
}
}

36. Динамический контент
class DynamicPage extends Page {
static content = {
errorMsg(wait: true) { $("p.errorMsg") }
}
}

37. Наследование Page Object
● Блоки content будут слиты
● Методы унаследуются

38. Повторное использование
● Блоки, повторяющиеся на многих
страницах
● Блоки,
повторяющиеся
на одной
странице

39. Объявление модуля
class NavBarModule extends Module {
static content = {
homePageLink(to: HomePage) { $("a#home") }
profileLink(to: ProfilePage) { $("a#profile") }
}
}

40. Использование модулей
class HomePage extends Page {
static content = {
navBarModule { module NavBarModule }
}
void goToProfilePage() {
navBarModule.profileLink.click()
}
}

41. Пример moduleList
class ProfilePage extends Page {
static content = {
paymentListTable {moduleList PaymentRow,
$("table#paymentList tbody tr")}
}
}
class PaymentRow extends Module {
static content = {
amount { $("td.amount") }
status { $("td.status") }
}
}

42. Проблема поддержки
to HomePage
loginButton.click()
username = "user"
password = "password"
loginButton.click()

43. Page Object builder
● Подход предложен Craig Atkinson
● По умолчанию Geb делегирует вызовы
методов текущей странице
● Билдер делает эти вызовы явными

44. Page Object builder
HomePage homePage = to HomePage
LoginPage loginPage = homePage.clickLoginButton()
DashboardPage dashboardPage = loginPage.login("user",
"password")
HomePage homePage = to HomePage
DashboardPage dashboardPage = homePage.clickLoginButton().
login("user", "password")
Вызов по цепочке

45. Реализация HomePage
class HomePage extends Page {
static content = {
loginButton(to: LoginPage, wait: true) {
$("#loginButton")
}
}
LoginPage clickLoginButton() {
loginButton.click()
return browser.page
}
}

46. Geb + Spock

47. Архитектура
App
Browser
WebDriverGeb
geb-spock
(Testing adapter)
Spok

48. Spock тест
class GoogleSpec extends GebReportingSpec {
def "the first link should be wikipedia"() {
when:
to GoogleHomePage
q = "wikipedia"
then:
at GoogleResultsPage
firstResultLink.text() == "Wikipedia"
when:
firstResultLink.click()
then:
waitFor { at WikipediaPage }
}
}

49. Spock data-driven тест
when:
LoginPage loginPage = loginAsUser(username)
then:
assert loginPage.error == expectedErrorMessage
where:
username | expectedErrorMessage
'disabledUser' | 'Sorry, your account is disabled'
'lockedUser' | 'Sorry, your account is locked'
'invalidUser' | 'Sorry, we could not find that account'

50. Проблемы
● Тестировались в основном длительные
цепочки страниц
● Вся подготовка данных делалась через
веб интерфейс

51. Некрасивый тест
class LoginSpec extends GebReportingSpec {
def "login"() {
given: "a valid user"
go RegistrationPage
register("user", "password")
logout()
when: "the user logins with valid credentials"
go LoginPage
login("user", "password")
then: "the welcome page is displayed"
at DashboardPage
}

52. Некрасивый тест
class LoginSpec extends GebReportingSpec {
def "login"() {
given: "a valid user"
go RegistrationPage
register("user", "password")
logout()
when: "the user logins with valid credentials"
go LoginPage
login("user", "password")
then: "the welcome page is displayed"
at DashboardPage
}

53. Use case тестирование

54. Чего мы хотим?
● Результат тестов не булевое значение
● Экранирование сценариев
● Упор на документирование
● Привлечение нетехнических
специалистов для работы с тестами

55. Экранирование сценариев
Чего мы хотим достигнуть?
● Каждый тест готовит данные для себя
● Тест должен знать как можно меньше
информации о внутренностях
приложения
● Тест не должен ломаться при
рефакторингах

56. Первая идея
А давайте обновлять базу?
Проблемы:
● Тесты знают много низкоуровневой
информации о приложении
● Тысты очень чуствительны к
изменениям в приложении

57. Remote control
Groovy remote control
“is a library for executing closures defined in one
Groovy application to be executed in a different
(possible remote) Groovy application.”

58. Remote control - сервер
def receiver = new Receiver()
def handler = new RemoteControlHttpHandler(receiver)
def server =
HttpServer.create(new InetSocketAddress(8080), 0)
server.createContext("/groovy-rc", handler)
server.start()

59. Remote control - сервер
def receiver = new Receiver()
def handler = new RemoteControlHttpHandler(receiver)
def server =
HttpServer.create(new InetSocketAddress(8080), 0)
server.createContext("/groovy-rc", handler)
server.start()

60. Remote control - сервер
def receiver = new Receiver()
def handler = new RemoteControlHttpHandler(receiver)
def server =
HttpServer.create(new InetSocketAddress(8080), 0)
server.createContext("/groovy-rc", handler)
server.start()

61. Remote control - клиент
def transport =
new HttpTransport("http://example.org:8080/groovy-rc")
def remote = new RemoteControl(transport)
def id = remote {
def user = new User(name: "Me", password: "pwd")
user.save()
user.id
}

62. Remote control - клиент
def transport =
new HttpTransport("http://example.org:8080/groovy-rc")
def remote = new RemoteControl(transport)
def id = remote {
def user = new User(name: "Me", password: "pwd")
user.save()
user.id
}

63. Remote control - клиент
def transport =
new HttpTransport("http://example.org:8080/groovy-rc")
def remote = new RemoteControl(transport)
def id = remote {
def user = new User(name: "Me", password: "pwd")
user.save()
user.id
}

64. Remote control - клиент
def transport =
new HttpTransport("http://example.org:8080/groovy-rc")
def remote = new RemoteControl(transport)
def id = remote {
def user = new User(name: "Me", password: "pwd")
user.save()
user.id
}

65. Некрасивый тест
class LoginSpec extends GebReportingSpec {
def "login"() {
given: "a valid user"
go RegistrationPage
register("user", "password")
logout()
when: "the user logins with valid credentials"
go LoginPage
login("user", "password")
then: "the welcome page is displayed"
at DashboardPage
}

66. Красивый тест
class LoginSpec extends GebReportingSpec {
def "login"() {
given: "a valid user"
remote {
SpringUtils.getRegisterService()
.register("user", "password")
}
when: "the user logins with valid credentials"
go LoginPage
login("user", "password")
then: "the welcome page is displayed"
at DashboardPage

67. Отчеты

68. Стандартный Grails отчет

69. Стандартный Grails отчет

70. Spock отчеты
Требования
● Логическая групировка тестов
● Возможность запуска группы тестов
● Человекочитаемая документация

71. Пример отчета

73. Spock отчеты
Решение
● Расширили Athaydes Spock Reports
○ Добавили группировку
○ Возможность запуска группы
спецификаций

74. @Group('Invite program')
@SpecName('Invitee')
class InviteesSpec extends GebBaseSpec {
def "Invitee should get a free payment"() {
when: "user register with invite link"
then: "user has one free payment"
}
}

75. Что дальше?
● Тестирование верстки
● Ускорение тестов
● Переход на Gherkin (Cucumber) для
избежания дублирования коментариев и
кода

76. class InviteesSpec extends GebBaseSpec {
def "Invitee should get a free payment"() {
when: "registered with invite link user"
registeredWithInviteLinkUser()
then: "user has one free payment"
to AccountPage
freePayments.text().contains("1")
}
}

77. Вопросы?

78. Всего хорошего, и
спасибо за рыбу!