1. Robot Framework
сводки с фронта
Андрей Хитрин, Noda. -- D.U.M.P.’2014

2. NODA
● Софт для создания контакт-центров
● Основные языки: Java, Python, C++
● Много унаследованного кода

3. ============================================================
D.U.M.P.Критерии выбора фреймворка
============================================================
Язык, знакомый нашим разработчикам | PASS |
------------------------------------------------------------

4. ============================================================
D.U.M.P.Критерии выбора фреймворка
============================================================
Язык, знакомый нашим разработчикам | PASS |
------------------------------------------------------------
Хорошая читаемость тестов | PASS |
------------------------------------------------------------

5. ============================================================
D.U.M.P.Критерии выбора фреймворка
============================================================
Язык, знакомый нашим разработчикам | PASS |
------------------------------------------------------------
Хорошая читаемость тестов | PASS |
------------------------------------------------------------
Развитое сообщество, проект не стоит на месте | PASS |
------------------------------------------------------------
D.U.M.P.Критерии выбора фреймворка | PASS |
3 critical tests, 3 passed, 0 failed
3 tests total, 3 passed, 0 failed
============================================================

6. www.failconf.ru

7. ============================================================
D.U.M.P.Опыт использования Robot Framework
============================================================
Читаемость тестов | ...

8. Список телефонов автоматически сортируется
Создать кейс и зайти в него
Задать номера телефонов 11 22 33 44 55
Страница должна содержать текст 11 | 22 | 33 | 44 |
55

9. При просмотре формы из кейса должны быть атрибуты Клиента
Добавить физического клиента ${CLIENT_NAME}
69420813888
Подготовить форму с атрибутом ${LAST_NAME_ATTR}
Добавить каталог в проект
Зайти в кейс определенного клиента ${CLIENT_NAME}
Открыть диалог по ссылке ${FORM_LINK}
Страница должна содержать текст ${LAST_NAME_ATTR}
[Teardown] Закрыть всплывающее окно и перейти на
главное

10. ============================================================
D.U.M.P.Опыт использования Robot Framework
============================================================
Читаемость тестов | PASS |
------------------------------------------------------------
Разные форматы хранения: HTML, TXT, TSV | ...

12. ============================================================
D.U.M.P.Опыт использования Robot Framework
============================================================
Читаемость тестов | PASS |
------------------------------------------------------------
Разные форматы хранения: HTML, TXT, TSV | PASS |
------------------------------------------------------------
Архидетальные логи | ...

18. ============================================================
D.U.M.P.Опыт использования Robot Framework
============================================================
Читаемость тестов | PASS |
------------------------------------------------------------
Разные форматы хранения: HTML, TXT, TSV | PASS |
------------------------------------------------------------
Архидетальные логи | PASS |
------------------------------------------------------------
Все умеют читать и понимать логи | ...

19. ============================================================
D.U.M.P.Опыт использования Robot Framework
============================================================
Читаемость тестов | PASS |
------------------------------------------------------------
Разные форматы хранения: HTML, TXT, TSV | PASS |
------------------------------------------------------------
Архидетальные логи | PASS |
------------------------------------------------------------
Все умеют читать и понимать логи | FAIL |
Есть некоторые тонкости, которым приходится учить
------------------------------------------------------------
Все могут писать тесты | ...

20. ============================================================
Читаемость тестов | PASS |
------------------------------------------------------------
Разные форматы хранения: HTML, TXT, TSV | PASS |
------------------------------------------------------------
Архидетальные логи | PASS |
------------------------------------------------------------
Все умеют читать и понимать логи | FAIL |
Есть некоторые тонкости, которым приходится учить
------------------------------------------------------------
Все могут писать тесты | PASS |
------------------------------------------------------------
Все могут писать качественные тесты | ...

21. Разные форматы хранения: HTML, TXT, TSV | PASS |
------------------------------------------------------------
Архидетальные логи | PASS |
------------------------------------------------------------
Все умеют читать и понимать логи | FAIL |
Есть некоторые тонкости, которым приходится учить
------------------------------------------------------------
Все могут писать тесты | PASS |
------------------------------------------------------------
Все могут писать качественные тесты | FAIL |
Приходится учить коллег, как делать тесты правильно
------------------------------------------------------------
Интеграция с Jenkins | ...

23. Архидетальные логи | PASS |
------------------------------------------------------------
Все умеют читать и понимать логи | FAIL |
Есть некоторые тонкости, которым приходится учить
------------------------------------------------------------
Все могут писать тесты | PASS |
------------------------------------------------------------
Все могут писать качественные тесты | FAIL |
Приходится учить коллег, как делать тесты правильно
------------------------------------------------------------
Интеграция с Jenkins | PASS |
------------------------------------------------------------
Сьюты и тесты можно помечать тегами | ...

24. Все умеют читать и понимать логи | FAIL |
Есть некоторые тонкости, которым приходится учить
------------------------------------------------------------
Все могут писать тесты | PASS |
------------------------------------------------------------
Все могут писать качественные тесты | FAIL |
Приходится учить коллег, как делать тесты правильно
------------------------------------------------------------
Интеграция с Jenkins | PASS |
------------------------------------------------------------
Сьюты и тесты можно помечать тегами | PASS |
------------------------------------------------------------
Рефакторинг тестов | ...

25. Все могут писать тесты | PASS |
------------------------------------------------------------
Все могут писать качественные тесты | FAIL |
Приходится учить коллег, как делать тесты правильно
------------------------------------------------------------
Интеграция с Jenkins | PASS |
------------------------------------------------------------
Сьюты и тесты можно помечать тегами | PASS |
------------------------------------------------------------
Рефакторинг тестов | FAIL |
Делаем всё ручками, господа!
------------------------------------------------------------
Режим отладки | ...

26. Приходится учить коллег, как делать тесты правильно
------------------------------------------------------------
Интеграция с Jenkins | PASS |
------------------------------------------------------------
Сьюты и тесты можно помечать тегами | PASS |
------------------------------------------------------------
Рефакторинг тестов | FAIL |
Делаем всё ручками, господа!
------------------------------------------------------------
Режим отладки | FAIL |
Отладка для слабаков
------------------------------------------------------------
Скорость создания тестов | ...

27. Сьюты и тесты можно помечать тегами | PASS |
------------------------------------------------------------
Рефакторинг тестов | FAIL |
Делаем всё ручками, господа!
------------------------------------------------------------
Режим отладки | FAIL |
Отладка для слабаков
------------------------------------------------------------
Скорость создания тестов | FAIL |
Возможно, мы просто что-то делаем не так?
------------------------------------------------------------
Богатый набор готовых библиотек | ...

28. Библиотеки
● Интерфейсы: Selenium, Swing, SWT, AutoIt
● Протоколы: Telnet, SSH
● Сборка: Ant, Maven, Jenkins
● Прочее: DB Library, Mabot
● ... остальная мелочёвка

29. Библиотеки
● Интерфейсы: Selenium, Swing, SWT, AutoIt
● Протоколы: Telnet, SSH
● Сборка: Ant, Maven, Jenkins
● Прочее: DB Library, Mabot
● ... остальная мелочёвка

30. ------------------------------------------------------------
Рефакторинг тестов | FAIL |
Делаем всё ручками, господа!
------------------------------------------------------------
Режим отладки | FAIL |
Отладка для слабаков
------------------------------------------------------------
Скорость создания тестов | FAIL |
Возможно, мы просто что-то делаем не так?
------------------------------------------------------------
Богатый набор готовых библиотек | PASS |
------------------------------------------------------------
Невероятно простая интеграция с Python | ...

31. Делаем всё ручками, господа!
------------------------------------------------------------
Режим отладки | FAIL |
Отладка для слабаков
------------------------------------------------------------
Скорость создания тестов | FAIL |
Возможно, мы просто что-то делаем не так?
------------------------------------------------------------
Богатый набор готовых библиотек | PASS |
------------------------------------------------------------
Невероятно простая интеграция с Python | PASS |
------------------------------------------------------------
Невероятно простая интеграция с нашим приложением | ...

32. Steeve Freeman, “Fractal TDD”

33. Steeve Freeman, “Fractal TDD”

34. Отладка для слабаков
------------------------------------------------------------
Скорость создания тестов | FAIL |
Возможно, мы просто что-то делаем не так?
------------------------------------------------------------
Богатый набор готовых библиотек | PASS |
------------------------------------------------------------
Невероятно простая интеграция с Python | PASS |
------------------------------------------------------------
Невероятно простая интеграция с нашим приложением | FAIL |
(на самом деле нет)
------------------------------------------------------------
Переход с Selenium RC на Selenium Web Driver | ...

35. Robot Framework vs. Selenium
● SeleniumLibrary: стабильная работа, но
только Selenium RC
● Selenium2Library: Selenium WebDriver, но
стабильность работы не радует

37. ------------------------------------------------------------
Невероятно простая интеграция с Python | PASS |
------------------------------------------------------------
Невероятно простая интеграция с нашим приложением | FAIL |
(на самом деле нет)
------------------------------------------------------------
Переход с Selenium RC на Selenium Web Driver | FAIL |
Не все сторонние библиотеки одинаково хороши
------------------------------------------------------------
D.U.M.P.Опыт использования Robot Framework | PASS |
8 critical tests, 8 passed, 0 failed
15 tests total, 8 passed, 7 failed
============================================================

38. Выводы
● Инструмент хороший, но есть нюансы
● Инструмент - это ещё не всё, надо
работать с людьми (с любовью, К.О.)
● Переход Selenium RC → Selenium Webdriver
совсем не прост
● Задача регрессионного тестирования на
текущий момент решается успешно

39. Вопросы (мои)
● Переход с Selenium RC на WebDriver
● Как лучше комбинировать тесты через
интерфейс и API
● Генерация тестов (например, MBT)
ahitrin@naumen.ru
andrey.hitrin@gmail.com
twitter.com/ahitrin
nodacontact.com

40. Вопросы (ваши)
Благодарю за внимание!
ahitrin@naumen.ru
andrey.hitrin@gmail.com
twitter.com/ahitrin
nodacontact.com

41. http://donate.fbk.info
Секунда оффтопа