Watson: Rethikning test reports. Slides for my talk at QA meetup at Nizhny Novgorod

1. W@tson или как мы переосмыслили
отчеты автотестов

2. Никита Макаров
Разработчик
Тестировщик
Менеджер
Инженер
@papaminos
http://test-failed.blogspot.com

3. • Почему ?
• Почему именно так ?
• Что из этого вышло ?
W@tson
План
3

4. Внимание
Внимание
4

5. Почему
Мысль
5

6. Почему
В начале
6

7. Почему
Несколько позже
7

8. Почему
Причины
8

9. Почему
Причины
9

10. • отображение отчетов онлайн
• возможность любой кастомизации
• найти любой отчет за секунды
• анализ метаинформации от тестов
• причины падений
• связка с багами в джире
• анализ длительности тестов
Почему именно так?
Чего хотелось
10

11. - Ватсон, вы гей?
- Холмс!?!…..Но как,
черт возьми, вы
узнали?
- Это элементарно,
Ватсон. Я вас просто
спросил.
Что из этого вышло
Watson
11

12. Что из этого вышло
Шина
12

13. Что из этого вышло
Логи и маркеры
13

14. Showtime
it’s showtime
14

15. • Java
• Dropwizard
• Spring Security
• MongoDB
• Cache
• Google Charts
• Freemarker
• JavaScript (JQuery)
Технологии
Что внутри
15

16. • рендеринг отчетов онлайн
• анализ времени и стабильности маркеров
• подсветка известных ошибок
• интеграция с JIRA
• история запусков/календарь запусков
• поиск/фильтрация/фильтрация по тэгам
• карма тестов
• ответственный тестировщик
• генерация тест-планов из отчета
• анализ и группировка ошибок
• сравнение раундов тестирования
Ричи
Фичи
16

17. • отчеты сложнее, чем кажутся
• объемы данных могут расти
непредсказуемо
• анализ ошибок - это очень сложно
Lessons learned
Набитые шишки
17

18. • Yandex - Terra (презентация)
• Google - Sponge
• Spotify - TRS (presentation, video)
• EPAM - Report Portal (презентация)
Кто еще
Мы не одиноки
18

19. Никита Макаров
nikita.makarov@odnoklassniki.ru
@papaminos