Reports… They have always been troublesome. Nobody wants to generate “any reports” after loads of hard work on hacking autotests. At the same time, team members are hardly satisfied with the reports they are provided. Even if your reports are decent at the moment, more than likely something will have to be changed when your automated test suite is two or three times larger. About what was “painful” and how we managed it, I will tell at Selenium Camp.

1. Watson или как мы переосмыслили отчеты

2. О себе
• В IT c 2006
• В автоматизации
тестирования с 2007
• Руковожу
автоматизацией с
2009
@PapaMinos
http://test-failed.blogspot.com
62

3. Менеджер
63

4. Автоматизатор
64

5. Руководство
65

6. Research (1 week)
66

7. Proof of concept (month later)
67

8. История целиком
68

9. 69

10. Лампочки – наше всё!
610

11. Очень хороший отчет
611

12. Обычное приложение
612

13. На самом деле
613

14. Лень
614

15. Лень
615

16. Жадность
616

17. «Сам дурак»
617

18. 2+ года назад (декабрь 2011)
618

19. 2+ года назад (декабрь 2011)
619

20. 2 года назад (март 2012)
Model-View report (TestNG+ReportNG)
620

21. Мы выросли
• С 9 до 600 тестов
• С 1 запуска в неделю до десятков в день
• Отчеты стали читать разные люди и их тоже
стало больше
621

22. Недостатки TestNG+ReportNG
1.
2.
3.
4.
5.
6.
7.
Фильтрация + сортировка
Неполный рендеринг
Проблемы
рендеринга
Навигация
Скриншоты+Верстка
Невозможность расширить модель
Не Real-time
Невозможность анализа отчетов
Проблемы
подхода
622

23. Проблемы рендеринга
•
•
•
•
•
Одна страница
Over 9000 скриншотов
Куски верстки
Полное отсутствие навигации
Кое-что упущено
623

24. Невозможность расширить модель
624

25. Real-Time? Не, не слышали.
625

26. Наша специфика
626

27. Один ко многим
627

28. Вспомнить всё!
Как проходил тест Z на окружениях Test и
Production в течении последних двух
недель ?
628

29. Watson
- Ватсон, вы гей?
- Холмс!?!.....Но как, черт возьми, вы узнали?
- Это элементарно, Ватсон. Я вас просто
спросил.
629

30. Watson
• Хранение данных и отображение репортов
• Отображение репортов real-time
• Анализ метаинформации от тестов
630

31. Что хранить?
631

32. Логи
632

33. Маркеры
633

34. Ключи
634

35. Модель данных
635

36. Модель данных
636

37. Модель данных
637

38. Demo
638

39. Watson: Архитектура
639

40. Watson: Под капотом
•
•
•
•
•
•
•
•
Dropwizard (Jetty+Jackson+Jersey+Guava)
Google Guice
Google Charts (?)
JQuery
MongoDB
Cache-и (их много)
Свои руки и идеи коллег
Прямые руки и «чЮфство прекрасного»
верстальщиков
640

41. Watson: Features
•
•
•
•
•
•
•
Отчет по тестовому раунду
Рендеринг отчета по каждому тесту
Списки раундов
Страница стабильности
Аудит выполнения маркеров
Страница времени выполнения маркеров
Activity Stream по бегущим тестам
641

42. Watson: Coming soon
•
•
•
•
•
Анализ stacktrace-ов
Группировка fail-ов по стектрейсам
Известные дефекты
Статистика работы страниц (Page, Actions)
Формирование сьютов
642

43. Watson: Profit-ы
• Рендеринг под себя
• Real-Time
• Анализируемость
643

44. Watson: мопед не мой (с)
•
•
•
•
Facebook Scribe
LinkedIn Apache Kafka (article)
Cloudera Flume
Spotify TRS (presentation, video)
http://bit.ly/1hnN8LH
644

45. Это всё?
645

46. Спасибо!
Никита Макаров
Руководитель группы автоматизации тестирования,
Одноклассники
nikita.makarov@odnoklassniki.ru
!
!

47. И, да…
есть
такая
работа
–
сидеть
в
«Одноклассниках»
!
http://v.ok.ru
647