Watson: Rethinking Test Reports. Selenium Camp 2014

765 views

Published on

Reports… They have always been troublesome. Nobody wants to generate “any reports” after loads of hard work on hacking autotests. At the same time, team members are hardly satisfied with the reports they are provided. Even if your reports are decent at the moment, more than likely something will have to be changed when your automated test suite is two or three times larger. About what was “painful” and how we managed it, I will tell at Selenium Camp.

Published in: Technology
0 Comments
1 Like
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total views
765
On SlideShare
0
From Embeds
0
Number of Embeds
102
Actions
Shares
0
Downloads
6
Comments
0
Likes
1
Embeds 0
No embeds

No notes for slide

Watson: Rethinking Test Reports. Selenium Camp 2014

  1. 1. Watson или как мы переосмыслили отчеты
  2. 2. О себе • В IT c 2006 • В автоматизации тестирования с 2007 • Руковожу автоматизацией с 2009 @PapaMinos http://test-failed.blogspot.com 62
  3. 3. Менеджер 63
  4. 4. Автоматизатор 64
  5. 5. Руководство 65
  6. 6. Research (1 week) 66
  7. 7. Proof of concept (month later) 67
  8. 8. История целиком 68
  9. 9. 69
  10. 10. Лампочки – наше всё! 610
  11. 11. Очень хороший отчет 611
  12. 12. Обычное приложение 612
  13. 13. На самом деле 613
  14. 14. Лень 614
  15. 15. Лень 615
  16. 16. Жадность 616
  17. 17. «Сам дурак» 617
  18. 18. 2+ года назад (декабрь 2011) 618
  19. 19. 2+ года назад (декабрь 2011) 619
  20. 20. 2 года назад (март 2012) Model-View report (TestNG+ReportNG) 620
  21. 21. Мы выросли • С 9 до 600 тестов • С 1 запуска в неделю до десятков в день • Отчеты стали читать разные люди и их тоже стало больше 621
  22. 22. Недостатки TestNG+ReportNG 1. 2. 3. 4. 5. 6. 7. Фильтрация + сортировка Неполный рендеринг Проблемы рендеринга Навигация Скриншоты+Верстка Невозможность расширить модель Не Real-time Невозможность анализа отчетов Проблемы подхода 622
  23. 23. Проблемы рендеринга • • • • • Одна страница Over 9000 скриншотов Куски верстки Полное отсутствие навигации Кое-что упущено 623
  24. 24. Невозможность расширить модель
 624
  25. 25. Real-Time? Не, не слышали. 625
  26. 26. Наша специфика 626
  27. 27. Один ко многим
 627
  28. 28. Вспомнить всё! Как проходил тест Z на окружениях Test и Production в течении последних двух недель ? 628
  29. 29. Watson - Ватсон, вы гей? - Холмс!?!.....Но как, черт возьми, вы узнали? - Это элементарно, Ватсон. Я вас просто спросил. 629
  30. 30. Watson • Хранение данных и отображение репортов • Отображение репортов real-time • Анализ метаинформации от тестов 630
  31. 31. Что хранить? 631
  32. 32. Логи 632
  33. 33. Маркеры 633
  34. 34. Ключи 634
  35. 35. Модель данных
 635
  36. 36. Модель данных
 636
  37. 37. Модель данных
 637
  38. 38. Demo 638
  39. 39. Watson: Архитектура 639
  40. 40. Watson: Под капотом • • • • • • • • Dropwizard (Jetty+Jackson+Jersey+Guava) Google Guice Google Charts (?) JQuery MongoDB Cache-и (их много) Свои руки и идеи коллег Прямые руки и «чЮфство прекрасного» верстальщиков 640
  41. 41. Watson: Features • • • • • • • Отчет по тестовому раунду Рендеринг отчета по каждому тесту Списки раундов Страница стабильности Аудит выполнения маркеров Страница времени выполнения маркеров Activity Stream по бегущим тестам 641
  42. 42. Watson: Coming soon • • • • • Анализ stacktrace-ов Группировка fail-ов по стектрейсам Известные дефекты Статистика работы страниц (Page, Actions) Формирование сьютов 642
  43. 43. Watson: Profit-ы • Рендеринг под себя • Real-Time • Анализируемость 643
  44. 44. Watson: мопед не мой (с) • • • • Facebook Scribe LinkedIn Apache Kafka (article) Cloudera Flume Spotify TRS (presentation, video) http://bit.ly/1hnN8LH 644
  45. 45. Это всё? 645
  46. 46. Спасибо! Никита Макаров 
 Руководитель группы автоматизации тестирования, Одноклассники nikita.makarov@odnoklassniki.ru ! !
  47. 47. И, да… есть  такая  работа  –  сидеть  в  «Одноклассниках»   ! http://v.ok.ru 647

×