Your SlideShare is downloading. ×
0
Watson: Rethinking Test Reports. Selenium Camp 2014
Watson: Rethinking Test Reports. Selenium Camp 2014
Watson: Rethinking Test Reports. Selenium Camp 2014
Watson: Rethinking Test Reports. Selenium Camp 2014
Watson: Rethinking Test Reports. Selenium Camp 2014
Watson: Rethinking Test Reports. Selenium Camp 2014
Watson: Rethinking Test Reports. Selenium Camp 2014
Watson: Rethinking Test Reports. Selenium Camp 2014
Watson: Rethinking Test Reports. Selenium Camp 2014
Watson: Rethinking Test Reports. Selenium Camp 2014
Watson: Rethinking Test Reports. Selenium Camp 2014
Watson: Rethinking Test Reports. Selenium Camp 2014
Watson: Rethinking Test Reports. Selenium Camp 2014
Watson: Rethinking Test Reports. Selenium Camp 2014
Watson: Rethinking Test Reports. Selenium Camp 2014
Watson: Rethinking Test Reports. Selenium Camp 2014
Watson: Rethinking Test Reports. Selenium Camp 2014
Watson: Rethinking Test Reports. Selenium Camp 2014
Watson: Rethinking Test Reports. Selenium Camp 2014
Watson: Rethinking Test Reports. Selenium Camp 2014
Watson: Rethinking Test Reports. Selenium Camp 2014
Watson: Rethinking Test Reports. Selenium Camp 2014
Watson: Rethinking Test Reports. Selenium Camp 2014
Watson: Rethinking Test Reports. Selenium Camp 2014
Watson: Rethinking Test Reports. Selenium Camp 2014
Watson: Rethinking Test Reports. Selenium Camp 2014
Watson: Rethinking Test Reports. Selenium Camp 2014
Watson: Rethinking Test Reports. Selenium Camp 2014
Watson: Rethinking Test Reports. Selenium Camp 2014
Watson: Rethinking Test Reports. Selenium Camp 2014
Watson: Rethinking Test Reports. Selenium Camp 2014
Watson: Rethinking Test Reports. Selenium Camp 2014
Watson: Rethinking Test Reports. Selenium Camp 2014
Watson: Rethinking Test Reports. Selenium Camp 2014
Watson: Rethinking Test Reports. Selenium Camp 2014
Watson: Rethinking Test Reports. Selenium Camp 2014
Watson: Rethinking Test Reports. Selenium Camp 2014
Watson: Rethinking Test Reports. Selenium Camp 2014
Watson: Rethinking Test Reports. Selenium Camp 2014
Watson: Rethinking Test Reports. Selenium Camp 2014
Watson: Rethinking Test Reports. Selenium Camp 2014
Watson: Rethinking Test Reports. Selenium Camp 2014
Watson: Rethinking Test Reports. Selenium Camp 2014
Watson: Rethinking Test Reports. Selenium Camp 2014
Watson: Rethinking Test Reports. Selenium Camp 2014
Watson: Rethinking Test Reports. Selenium Camp 2014
Watson: Rethinking Test Reports. Selenium Camp 2014
Upcoming SlideShare
Loading in...5
×

Thanks for flagging this SlideShare!

Oops! An error has occurred.

×
Saving this for later? Get the SlideShare app to save on your phone or tablet. Read anywhere, anytime – even offline.
Text the download link to your phone
Standard text messaging rates apply

Watson: Rethinking Test Reports. Selenium Camp 2014

399

Published on

Reports… They have always been troublesome. Nobody wants to generate “any reports” after loads of hard work on hacking autotests. At the same time, team members are hardly satisfied with the reports …

Reports… They have always been troublesome. Nobody wants to generate “any reports” after loads of hard work on hacking autotests. At the same time, team members are hardly satisfied with the reports they are provided. Even if your reports are decent at the moment, more than likely something will have to be changed when your automated test suite is two or three times larger. About what was “painful” and how we managed it, I will tell at Selenium Camp.

Published in: Technology
0 Comments
1 Like
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total Views
399
On Slideshare
0
From Embeds
0
Number of Embeds
2
Actions
Shares
0
Downloads
4
Comments
0
Likes
1
Embeds 0
No embeds

Report content
Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
No notes for slide

Transcript

  • 1. Watson или как мы переосмыслили отчеты
  • 2. О себе • В IT c 2006 • В автоматизации тестирования с 2007 • Руковожу автоматизацией с 2009 @PapaMinos http://test-failed.blogspot.com 62
  • 3. Менеджер 63
  • 4. Автоматизатор 64
  • 5. Руководство 65
  • 6. Research (1 week) 66
  • 7. Proof of concept (month later) 67
  • 8. История целиком 68
  • 9. 69
  • 10. Лампочки – наше всё! 610
  • 11. Очень хороший отчет 611
  • 12. Обычное приложение 612
  • 13. На самом деле 613
  • 14. Лень 614
  • 15. Лень 615
  • 16. Жадность 616
  • 17. «Сам дурак» 617
  • 18. 2+ года назад (декабрь 2011) 618
  • 19. 2+ года назад (декабрь 2011) 619
  • 20. 2 года назад (март 2012) Model-View report (TestNG+ReportNG) 620
  • 21. Мы выросли • С 9 до 600 тестов • С 1 запуска в неделю до десятков в день • Отчеты стали читать разные люди и их тоже стало больше 621
  • 22. Недостатки TestNG+ReportNG 1. 2. 3. 4. 5. 6. 7. Фильтрация + сортировка Неполный рендеринг Проблемы рендеринга Навигация Скриншоты+Верстка Невозможность расширить модель Не Real-time Невозможность анализа отчетов Проблемы подхода 622
  • 23. Проблемы рендеринга • • • • • Одна страница Over 9000 скриншотов Куски верстки Полное отсутствие навигации Кое-что упущено 623
  • 24. Невозможность расширить модель
 624
  • 25. Real-Time? Не, не слышали. 625
  • 26. Наша специфика 626
  • 27. Один ко многим
 627
  • 28. Вспомнить всё! Как проходил тест Z на окружениях Test и Production в течении последних двух недель ? 628
  • 29. Watson - Ватсон, вы гей? - Холмс!?!.....Но как, черт возьми, вы узнали? - Это элементарно, Ватсон. Я вас просто спросил. 629
  • 30. Watson • Хранение данных и отображение репортов • Отображение репортов real-time • Анализ метаинформации от тестов 630
  • 31. Что хранить? 631
  • 32. Логи 632
  • 33. Маркеры 633
  • 34. Ключи 634
  • 35. Модель данных
 635
  • 36. Модель данных
 636
  • 37. Модель данных
 637
  • 38. Demo 638
  • 39. Watson: Архитектура 639
  • 40. Watson: Под капотом • • • • • • • • Dropwizard (Jetty+Jackson+Jersey+Guava) Google Guice Google Charts (?) JQuery MongoDB Cache-и (их много) Свои руки и идеи коллег Прямые руки и «чЮфство прекрасного» верстальщиков 640
  • 41. Watson: Features • • • • • • • Отчет по тестовому раунду Рендеринг отчета по каждому тесту Списки раундов Страница стабильности Аудит выполнения маркеров Страница времени выполнения маркеров Activity Stream по бегущим тестам 641
  • 42. Watson: Coming soon • • • • • Анализ stacktrace-ов Группировка fail-ов по стектрейсам Известные дефекты Статистика работы страниц (Page, Actions) Формирование сьютов 642
  • 43. Watson: Profit-ы • Рендеринг под себя • Real-Time • Анализируемость 643
  • 44. Watson: мопед не мой (с) • • • • Facebook Scribe LinkedIn Apache Kafka (article) Cloudera Flume Spotify TRS (presentation, video) http://bit.ly/1hnN8LH 644
  • 45. Это всё? 645
  • 46. Спасибо! Никита Макаров 
 Руководитель группы автоматизации тестирования, Одноклассники nikita.makarov@odnoklassniki.ru ! !
  • 47. И, да… есть  такая  работа  –  сидеть  в  «Одноклассниках»   ! http://v.ok.ru 647

×