Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
Framework для автоматизации тестирования и функционального мониторинга в Яндексе<br />или<br />Автостопом по Акве<br />Мих...
Михаил Левин, Яндекс<br /><ul><li>Руководитель группы тестирования</li></ul>emails: levsha@yandex-team.ru<br />lev932@yand...
AQuA<br />
50<br />*<br />* Серверов в последней версии AQuA<br />
50 000<br />*<br />Давайте померяемся <br />* Тестовых классов в день <br />
НО<br />
История!<br />
+Monitoring<br />Katiusha<br />Beta<br />Alpha<br />Ppsha<br />Gamma<br />…Bonus!<br />
+Monitoring<br />Katiusha<br />Beta<br />Alpha<br />Ppsha<br />Gamma<br />
Начало<br /><ul><li> Ручное тестирование
Тесты на Perl
Selenium IDE         Selenium RC 0.9b</li></ul>Ppsha<br />
Доставка и хранилище <br /><ul><li> Заливаем код в SVN
 Собираем все тесты в один JAR
Парсим структуру тестов в XML</li></ul>Ppsha<br />
Интерфейсы<br /><ul><li>Создаем профили
Задаем частоту запуска
Задаем получателей
Просматриваем отчеты</li></ul>Ppsha<br />
Исполнение тестов<br /><ul><li>Ручной запуск,HTTP, Cron
20selenium serversv0.9b
Firefox 2.0
Подготовка HTML отчета</li></ul>Ppsha<br />
Сервисы<br />
Прозрачная работа спараметрами для тестов<br />Запуск <br />селениума<br />Различные виды запуска тестов<br />Сервисы<br /...
+Monitoring<br />Katiusha<br />Beta<br />Alpha<br />Ppsha<br />Gamma<br />
Две машины<br />Katiusha<br />
Monitoring<br />Katiusha<br />
Monitoring<br />Куча тестов<br />*<br />* Оценка сверху <br />
Monitoring<br />Солдат спит,робот идет <br />Cron<br />
Надо ли запускать тесты в продакшене??!!?<br />Monitoring<br />
Функциональный мониторинг<br />Monitoring<br />Убеждаться что жив функционал,<br />а не сервера<br />Ловить плавающие ошиб...
Быстро уведомлять, <br />но когда точно сломалось!<br />Monitoring<br />Уведомлять после нескольких поломок подряд<br />Вы...
+Monitoring<br />Katiusha<br />Beta<br />Alpha<br />Ppsha<br />Gamma<br />
Альфа архитектуры<br />PPSHA иKatiusha<br />Alpha<br />Дерево тестов<br />MySQL<br />Дерево тестов<br />XML<br />Интерфейс...
Надо ли запускать селениумные тесты кроссбраузерно?<br />Alpha<br />
+Monitoring<br />Katiusha<br />Beta<br />Alpha<br />Ppsha<br />Gamma<br />
MySQL<br />JAR<br />2<br />Структура<br />Тестов<br />Интерфейс<br />Cron<br />JAR<br />Beta<br />JAR<br />Очередь<br />те...
Upcoming SlideShare
Loading in …5
×

Yandex test framework. Talk for Seleniumcamp

8,167 views

Published on

Slides for my talk on Selenium camp.
Talk was about Yandex Selenium-based test framework and about it's avaluation. It also included part about functional monitoring we implemented in Yandex and part about applicability of selenium tests

Published in: Technology
  • Be the first to comment

Yandex test framework. Talk for Seleniumcamp

  1. 1. Framework для автоматизации тестирования и функционального мониторинга в Яндексе<br />или<br />Автостопом по Акве<br />Михаил Левин<br />
  2. 2. Михаил Левин, Яндекс<br /><ul><li>Руководитель группы тестирования</li></ul>emails: levsha@yandex-team.ru<br />lev932@yandex.ru<br />
  3. 3. AQuA<br />
  4. 4. 50<br />*<br />* Серверов в последней версии AQuA<br />
  5. 5. 50 000<br />*<br />Давайте померяемся <br />* Тестовых классов в день <br />
  6. 6.
  7. 7. НО<br />
  8. 8.
  9. 9. История!<br />
  10. 10. +Monitoring<br />Katiusha<br />Beta<br />Alpha<br />Ppsha<br />Gamma<br />…Bonus!<br />
  11. 11. +Monitoring<br />Katiusha<br />Beta<br />Alpha<br />Ppsha<br />Gamma<br />
  12. 12. Начало<br /><ul><li> Ручное тестирование
  13. 13. Тесты на Perl
  14. 14. Selenium IDE Selenium RC 0.9b</li></ul>Ppsha<br />
  15. 15. Доставка и хранилище <br /><ul><li> Заливаем код в SVN
  16. 16. Собираем все тесты в один JAR
  17. 17. Парсим структуру тестов в XML</li></ul>Ppsha<br />
  18. 18. Интерфейсы<br /><ul><li>Создаем профили
  19. 19. Задаем частоту запуска
  20. 20. Задаем получателей
  21. 21. Просматриваем отчеты</li></ul>Ppsha<br />
  22. 22.
  23. 23. Исполнение тестов<br /><ul><li>Ручной запуск,HTTP, Cron
  24. 24. 20selenium serversv0.9b
  25. 25. Firefox 2.0
  26. 26. Подготовка HTML отчета</li></ul>Ppsha<br />
  27. 27. Сервисы<br />
  28. 28. Прозрачная работа спараметрами для тестов<br />Запуск <br />селениума<br />Различные виды запуска тестов<br />Сервисы<br />Снятие <br />скриншотов<br />Сохранение<br />html<br />Единообразная <br />обработка <br />ошибок и генерация отчетов<br />
  29. 29. +Monitoring<br />Katiusha<br />Beta<br />Alpha<br />Ppsha<br />Gamma<br />
  30. 30. Две машины<br />Katiusha<br />
  31. 31. Monitoring<br />Katiusha<br />
  32. 32. Monitoring<br />Куча тестов<br />*<br />* Оценка сверху <br />
  33. 33.
  34. 34. Monitoring<br />Солдат спит,робот идет <br />Cron<br />
  35. 35. Надо ли запускать тесты в продакшене??!!?<br />Monitoring<br />
  36. 36. Функциональный мониторинг<br />Monitoring<br />Убеждаться что жив функционал,<br />а не сервера<br />Ловить плавающие ошибки<br />
  37. 37. Быстро уведомлять, <br />но когда точно сломалось!<br />Monitoring<br />Уведомлять после нескольких поломок подряд<br />Выставлять веса тестам<br />SMS или Email<br />
  38. 38. +Monitoring<br />Katiusha<br />Beta<br />Alpha<br />Ppsha<br />Gamma<br />
  39. 39. Альфа архитектуры<br />PPSHA иKatiusha<br />Alpha<br />Дерево тестов<br />MySQL<br />Дерево тестов<br />XML<br />Интерфейс<br />Репорты<br />Seleniums<br />Firefox 2.0<br />Cron<br />Java агент<br />Seleniums<br />Firefox<br />IE<br />
  40. 40. Надо ли запускать селениумные тесты кроссбраузерно?<br />Alpha<br />
  41. 41. +Monitoring<br />Katiusha<br />Beta<br />Alpha<br />Ppsha<br />Gamma<br />
  42. 42. MySQL<br />JAR<br />2<br />Структура<br />Тестов<br />Интерфейс<br />Cron<br />JAR<br />Beta<br />JAR<br />Очередь<br />тестов<br />Репорты<br />2<br />/opt<br />10<br />15<br />
  43. 43. MySQL<br />MySQL<br />Кластер<br />Тестирования<br />Cron<br />Cron<br />Структура<br />тестов<br />Структура<br />тестов<br />Интерфейс<br />Интерфейс<br />Beta<br />Очередь<br />тестов<br />Очередь<br />тестов<br />Репорты<br />Репорты<br />Кластер<br />Мониторинга<br />
  44. 44.
  45. 45. +Monitoring<br />Katiusha<br />Beta<br />Alpha<br />Ppsha<br />Gamma<br />
  46. 46. MySQL<br />Структура<br />Тестов<br />Интерфейс<br />Cron<br />Gamma<br />Очередь<br />тестов<br />Репорты<br />Что будем улучшать?<br />/opt<br />
  47. 47. Хотим побеждать<br />Gamma<br />Очередь<br />Старый селениум 1.03<br />Файловое хранилище<br />
  48. 48. Bonus!<br />
  49. 49. Азачем нам<br />selenium???<br />
  50. 50. У селениума своя область применения<br />Manual<br />tests<br />
  51. 51. HTTP requests<br />
  52. 52. Михаил Левин<br />

×