1. Поиск багов в поиске Ерошенко Артем инженер по тестированию Селиверстов Станислав инженер по тестированию Я.Субботник, Санкт-Петербург, 26-12 2011

2. Поиск Яндекса 150 000 000 запросов в день 5 400 000 сайтов в индексе 800 000 пользователей в день 62 терабайта информации сотни разработчиков 1

3. Как рождается поиск 2

4. 3

5. Как рождается поиск Результат работы программ 4

6. Как рождается поиск Результат взаимодействия 5

7. Как тестировать? через конечную функциональность по-компонентно 6

8. Тестирование через конечную функциональность 7

9. Инструмент тестирования Требования 8

10. Инструмент тестирования Selenium работает с реальным браузером клиентская часть реализована на нескольких языках работает с несколькими браузерами открытый код 9

11. Главное правильно задать запрос 10

12. Как задаем запросы? проектируем свои берем пользовательские 11

13. Как задаем запросы? Пользовательские запросы 12

14. Пользовательские запросы Ожидаемый результат оцениваем масштаб проблемы проверяем показ элемента в выдаче 13

15. Сложности скорость выполнения тестов экспортные данные множество ссылок тестирование верстки 14

16. Сложности скорость выполнения тестов экспортные данные множество ссылок тестирование верстки 15

17. Скорость выполнения тестов Как уменьшить время запускатьменьшетестов выполнять тесты быстрее 16

18. Скорость выполнения тестов Как уменьшить время запускатьменьшетестов выполнять тесты быстрее 17

19. Запускать меньше тестов Самая длинная цепь 18 Выдача поиска

20. Запускать меньше тестов Группировка тестов 19

21. Скорость выполнения тестов Как уменьшить время запускатьменьшетестов выполнять тесты быстрее 20

22. Выполнять тесты быстрее Рост количества данных 21

23. Выполнять тесты быстрее Каким инструментом 22 Selenium?

24. Выполнять тесты быстрее Инструмент HtmlUnit эмулирует работу браузера поддерживает jScript быстрее в разы 23

25. Выполнять тесты быстрее Разные интерфейсы 24

26. Выполнять тесты быстрее HtmlUnit to Selenium 25

27. Выполнять тесты быстрее HtmlUnit to? Selenium 26

28. Выполнять тесты быстрее Перевести все тесты на HtmlUnit уникальные тесты на Selenium тесты на большом количестве запросов на HtmlUnit 27

29. Сложности скорость выполнения тестов экспортные данные множество ссылок тестирование верстки 28

30. Экспортные данные приходят со сторонних сервисов имеют разные форматы 29

31. Экспортные данные Форматы 30

32. Экспортные данные Преобразования 31

33. Сложности скорость выполнения тестов экспортные данные множество ссылок тестирование верстки 32

34. Множество ссылок Прокликать все ссылки генерируются данные приходят со сторонних сервисов сторонние сервисы живут своей жизню 33

35. Множество ссылок Переход на погоду pogoda.yandex.ru/saint-petersburg pogoda.yandex.ru/26063

36. Множество ссылок Инструмент noname умеет обходить страницы “вширь” умеет “пинговать” ресурс (link, image) умеет проверять корректность страницы (css, js, favicon) proxy, cookie 35

37. Множество ссылок Noname улучшизмы проверка работы JavaScript “склеивание” ссылок 36

38. Сложности скорость выполнения тестов экспортные данные множество ссылок тестирование верстки 37

39. Тестирование верстки Проблема поколений 38

40. Тестирование верстки Руками и глазами 39

41. Тестирование верстки Нагрузка растет сотни сценариев разные браузеры 40

42. Тестирование верстки А/Б тестирование 41

43. Тестирование верстки Нерешенная проблема 42 Как автоматизировать?

44. Компонентное тестирование 43

45. Компонентное тестирование Надежность и производительность Раннее тестирование производительности Стресс-тесты и тестирование стабильности компонент Функциональные тесты под нагрузкой 44

46. Компонентное тестирование Этапы тестирования Подготовка тестовой среды Выбор входных данных Проведение теста Анализ выходных данных 45

47. Компонентное тестирование Тестовая среда Отдельно выделенный сервер, с аналогичной продакшен конфигурацией Окружение создается каждый раз перед тестированием Эмуляция принимающих выходной поток компонент + возможность использовать тестовые кластеры 46

48. Компонентное тестирование План обстрела Живой поток с продакшен Фиксированный поток Сгенерированный поток 47

49. Пример Балансер Функции Обеспечивает доставку запроса пользователя к поисковому кластеру и ответа к пользователю Распределяет запросы между поисковыми кластерами кратно их производительности 48

50. Пример Балансер 49 IP-Балансер HTTP-Балансер HTTP-Балансер HTTP-Балансер HTTP-Балансер Поисковый кластер Верхний поиск

51. Пример Балансер Ошибки Скорость отдачи страницы с результатом выдачи снизилась Балансер перестал отдавать результат выдачи (белая страница) Данные портятся при прохождении через балансер 50

52. Пример Балансер Тесты под нагрузкой Пусть будут 10 заглушек эмулирующих бэкэндыс различной производительностью 51

53. Пример Балансер Среднее количество запросов по группе одинаковых бэкэндов 52

54. Пример Балансер Распределение времени ответов с бэкэндов 53

55. Пример Балансер Количество обработанных запросов на бэкэндах 54

56. Пример Балансер Распределение времени ответов за балансером 55

57. Пример Балансер Ошибки Скорость отдачи страницы с результатом выдачи снизилась Балансер перестал отдавать результат выдачи (белая страница) Данные портятся при прохождении через балансер 56

58. Пример Балансер Функциональные тесты под нагрузкой Сверяем трафик до балансера и после Пропускаем через балансер преднамеренно испорченные запросы (fuzzing) Искусственно создаем таймауты и потерю соединения 57

59. Компонентное тестирование SandBox Учитывает все особенности сборки компонент Интегрирован инструментарий для обстрела и профилирования поисковых компонент Есть надежная доставка компонент на многочисленные машины поискового кластера Автоматическая сборка и тестирование по расписанию или по коммиту 58

60. Компонентное тестирование Горизонты Тестирование всех компонент на производительность Расширение покрытия функциональными тестами 59

61. Путь тестирования Покоммитноетестированиекомпонент Тестирование версии под нагрузкой Версия попадает в приемку качества После приемки качества попадает в тестирование через конечную функциональность Впродакшенследимчерезмониторинги 60

62. Вопросы? Ерошенко Артем Инженер по тестированию+7 (812) 633-36-00 (8625)eroshenkoam@yandex-team.ru Селиверстов Станислав Инженер по тестированию+7 (812) 633-36-00 (8575) thistle@yandex-team.ru