Download as PDF, PPTX
![Цифры
sort -n input.txt > sorted.txt
awk '{all[NR] = $0} END
{print all[int(NR*0.95 - 0.5)]}' sorted.txt
???
PROFIT!!!
01.
02.
03.
04.
На выходе получим величину, которая больше чем в 95%
запросов, т.е. 95ую процентиль](https://image.slidesharecdn.com/8-160115115242/85/2-51-320.jpg)
![Цифры
sort -n input.txt > sorted.txt
awk '{all[NR] = $0} END
{print all[int(NR*0.95 - 0.5)]}' sorted.txt
???
PROFIT!!!
01.
02.
03.
04.
На выходе получим величину, которая больше чем в 95%
запросов, т.е. 95ую процентиль](https://image.slidesharecdn.com/8-160115115242/85/2-52-320.jpg)
![Цифры
sort -n input.txt > sorted.txt
awk '{all[NR] = $0} END
{print all[int(NR*0.95 - 0.5)]}' sorted.txt
???
PROFIT!!!
01.
02.
03.
04.
На выходе получим величину, которая больше чем в 95%
запросов, т.е. 95ую процентиль](https://image.slidesharecdn.com/8-160115115242/85/2-53-320.jpg)
![Цифры
sort -n input.txt > sorted.txt
awk '{all[NR] = $0} END
{print all[int(NR*0.95 - 0.5)]}' sorted.txt
???
PROFIT!!!
01.
02.
03.
04.
На выходе получим величину, которая больше чем в 95%
запросов, т.е. 95ую процентиль](https://image.slidesharecdn.com/8-160115115242/85/2-54-320.jpg)
![Цифры
sort -n input.txt > sorted.txt
awk '{all[NR] = $0} END
{print all[int(NR*0.95 - 0.5)]}' sorted.txt
???
PROFIT!!!
01.
02.
03.
04.
На выходе получим величину, которая больше чем в 95%
запросов, т.е. 95ую процентиль](https://image.slidesharecdn.com/8-160115115242/85/2-55-320.jpg)
Uploaded byOntico
Функциональное тестирование высоконагруженных проектов / Илья Пастушков (2ГИС)
Документ представляет собой обзор функционального тестирования высоконагруженных проектов, в котором обсуждаются основные проблемы и подходы, включая важность множества тестов и использование различных инструментов. Автор, специалист по тестированию в компании 2ГИС, делится опытом работы и предлагает методы организации и анализа тестов, подчеркивая важность правильной интерпретации результатов. Также рассматриваются аспекты нагрузочного тестирования и оптимизации процессов тестирования с помощью рандомизации и анализа данных.
More Related Content
Similar to Функциональное тестирование высоконагруженных проектов / Илья Пастушков (2ГИС)
Функциональное тестирование высоконагруженных проектов / Илья Пастушков (2ГИС)
- 1.
- 2. • Что можноизвлечь из тестов • Почему результаты одиночного теста не показательны • Как не потеряться среди огромного количества тестов • Какими инструментами вообще всё это можно сделать • И что из этого должно получиться Расскажу...
- 3. • Что можноизвлечь из тестов • Почему результаты одиночного теста не показательны • Как не потеряться среди огромного количества тестов • Какими инструментами вообще всё это можно сделать • И что из этого должно получиться Расскажу...
- 4. • Что можноизвлечь из тестов • Почему результаты одиночного теста не показательны • Как не потеряться среди огромного количества тестов • Какими инструментами вообще всё это можно сделать • И что из этого должно получиться Расскажу...
- 5. • Что можноизвлечь из тестов • Почему результаты одиночного теста не показательны • Как не потеряться среди огромного количества тестов • Какими инструментами вообще всё это можно сделать • И что из этого должно получиться Расскажу...
- 6. • Что можноизвлечь из тестов • Почему результаты одиночного теста не показательны • Как не потеряться среди огромного количества тестов • Какими инструментами вообще всё это можно сделать • И что из этого должно получиться Расскажу...
- 7. Кто я? • Специалистпо тестированию в компании 2ГИС • Больше двух лет работаю в команде Unix.
- 8. Кто я? • Специалистпо тестированию в компании 2ГИС • Больше двух лет работаю в команде Unix.
- 9.
- 10.
- 11. • Unit-тесты • Регрессия •Нагрузочные • Функциональные • Автотесты Тестирование
- 12. Тестирование самолётов Процесс: • Строятопытный образец • Ставят под нагрузку • Через 5-10 лет запускают модель в эксплуатацию • А самолёт стоит на стенде Даже если на тестах сломается, у авиакомпании будет 5-10 лет в запасе
- 13. Тестирование самолётов Процесс: • Строятопытный образец • Ставят под нагрузку • Через 5-10 лет запускают модель в эксплуатацию • А самолёт стоит на стенде Даже если на тестах сломается, у авиакомпании будет 5-10 лет в запасе
- 14. Тестирование самолётов Процесс: • Строятопытный образец • Ставят под нагрузку • Через 5-10 лет запускают модель в эксплуатацию • А самолёт стоит на стенде Даже если на тестах сломается, у авиакомпании будет 5-10 лет в запасе
- 15. Тестирование самолётов Процесс: • Строятопытный образец • Ставят под нагрузку • Через 5-10 лет запускают модель в эксплуатацию • А самолёт стоит на стенде Даже если на тестах сломается, у авиакомпании будет 5-10 лет в запасе
- 16. Тестирование самолётов Процесс: • Строятопытный образец • Ставят под нагрузку • Через 5-10 лет запускают модель в эксплуатацию • А самолёт стоит на стенде Даже если на тестах сломается, у авиакомпании будет 5-10 лет в запасе
- 17. Тестирование самолётов Процесс: • Строятопытный образец • Ставят под нагрузку • Через 5-10 лет запускают модель в эксплуатацию • А самолёт стоит на стенде Даже если на тестах сломается, у авиакомпании будет 5-10 лет в запасе
- 18. Поисковые сервисы 2014 • Сбербанк Аптеки Кафе Почта Такси • • • • 2015 •Парикмахерские Аптеки Почта Кафе Супермаркеты • • • •
- 19. Серверы обновлений 2014 • Android4 iOS 7 Windows 8 • • 2015 • Android 6 iOS 9 Windows 10 • •
- 20. Тестирование Функциональные тесты важныдаже для highload Проблемы: • "Проблема 34%" • Запрос пришёл и застрял
- 21. Тестирование Функциональные тесты важныдаже для highload Проблемы: • "Проблема 34%" • Запрос пришёл и застрял
- 22. Тестирование Функциональные тесты важныдаже для highload Проблемы: • "Проблема 34%" • Запрос пришёл и застрял
- 23. Функциональные тесты Friend or foe?Да или нет?
- 24.
- 25. Время • время откликасервера • время получения ответа клиентом • время отклика компонент
- 26. Время • время откликасервера • время получения ответа клиентом • время отклика компонент
- 27. Время • время откликасервера • время получения ответа клиентом • время отклика компонент
- 28. Время. Откуда? • логи •мониторинг • сами
- 29. Время. Откуда? • логи •мониторинг • сами
- 30. Время. Откуда? • логи •мониторинг • сами
- 31. Утилизация ресурсов • CPUusage • Memory usage • i/o per second • network latency
- 32. Итог Всё это можетпроисходить п • кто-то кошмарит соседей по шакалы сжимают, тестеры • перебои с сетью не было ни единого разрыва visual studio отому что: виртуалке нагружают, админы бэкапят , а тут! или все обновляют
- 33. Итог Всё это можетпроисходить п • кто-то кошмарит соседей по шакалы сжимают, тестеры • перебои с сетью не было ни единого разрыва visual studio отому что: виртуалке нагружают, админы бэкапят , а тут! или все обновляют
- 34. Итог Всё это можетпроисходить п • кто-то кошмарит соседей по шакалы сжимают, тестеры • перебои с сетью не было ни единого разрыва visual studio отому что: виртуалке нагружают, админы бэкапят , а тут! или все обновляют
- 35. Можно держать это вголове
- 36.
- 37.
- 38.
- 39. Организация тестов • Вносимв тесты некоторую энтропию Проверяем одно, но разными кейсами • Мыслим не конкретными запросами, а категориями Негативные кейсы могут быть заткнуты исключениями
- 40. Организация тестов • Вносимв тесты некоторую энтропию Проверяем одно, но разными кейсами • Мыслим не конкретными запросами, а категориями Негативные кейсы могут быть заткнуты исключениями
- 41. Организация тестов • Вносимв тесты некоторую энтропию Проверяем одно, но разными кейсами • Мыслим не конкретными запросами, а категориями Негативные кейсы могут быть заткнуты исключениями
- 42. Причины рандомизации Если сервисstateless: • поисковый сервис N раз найдёт x по запросу y • сервис поиска проезда выдаст N раз маршрут x по координатам y и z Stateless, statefull, не забываем про кэширование
- 43. Причины рандомизации Если сервисstateless: • поисковый сервис N раз найдёт x по запросу y • сервис поиска проезда выдаст N раз маршрут x по координатам y и z Stateless, statefull, не забываем про кэширование
- 44. Причины рандомизации Если сервисstateless: • поисковый сервис N раз найдёт x по запросу y • сервис поиска проезда выдаст N раз маршрут x по координатам y и z Stateless, statefull, не забываем про кэширование
- 45. Причины рандомизации Если сервисstateful: • фиксируем состояние • GOTO предыдущий слайд
- 46. Причины рандомизации Если сервисstateful: • фиксируем состояние • GOTO предыдущий слайд
- 47. Методы • библиотека random(fuzzing)
- 48. Методы • библиотека random (fuzzing) •ортогональные массивы
- 49. Методы • библиотека random (fuzzing) •pairwise (комбинации пар)
- 50. Средства визуализации • Цифры •Графики • Отчёты
- 51. Цифры sort -n input.txt> sorted.txt awk '{all[NR] = $0} END {print all[int(NR*0.95 - 0.5)]}' sorted.txt ??? PROFIT!!! 01. 02. 03. 04. На выходе получим величину, которая больше чем в 95% запросов, т.е. 95ую процентиль
- 52. Цифры sort -n input.txt> sorted.txt awk '{all[NR] = $0} END {print all[int(NR*0.95 - 0.5)]}' sorted.txt ??? PROFIT!!! 01. 02. 03. 04. На выходе получим величину, которая больше чем в 95% запросов, т.е. 95ую процентиль
- 53. Цифры sort -n input.txt> sorted.txt awk '{all[NR] = $0} END {print all[int(NR*0.95 - 0.5)]}' sorted.txt ??? PROFIT!!! 01. 02. 03. 04. На выходе получим величину, которая больше чем в 95% запросов, т.е. 95ую процентиль
- 54. Цифры sort -n input.txt> sorted.txt awk '{all[NR] = $0} END {print all[int(NR*0.95 - 0.5)]}' sorted.txt ??? PROFIT!!! 01. 02. 03. 04. На выходе получим величину, которая больше чем в 95% запросов, т.е. 95ую процентиль
- 55. Цифры sort -n input.txt> sorted.txt awk '{all[NR] = $0} END {print all[int(NR*0.95 - 0.5)]}' sorted.txt ??? PROFIT!!! 01. 02. 03. 04. На выходе получим величину, которая больше чем в 95% запросов, т.е. 95ую процентиль
- 56.
- 60. Я сломаль, ясломаль! Если есть тесты, которые не сработали, то внимательно смотрим на них: • запрос • время, ресурсы • предыдущие запросы
- 61. Я сломаль, ясломаль! Если есть тесты, которые не сработали, то внимательно смотрим на них: • запрос • время, ресурсы • предыдущие запросы
- 62.
- 63. All tests passed! Есливсе тесты прошли -- смотрим ещё внимательнее: • пики точёны по времени/ресурсам - смотрим внимательно
- 64. All tests passed! Есливсе тесты прошли -- смотрим ещё внимательнее: • 95ая, 98 процентиль по характеристике - лучший показатель НИ В КОЕМ СЛУЧАЕ НЕ БРАТЬ СРЕДНЕЕ! Пример когда среднее не показатель: • половина запросов обрывается при соединении, те, что проходят - превышают SLA Итог - по среднему мы очень даже укладываемся
- 65. All tests passed! Есливсе тесты прошли -- смотрим ещё внимательнее: • 95ая, 98 процентиль по характеристике - лучший показатель НИ В КОЕМ СЛУЧАЕ НЕ БРАТЬ СРЕДНЕЕ! Пример когда среднее не показатель: • половина запросов обрывается при соединении, те, что проходят - превышают SLA Итог - по среднему мы очень даже укладываемся
- 66. All tests passed! Есливсе тесты прошли -- смотрим ещё внимательнее: • 95ая, 98 процентиль по характеристике - лучший показатель НИ В КОЕМ СЛУЧАЕ НЕ БРАТЬ СРЕДНЕЕ! Пример когда среднее не показатель: • половина запросов обрывается при соединении, те, что проходят - превышают SLA Итог - по среднему мы очень даже укладываемся
- 67. Highload edition • Нагрузкувыстраиваем линейно • Автоматизация во все поля Зеркалируем траффик с учётом масштабирования: • em proxy • gor
- 68. Highload edition • Нагрузкувыстраиваем линейно • Автоматизация во все поля Зеркалируем траффик с учётом масштабирования: • em proxy • gor
- 69. Highload edition • Нагрузкувыстраиваем линейно • Автоматизация во все поля Зеркалируем траффик с учётом масштабирования: • em proxy • gor
- 70. Highload edition • Нагрузкувыстраиваем линейно • Автоматизация во все поля Зеркалируем траффик с учётом масштабирования: • em proxy • gor
- 71. Арифметика масштабирования • Cобираемсоотношения траффика-утилизации-rps на возможных конфигурациях, • Выстраиваем зависимость, • На её основе вычисляем соотношение • Можно грабить корованы функционально проверять
- 72. Арифметика масштабирования • Cобираемсоотношения траффика-утилизации-rps на возможных конфигурациях, • Выстраиваем зависимость, • На её основе вычисляем соотношение • Можно грабить корованы функционально проверять
- 73. Арифметика масштабирования • Cобираемсоотношения траффика-утилизации-rps на возможных конфигурациях, • Выстраиваем зависимость, • На её основе вычисляем соотношение • Можно грабить корованы функционально проверять
- 74. Арифметика масштабирования • Cобираемсоотношения траффика-утилизации-rps на возможных конфигурациях, • Выстраиваем зависимость, • На её основе вычисляем соотношение • Можно грабить корованы функционально проверять
- 75. • Что можноизвлечь из тестов • Почему результаты одиночного теста не показательны • Как не потеряться среди огромного количества тестов • Какими инструментами вообще всё это можно сделать • И что из этого должно получиться Сегодня я рассказал...
- 76.