Downloaded 28 times
Uploaded byYandex
Андрей Похилько — Нагрузочное тестирование типичного интернет сервиса
Документ является обзором нагрузочного тестирования типичного сервиса, где обсуждаются ключевые показатели производительности, планы мощностей и разница между открытыми и закрытыми моделями нагрузки. Также подчеркиваются важность телеметрии и инструментов для тестирования, таких как jmeter и ab. В конце представлены резюме основных показателей и процесс тестирования, включая подготовку и финал тестирования.
More Related Content
Similar to Андрей Похилько — Нагрузочное тестирование типичного интернет сервиса
Андрей Похилько — Нагрузочное тестирование типичного интернет сервиса
- 2. Андрей Похилько Рук. группыНТ Рекламных технологий Нагрузочное тестирование типичного сервиса
- 3. Обзор 1. Место НТв нашем мире 2. Наш взгляд на сервисы 3. Что мы ценим в инструментах 4. Универсальная процедура НТ
- 4. А разве естьтакая теория? Теория НТ
- 5. Когда в товарищахсогласья нет... ● Разногласия в терминах ● Границы ответственности НТ
- 6. 6 Инженерия производительности Это разработка,тестирование и эксплуатация и НТ – её часть Performance Engineering
- 7. 7 Планирование мощностей “Сколько серверовпонадобится сейчас? А сколько – в будущем?” Capacity Planning
- 8. 8 Нагрузочное тестирование Load Testing Поставщикинформации для всех
- 9. 9 Наша задача Выяснить ключевые показателипроизводительности для данного сервиса
- 10.
- 11.
- 12. 12 Ёмкость ● Ёмкость = максимальнаяпропускная способность (max throughput) ● Повышается от параллелизма ● Единицы измерения: RPS, VU Capacity
- 13.
- 14. 14 Времена ответов Response Times •Единицы измерения: миллисекунды для % ответов • Влияет на ёмкость • Влияет на удовлетворенность пользователей
- 15.
- 16. 16 Надёжность Stability • Как долгоможем работать без остановки? • Как быстро восстановимся после проблем? • Единицы измерения: часы
- 17. 17 Еще показатели • Доступность •Масштабируемость • Критический ресурс
- 18.
- 19. Закрытые и открытые ● Этоне про систему, а про пользователей сервиса ● Суть – реакция нагрузки на деградацию сервиса ● На практике всё не так однозначно
- 20. 20 Закрытая модель нагрузки СЕРВЕР Очередь Интенсивностьприхода запросов зависит от времени ответа
- 21. 21 Открытая модель нагрузки СЕРВЕР Очередь Интенсивностьприхода запросов не зависит от времени ответа
- 22. 22 Stateless и Stateful •HTTP • DNS • FTP • IMAP / SMTP / POP3 Stateful протокол гораздо сложней поддержать в инструменте
- 23.
- 24. 24 «Типичный» интернет-сервис? ● Открытый иStateless на фронтэнде ● Закрытый на бэкенде ● Нужно уметь тестировать любые
- 25. 25 Ожидаемая нагрузка иSLA • Пиковая рабочая нагрузка и запас • SLA по времени ответа • Наработка на отказ, время восстановления • Полезно иметь ожидания – есть с чем сравнивать
- 26.
- 27. Сценарные и hit-based ● Сценарийближе к правде жизни ● Hit-based это вырожденный сценарий ● Сведение сценариев к hit-based
- 28. Открытая и закрытая нагрузка ● Закрытыйотрабатывает расписание VU ● Открытый отрабатывает расписание RPS ● Суть разницы – реакция на деградацию сервиса Гвоздь именно здесь
- 29. Телеметрия Зачем на самолетах“черные ящики”? Хороший инструмент может собрать любые метрики
- 30. Результаты тестов ● Хранение, доступноекоманде ● Интерактивные отчеты ● Агрегаты и таймлайны ● Сравнение тестов ● Регрессионные последовательности ● API для автоматизации
- 31. Устройство Яндекс.Танка Цель разработкиЯндекс.Танка ― сделать НТ удобным
- 32. Ядро Ядротанка Агрегатор Конфигурирование + Артефакты Связьмежду модулями Рабочий цикл теста Отчеты Автостопы JMeter BFG Телеметрия ab ShellExec Консольный вывод ResourceCheck
- 33. Стрелялки ● phantom – (а)синхнонныйhit-based ● ab – синхронный hit-based ● JMeter – (a)синхронный сценарный ● BFG – смотря что реализовать
- 34. Сбор телеметрии ● Linux-specific ● Требует SSH-доступабез пароля (по ключу) ● Сбор с нескольких хостов ● Кастомные метрики ● Startup/Shutdown хуки
- 35. Анализ результатов ● Консольный выводи WebOnline ● Модуль отчета с графиками ● Заливка в Graphite ● Артефакты для самообслуживания
- 36. Прочие плюшки ● Куча опцийс дефолтами ● Автостопы ● Shellexec-хуки ● Готовность к оберткам ● Готовность к дополнениям Побалуй себя...
- 37. Резюме первой части ● НТ– малая толика инженерии производительности ● Сервисы: открытые и закрытые, stateless и stateful ● Инструменты: сценарные и hit-based, (а)синхронные ● Телеметрия бесценна ● В Яндекс.Танке есть всё необходимое
- 38.
- 39. Процедура НТ I. Ёмкостьсинхронным инструментом II. Ёмкость асинхронным (если нужно) III. Времена ответа IV. Восстановление V. Стабильность
- 40. Подготовка ● На каких серверахтестируем ● Кто всё настраивает ● Доступы и полномочия ● Написание сценариев ● Подготовка данных
- 41.
- 42.
- 43.
- 44.
- 45.
- 46.
- 47.
- 48. Финал тестирования Ёмкость измерена:выдерживаем X RPS, запас N крат Времена ответов: P% ответов укладываются в K мс Восстановление после сбоя занимает: Y минут Время стабильной непрерывной работы: от T часов
- 49. Андрей Похилько Руководитель группы нагрузочноготестирования рекламных технологий apc4@ya.ru Спасибо!