Проверка на прочность или нагрузочное тестирование с JmeterAleksey Derkach
Мой доклад на второй мини-конференции компании Anadea в феврале 2015 года. Обобщение опыта, полученного в результате проведения полноценной сессии нагрузочного тестирования Web-приложения с использованием Jmeter.
Андрей Похилько — Нагрузочное тестирование типичного интернет сервисаYandex
Нагрузочное тестирование интернет-сервиса начинается с того, что мы выясняем ожидаемый профиль нагрузки. Вооружившись подходящим инструментом, мы проводим типовую последовательность тестов и измеряем основные показатели производительности: ёмкость, скорость и надёжность. При этом особое внимание необходимо уделять наблюдению за состоянием ресурсов тестируемой системы.
Часто о нагрузочном тестировании рассказывают через призму используемого инструментария, хорошо раскрывая слово «нагрузочное» и часто оставляя слово «тестирование» за кадром. Так давайте же попробуем поговорить о месте именно тестирования в нагрузочном тестировании.
Проверка на прочность или нагрузочное тестирование с JmeterAleksey Derkach
Мой доклад на второй мини-конференции компании Anadea в феврале 2015 года. Обобщение опыта, полученного в результате проведения полноценной сессии нагрузочного тестирования Web-приложения с использованием Jmeter.
Андрей Похилько — Нагрузочное тестирование типичного интернет сервисаYandex
Нагрузочное тестирование интернет-сервиса начинается с того, что мы выясняем ожидаемый профиль нагрузки. Вооружившись подходящим инструментом, мы проводим типовую последовательность тестов и измеряем основные показатели производительности: ёмкость, скорость и надёжность. При этом особое внимание необходимо уделять наблюдению за состоянием ресурсов тестируемой системы.
Часто о нагрузочном тестировании рассказывают через призму используемого инструментария, хорошо раскрывая слово «нагрузочное» и часто оставляя слово «тестирование» за кадром. Так давайте же попробуем поговорить о месте именно тестирования в нагрузочном тестировании.
От простого к сложному: автоматизируем ручные тест-планы | Сергей ТимченкоPositive Hack Days
1. Смотрим по сторонам - обычный процесс авто-тестирования
2. Убираем лишнее - реалистичный целевой процесс
3. DataDrivenTesting - создание спец. инструментов для конкретных сценариев
4. RobotFramework - что делать, если простых сценариев слишком много
Система мониторинга Zabbix в процессах разработки и тестирования | Алексей БуровPositive Hack Days
1. Система мониторинга ресурсов различных отделов
2. Шаблоны и роли серверов, разграничение доступа и зон ответственности
3. ptzabbixtools - конфигурация мониторинга на целевых серверах
4. Пример встраивания системы мониторинга в процессы разработки/тестирования
Инструментарий для создания дистрибутивов продуктов | Владимир СелинPositive Hack Days
1. Что такое дистрибутив большого продукта?
2. Проблема: знаниями о процессе установки продукта владеет малое число людей.
3. Шаблоны + DSL - решение всех проблем!
Дело тестера боится: как в опытных руках могут заиграть Java и TestNgIT61
Вячеслав Марков, QA engineer в Weezlabs
Я расскажу о том, как в нашей фирме организовано тестирование бэкенда с помощью тестового фреймворка TestNG и Java. Расскажу о data-driven тестировании и о том, почему его удобно применять. Покажу и опишу разработанную нами структуру типового тестового проекта. Представлю применяемые нами способы сбора и документирования результатов, а так же их анализ в условиях CI.
Автоматизация нагрузочного тестирования в связке JMeter + TeamСity + Grafana ...Positive Hack Days
1. Описание старого процесса сбора данных о тестах: как было до, что хорошего, что плохого
2. Influxdb, как хранилище time-series данных,
3. Zabbix - мониторинг нагрузочных стендов: windows и linux агенты, активный сбор данных, autodiscovery виртуальных машин в esx
4. Grafana, как способ превратить графики и дашборды в конфетку
5. Автоматизация нагрузки от пользователей через web-UI при помощи Jmeter, отображение статистики в реальном времени, CI в Teamcity
От простого к сложному: автоматизируем ручные тест-планы | Сергей ТимченкоPositive Hack Days
1. Смотрим по сторонам - обычный процесс авто-тестирования
2. Убираем лишнее - реалистичный целевой процесс
3. DataDrivenTesting - создание спец. инструментов для конкретных сценариев
4. RobotFramework - что делать, если простых сценариев слишком много
Система мониторинга Zabbix в процессах разработки и тестирования | Алексей БуровPositive Hack Days
1. Система мониторинга ресурсов различных отделов
2. Шаблоны и роли серверов, разграничение доступа и зон ответственности
3. ptzabbixtools - конфигурация мониторинга на целевых серверах
4. Пример встраивания системы мониторинга в процессы разработки/тестирования
Инструментарий для создания дистрибутивов продуктов | Владимир СелинPositive Hack Days
1. Что такое дистрибутив большого продукта?
2. Проблема: знаниями о процессе установки продукта владеет малое число людей.
3. Шаблоны + DSL - решение всех проблем!
Дело тестера боится: как в опытных руках могут заиграть Java и TestNgIT61
Вячеслав Марков, QA engineer в Weezlabs
Я расскажу о том, как в нашей фирме организовано тестирование бэкенда с помощью тестового фреймворка TestNG и Java. Расскажу о data-driven тестировании и о том, почему его удобно применять. Покажу и опишу разработанную нами структуру типового тестового проекта. Представлю применяемые нами способы сбора и документирования результатов, а так же их анализ в условиях CI.
Автоматизация нагрузочного тестирования в связке JMeter + TeamСity + Grafana ...Positive Hack Days
1. Описание старого процесса сбора данных о тестах: как было до, что хорошего, что плохого
2. Influxdb, как хранилище time-series данных,
3. Zabbix - мониторинг нагрузочных стендов: windows и linux агенты, активный сбор данных, autodiscovery виртуальных машин в esx
4. Grafana, как способ превратить графики и дашборды в конфетку
5. Автоматизация нагрузки от пользователей через web-UI при помощи Jmeter, отображение статистики в реальном времени, CI в Teamcity
Презентация подготовлена по материалам выступления Екатерины Тарасевич на витебском MiniQ#23, который был проведен 27 февраля 2020 года:
https://communities.by/events/miniq-vitebsk-23 .
Про доклад:
1. Что такое функциональное тестирование
2. Фазы процесса тестирования
3. Типы тестирования
4. Знания и навыки необходимые тестировщику
Поплоухина Елена, Руководитель отдела тестирования в Usetech
https://vk.com/lena_flower
Расскажу об опыте организации процесса внутреннего тестирования проекта со строго формализованным техническим заданием от момента получения технического задания для тестирования требований до момента передачи релиза на приемочное тестирование.
There is an opinion that tester's responsibility ends after product release to production. However we should not forget about such a crucial aspect as quality assurance on product maintenance phase.
We'll talk about methodologies of testing in production environment, operational data collection approaches, monitoring, synthetic performance tests and relatively new TestOps role.
КГТУ Лекция 7: Обеспечение Качества Программного Обеспечения Iosif Itkin
Курс Лекций: Обеспечение Качества Программного Обеспечения
Лекция 7: Высоконагруженные системы и тестирование производительности
Максим Рудовский, Инновационные Трейдинговые Системы
Иосиф Иткин, Exactpro Systems
Tech Talks @NSU: Организация тестирования в IT-компаниях Академгородка. Карье...Tech Talks @NSU
http://techtalks.nsu.ru
5 апреля 2012. Организация тестирования в IT-компаниях Академгородка. Карьерный путь тестировщика (Мария Колчинская, AcademSoft)
«Мария Колчинская (AcademSoft) рассказывает о процессах тестирования и карьере тестировщика»
Лекция прочитана в рамках проекта Tech Talks @NSU – серии открытых лекций о разработке ПО и карьере в IT, проводимых в Новосибирском государственном университете.
Подробности: http://techtalks.nsu.ru
3. Цели мастер-класса
• Дать аудитории представление о
«нагрузочном» тестировании
• Научить участников составлять и запускать
первый «нагрузочный» тест с помощью
JMeter
4. План выступления
1. Введение
2. Нагрузочное тестирование как один из
этапов тестирования продукта
3. Создание тестов на JMeter
5. Что это?
Зачем надо?
Кому надо?
Откуда берется?
Результат?
1. ВВЕДЕНИЕ В НАГРУЗОЧНОЕ
ТЕСТИРОВАНИЕ WEB-ПРИЛОЖЕНИЙ
6. WEB – это много пользователей
• Требовательных
• Непредсказуемых
• Не готовых ждать
• Злых
7. Что значит «нагрузочное
тестирование»?
• Исследование того, как работает система
при заданной нагрузке на предмет
надежности и эффективности
Тестирование под нагрузкой
8. Зачем оно надо?
• Как поведет себя
приложение?
• Что будет с данными?
• Снижение затрат на ошибки
9. Риски
• Пользователи
• Деньги
• Репутация
• Данные
10. Кому оно надо?
• Пользователи
• Команда:
• Менеджеры
• Разработчики
• Группа внедрения/
продвижения
11. Затраты
• Время
– изучение
– создание
– доработка
• Финансы
• Нервы
12. Откуда оно берется?
• Проблема/ необходимость
• Качество
• Требования
• «Все делают, чем мы хуже?»
13. Результат
• Эффективно и надежно
работающее приложение
• Довольные пользователи
• Все счастливы!
17. Нагрузочное тестирование
Требования
Стабильно
работающее
Цель Нагрузочное приложение
Проблема тестирование
Информация
о системе
Стенд
Инструментарий
Специалист
18. Нагрузочное тестирование веб-
приложения
Метрики
Информация
Характеристики Тестируемая о поведении
нагрузки система системы
Ошибки
20. Вход – характеристики нагрузки
• Количество пользователей
• Время
• Модель
• Интенсивность запросов
• Объем данных
21. Метрики
• Метрики – это численные показатели тех
или иных параметров тестируемой
системы.
22. Метрики. Разновидности
• Время отклика
• Загрузка процессора
• Потребление оперативной
памяти
• Дисковое пространство
• Использование сети
• Показатели тестируемой
системы
24. Профиль нагрузки
• Профиль нагрузки – это набор
характеристик нагрузки, подаваемых на
вход тестируемому веб-приложению,
необходимый для достижения цели
нагрузочного тестирования.
28. Тестирование производительности
(Performance Testing). Зачем?
• Определение быстроты работы
приложения
– при какой нагрузке приложение работает
быстро?
– при какой нагрузке приложение начинает
работать медленно?
32. Объемное тестирование
(Volume Testing). Зачем?
• Поведение системы при больших объемах
данных
– возникают ли проблемы из-за объема данных?
– характеристики производительности при
большом объеме данных
33. Объемное тестирование
(Volume Testing). Как?
• На большом объеме данных
– нагрузочное тестирование
– тестирование производительности
34. Тестирование надежности
(Endurance Testing). Зачем?
• Нет ли деградации?:
– ресурсов
– времени отклика
– веб-приложения
35. Тестирование надежности
(Endurance Testing). Как?
• Подача средней нагрузки длительный
промежуток времени
36. Порядок проведения.
До нагрузочного.
• Функциональное
• Многопользовательское
37. Порядок проведения
• Анализ веб-приложения
• Подготовка
• Разработка тестов
• Отладка тестов
• Выполнение тестов
• Анализ результатов
38. Закрепление материала
• Руководствуемся целью
• Подаем нагрузку по профилю
• Снимаем метрики
• Анализируем результаты