Документ описывает разработку инструментов нагрузочного тестирования в компонентной среде, совместно созданной СПбГУ и Siemens. Основная цель работы заключается в создании платформы, которая будет гибкой и адаптивной для различных сценариев нагрузочного тестирования и анализа производительности многопользовательских систем. В документе также приведены примеры архитектуры, программного кода и методов анализа результатов тестирования.

1. Компонентная среда разработки инструментария нагрузочного тестирования Евгений Рачинский. СПбГУ в сотрудничестве с Siemens Corporate Technology СПбГУ

2. Нагрузочное тестирование Изучение поведения многопользовательской системы под нагрузкой Цели: Оценка характеристик производительности системы под нагрузкой Поиск узких мест в системе Планирование производительности Средства Моделирование нагрузки Инструментарий генерации нагрузки и измерения показателей Методы анализа результатов

3. Инструментарий Существующие средства нагрузочного тестирования не обладают достаточной гибкостью и адаптивностью Решение: создание платформы для разработки инструментария нагрузочного тестирования Области применения Нагрузочное и стресс тестирование с использованием нестандартных протоколов Поддержка статистических методов в нагрузочном тестировании Автоматизация нагрузочного тестирования Поддержка continues integration process

4. Типовая архитектура Load Control Measurements Input Output Monitoring Load injectors Controller Analysis Scenario definition Workload definition SUT

5. Области расширения Компонентная среда ( OSGi/Java ) Архитектура основанная на plug -ins API, точки расширения Platform/ framework Scenario Workload Protocol and measurements Statistics and analysis Load test management

6. Сценарий Симулирует поведение пользователей Java классы Сценарий Транзакция (шаг) Запрос Иерархичность , модульность Идентификация частей сценария Генерация кода сценариев Отладка ( Eclipse) Scenario Transaction Request 1 * 1 *

7. Сценарий (пример) public class Service1Scenario extends WebScenario { Transaction1 transaction1 = new Transaction1(); Transaction2 transaction2 = new Transaction2(); public void run() { runTransaction( transaction1 ); sleep(1000); runTransaction( transaction2 ); } } public class Transaction1 extends WebTransaction { Request1 request1 = new Request1(); public void run() { runRequest( request1 ); } } public class Request1 extends WebRequest { public void run() { HttpResponse response = null ; response = getContext(). getClient().execute( url ); } }

8. Нагрузка Нагрузка это частота обращений к системе Определяется через количество виртуальных пользователей И среднее значение и распределение времени ответа Request time Virtual users Think time time Request rate ... Virtual users SUT λ µ

9. Определение нагрузки (пример) int maximumVirtualUsers = 15; int incrementInterval = 60; int incrementVirtaulUsersBy = 1; public IThinkTime getThinkTimeOnTime( long time) { return new ConstantThinkTime(1000); } public int getVirtualUserNumberOnTime( long time) { int vu = Math. min ( maximumVirtualUsers, ( int )((time/incrementInterval)+1)*incrementVirtaulUsersBy ); return vu; } int Amplitude = 5; //virtual users double Frequency = 1/60; //virtual users per second int VerticalShift = 10; //oscillate around public IThinkTime getThinkTimeOnTime( long time) { return new ExponentialThinkTime(1000); } public int getVirtualUserNumberOnTime( long time) { return ( int )(VerticalShift + Amplitude*Math. sin (Frequency*time)); }

10. Поддержка сетевых протоколов и измерений Любой протокол, имеющий клиент c кие Java библиотеки Регистрация значений : Время исполнения Ошибки протокола / приложения Проткол-специфические измерения (размер пакета, время установления соединения, DNS время и т . п.) Инструментирование библиотек протоколов Поддержка протоколов интегрируется в базовые классы сценариев

11. Run -time статистика и журналирование Измерения собираются в статистики : Среднее значение Частота событий Счетчики Определенная пользователем Масштабирование значений Среднее значение на разных масштабах времени Расширяемый «движок» статистики Filter /Pipe design patter n Журналирование Набор CSV файлов , Apache Derby Формат определен протоколом

12. Управление тестом Пользовательский интерфейс Eclipse RCP UI Command line Подготовка теста Eclipse Java IDE, PDE Рабочее окружение Eclipse Исполнение теста и мониторинг Графики статистики Расширяемость Eclipse plugin-ins Chart API (JFree chart) ANT tasks Results export Load test controller Load test definition

13. Компоненты платформы Scenario Workload Statistics filters definition Network protocol libraries Log format definition T est artifacts (OSGi bundles ) Remote deploy Legend : Platform Service Deployable component Agent container Scenario manager Virtual users manager Statistics service Log service Experiment session Service Controller container Workload manager Experiment workflow Remote agent management Run time statistics processing Results Repository

14. Замечания по реализации Высокая производительность агентов Сложность точного измерения времени в Java ( msec, nanosec ) Синхронизация потоков виртуальных пользователей Синхронизация времени в распределенной среде Интенсивный поток данных (измерений) Сложность использование Java аннотаций и рефлексии

15. Приложения платформы Стандартное нагрузочное тестирование HTTP, SOAP, RMI Сложные сценарии Различные протоколы в одном сценарии Симуляция вероятностного поведения пользователя (С BMG) Генерация кода сценариев (из трасс или моделей) Нагрузочное тестирование и регулярная сборка ANT task для определения и запуска теста 0.9 0.3 0.7 1.0 0.5 1.0 0.5 0.1 End Start

16. Приложения платформы (2) Генерация заданной нагрузки Пуассоновский поток запросов Автоуправление нагрузкой в зависимости от текущих показателей производительности Измерение среднего значения времени ответа с заданным доверительным интервалом Автоматический поск максимальной пропускной способности системы ( max TPS) Симуляция пульсирующей нагрузки

17. Максимальная пропускная способность системы Load Response time Load Throughput (TPS) Average response time Throughput ( TPS)

18. Анализ результатов Пакеты статистической обработки S - Plus (R statistics) Д исперсионный анализ сравнение производительности альтернативных конфигураций системы Корреляционный анализ Вывод параметров аналитических моделей ( очереди ) Построение моделей «черного ящика»

19. Спасибо за внимание!

20. Backup slides

21. Descriptive statistics example – KPI VS. load

22. Тестирование производительности распределенных систем Web server Application Server Application Server Database Authentication Service LDAP Tickets Reservation Service Доступно для тестирования под нагрузкой Недоступно для тестирования под нагрузкой

23. Approach overview Perform load test and collect measurements Windmill + dynamic workload Determine response time distribution Statistical tests Lognormal, Gamma, Weibull distributions Fit response time distribution parameters Non-parametric models (cubic splines) Setup runtime simulator Analytical or table representation of the model Performance load test of a SUT

24. Results comparison SUT with real service SUT with emulated service Legend:

25. time