This document discusses continuous performance testing (CPT) and introduces the Jagger CPT solution. It provides an overview of why performance testing is important, outlines the principles and goals of CPT, and describes the key parts of the Jagger CPT platform including load generation, metrics collection, test data management, and environment management. It also provides an example customer success story where Jagger was used for continuous performance testing of a large ecommerce site.
This document discusses continuous performance testing (CPT) and introduces the Jagger CPT solution. It provides an overview of why performance testing is important, outlines the principles and goals of CPT, and describes the key parts of the Jagger CPT platform including load generation, metrics collection, test data management, and environment management. It also provides an example customer success story where Jagger was used for continuous performance testing of a large ecommerce site.
Мощь переполняет с JDI 2.0 - новая эра UI автоматизацииSQALab
This document provides an overview of the JDI (Java UI test automation framework). It discusses features of JDI including being UI element oriented, providing common UI elements and solutions to common problems. It provides examples of how to write tests using JDI annotations and page object pattern. The document also summarizes benefits of JDI such as reducing test code, improving test clarity, reuse across projects. Finally it outlines new features planned for JDI 2.0 including layout verification, page object generator, integration with Selenium and expanding JDI to other languages like Python.
The document discusses testing of geolocation systems. It provides an overview of geolocation, including definitions and importance. It then outlines the speaker's experience and work testing GIS systems. The rest of the document details approaches to testing geolocation, including simulating calls, checking responses and databases, and verifying accuracy. It also discusses common data formats, projections, tools like PostGIS and QGIS, and potential bugs to watch for like coordinate jumbling. The conclusion emphasizes starting simple, practicing to improve, and for tests to grow with knowledge as geolocation is important for future IT.
2. Физические тестовые среды
Минусы Плюсы
Инфраструктурные ограничения:
- Пространство
- Мощность и охлаждение
- Шум, безопасность, эргономика
Фиксированная производительность
Медленное создание новых сред Простота подключения устройств
Сложности с возвратом состояний Использование б/у компьютеров
Невозможно разделение мощностей,
оперативное масштабирование
Сложности локального
администрирования и безопасности
Привязанность к физическому
размещению
3. Private Cloud для Dev&Test
• Стандартное рабочее место
• Независимые среды проектов
• Можно сохранять среды
• Проектный учет ресурсов
• Оперативное создание сред
• Копирование и
восстановление
• Большее количество машин
• Первоначальные
инвестиции
Virtualization Hosts
Virtualization Manager
Разработка
System Center
Virtual Machine Manager
Self Service Portal
Hyper-V
VMWare
Тестирование
4. Управление средами
Физические среды
• Фиксированная
производительность
• Использование б/у
серверов
• Нет архивации сред
• Нет «отката» состояний
• Сложно изолировать
сети
• Сложно копировать
Виртуализация сред
• Сервисная модель
управления, консолидация,
экономия
• Архивация сред
• Создание снимков сред
• Изолированные сегменты
• Простое копирование сред
• Оперативное создание
• Возможность взаимного
6. Преимущества облаков
Private Cloud
• Ограничения роста
• Взаимное влияние сред
• Наличие постоянных
затрат
• Управление лицензиями
• Сложность с
публикацией отдельных
стендов
• Дороговизна
масштабных тестов
Public cloud
• Неограниченный рост
• Независимая
производительность
• Оплата по факту
использования, поминутная
тарификация
• Простота лицензирования
• Возможность создания
публичных стендов
• Экономное тестирование
7.
8. • Управление виртуальными хостами
• Управление виртуальными машинами
• Сервис обслуживания
• Создание сред
• Создание библиотек
• Учет ресурсов
• Автоматизация процессов
• Интеграция с TFS
• Интеграция с Azure
System Center VMM
9. • Тесная интеграция с Hyper-V
• Поддержка VMware vSphere
• Прозрачная интеграция с
Azure
• Мониторинг от System Center
• Миграция виртуальных
машин в формате VHD
System Center VMM и облако Azure
10. Управление тестовыми средами в Visual Studio Lab Management
• Описание двух типов сред
• Физических и виртуальных без использования VMM
• Виртуальных, создаваемых в Virtual Machine Manager
• Развертывание новых версий в тестовых средах
• Тестирование
• Интеграционное
• Автоматическое тестирование Coded UI
• Ручное
• Фоновый сбор диагностики со всех серверов тестовой среды
• Автоматическое подробное документирование ошибок
Visual Studio Lab Management
15. • Комплексный мониторинг сред
• Мониторинг .Net приложений «из коробки»
• Обработка событий в средах и приложениях
• Сбор диагностики
• Интеграция с командой разработки
System Center Operations Manager
16. System Center
Virtual Machine Manager
• Управление хостами
• Создание библиотек
• Портал
обслуживания
• Создание машин
• Сохранение
состояний
• Изоляция сред
Управление средами
Visual Studio
Release Management
• Автоматизация поставки
• Планирование поставок
• Жизненный цикл поставок
System Center
Operations Manager
• Мониторинг
• Сбор диагностики
• Управление инцидентами
Visual Studio
LabManagement
• Описание сред
• Развертывание
• Сбор диагностики
• Тестирование
• Описание ошибок
17. • Тестирование в большом множестве сред
• Нагрузочное тестирование в облаке
• Тестирование масштабируемости
• Среды для обучения, демонстрации,
приемочного тестирования для клиентов
• Быстрое создание сред без кап.вложений
• Создание индивидуальных сред
Популярные сценарии тестирования в Azure
(с) www.vasya-lozhkin.ru
18.
19. Ресурсы Azure
$50 –
professional
$100 – premium
$100 – test pro
$150 – ultimate
каждый месяц
на подписчика
(с) www.vasya-lozhkin.ru
Microsoft Azure для разработчиков
20. Скидка до 97% на вычислительную мощность
прикладных серверов
Для разработки и тестирования
(с) www.vasya-lozhkin.ru
Microsoft Azure для разработчиков
21.
22. Готовые образы виртуальных машин
Microsoft
Windows Server 2008 R2
SQL Server 2012/2014
Windows Server 2012/R2
Biztalk Server 2013
Open Source
OpenSUSE 12.3
CentOS 6.3
Ubuntu 12.04-13.10
SUSE Linux Enterprise Server 11 SP3
24. Минусы тестирования в облаке
Явные минусы
• Санкции, закон о защите
персональных данных
• Требуется доступ в
Internet
• Невозможно подключить
специфичные устройства
• Ограничение
конфигураций
• ???
Подводные камни
• Нет автоматического
отключения
• «Случайное» масштабирование
• Проще «подставить» среду под
внешние атаки
• ???
25. • Тестовые среды наиболее удобно
виртуализировать
• Облачная платформа Azure доступна
расширения частного облака
• Масштабирование в публичное облако
позволяет комбинировать преимущества
Резюме