SlideShare a Scribd company logo
1 of 26
Подводные камни
Физические тестовые среды
Минусы Плюсы
Инфраструктурные ограничения:
- Пространство
- Мощность и охлаждение
- Шум, безопасность, эргономика
Фиксированная производительность
Медленное создание новых сред Простота подключения устройств
Сложности с возвратом состояний Использование б/у компьютеров
Невозможно разделение мощностей,
оперативное масштабирование
Сложности локального
администрирования и безопасности
Привязанность к физическому
размещению
Private Cloud для Dev&Test
• Стандартное рабочее место
• Независимые среды проектов
• Можно сохранять среды
• Проектный учет ресурсов
• Оперативное создание сред
• Копирование и
восстановление
• Большее количество машин
• Первоначальные
инвестиции
Virtualization Hosts
Virtualization Manager
Разработка
System Center
Virtual Machine Manager
Self Service Portal
Hyper-V
VMWare
Тестирование
Управление средами
Физические среды
• Фиксированная
производительность
• Использование б/у
серверов
• Нет архивации сред
• Нет «отката» состояний
• Сложно изолировать
сети
• Сложно копировать
Виртуализация сред
• Сервисная модель
управления, консолидация,
экономия
• Архивация сред
• Создание снимков сред
• Изолированные сегменты
• Простое копирование сред
• Оперативное создание
• Возможность взаимного
Переход в облако
Преимущества облаков
Private Cloud
• Ограничения роста
• Взаимное влияние сред
• Наличие постоянных
затрат
• Управление лицензиями
• Сложность с
публикацией отдельных
стендов
• Дороговизна
масштабных тестов
Public cloud
• Неограниченный рост
• Независимая
производительность
• Оплата по факту
использования, поминутная
тарификация
• Простота лицензирования
• Возможность создания
публичных стендов
• Экономное тестирование
• Управление виртуальными хостами
• Управление виртуальными машинами
• Сервис обслуживания
• Создание сред
• Создание библиотек
• Учет ресурсов
• Автоматизация процессов
• Интеграция с TFS
• Интеграция с Azure
System Center VMM
• Тесная интеграция с Hyper-V
• Поддержка VMware vSphere
• Прозрачная интеграция с
Azure
• Мониторинг от System Center
• Миграция виртуальных
машин в формате VHD
System Center VMM и облако Azure
Управление тестовыми средами в Visual Studio Lab Management
• Описание двух типов сред
• Физических и виртуальных без использования VMM
• Виртуальных, создаваемых в Virtual Machine Manager
• Развертывание новых версий в тестовых средах
• Тестирование
• Интеграционное
• Автоматическое тестирование Coded UI
• Ручное
• Фоновый сбор диагностики со всех серверов тестовой среды
• Автоматическое подробное документирование ошибок
Visual Studio Lab Management
Visual Studio Lab Management
Visual Studio Lab Management
Visual Studio Release Management
• Комплексный мониторинг сред
• Мониторинг .Net приложений «из коробки»
• Обработка событий в средах и приложениях
• Сбор диагностики
• Интеграция с командой разработки
System Center Operations Manager
System Center
Virtual Machine Manager
• Управление хостами
• Создание библиотек
• Портал
обслуживания
• Создание машин
• Сохранение
состояний
• Изоляция сред
Управление средами
Visual Studio
Release Management
• Автоматизация поставки
• Планирование поставок
• Жизненный цикл поставок
System Center
Operations Manager
• Мониторинг
• Сбор диагностики
• Управление инцидентами
Visual Studio
LabManagement
• Описание сред
• Развертывание
• Сбор диагностики
• Тестирование
• Описание ошибок
• Тестирование в большом множестве сред
• Нагрузочное тестирование в облаке
• Тестирование масштабируемости
• Среды для обучения, демонстрации,
приемочного тестирования для клиентов
• Быстрое создание сред без кап.вложений
• Создание индивидуальных сред
Популярные сценарии тестирования в Azure
(с) www.vasya-lozhkin.ru
Ресурсы Azure
$50 –
professional
$100 – premium
$100 – test pro
$150 – ultimate
каждый месяц
на подписчика
(с) www.vasya-lozhkin.ru
Microsoft Azure для разработчиков
Скидка до 97% на вычислительную мощность
прикладных серверов
Для разработки и тестирования
(с) www.vasya-lozhkin.ru
Microsoft Azure для разработчиков
Готовые образы виртуальных машин
Microsoft
Windows Server 2008 R2
SQL Server 2012/2014
Windows Server 2012/R2
Biztalk Server 2013
Open Source
OpenSUSE 12.3
CentOS 6.3
Ubuntu 12.04-13.10
SUSE Linux Enterprise Server 11 SP3
Linux-окружение
и cообщество VMDepot
http://vmdepot.msopentech.com/
LAMP, Drupal, Jenkis, Magento, MongoDB, Neo4js,
Redis, WordPress, Apache Solr, Cassandra, Coppermine,
Discourse, Django, DokuWiki, GitLab, Gitorious, Horde,
JBoss, Jetty, Joomla, JRuby, Mantis, MediaWiki, Moodle,
Node.js, OpenERP, ownCloud, phpBB, Plone, Redmine,
Riak, Spree, SugarCRM, Tomcat, XOOPS
и десятки других.
Минусы тестирования в облаке
Явные минусы
• Санкции, закон о защите
персональных данных
• Требуется доступ в
Internet
• Невозможно подключить
специфичные устройства
• Ограничение
конфигураций
• ???
Подводные камни
• Нет автоматического
отключения
• «Случайное» масштабирование
• Проще «подставить» среду под
внешние атаки
• ???
• Тестовые среды наиболее удобно
виртуализировать
• Облачная платформа Azure доступна
расширения частного облака
• Масштабирование в публичное облако
позволяет комбинировать преимущества
Резюме
Организация тестовых сред в облаке. Инструменты, преимущества и подводные камни

More Related Content

Viewers also liked

Теория и практика сокращения релизного цикла
Теория и практика сокращения релизного циклаТеория и практика сокращения релизного цикла
Теория и практика сокращения релизного цикла
SQALab
 
Миссия тест-менеджера
Миссия тест-менеджераМиссия тест-менеджера
Миссия тест-менеджера
SQALab
 

Viewers also liked (14)

Инструменты тестирования, или хочешь сделать хорошо - сделай это сам
Инструменты тестирования, или хочешь сделать хорошо - сделай это самИнструменты тестирования, или хочешь сделать хорошо - сделай это сам
Инструменты тестирования, или хочешь сделать хорошо - сделай это сам
 
Теория и практика сокращения релизного цикла
Теория и практика сокращения релизного циклаТеория и практика сокращения релизного цикла
Теория и практика сокращения релизного цикла
 
VIQA - Тестирование UI с помощью Виртуального интеллекта
VIQA - Тестирование UI с помощью Виртуального интеллектаVIQA - Тестирование UI с помощью Виртуального интеллекта
VIQA - Тестирование UI с помощью Виртуального интеллекта
 
Автоматизированное тестирование не-тестировщиками
Автоматизированное тестирование не-тестировщикамиАвтоматизированное тестирование не-тестировщиками
Автоматизированное тестирование не-тестировщиками
 
Обеспечение качества: Практические советы
Обеспечение качества: Практические советыОбеспечение качества: Практические советы
Обеспечение качества: Практические советы
 
Особенности тестирования облачных сервисов
Особенности тестирования облачных сервисовОсобенности тестирования облачных сервисов
Особенности тестирования облачных сервисов
 
Миссия тест-менеджера
Миссия тест-менеджераМиссия тест-менеджера
Миссия тест-менеджера
 
Организация времени в тестировании
Организация времени в тестированииОрганизация времени в тестировании
Организация времени в тестировании
 
Первоклассное тестирование
Первоклассное тестированиеПервоклассное тестирование
Первоклассное тестирование
 
Waterfall revisited: практические метрики тестирования
Waterfall revisited: практические метрики тестированияWaterfall revisited: практические метрики тестирования
Waterfall revisited: практические метрики тестирования
 
Безопасность сессий в веб-приложениях: практическое применение
Безопасность сессий в веб-приложениях: практическое применениеБезопасность сессий в веб-приложениях: практическое применение
Безопасность сессий в веб-приложениях: практическое применение
 
Успешный тестировщик. Путь профессионала
Успешный тестировщик. Путь профессионалаУспешный тестировщик. Путь профессионала
Успешный тестировщик. Путь профессионала
 
Тест-дизайн: проще читать или проще писать
Тест-дизайн: проще читать или проще писатьТест-дизайн: проще читать или проще писать
Тест-дизайн: проще читать или проще писать
 
Измеряем производительность веб приложения c помощью Selenium WebDriver и Bro...
Измеряем производительность веб приложения c помощью Selenium WebDriver и Bro...Измеряем производительность веб приложения c помощью Selenium WebDriver и Bro...
Измеряем производительность веб приложения c помощью Selenium WebDriver и Bro...
 

More from SQALab

More from SQALab (20)

Готовим стажировку
Готовим стажировкуГотовим стажировку
Готовим стажировку
 
Куда приводят мечты? или Искусство развития тестировщика
Куда приводят мечты? или Искусство развития тестировщикаКуда приводят мечты? или Искусство развития тестировщика
Куда приводят мечты? или Искусство развития тестировщика
 
Оптимизация Selenium тестов и ускорение их поддержки
Оптимизация Selenium тестов и ускорение их поддержкиОптимизация Selenium тестов и ускорение их поддержки
Оптимизация Selenium тестов и ускорение их поддержки
 
Автоматизация 0.0: 0 - бюджет, 0 - опыт программирования
Автоматизация 0.0: 0 - бюджет, 0 - опыт программированияАвтоматизация 0.0: 0 - бюджет, 0 - опыт программирования
Автоматизация 0.0: 0 - бюджет, 0 - опыт программирования
 
Нагрузочное тестирование нестандартных протоколов с использованием Citrix и J...
Нагрузочное тестирование нестандартных протоколов с использованием Citrix и J...Нагрузочное тестирование нестандартных протоколов с использованием Citrix и J...
Нагрузочное тестирование нестандартных протоколов с использованием Citrix и J...
 
Continuous performance testing
Continuous performance testingContinuous performance testing
Continuous performance testing
 
Конфиги вместо костылей. Pytestconfig и зачем он нужен
Конфиги вместо костылей. Pytestconfig и зачем он нуженКонфиги вместо костылей. Pytestconfig и зачем он нужен
Конфиги вместо костылей. Pytestconfig и зачем он нужен
 
Команда чемпионов в ИТ стихии
Команда чемпионов в ИТ стихииКоманда чемпионов в ИТ стихии
Команда чемпионов в ИТ стихии
 
API. Серебряная пуля в магазине советов
API. Серебряная пуля в магазине советовAPI. Серебряная пуля в магазине советов
API. Серебряная пуля в магазине советов
 
Добиваемся эффективности каждого из 9000+ UI-тестов
Добиваемся эффективности каждого из 9000+ UI-тестовДобиваемся эффективности каждого из 9000+ UI-тестов
Добиваемся эффективности каждого из 9000+ UI-тестов
 
Делаем автоматизацию проектных KPIs
Делаем автоматизацию проектных KPIsДелаем автоматизацию проектных KPIs
Делаем автоматизацию проектных KPIs
 
Вредные привычки в тест-менеджменте
Вредные привычки в тест-менеджментеВредные привычки в тест-менеджменте
Вредные привычки в тест-менеджменте
 
Мощь переполняет с JDI 2.0 - новая эра UI автоматизации
Мощь переполняет с JDI 2.0 - новая эра UI автоматизацииМощь переполняет с JDI 2.0 - новая эра UI автоматизации
Мощь переполняет с JDI 2.0 - новая эра UI автоматизации
 
Как hh.ru дошли до 500 релизов в квартал без потери в качестве
Как hh.ru дошли до 500 релизов в квартал без потери в качествеКак hh.ru дошли до 500 релизов в квартал без потери в качестве
Как hh.ru дошли до 500 релизов в квартал без потери в качестве
 
Стили лидерства и тестирование
Стили лидерства и тестированиеСтили лидерства и тестирование
Стили лидерства и тестирование
 
"Давайте не будем про качество"
"Давайте не будем про качество""Давайте не будем про качество"
"Давайте не будем про качество"
 
Apache.JMeter для .NET-проектов
Apache.JMeter для .NET-проектовApache.JMeter для .NET-проектов
Apache.JMeter для .NET-проектов
 
Тестирование геолокационных систем
Тестирование геолокационных системТестирование геолокационных систем
Тестирование геолокационных систем
 
Лидер или босс? Вот в чем вопрос
Лидер или босс? Вот в чем вопросЛидер или босс? Вот в чем вопрос
Лидер или босс? Вот в чем вопрос
 
От Зефира в коробке к Structure Zephyr или как тест-менеджеру перекроить внут...
От Зефира в коробке к Structure Zephyr или как тест-менеджеру перекроить внут...От Зефира в коробке к Structure Zephyr или как тест-менеджеру перекроить внут...
От Зефира в коробке к Structure Zephyr или как тест-менеджеру перекроить внут...
 

Организация тестовых сред в облаке. Инструменты, преимущества и подводные камни

  • 2. Физические тестовые среды Минусы Плюсы Инфраструктурные ограничения: - Пространство - Мощность и охлаждение - Шум, безопасность, эргономика Фиксированная производительность Медленное создание новых сред Простота подключения устройств Сложности с возвратом состояний Использование б/у компьютеров Невозможно разделение мощностей, оперативное масштабирование Сложности локального администрирования и безопасности Привязанность к физическому размещению
  • 3. Private Cloud для Dev&Test • Стандартное рабочее место • Независимые среды проектов • Можно сохранять среды • Проектный учет ресурсов • Оперативное создание сред • Копирование и восстановление • Большее количество машин • Первоначальные инвестиции Virtualization Hosts Virtualization Manager Разработка System Center Virtual Machine Manager Self Service Portal Hyper-V VMWare Тестирование
  • 4. Управление средами Физические среды • Фиксированная производительность • Использование б/у серверов • Нет архивации сред • Нет «отката» состояний • Сложно изолировать сети • Сложно копировать Виртуализация сред • Сервисная модель управления, консолидация, экономия • Архивация сред • Создание снимков сред • Изолированные сегменты • Простое копирование сред • Оперативное создание • Возможность взаимного
  • 6. Преимущества облаков Private Cloud • Ограничения роста • Взаимное влияние сред • Наличие постоянных затрат • Управление лицензиями • Сложность с публикацией отдельных стендов • Дороговизна масштабных тестов Public cloud • Неограниченный рост • Независимая производительность • Оплата по факту использования, поминутная тарификация • Простота лицензирования • Возможность создания публичных стендов • Экономное тестирование
  • 7.
  • 8. • Управление виртуальными хостами • Управление виртуальными машинами • Сервис обслуживания • Создание сред • Создание библиотек • Учет ресурсов • Автоматизация процессов • Интеграция с TFS • Интеграция с Azure System Center VMM
  • 9. • Тесная интеграция с Hyper-V • Поддержка VMware vSphere • Прозрачная интеграция с Azure • Мониторинг от System Center • Миграция виртуальных машин в формате VHD System Center VMM и облако Azure
  • 10. Управление тестовыми средами в Visual Studio Lab Management • Описание двух типов сред • Физических и виртуальных без использования VMM • Виртуальных, создаваемых в Virtual Machine Manager • Развертывание новых версий в тестовых средах • Тестирование • Интеграционное • Автоматическое тестирование Coded UI • Ручное • Фоновый сбор диагностики со всех серверов тестовой среды • Автоматическое подробное документирование ошибок Visual Studio Lab Management
  • 11. Visual Studio Lab Management
  • 12. Visual Studio Lab Management
  • 13.
  • 14. Visual Studio Release Management
  • 15. • Комплексный мониторинг сред • Мониторинг .Net приложений «из коробки» • Обработка событий в средах и приложениях • Сбор диагностики • Интеграция с командой разработки System Center Operations Manager
  • 16. System Center Virtual Machine Manager • Управление хостами • Создание библиотек • Портал обслуживания • Создание машин • Сохранение состояний • Изоляция сред Управление средами Visual Studio Release Management • Автоматизация поставки • Планирование поставок • Жизненный цикл поставок System Center Operations Manager • Мониторинг • Сбор диагностики • Управление инцидентами Visual Studio LabManagement • Описание сред • Развертывание • Сбор диагностики • Тестирование • Описание ошибок
  • 17. • Тестирование в большом множестве сред • Нагрузочное тестирование в облаке • Тестирование масштабируемости • Среды для обучения, демонстрации, приемочного тестирования для клиентов • Быстрое создание сред без кап.вложений • Создание индивидуальных сред Популярные сценарии тестирования в Azure (с) www.vasya-lozhkin.ru
  • 18.
  • 19. Ресурсы Azure $50 – professional $100 – premium $100 – test pro $150 – ultimate каждый месяц на подписчика (с) www.vasya-lozhkin.ru Microsoft Azure для разработчиков
  • 20. Скидка до 97% на вычислительную мощность прикладных серверов Для разработки и тестирования (с) www.vasya-lozhkin.ru Microsoft Azure для разработчиков
  • 21.
  • 22. Готовые образы виртуальных машин Microsoft Windows Server 2008 R2 SQL Server 2012/2014 Windows Server 2012/R2 Biztalk Server 2013 Open Source OpenSUSE 12.3 CentOS 6.3 Ubuntu 12.04-13.10 SUSE Linux Enterprise Server 11 SP3
  • 23. Linux-окружение и cообщество VMDepot http://vmdepot.msopentech.com/ LAMP, Drupal, Jenkis, Magento, MongoDB, Neo4js, Redis, WordPress, Apache Solr, Cassandra, Coppermine, Discourse, Django, DokuWiki, GitLab, Gitorious, Horde, JBoss, Jetty, Joomla, JRuby, Mantis, MediaWiki, Moodle, Node.js, OpenERP, ownCloud, phpBB, Plone, Redmine, Riak, Spree, SugarCRM, Tomcat, XOOPS и десятки других.
  • 24. Минусы тестирования в облаке Явные минусы • Санкции, закон о защите персональных данных • Требуется доступ в Internet • Невозможно подключить специфичные устройства • Ограничение конфигураций • ??? Подводные камни • Нет автоматического отключения • «Случайное» масштабирование • Проще «подставить» среду под внешние атаки • ???
  • 25. • Тестовые среды наиболее удобно виртуализировать • Облачная платформа Azure доступна расширения частного облака • Масштабирование в публичное облако позволяет комбинировать преимущества Резюме

Editor's Notes

  1. See script.