SlideShare a Scribd company logo
1 of 33
Download to read offline
Scalable eCommerce Platform Solutions




               Scalable eCommerce Platform Solutions



               for

CI – Модное увлечение или новая класика?
Игорь Яговой
Scalable eCommerce Platform Solutions




Игорь Яговой
• 8+ лет в IT
• Проекты: GameDev, Telecommunications, Financial,
  eBusiness, eCommerce
• Работал: Тестировщиком, Ведущим инженером,
  Менеджером




11/29/2012                                                             2
Scalable eCommerce Platform Solutions




План
•     Введение
•     Простейший CI pipeline
•     Реализация части тестирования
•     Результат




11/29/2012                                                              3
Scalable eCommerce Platform Solutions




CI - что это такое и зачем?
Continuous Integration
• Показывает статус билда/кода в любой момент
• Стимулирует стабилизацию кода
• Следит за регрессией
• Упрощает жизнь, отвечает на многие вопросы
• Demo – легко!



11/29/2012                                                           4
Scalable eCommerce Platform Solutions




CI pipeline для одного компонента

  Commit     Build




                          Smoke Test              Artifact
                 Deploy
                            Suite                Repository



                                       Full Test Suite



                                                             Report

11/29/2012                                                                   5
Scalable eCommerce Platform Solutions




Усложняем задачу
   A           A
  build      tests

                     A+B
                     tests

   B           B                      A+B+C
  build      tests                     tests




   C           C
  build      tests


11/29/2012                                                     6
Scalable eCommerce Platform Solutions




Continuous Integration - реализация
•     Готовность команды проекта (Dev/QA, PM)
•     Наличие железа / cloud
•     Инфраструктура
•     Интеграция с другими процессами
•     Наличие DevOps




11/29/2012                                                               7
Scalable eCommerce Platform Solutions




Вклад QA в Continuous Integration
•     Работа над тестовым фреймворком
•     Организация тестовых джоб на CI
•     Какие тесты запускаем
•     CI Support




11/29/2012                                                                8
Scalable eCommerce Platform Solutions




Test Framework




11/29/2012                                         9
Scalable eCommerce Platform Solutions




Test Framework
1. Запускается на CI




11/30/2012                                              10
Scalable eCommerce Platform Solutions




Test Framework
1. Запускается на CI
2. Параметризация – где, куда?




11/30/2012                                                        11
Scalable eCommerce Platform Solutions




Test Framework
1. Запускается на CI
2. Параметризация – где, куда?
3. Поддержка различных suite, test groups




11/30/2012                                                            12
Scalable eCommerce Platform Solutions




Test Framework
1.       Запускается на CI
2.       Параметризация – где, куда?
3.       Поддержка различных suite, test groups
4.       Легкий тест-менеджмент, организация suite




11/30/2012                                                                 13
Scalable eCommerce Platform Solutions




Test Framework
1.       Запускается на CI
2.       Параметризация – где, куда?
3.       Поддержка различных suite, test groups
4.       Легкий тест-менеджмент, организация suite
5.       Читаемый репорт/Детальный репорт/логи




11/30/2012                                                                 14
Scalable eCommerce Platform Solutions




Test Framework
1.       Запускается на CI
2.       Параметризация – где, куда?
3.       Поддержка различных suite, test groups
4.       Легкий тест-менеджмент, организация suite
5.       Читаемый репорт/Детальный репорт/логи
6.       Легко дебажить



11/30/2012                                                                 15
Scalable eCommerce Platform Solutions




Test Framework
1.       Запускается на CI
2.       Параметризация – где, куда?
3.       Поддержка различных suite, test groups
4.       Легкий тест-менеджмент, организация suite
5.       Читаемый репорт/Детальный репорт/логи
6.       Легко дебажить
7.       Параллелизация


11/30/2012                                                                 16
Scalable eCommerce Platform Solutions




Test Framework
1.       Запускается на CI
2.       Параметризация – где, куда?
3.       Поддержка различных suite, test groups
4.       Легкий тест-менеджмент, организация suite
5.       Читаемый репорт/Детальный репорт/логи
6.       Легко дебажить
7.       Параллелизация
8.       Mapping Test <-> Defect
11/30/2012                                                                 17
Scalable eCommerce Platform Solutions




Test Jobs: Практики
Лампочка - 2 статуса мало, принцип светофора




11/29/2012                                                           18
Scalable eCommerce Platform Solutions




Test Jobs: Практики
Джобы запускают 1 suite




Hint: Environment может не убиваться после
failed тестов
11/29/2012                                                            19
Scalable eCommerce Platform Solutions




Test Jobs: Параллелизация
Ускоряем прогон тестов
        – тесты делятся на логические группы
        – тестовые джобы запускаются параллельно
        – smoke тесты тоже параллелятся


 * Не забудь настроить правильные зависимости




11/29/2012                                                                    20
Scalable eCommerce Platform Solutions




  Test Jobs: Пример                                                                   Commit
  Commit                                                                                to B
                             build A                            build B
   to A

                Smoke                    Smoke                  Smoke
               A+stub B                   A+B
                                                              Full suite
Nexus                        Nexus?                                                     Nexus
                                                              Smoke Int
                                                               with A
               Full suite        Full suite      Full suite
               A+stub B            A+B             A+B
                                                                Full Int
                                  Type 1          Type 2
                                                                with A

                            Promote?                           Promote

  11/29/2012                 Report                             Report                         21
Scalable eCommerce Platform Solutions




Какие тесты запускать?
У Нас свой артефакт!
• Тесты
• Зависимости - API, Stubs etc.
• Test Data
• Tools




11/29/2012                                                         22
Scalable eCommerce Platform Solutions




Tests CI

  Commit     Build




                     Promote



                                Artifact
                               Repository




11/29/2012                                                                   23
Scalable eCommerce Platform Solutions




Tests CI: Добавляем новый тест

  • Тест Passed – Отлично!
  • Тест Failed – Отлично! Заведи дефект!




11/29/2012                                                              24
Scalable eCommerce Platform Solutions




CI Support: Что же это?
• Какого цвета лампочка?
• Держать актуальным Тест Артефакт




11/29/2012                                                            25
Scalable eCommerce Platform Solutions




CI Support : Красная лампочка
• Ошибка в тесте
• Тест не актуальный
• Bug!

Solution:
• Удалять тесты с CI можно!
• Mapping: Test <-> Defect – Must Have


11/29/2012                                                                26
Scalable eCommerce Platform Solutions




CI Support : Тест Артефакт
Держи актуальными:
• Тесты и Тестовые наборы
• Зависимости (API, Stub, etc.)
• Тестовые данные




11/29/2012                                                         27
Scalable eCommerce Platform Solutions




CI Support : Дежурный
• CI дежурный - plugin наш выбор:




11/29/2012                                                           28
Scalable eCommerce Platform Solutions




CI Support : Дежурный




11/29/2012                                               29
Scalable eCommerce Platform Solutions




Бенефиты
Команда тестирования:
• Stop Execution
• Занимайся своей работой
• СI – эталонный энвайронмент
• Дефекты - находим и фиксим
• Трекаем только Epic дефекты



11/29/2012                                                       30
Scalable eCommerce Platform Solutions




Бенефиты
Команда разработчиков:
• Commit = Feedback
• Нет регрессии
• Дефект debug – легко!
• Тестирование происходит реально вместе с
  разработкой



11/29/2012                                                          31
Scalable eCommerce Platform Solutions




Бенефиты
Менеджер:
• Мгновенный статус билда/проекта
• Красивый репорт!
• Дефекты находятся раньше
• Исправлять ошибки сравнительно дешево
• Только minor дефекты живут после конца
  итерации


11/29/2012                                                         32
Scalable eCommerce Platform Solutions




Вопросы?
11/29/2012                                    33

More Related Content

Similar to СI - модное увлечение или новая классика?

Игорь Леонтьев, Lead Architect on all Blockchain projects of Viseo group
Игорь Леонтьев, Lead Architect on all Blockchain projects of Viseo groupИгорь Леонтьев, Lead Architect on all Blockchain projects of Viseo group
Игорь Леонтьев, Lead Architect on all Blockchain projects of Viseo groupAlina Vilk
 
Continuous Delivery in Enterprise / Agile Kitchen 2016
Continuous Delivery in Enterprise / Agile Kitchen 2016Continuous Delivery in Enterprise / Agile Kitchen 2016
Continuous Delivery in Enterprise / Agile Kitchen 2016pbiryukov
 
DevOps Fest 2020. Максим Безуглый. DevOps - как архитектура в процессе. Две к...
DevOps Fest 2020. Максим Безуглый. DevOps - как архитектура в процессе. Две к...DevOps Fest 2020. Максим Безуглый. DevOps - как архитектура в процессе. Две к...
DevOps Fest 2020. Максим Безуглый. DevOps - как архитектура в процессе. Две к...DevOps_Fest
 
Базовая настройка голосового шлюза AudioCodes Mediant 1000 (E1-SIP) для Skype...
Базовая настройка голосового шлюза AudioCodes Mediant 1000 (E1-SIP) для Skype...Базовая настройка голосового шлюза AudioCodes Mediant 1000 (E1-SIP) для Skype...
Базовая настройка голосового шлюза AudioCodes Mediant 1000 (E1-SIP) для Skype...Alexander Zhuravlev, Ph.D.
 
Виктор Стрелков - Jabber как инструмент разработчика
Виктор Стрелков - Jabber как инструмент разработчикаВиктор Стрелков - Jabber как инструмент разработчика
Виктор Стрелков - Jabber как инструмент разработчикаPositive Hack Days
 
Практика тестирования web сервисов
Практика тестирования web сервисовПрактика тестирования web сервисов
Практика тестирования web сервисовSQALab
 
Тестирование приложений с помощью Visual studio 2010
Тестирование приложений с помощью Visual studio 2010Тестирование приложений с помощью Visual studio 2010
Тестирование приложений с помощью Visual studio 2010Anton Vidishchev
 
Эволюция средств тестирования от HP
Эволюция средств тестирования от HPЭволюция средств тестирования от HP
Эволюция средств тестирования от HPSQALab
 
Eduard Dautov (Provectus): СКОРИНГ ML МОДЕЛЕЙ В МИКРОСЕРВИСНОЙ АРХИТЕКТУРЕ
Eduard Dautov (Provectus): СКОРИНГ ML МОДЕЛЕЙ В МИКРОСЕРВИСНОЙ АРХИТЕКТУРЕ Eduard Dautov (Provectus): СКОРИНГ ML МОДЕЛЕЙ В МИКРОСЕРВИСНОЙ АРХИТЕКТУРЕ
Eduard Dautov (Provectus): СКОРИНГ ML МОДЕЛЕЙ В МИКРОСЕРВИСНОЙ АРХИТЕКТУРЕ Provectus
 
DevOps и системы управления конфигурацией. SECON 2015
DevOps и системы управления конфигурацией. SECON 2015DevOps и системы управления конфигурацией. SECON 2015
DevOps и системы управления конфигурацией. SECON 2015Ivan Evtukhovich
 
MSDevCon 2016 DevOps Impact on Architecture
MSDevCon 2016 DevOps Impact on ArchitectureMSDevCon 2016 DevOps Impact on Architecture
MSDevCon 2016 DevOps Impact on ArchitectureSergey Baranov
 
Continous Integration
Continous IntegrationContinous Integration
Continous IntegrationGetDev.NET
 
CONTINUOUS INTEGRATION ДЛЯ ЧАЙНИКОВ ВМЕСТЕ С TEAMCITY
CONTINUOUS INTEGRATION ДЛЯ ЧАЙНИКОВ ВМЕСТЕ С TEAMCITYCONTINUOUS INTEGRATION ДЛЯ ЧАЙНИКОВ ВМЕСТЕ С TEAMCITY
CONTINUOUS INTEGRATION ДЛЯ ЧАЙНИКОВ ВМЕСТЕ С TEAMCITYPavel Tsukanov
 
Роман Василенко. Continuous delivery или как упростить себе жизнь
Роман Василенко. Continuous delivery или как упростить себе жизньРоман Василенко. Continuous delivery или как упростить себе жизнь
Роман Василенко. Continuous delivery или как упростить себе жизнь_itcampus
 
Валерий Куваев, HP на пути к Enterprise Agile
Валерий Куваев, HP на пути к Enterprise AgileВалерий Куваев, HP на пути к Enterprise Agile
Валерий Куваев, HP на пути к Enterprise AgileScrumTrek
 
Юрий Василевский "Автоматизация в XCode"
Юрий Василевский "Автоматизация в XCode"Юрий Василевский "Автоматизация в XCode"
Юрий Василевский "Автоматизация в XCode"Yandex
 
Юрий Василевский «Автоматизация в XCode»
Юрий Василевский «Автоматизация в XCode»Юрий Василевский «Автоматизация в XCode»
Юрий Василевский «Автоматизация в XCode»Yandex
 
Azure - Visual Studio Team Services
Azure - Visual Studio Team ServicesAzure - Visual Studio Team Services
Azure - Visual Studio Team ServicesAlexander Babich
 

Similar to СI - модное увлечение или новая классика? (20)

Игорь Леонтьев, Lead Architect on all Blockchain projects of Viseo group
Игорь Леонтьев, Lead Architect on all Blockchain projects of Viseo groupИгорь Леонтьев, Lead Architect on all Blockchain projects of Viseo group
Игорь Леонтьев, Lead Architect on all Blockchain projects of Viseo group
 
Continuous Delivery in Enterprise / Agile Kitchen 2016
Continuous Delivery in Enterprise / Agile Kitchen 2016Continuous Delivery in Enterprise / Agile Kitchen 2016
Continuous Delivery in Enterprise / Agile Kitchen 2016
 
DevOps Fest 2020. Максим Безуглый. DevOps - как архитектура в процессе. Две к...
DevOps Fest 2020. Максим Безуглый. DevOps - как архитектура в процессе. Две к...DevOps Fest 2020. Максим Безуглый. DevOps - как архитектура в процессе. Две к...
DevOps Fest 2020. Максим Безуглый. DevOps - как архитектура в процессе. Две к...
 
Базовая настройка голосового шлюза AudioCodes Mediant 1000 (E1-SIP) для Skype...
Базовая настройка голосового шлюза AudioCodes Mediant 1000 (E1-SIP) для Skype...Базовая настройка голосового шлюза AudioCodes Mediant 1000 (E1-SIP) для Skype...
Базовая настройка голосового шлюза AudioCodes Mediant 1000 (E1-SIP) для Skype...
 
Виктор Стрелков - Jabber как инструмент разработчика
Виктор Стрелков - Jabber как инструмент разработчикаВиктор Стрелков - Jabber как инструмент разработчика
Виктор Стрелков - Jabber как инструмент разработчика
 
Практика тестирования web сервисов
Практика тестирования web сервисовПрактика тестирования web сервисов
Практика тестирования web сервисов
 
Тестирование приложений с помощью Visual studio 2010
Тестирование приложений с помощью Visual studio 2010Тестирование приложений с помощью Visual studio 2010
Тестирование приложений с помощью Visual studio 2010
 
Эволюция средств тестирования от HP
Эволюция средств тестирования от HPЭволюция средств тестирования от HP
Эволюция средств тестирования от HP
 
Eduard Dautov (Provectus): СКОРИНГ ML МОДЕЛЕЙ В МИКРОСЕРВИСНОЙ АРХИТЕКТУРЕ
Eduard Dautov (Provectus): СКОРИНГ ML МОДЕЛЕЙ В МИКРОСЕРВИСНОЙ АРХИТЕКТУРЕ Eduard Dautov (Provectus): СКОРИНГ ML МОДЕЛЕЙ В МИКРОСЕРВИСНОЙ АРХИТЕКТУРЕ
Eduard Dautov (Provectus): СКОРИНГ ML МОДЕЛЕЙ В МИКРОСЕРВИСНОЙ АРХИТЕКТУРЕ
 
DevOps и системы управления конфигурацией. SECON 2015
DevOps и системы управления конфигурацией. SECON 2015DevOps и системы управления конфигурацией. SECON 2015
DevOps и системы управления конфигурацией. SECON 2015
 
MSDevCon 2016 DevOps Impact on Architecture
MSDevCon 2016 DevOps Impact on ArchitectureMSDevCon 2016 DevOps Impact on Architecture
MSDevCon 2016 DevOps Impact on Architecture
 
Continous Integration
Continous IntegrationContinous Integration
Continous Integration
 
CONTINUOUS INTEGRATION ДЛЯ ЧАЙНИКОВ ВМЕСТЕ С TEAMCITY
CONTINUOUS INTEGRATION ДЛЯ ЧАЙНИКОВ ВМЕСТЕ С TEAMCITYCONTINUOUS INTEGRATION ДЛЯ ЧАЙНИКОВ ВМЕСТЕ С TEAMCITY
CONTINUOUS INTEGRATION ДЛЯ ЧАЙНИКОВ ВМЕСТЕ С TEAMCITY
 
Роман Василенко. Continuous delivery или как упростить себе жизнь
Роман Василенко. Continuous delivery или как упростить себе жизньРоман Василенко. Continuous delivery или как упростить себе жизнь
Роман Василенко. Continuous delivery или как упростить себе жизнь
 
Валерий Куваев, HP на пути к Enterprise Agile
Валерий Куваев, HP на пути к Enterprise AgileВалерий Куваев, HP на пути к Enterprise Agile
Валерий Куваев, HP на пути к Enterprise Agile
 
It meetup cd
It meetup cdIt meetup cd
It meetup cd
 
Юрий Василевский "Автоматизация в XCode"
Юрий Василевский "Автоматизация в XCode"Юрий Василевский "Автоматизация в XCode"
Юрий Василевский "Автоматизация в XCode"
 
Юрий Василевский «Автоматизация в XCode»
Юрий Василевский «Автоматизация в XCode»Юрий Василевский «Автоматизация в XCode»
Юрий Василевский «Автоматизация в XCode»
 
Azure - Visual Studio Team Services
Azure - Visual Studio Team ServicesAzure - Visual Studio Team Services
Azure - Visual Studio Team Services
 
DevOps и VSTS
DevOps и VSTSDevOps и VSTS
DevOps и VSTS
 

More from SQALab

Готовим стажировку
Готовим стажировкуГотовим стажировку
Готовим стажировкуSQALab
 
Куда приводят мечты? или Искусство развития тестировщика
Куда приводят мечты? или Искусство развития тестировщикаКуда приводят мечты? или Искусство развития тестировщика
Куда приводят мечты? или Искусство развития тестировщикаSQALab
 
Оптимизация Selenium тестов и ускорение их поддержки
Оптимизация Selenium тестов и ускорение их поддержкиОптимизация Selenium тестов и ускорение их поддержки
Оптимизация Selenium тестов и ускорение их поддержкиSQALab
 
Автоматизация 0.0: 0 - бюджет, 0 - опыт программирования
Автоматизация 0.0: 0 - бюджет, 0 - опыт программированияАвтоматизация 0.0: 0 - бюджет, 0 - опыт программирования
Автоматизация 0.0: 0 - бюджет, 0 - опыт программированияSQALab
 
Нагрузочное тестирование нестандартных протоколов с использованием Citrix и J...
Нагрузочное тестирование нестандартных протоколов с использованием Citrix и J...Нагрузочное тестирование нестандартных протоколов с использованием Citrix и J...
Нагрузочное тестирование нестандартных протоколов с использованием Citrix и J...SQALab
 
Continuous performance testing
Continuous performance testingContinuous performance testing
Continuous performance testingSQALab
 
Конфиги вместо костылей. Pytestconfig и зачем он нужен
Конфиги вместо костылей. Pytestconfig и зачем он нуженКонфиги вместо костылей. Pytestconfig и зачем он нужен
Конфиги вместо костылей. Pytestconfig и зачем он нуженSQALab
 
Команда чемпионов в ИТ стихии
Команда чемпионов в ИТ стихииКоманда чемпионов в ИТ стихии
Команда чемпионов в ИТ стихииSQALab
 
API. Серебряная пуля в магазине советов
API. Серебряная пуля в магазине советовAPI. Серебряная пуля в магазине советов
API. Серебряная пуля в магазине советовSQALab
 
Добиваемся эффективности каждого из 9000+ UI-тестов
Добиваемся эффективности каждого из 9000+ UI-тестовДобиваемся эффективности каждого из 9000+ UI-тестов
Добиваемся эффективности каждого из 9000+ UI-тестовSQALab
 
Делаем автоматизацию проектных KPIs
Делаем автоматизацию проектных KPIsДелаем автоматизацию проектных KPIs
Делаем автоматизацию проектных KPIsSQALab
 
Вредные привычки в тест-менеджменте
Вредные привычки в тест-менеджментеВредные привычки в тест-менеджменте
Вредные привычки в тест-менеджментеSQALab
 
Мощь переполняет с JDI 2.0 - новая эра UI автоматизации
Мощь переполняет с JDI 2.0 - новая эра UI автоматизацииМощь переполняет с JDI 2.0 - новая эра UI автоматизации
Мощь переполняет с JDI 2.0 - новая эра UI автоматизацииSQALab
 
Как hh.ru дошли до 500 релизов в квартал без потери в качестве
Как hh.ru дошли до 500 релизов в квартал без потери в качествеКак hh.ru дошли до 500 релизов в квартал без потери в качестве
Как hh.ru дошли до 500 релизов в квартал без потери в качествеSQALab
 
Стили лидерства и тестирование
Стили лидерства и тестированиеСтили лидерства и тестирование
Стили лидерства и тестированиеSQALab
 
"Давайте не будем про качество"
"Давайте не будем про качество""Давайте не будем про качество"
"Давайте не будем про качество"SQALab
 
Apache.JMeter для .NET-проектов
Apache.JMeter для .NET-проектовApache.JMeter для .NET-проектов
Apache.JMeter для .NET-проектовSQALab
 
Тестирование геолокационных систем
Тестирование геолокационных системТестирование геолокационных систем
Тестирование геолокационных системSQALab
 
Лидер или босс? Вот в чем вопрос
Лидер или босс? Вот в чем вопросЛидер или босс? Вот в чем вопрос
Лидер или босс? Вот в чем вопросSQALab
 
От Зефира в коробке к Structure Zephyr или как тест-менеджеру перекроить внут...
От Зефира в коробке к Structure Zephyr или как тест-менеджеру перекроить внут...От Зефира в коробке к Structure Zephyr или как тест-менеджеру перекроить внут...
От Зефира в коробке к Structure Zephyr или как тест-менеджеру перекроить внут...SQALab
 

More from SQALab (20)

Готовим стажировку
Готовим стажировкуГотовим стажировку
Готовим стажировку
 
Куда приводят мечты? или Искусство развития тестировщика
Куда приводят мечты? или Искусство развития тестировщикаКуда приводят мечты? или Искусство развития тестировщика
Куда приводят мечты? или Искусство развития тестировщика
 
Оптимизация Selenium тестов и ускорение их поддержки
Оптимизация Selenium тестов и ускорение их поддержкиОптимизация Selenium тестов и ускорение их поддержки
Оптимизация Selenium тестов и ускорение их поддержки
 
Автоматизация 0.0: 0 - бюджет, 0 - опыт программирования
Автоматизация 0.0: 0 - бюджет, 0 - опыт программированияАвтоматизация 0.0: 0 - бюджет, 0 - опыт программирования
Автоматизация 0.0: 0 - бюджет, 0 - опыт программирования
 
Нагрузочное тестирование нестандартных протоколов с использованием Citrix и J...
Нагрузочное тестирование нестандартных протоколов с использованием Citrix и J...Нагрузочное тестирование нестандартных протоколов с использованием Citrix и J...
Нагрузочное тестирование нестандартных протоколов с использованием Citrix и J...
 
Continuous performance testing
Continuous performance testingContinuous performance testing
Continuous performance testing
 
Конфиги вместо костылей. Pytestconfig и зачем он нужен
Конфиги вместо костылей. Pytestconfig и зачем он нуженКонфиги вместо костылей. Pytestconfig и зачем он нужен
Конфиги вместо костылей. Pytestconfig и зачем он нужен
 
Команда чемпионов в ИТ стихии
Команда чемпионов в ИТ стихииКоманда чемпионов в ИТ стихии
Команда чемпионов в ИТ стихии
 
API. Серебряная пуля в магазине советов
API. Серебряная пуля в магазине советовAPI. Серебряная пуля в магазине советов
API. Серебряная пуля в магазине советов
 
Добиваемся эффективности каждого из 9000+ UI-тестов
Добиваемся эффективности каждого из 9000+ UI-тестовДобиваемся эффективности каждого из 9000+ UI-тестов
Добиваемся эффективности каждого из 9000+ UI-тестов
 
Делаем автоматизацию проектных KPIs
Делаем автоматизацию проектных KPIsДелаем автоматизацию проектных KPIs
Делаем автоматизацию проектных KPIs
 
Вредные привычки в тест-менеджменте
Вредные привычки в тест-менеджментеВредные привычки в тест-менеджменте
Вредные привычки в тест-менеджменте
 
Мощь переполняет с JDI 2.0 - новая эра UI автоматизации
Мощь переполняет с JDI 2.0 - новая эра UI автоматизацииМощь переполняет с JDI 2.0 - новая эра UI автоматизации
Мощь переполняет с JDI 2.0 - новая эра UI автоматизации
 
Как hh.ru дошли до 500 релизов в квартал без потери в качестве
Как hh.ru дошли до 500 релизов в квартал без потери в качествеКак hh.ru дошли до 500 релизов в квартал без потери в качестве
Как hh.ru дошли до 500 релизов в квартал без потери в качестве
 
Стили лидерства и тестирование
Стили лидерства и тестированиеСтили лидерства и тестирование
Стили лидерства и тестирование
 
"Давайте не будем про качество"
"Давайте не будем про качество""Давайте не будем про качество"
"Давайте не будем про качество"
 
Apache.JMeter для .NET-проектов
Apache.JMeter для .NET-проектовApache.JMeter для .NET-проектов
Apache.JMeter для .NET-проектов
 
Тестирование геолокационных систем
Тестирование геолокационных системТестирование геолокационных систем
Тестирование геолокационных систем
 
Лидер или босс? Вот в чем вопрос
Лидер или босс? Вот в чем вопросЛидер или босс? Вот в чем вопрос
Лидер или босс? Вот в чем вопрос
 
От Зефира в коробке к Structure Zephyr или как тест-менеджеру перекроить внут...
От Зефира в коробке к Structure Zephyr или как тест-менеджеру перекроить внут...От Зефира в коробке к Structure Zephyr или как тест-менеджеру перекроить внут...
От Зефира в коробке к Structure Zephyr или как тест-менеджеру перекроить внут...
 

СI - модное увлечение или новая классика?

  • 1. Scalable eCommerce Platform Solutions Scalable eCommerce Platform Solutions for CI – Модное увлечение или новая класика? Игорь Яговой
  • 2. Scalable eCommerce Platform Solutions Игорь Яговой • 8+ лет в IT • Проекты: GameDev, Telecommunications, Financial, eBusiness, eCommerce • Работал: Тестировщиком, Ведущим инженером, Менеджером 11/29/2012 2
  • 3. Scalable eCommerce Platform Solutions План • Введение • Простейший CI pipeline • Реализация части тестирования • Результат 11/29/2012 3
  • 4. Scalable eCommerce Platform Solutions CI - что это такое и зачем? Continuous Integration • Показывает статус билда/кода в любой момент • Стимулирует стабилизацию кода • Следит за регрессией • Упрощает жизнь, отвечает на многие вопросы • Demo – легко! 11/29/2012 4
  • 5. Scalable eCommerce Platform Solutions CI pipeline для одного компонента Commit Build Smoke Test Artifact Deploy Suite Repository Full Test Suite Report 11/29/2012 5
  • 6. Scalable eCommerce Platform Solutions Усложняем задачу A A build tests A+B tests B B A+B+C build tests tests C C build tests 11/29/2012 6
  • 7. Scalable eCommerce Platform Solutions Continuous Integration - реализация • Готовность команды проекта (Dev/QA, PM) • Наличие железа / cloud • Инфраструктура • Интеграция с другими процессами • Наличие DevOps 11/29/2012 7
  • 8. Scalable eCommerce Platform Solutions Вклад QA в Continuous Integration • Работа над тестовым фреймворком • Организация тестовых джоб на CI • Какие тесты запускаем • CI Support 11/29/2012 8
  • 9. Scalable eCommerce Platform Solutions Test Framework 11/29/2012 9
  • 10. Scalable eCommerce Platform Solutions Test Framework 1. Запускается на CI 11/30/2012 10
  • 11. Scalable eCommerce Platform Solutions Test Framework 1. Запускается на CI 2. Параметризация – где, куда? 11/30/2012 11
  • 12. Scalable eCommerce Platform Solutions Test Framework 1. Запускается на CI 2. Параметризация – где, куда? 3. Поддержка различных suite, test groups 11/30/2012 12
  • 13. Scalable eCommerce Platform Solutions Test Framework 1. Запускается на CI 2. Параметризация – где, куда? 3. Поддержка различных suite, test groups 4. Легкий тест-менеджмент, организация suite 11/30/2012 13
  • 14. Scalable eCommerce Platform Solutions Test Framework 1. Запускается на CI 2. Параметризация – где, куда? 3. Поддержка различных suite, test groups 4. Легкий тест-менеджмент, организация suite 5. Читаемый репорт/Детальный репорт/логи 11/30/2012 14
  • 15. Scalable eCommerce Platform Solutions Test Framework 1. Запускается на CI 2. Параметризация – где, куда? 3. Поддержка различных suite, test groups 4. Легкий тест-менеджмент, организация suite 5. Читаемый репорт/Детальный репорт/логи 6. Легко дебажить 11/30/2012 15
  • 16. Scalable eCommerce Platform Solutions Test Framework 1. Запускается на CI 2. Параметризация – где, куда? 3. Поддержка различных suite, test groups 4. Легкий тест-менеджмент, организация suite 5. Читаемый репорт/Детальный репорт/логи 6. Легко дебажить 7. Параллелизация 11/30/2012 16
  • 17. Scalable eCommerce Platform Solutions Test Framework 1. Запускается на CI 2. Параметризация – где, куда? 3. Поддержка различных suite, test groups 4. Легкий тест-менеджмент, организация suite 5. Читаемый репорт/Детальный репорт/логи 6. Легко дебажить 7. Параллелизация 8. Mapping Test <-> Defect 11/30/2012 17
  • 18. Scalable eCommerce Platform Solutions Test Jobs: Практики Лампочка - 2 статуса мало, принцип светофора 11/29/2012 18
  • 19. Scalable eCommerce Platform Solutions Test Jobs: Практики Джобы запускают 1 suite Hint: Environment может не убиваться после failed тестов 11/29/2012 19
  • 20. Scalable eCommerce Platform Solutions Test Jobs: Параллелизация Ускоряем прогон тестов – тесты делятся на логические группы – тестовые джобы запускаются параллельно – smoke тесты тоже параллелятся * Не забудь настроить правильные зависимости 11/29/2012 20
  • 21. Scalable eCommerce Platform Solutions Test Jobs: Пример Commit Commit to B build A build B to A Smoke Smoke Smoke A+stub B A+B Full suite Nexus Nexus? Nexus Smoke Int with A Full suite Full suite Full suite A+stub B A+B A+B Full Int Type 1 Type 2 with A Promote? Promote 11/29/2012 Report Report 21
  • 22. Scalable eCommerce Platform Solutions Какие тесты запускать? У Нас свой артефакт! • Тесты • Зависимости - API, Stubs etc. • Test Data • Tools 11/29/2012 22
  • 23. Scalable eCommerce Platform Solutions Tests CI Commit Build Promote Artifact Repository 11/29/2012 23
  • 24. Scalable eCommerce Platform Solutions Tests CI: Добавляем новый тест • Тест Passed – Отлично! • Тест Failed – Отлично! Заведи дефект! 11/29/2012 24
  • 25. Scalable eCommerce Platform Solutions CI Support: Что же это? • Какого цвета лампочка? • Держать актуальным Тест Артефакт 11/29/2012 25
  • 26. Scalable eCommerce Platform Solutions CI Support : Красная лампочка • Ошибка в тесте • Тест не актуальный • Bug! Solution: • Удалять тесты с CI можно! • Mapping: Test <-> Defect – Must Have 11/29/2012 26
  • 27. Scalable eCommerce Platform Solutions CI Support : Тест Артефакт Держи актуальными: • Тесты и Тестовые наборы • Зависимости (API, Stub, etc.) • Тестовые данные 11/29/2012 27
  • 28. Scalable eCommerce Platform Solutions CI Support : Дежурный • CI дежурный - plugin наш выбор: 11/29/2012 28
  • 29. Scalable eCommerce Platform Solutions CI Support : Дежурный 11/29/2012 29
  • 30. Scalable eCommerce Platform Solutions Бенефиты Команда тестирования: • Stop Execution • Занимайся своей работой • СI – эталонный энвайронмент • Дефекты - находим и фиксим • Трекаем только Epic дефекты 11/29/2012 30
  • 31. Scalable eCommerce Platform Solutions Бенефиты Команда разработчиков: • Commit = Feedback • Нет регрессии • Дефект debug – легко! • Тестирование происходит реально вместе с разработкой 11/29/2012 31
  • 32. Scalable eCommerce Platform Solutions Бенефиты Менеджер: • Мгновенный статус билда/проекта • Красивый репорт! • Дефекты находятся раньше • Исправлять ошибки сравнительно дешево • Только minor дефекты живут после конца итерации 11/29/2012 32
  • 33. Scalable eCommerce Platform Solutions Вопросы? 11/29/2012 33