SlideShare a Scribd company logo
TERRA


Test Events Results & Reports Aggregator
Наглядность
Менеджер




Статистика ошибок
Состояние сервиса
Разработчик



Статистика ошибок
Ошибки продукта
Тестировщик




Результаты тестов
Качество тестов
Свзять проблем железа
      с функциональностью




Администратор
Центр управления качеством




                    ... и мы его строим
История




          ...о том, что было
AQuA

  Фреймворк запуска тестов
Глубже
Глубже


      Управление
    наборами тестов
Глубже


      Управление
    наборами тестов
    Maven     jUnit
Глубже


      Управление
    наборами тестов
    Maven     jUnit
    Параллельность
Web-тесты


      Selenium 2.*
Регрессия
Что: тестовые наборы

        Где: тестовый стенд

              Когда: сборка




Регрессия
Мониторинги
Что: смоук-тесты

Где: продакшен

Когда: cron




              Мониторинги
Наша прелесть
AQuA             Реализация


                DB



                  5 минут раз в 5 минут
Не успеваем – тратимся на поддержку
Web-тесты
Web-тесты


      Selenium 2.*
Агрегация
Агрегация

 Test 1   ...   Test N




           Поднимаем человека
          когда точно сломалось
Узкое место
AQuA




Узкое место
AQuA




Узкое место
AQuA
Dat a
 B ase




                                               Узкое место
AQuA
Dat a
 B ase




                                               Узкое место
AQuA
 Dat a
 B ase


Al erts


                                                Узкое место
Чем больше пишем,
тем больше читаем
Вычислять
 на лету
Вычислять
 на лету
Вычислять
 на лету
Масштабирование

Производительность
Terra

AQuA
Test
Events
Results
Reports
Aggregator
Комбайн
Aggregator
Test


           All
Test
          Tests


Test
Message Filter
Test


 ...         ...


Test
Content Enricher

                 Test
Test              
                 Data

          Data
Content Filter

Test
             Data
Data
Resequencer


          Test
Test                 Test   Test   Test
       Test
И многое другое
События тестов
Примитивные события

  Test    Test
                 Test
  Start   Stop


  Test    Test
                 Test
  Start   Stop
Данные


   Test          Test



          Time
Сессия тестов


Test   Test        Test   Test   Test
Сессия тестов


Test        Test   Test   Test
Состояние


Test   Test   Test
Масштабирование


Balancer
Масштабирование

           REST
           HTTP

Balancer

           REST
           HTTP
Масштабирование

           REST
                  JMS
           HTTP

Balancer

           REST
                  JMS
           HTTP
Масштабирование

           REST
                  JMS
           HTTP

Balancer

           REST
                  JMS
           HTTP
Проблема

           REST
                  JMS
           HTTP

Balancer

           REST
                  JMS
           HTTP
Проблема

           REST
                  JMS
           HTTP

Balancer

           REST
                  JMS
           HTTP
Проблема

           REST
                  JMS
           HTTP

Balancer

           REST
                  JMS
           HTTP
Проблема

           REST
                  JMS
           HTTP

Balancer

           REST
                  JMS
           HTTP
Проблема

           REST
                  JMS
           HTTP

Balancer

           REST
                  JMS
           HTTP
Проблема

           REST
                  JMS
           HTTP

Balancer

           REST
                  JMS
           HTTP
Проблема

           REST
                  JMS
           HTTP

Balancer

           REST
                  JMS
           HTTP
Проблема

           REST
                  JMS
           HTTP

Balancer

           REST
                  JMS
           HTTP
Проблема

           REST
                  JMS
           HTTP

Balancer

           REST
                  JMS
           HTTP
Хранилище
Хранилище
Хранилище
Хранилище
Хранилище

       Быстрое

 Распределенное

      Надежное
Решение




     в оперативной памяти
Производительность
Производительность
Результат - TERRA


       +
 + 500 строчек кода
Terra

AQuA           Message
 in
 
               the
 bottle
BottleMessageRule
BottleMessageRule


                    JUnit
BottleMessageRule


                    JUnit
            TestWatchmen
BottleMessageRule


                    JUnit
            TestWatchmen
            Configuration
Message
Message
Идентификаторы
Message
Идентификаторы

Тип события
Message
Идентификаторы

Тип события

Мета-данные
Message
Идентификаторы

Тип события

Мета-данные
Конфигурация
 маршрутов
Terra




 это нотификации о поломках
Ближе
Ближе




Все тесты
Ближе


                  Статистика

                 Группировка

Все тесты   На данный момент
Мы стали разведывать
    территорию
Сводные данные
Сервисы
Сервис   Статистика   ...

  ...        ...      ...


Поиск       1000      ...


Почта       1000      ...


  ...        ...      ...
Статусы тестов


 Passed     Broken

  Failed    Skipped
Статистика

        Количество тестов

        Данные о времени

        Текущие проблемы
Сервис
   Failed   Broken
Сервис
   Failed   Broken
Сервис
   Passed   Failed
Сервис


@Feature   @Severity
Сервис
Сервис
  @Feature
     Broken
Сервис


@Feature   @Severity
Сервис
Сервис
  @Feature
     @Severity
         Failed
Тенденция
Тест перешел в состояние “упал”

  Тест перешел в состояние “сломался”

 Тест перешел в состояние “пропущен”

Тест перешел в состояние “восстановился”
Count




        Time
Тест перешел в состояние “восстановился”

Тест перешел в состояние “восстановился”

    Тест перешел в состояние “упал”

    Тест перешел в состояние “упал”
Тест перешел в состояние “упал”
Проблема #1

                            Проблема #2

                            Проблема #3

                            Проблема #4


Тест перешел в состояние “восстановился”

Тест перешел в состояние “восстановился”

    Тест перешел в состояние “упал”

    Тест перешел в состояние “упал”
Web Socket
Аналитика
Аггрегация событий
с других источников
Каскадные проверки
Отчеты тестов

More Related Content

Similar to TERRA

Илья Евлампиев - Grinder
Илья Евлампиев - GrinderИлья Евлампиев - Grinder
Илья Евлампиев - GrinderAlexey Chumagin
 
Грамотная работа с дефект-трекером
Грамотная работа с дефект-трекеромГрамотная работа с дефект-трекером
Грамотная работа с дефект-трекером
Alexey Lyanguzov
 
Нагрузочное тестирование API. Как летать, а не ползать?
Нагрузочное тестирование API. Как летать, а не ползать?Нагрузочное тестирование API. Как летать, а не ползать?
Нагрузочное тестирование API. Как летать, а не ползать?
IT61
 
Jmeter
JmeterJmeter
Jmeter
Elena Korzh
 
Эволюция ускорения юнит-тестов в Badoo - от баш-скриптов до облака
Эволюция ускорения юнит-тестов в Badoo - от баш-скриптов до облакаЭволюция ускорения юнит-тестов в Badoo - от баш-скриптов до облака
Эволюция ускорения юнит-тестов в Badoo - от баш-скриптов до облака
SQALab
 
[JAM 1.1] Testing not for Fun (Evgeny Kaziak)
[JAM 1.1] Testing not for Fun (Evgeny Kaziak)[JAM 1.1] Testing not for Fun (Evgeny Kaziak)
[JAM 1.1] Testing not for Fun (Evgeny Kaziak)
Evgeny Kaziak
 
Seamy side of autotests
Seamy side of autotestsSeamy side of autotests
Seamy side of autotests
Anton Stepanenko
 
Тест-менеджмент в Jira. Анна Добрынина
Тест-менеджмент в Jira. Анна ДобрынинаТест-менеджмент в Jira. Анна Добрынина
Тест-менеджмент в Jira. Анна Добрынинаqasib
 
Доклад Ильи Кудинова на конференции LoveQA. "Как мы разгоняли тесты — от баш-...
Доклад Ильи Кудинова на конференции LoveQA. "Как мы разгоняли тесты — от баш-...Доклад Ильи Кудинова на конференции LoveQA. "Как мы разгоняли тесты — от баш-...
Доклад Ильи Кудинова на конференции LoveQA. "Как мы разгоняли тесты — от баш-...
Badoo Development
 
Автоматизация тестирования многопоточности
Автоматизация тестирования многопоточностиАвтоматизация тестирования многопоточности
Автоматизация тестирования многопоточности
SQALab
 
Проверка на прочность или нагрузочное тестирование с Jmeter
Проверка на прочность или нагрузочное тестирование с JmeterПроверка на прочность или нагрузочное тестирование с Jmeter
Проверка на прочность или нагрузочное тестирование с Jmeter
Aleksey Derkach
 
Илья Евлампиев - Нагрузочное тестирование веб-приложений с помощью The Grinder
Илья Евлампиев - Нагрузочное тестирование веб-приложений с помощью The GrinderИлья Евлампиев - Нагрузочное тестирование веб-приложений с помощью The Grinder
Илья Евлампиев - Нагрузочное тестирование веб-приложений с помощью The Grinder
SQALab
 
Efficient performance testing
Efficient performance testingEfficient performance testing
Efficient performance testing
automated-testing.info
 
Нагрузочное тестирование web проектов
Нагрузочное тестирование web проектовНагрузочное тестирование web проектов
Нагрузочное тестирование web проектов
SQALab
 
Тестирование производительности систем мониторинга на платформе Microsoft SCO...
Тестирование производительности систем мониторинга на платформе Microsoft SCO...Тестирование производительности систем мониторинга на платформе Microsoft SCO...
Тестирование производительности систем мониторинга на платформе Microsoft SCO...
SQALab
 
Распределенная система тестирования машинного перевода
Распределенная система тестирования машинного переводаРаспределенная система тестирования машинного перевода
Распределенная система тестирования машинного перевода
yaevents
 
Разработка средств управления и мониторинга распределенной мультиагентной сис...
Разработка средств управления и мониторинга распределенной мультиагентной сис...Разработка средств управления и мониторинга распределенной мультиагентной сис...
Разработка средств управления и мониторинга распределенной мультиагентной сис...Valentin Bazarevsky
 
Performance testing with apache JMeter
Performance testing with apache JMeterPerformance testing with apache JMeter
Performance testing with apache JMeterIvanLysenko
 
Компонентная среда разработки инструментария нагрузочного тестирования
Компонентная среда разработки инструментария нагрузочного тестированияКомпонентная среда разработки инструментария нагрузочного тестирования
Компонентная среда разработки инструментария нагрузочного тестирования
SQALab
 

Similar to TERRA (20)

Илья Евлампиев - Grinder
Илья Евлампиев - GrinderИлья Евлампиев - Grinder
Илья Евлампиев - Grinder
 
Грамотная работа с дефект-трекером
Грамотная работа с дефект-трекеромГрамотная работа с дефект-трекером
Грамотная работа с дефект-трекером
 
Нагрузочное тестирование API. Как летать, а не ползать?
Нагрузочное тестирование API. Как летать, а не ползать?Нагрузочное тестирование API. Как летать, а не ползать?
Нагрузочное тестирование API. Как летать, а не ползать?
 
Jmeter
JmeterJmeter
Jmeter
 
Эволюция ускорения юнит-тестов в Badoo - от баш-скриптов до облака
Эволюция ускорения юнит-тестов в Badoo - от баш-скриптов до облакаЭволюция ускорения юнит-тестов в Badoo - от баш-скриптов до облака
Эволюция ускорения юнит-тестов в Badoo - от баш-скриптов до облака
 
[JAM 1.1] Testing not for Fun (Evgeny Kaziak)
[JAM 1.1] Testing not for Fun (Evgeny Kaziak)[JAM 1.1] Testing not for Fun (Evgeny Kaziak)
[JAM 1.1] Testing not for Fun (Evgeny Kaziak)
 
Seamy side of autotests
Seamy side of autotestsSeamy side of autotests
Seamy side of autotests
 
Тест-менеджмент в Jira. Анна Добрынина
Тест-менеджмент в Jira. Анна ДобрынинаТест-менеджмент в Jira. Анна Добрынина
Тест-менеджмент в Jira. Анна Добрынина
 
Доклад Ильи Кудинова на конференции LoveQA. "Как мы разгоняли тесты — от баш-...
Доклад Ильи Кудинова на конференции LoveQA. "Как мы разгоняли тесты — от баш-...Доклад Ильи Кудинова на конференции LoveQA. "Как мы разгоняли тесты — от баш-...
Доклад Ильи Кудинова на конференции LoveQA. "Как мы разгоняли тесты — от баш-...
 
Автоматизация тестирования многопоточности
Автоматизация тестирования многопоточностиАвтоматизация тестирования многопоточности
Автоматизация тестирования многопоточности
 
Проверка на прочность или нагрузочное тестирование с Jmeter
Проверка на прочность или нагрузочное тестирование с JmeterПроверка на прочность или нагрузочное тестирование с Jmeter
Проверка на прочность или нагрузочное тестирование с Jmeter
 
Илья Евлампиев - Нагрузочное тестирование веб-приложений с помощью The Grinder
Илья Евлампиев - Нагрузочное тестирование веб-приложений с помощью The GrinderИлья Евлампиев - Нагрузочное тестирование веб-приложений с помощью The Grinder
Илья Евлампиев - Нагрузочное тестирование веб-приложений с помощью The Grinder
 
Efficient performance testing
Efficient performance testingEfficient performance testing
Efficient performance testing
 
Нагрузочное тестирование web проектов
Нагрузочное тестирование web проектовНагрузочное тестирование web проектов
Нагрузочное тестирование web проектов
 
Тестирование производительности систем мониторинга на платформе Microsoft SCO...
Тестирование производительности систем мониторинга на платформе Microsoft SCO...Тестирование производительности систем мониторинга на платформе Microsoft SCO...
Тестирование производительности систем мониторинга на платформе Microsoft SCO...
 
Распределенная система тестирования машинного перевода
Распределенная система тестирования машинного переводаРаспределенная система тестирования машинного перевода
Распределенная система тестирования машинного перевода
 
Разработка средств управления и мониторинга распределенной мультиагентной сис...
Разработка средств управления и мониторинга распределенной мультиагентной сис...Разработка средств управления и мониторинга распределенной мультиагентной сис...
Разработка средств управления и мониторинга распределенной мультиагентной сис...
 
Performance testing with apache JMeter
Performance testing with apache JMeterPerformance testing with apache JMeter
Performance testing with apache JMeter
 
Компонентная среда разработки инструментария нагрузочного тестирования
Компонентная среда разработки инструментария нагрузочного тестированияКомпонентная среда разработки инструментария нагрузочного тестирования
Компонентная среда разработки инструментария нагрузочного тестирования
 
Simonova sql server-enginetesting
Simonova sql server-enginetestingSimonova sql server-enginetesting
Simonova sql server-enginetesting
 

TERRA