Software quality assurance days
18 Международная конференция
по вопросам качества ПО
sqadays.com
Москва. 27–28 ноября 2015
Герман Варгин
T-systems Rus . Санкт-Петербург, Россия
Что ждет тестировщиков при организации процесса
тестирования Enterprise-продуктов с нуля
Что ждет тестировщиков при организации процесса тестирования Enterprise-продуктов с нуля
Обо мне
Варгин Герман Валерьевич
german.vargin@t-systems.ru
vargin.german@gmail.com
Что ждет тестировщиков при организации процесса тестирования Enterprise-продуктов с нуля
О чем поговорим
• Особенности тестирования новых проектов
• Типичные проблемы с которыми сталкиваются
тестировщики
• Способы решения проблем
• Постановка процесса тестирования нового
проекта
• Выводы
Что ждет тестировщиков при организации процесса тестирования Enterprise-продуктов с нуля
Почему Enterprise?
Что ждет тестировщиков при организации процесса тестирования Enterprise-продуктов с нуля
Enterprise (EAS)
Что ждет тестировщиков при организации процесса тестирования Enterprise-продуктов с нуля
Ожидания заказчика
Что ждет тестировщиков при организации процесса тестирования Enterprise-продуктов с нуля
Специфицировали аналитики
Что ждет тестировщиков при организации процесса тестирования Enterprise-продуктов с нуля
Как поняли разработчики
Что ждет тестировщиков при организации процесса тестирования Enterprise-продуктов с нуля
Что получило тестирование
Что ждет тестировщиков при организации процесса тестирования Enterprise-продуктов с нуля
Анализ спецификаций
Что ждет тестировщиков при организации процесса тестирования Enterprise-продуктов с нуля
Партнерские системы
Что ждет тестировщиков при организации процесса тестирования Enterprise-продуктов с нуля
Первые тест кейсы
Что ждет тестировщиков при организации процесса тестирования Enterprise-продуктов с нуля
Дефекты
• Огромное количество дефектов
• Большая часть дефектов блокирует процесс
тестирования
• Многие дефекты приводят к изменениям в
спецификации
• Дефекты в партнерских системах
Что ждет тестировщиков при организации процесса тестирования Enterprise-продуктов с нуля
First Production
Что ждет тестировщиков при организации процесса тестирования Enterprise-продуктов с нуля
Определение скоупа
• Документы
• Сценарии
• Пользователи
• Интеграция
Что ждет тестировщиков при организации процесса тестирования Enterprise-продуктов с нуля
Критерии входа
Окружение готово
Тестовые данные получены
Главные сценарии реализованы
20% некритичных сценариев
Entry check выполнен
Что ждет тестировщиков при организации процесса тестирования Enterprise-продуктов с нуля
Использование Mind Map
Что ждет тестировщиков при организации процесса тестирования Enterprise-продуктов с нуля
Пользовательские сценарии
Use case User login into portal
Requirement
id
BR04837
Attribute • GetAccountByName/Account/Username
• GetAccountByName/Account/Password
Precondition • Account is created in DB
• Accounts has status ‘active’
Error cases • ER0001 - Username or password is not correct
• ER0002 - Username is nonexistent
• ER0003 – Account is (1)
Placeholders • (1) – In case if
GetAccountByNameResponse/Account/Status is 2
‘blocked’
• (1) – In case if
GetAccountByNameResponse/Account/Status is 3 ‘not
active’
Что ждет тестировщиков при организации процесса тестирования Enterprise-продуктов с нуля
Тесты по UC
Направлены на взаимодействие пользователя с
системой
Хорошо разделяются на тестовые сценарии
Выявляют проблемы, которые сложно выявить с
помощью других техник
Очень эффективны при приемочном
тестировании
Что ждет тестировщиков при организации процесса тестирования Enterprise-продуктов с нуля
Наглядность
Что ждет тестировщиков при организации процесса тестирования Enterprise-продуктов с нуля
Traceability матрицы
Responsible
person
Functionality Test Set Status Total ex. in
%
Tester 1
Name
Authorization ID1 Ready 74%
Emails ID13 New 0%
Services ID585 Ready 50%
Tester 2
Name
Business process ID197 Sent for review 0%
News ID67 Ready 2%
Reporting ID7 New 0%
UI ID2 New 0%
Что ждет тестировщиков при организации процесса тестирования Enterprise-продуктов с нуля
Как быть с дефектами?
Что ждет тестировщиков при организации процесса тестирования Enterprise-продуктов с нуля
Давление заказчика
Заказчик всегда будет волноваться
Сроки будут все жестче
Больше требований
Постоянное отслеживание
прогресса
Что ждет тестировщиков при организации процесса тестирования Enterprise-продуктов с нуля
Управление ожиданиями
Что ждет тестировщиков при организации процесса тестирования Enterprise-продуктов с нуля
Отчеты
Responsible
person
Functionality Total TC Total
Executed
Total ex. in
%
Tester 1
Name
1) Authorization
2) Emails
3) Services
268 192 74%
Tester 2
Name
1) Business
process
197 197 100%
Tester 3
Name
1) Reporting
2) News
217 201 92%
Tester 4
Name
1) Automation
2) Performance
870 338 39 %
Tester 5
Name
1) Automation
2) Performance
870 410 47%
Что ждет тестировщиков при организации процесса тестирования Enterprise-продуктов с нуля
Успешные тесты
День 1: Тест Passed
День 2: Вчера тест был Passed, а сегодня Failed
День 3: Тест Passed
День 4: Снова тест Failed
День 5: Тест De-scoped?
Что ждет тестировщиков при организации процесса тестирования Enterprise-продуктов с нуля
Выход в production
• Внимательное тестирование Golden Build
• Согласование с партнерскими системами
• Подготовка тестовых данных
• Актуальный скоуп
• Список известных дефектов
Что ждет тестировщиков при организации процесса тестирования Enterprise-продуктов с нуля
Выводы
• Задачи тестировщиков при тестировании с
нуля
• Тише едешь - дальше будешь
• Использование пользовательских сценариев
• Важно не отвлекаться на баги
• Выйти в продакшен и порадовать заказчика
Что ждет тестировщиков при организации процесса тестирования Enterprise-продуктов с нуля
Вопросы?
german.vargin@t-systems.ru
vargin.german@gmail.com
gvargin
https://www.linkedin.com/profile/view?id=159116867
http://vk.com/vargin.german
Спасибо за внимание!

Что ждет тестировщиков при организации процесса тестирования Enterprise-продуктов с нуля

  • 1.
    Software quality assurancedays 18 Международная конференция по вопросам качества ПО sqadays.com Москва. 27–28 ноября 2015 Герман Варгин T-systems Rus . Санкт-Петербург, Россия Что ждет тестировщиков при организации процесса тестирования Enterprise-продуктов с нуля
  • 2.
    Что ждет тестировщиковпри организации процесса тестирования Enterprise-продуктов с нуля Обо мне Варгин Герман Валерьевич german.vargin@t-systems.ru vargin.german@gmail.com
  • 3.
    Что ждет тестировщиковпри организации процесса тестирования Enterprise-продуктов с нуля О чем поговорим • Особенности тестирования новых проектов • Типичные проблемы с которыми сталкиваются тестировщики • Способы решения проблем • Постановка процесса тестирования нового проекта • Выводы
  • 4.
    Что ждет тестировщиковпри организации процесса тестирования Enterprise-продуктов с нуля Почему Enterprise?
  • 5.
    Что ждет тестировщиковпри организации процесса тестирования Enterprise-продуктов с нуля Enterprise (EAS)
  • 6.
    Что ждет тестировщиковпри организации процесса тестирования Enterprise-продуктов с нуля Ожидания заказчика
  • 7.
    Что ждет тестировщиковпри организации процесса тестирования Enterprise-продуктов с нуля Специфицировали аналитики
  • 8.
    Что ждет тестировщиковпри организации процесса тестирования Enterprise-продуктов с нуля Как поняли разработчики
  • 9.
    Что ждет тестировщиковпри организации процесса тестирования Enterprise-продуктов с нуля Что получило тестирование
  • 10.
    Что ждет тестировщиковпри организации процесса тестирования Enterprise-продуктов с нуля Анализ спецификаций
  • 11.
    Что ждет тестировщиковпри организации процесса тестирования Enterprise-продуктов с нуля Партнерские системы
  • 12.
    Что ждет тестировщиковпри организации процесса тестирования Enterprise-продуктов с нуля Первые тест кейсы
  • 13.
    Что ждет тестировщиковпри организации процесса тестирования Enterprise-продуктов с нуля Дефекты • Огромное количество дефектов • Большая часть дефектов блокирует процесс тестирования • Многие дефекты приводят к изменениям в спецификации • Дефекты в партнерских системах
  • 14.
    Что ждет тестировщиковпри организации процесса тестирования Enterprise-продуктов с нуля First Production
  • 15.
    Что ждет тестировщиковпри организации процесса тестирования Enterprise-продуктов с нуля Определение скоупа • Документы • Сценарии • Пользователи • Интеграция
  • 16.
    Что ждет тестировщиковпри организации процесса тестирования Enterprise-продуктов с нуля Критерии входа Окружение готово Тестовые данные получены Главные сценарии реализованы 20% некритичных сценариев Entry check выполнен
  • 17.
    Что ждет тестировщиковпри организации процесса тестирования Enterprise-продуктов с нуля Использование Mind Map
  • 18.
    Что ждет тестировщиковпри организации процесса тестирования Enterprise-продуктов с нуля Пользовательские сценарии Use case User login into portal Requirement id BR04837 Attribute • GetAccountByName/Account/Username • GetAccountByName/Account/Password Precondition • Account is created in DB • Accounts has status ‘active’ Error cases • ER0001 - Username or password is not correct • ER0002 - Username is nonexistent • ER0003 – Account is (1) Placeholders • (1) – In case if GetAccountByNameResponse/Account/Status is 2 ‘blocked’ • (1) – In case if GetAccountByNameResponse/Account/Status is 3 ‘not active’
  • 19.
    Что ждет тестировщиковпри организации процесса тестирования Enterprise-продуктов с нуля Тесты по UC Направлены на взаимодействие пользователя с системой Хорошо разделяются на тестовые сценарии Выявляют проблемы, которые сложно выявить с помощью других техник Очень эффективны при приемочном тестировании
  • 20.
    Что ждет тестировщиковпри организации процесса тестирования Enterprise-продуктов с нуля Наглядность
  • 21.
    Что ждет тестировщиковпри организации процесса тестирования Enterprise-продуктов с нуля Traceability матрицы Responsible person Functionality Test Set Status Total ex. in % Tester 1 Name Authorization ID1 Ready 74% Emails ID13 New 0% Services ID585 Ready 50% Tester 2 Name Business process ID197 Sent for review 0% News ID67 Ready 2% Reporting ID7 New 0% UI ID2 New 0%
  • 22.
    Что ждет тестировщиковпри организации процесса тестирования Enterprise-продуктов с нуля Как быть с дефектами?
  • 23.
    Что ждет тестировщиковпри организации процесса тестирования Enterprise-продуктов с нуля Давление заказчика Заказчик всегда будет волноваться Сроки будут все жестче Больше требований Постоянное отслеживание прогресса
  • 24.
    Что ждет тестировщиковпри организации процесса тестирования Enterprise-продуктов с нуля Управление ожиданиями
  • 25.
    Что ждет тестировщиковпри организации процесса тестирования Enterprise-продуктов с нуля Отчеты Responsible person Functionality Total TC Total Executed Total ex. in % Tester 1 Name 1) Authorization 2) Emails 3) Services 268 192 74% Tester 2 Name 1) Business process 197 197 100% Tester 3 Name 1) Reporting 2) News 217 201 92% Tester 4 Name 1) Automation 2) Performance 870 338 39 % Tester 5 Name 1) Automation 2) Performance 870 410 47%
  • 26.
    Что ждет тестировщиковпри организации процесса тестирования Enterprise-продуктов с нуля Успешные тесты День 1: Тест Passed День 2: Вчера тест был Passed, а сегодня Failed День 3: Тест Passed День 4: Снова тест Failed День 5: Тест De-scoped?
  • 27.
    Что ждет тестировщиковпри организации процесса тестирования Enterprise-продуктов с нуля Выход в production • Внимательное тестирование Golden Build • Согласование с партнерскими системами • Подготовка тестовых данных • Актуальный скоуп • Список известных дефектов
  • 28.
    Что ждет тестировщиковпри организации процесса тестирования Enterprise-продуктов с нуля Выводы • Задачи тестировщиков при тестировании с нуля • Тише едешь - дальше будешь • Использование пользовательских сценариев • Важно не отвлекаться на баги • Выйти в продакшен и порадовать заказчика
  • 29.
    Что ждет тестировщиковпри организации процесса тестирования Enterprise-продуктов с нуля Вопросы? german.vargin@t-systems.ru vargin.german@gmail.com gvargin https://www.linkedin.com/profile/view?id=159116867 http://vk.com/vargin.german Спасибо за внимание!