SlideShare a Scribd company logo
8-я Международная конференция
Санкт-Петербург, Россия
Нерелизное тестирование
Евгения Фирсова
Когда релизы – это слишком медленно
Большим релизам – нет:
• Процессы в разработке:
• объём работ – до 70 новых задач в месяц;
• распараллеливание – до 10 потоков
одновременно.
• Организационные особенности:
• периодическая смена приоритетов;
• календарные ограничения релизов.
Нерелизное тестирование
Предмет, объект, основание
Одновременно в тестировании:
• релиз1:
• задача 1;
• … пакет
• задача N1:
• …
• релиз N:
• задача NN.
Нерелизное тестирование
Куда идёшь, путник?
Фиксируем цели для ОТ:
• Адекватный задаче выбор
требуемого уровня качества.
• Минимизация времени
на подготовку релизов.
• Совместное с разработкой планирование.
Нерелизное тестирование
Оценка переданного в ОТ релиза
Критерии готовности:
• окончательность постановки;
• вероятность незапланированных
изменений после начала тестирования;
• полнота сборки пакета;
• ожидания по каждой задаче;
• планируемое перетестирование.
Нерелизное тестирование
Оценка переданного в ОТ релиза
Параметры релиза:
• приоритет, срочность, дедлайны;
• вероятность, что релиз будет отложен;
• обязательность/наличие тест-плана;
• доступность оптимального ресурса
(в ОТ и разработке);
• нетестируемый функционал:
• если тестирование невозможно;
• если тестирование не нужно.
Нерелизное тестирование
Что тестируем на самом деле?
Подлежит проверке:
• типизация изменений: логические,
интерфейсные, …;
• реализация, меняющая глобальное
поведение компонент;
• «рубильники», способы выкладки и отката;
• предчувствия и сомнения разработчика.
Нерелизное тестирование
Пора начинать?
Выбор момента для начала тестирования:
• рассчитывая длительность тестирования:
• опыт аналогичных задач;
• скорость закрытия багов;
• процессы в реальном времени;
• асинхронные процессы;
• длительность регрессионного тестирования;
• как можно ближе к дате возможной выкладки.
Нерелизное тестирование
Остановиться и подождать
Тестировщики могут ждать:
• готовность релиза;
• и релизов всех связанных компонент;
• наличие необходимых ресурсов
(люди, сервера, настройки, деньги, …);
• исправление найденных ошибок;
• помощь в воспроизведении проблем;
• экспертная оценка источника проблем;
• выкладки.
Нерелизное тестирование
Считаем цыплят
Результат тестирования:
• основание для смены постановки;
• отмашка на выкладку;
• список багов;
• отдельно неисправленные в данном релизе;
• тест-план для регрессионного тестирования.
Нерелизное тестирование
За счёт и вопреки
Стоимость скорости:
• перетестирование:
• если пакет устарел;
• после рефакторинга;
• перед выкладкой;
• отсутствие/написание «задним числом» тест-планов;
• частое переключение между релизами;
• частичная передача проверок разработчикам;
• наконец, скорость тестирования.
Нерелизное тестирование
Уточнения? Вопросы?
Нерелизное тестирование
saigo@yandex.ru – задать любые вопросы
www.control-freak.ru – почитать подробнее об управлении версиями,
задачами, проблемами и людьми

More Related Content

What's hot

Waterfall revisited: практические метрики тестирования
Waterfall revisited: практические метрики тестированияWaterfall revisited: практические метрики тестирования
Waterfall revisited: практические метрики тестирования
SQALab
 
Пополняем арсенал тестировщика. Учимся применять новые техники
Пополняем арсенал тестировщика. Учимся применять новые техникиПополняем арсенал тестировщика. Учимся применять новые техники
Пополняем арсенал тестировщика. Учимся применять новые техники
SQALab
 
Михаил Павлов - is a tester responsible for quality
Михаил Павлов - is a tester responsible for qualityМихаил Павлов - is a tester responsible for quality
Михаил Павлов - is a tester responsible for qualityAlexei Lupan
 
Test labs 2016. QA в тотальном аутсорсе
Test labs 2016. QA в тотальном аутсорсеTest labs 2016. QA в тотальном аутсорсе
Test labs 2016. QA в тотальном аутсорсе
Sasha Soleev
 
Sqadays 2010 burmistrov_fomin_20101120(2)
Sqadays 2010 burmistrov_fomin_20101120(2)Sqadays 2010 burmistrov_fomin_20101120(2)
Sqadays 2010 burmistrov_fomin_20101120(2)
Alexei Lupan
 
Обеспечение качества: Практические советы
Обеспечение качества: Практические советыОбеспечение качества: Практические советы
Обеспечение качества: Практические советы
SQALab
 
Подводные камни при построении процесса тестирования
Подводные камни при построении процесса тестированияПодводные камни при построении процесса тестирования
Подводные камни при построении процесса тестирования
SQALab
 
Grammarly Test Club#2. Выступление Алексея Лупана (SysIQ, Inc.): "Без тест-ке...
Grammarly Test Club#2. Выступление Алексея Лупана (SysIQ, Inc.): "Без тест-ке...Grammarly Test Club#2. Выступление Алексея Лупана (SysIQ, Inc.): "Без тест-ке...
Grammarly Test Club#2. Выступление Алексея Лупана (SysIQ, Inc.): "Без тест-ке...GTestClub
 
Метод No-Test-Cases: избавьтесь от тест-кейсов в тестировании
Метод No-Test-Cases: избавьтесь от тест-кейсов в тестированииМетод No-Test-Cases: избавьтесь от тест-кейсов в тестировании
Метод No-Test-Cases: избавьтесь от тест-кейсов в тестировании
SQALab
 
Тестируем развитие тестировщика
Тестируем развитие тестировщикаТестируем развитие тестировщика
Тестируем развитие тестировщика
SQALab
 
Как оценить время на тестирование. Александр Зиновьев, Test Lead Softengi
Как оценить время на тестирование. Александр Зиновьев, Test Lead SoftengiКак оценить время на тестирование. Александр Зиновьев, Test Lead Softengi
Как оценить время на тестирование. Александр Зиновьев, Test Lead Softengi
Softengi
 
QA Fest 2015. Aлександр Кузняк. Тестовая документация. How-To и типичные ошибки
QA Fest 2015. Aлександр Кузняк. Тестовая документация. How-To и типичные ошибкиQA Fest 2015. Aлександр Кузняк. Тестовая документация. How-To и типичные ошибки
QA Fest 2015. Aлександр Кузняк. Тестовая документация. How-To и типичные ошибки
QAFest
 
Человеко-дни на тестирование или как не ошибиться с оценкой
Человеко-дни на тестирование или как не ошибиться с оценкойЧеловеко-дни на тестирование или как не ошибиться с оценкой
Человеко-дни на тестирование или как не ошибиться с оценкой
SQALab
 
Планирование трудозатрат на тестирование
Планирование трудозатрат на тестированиеПланирование трудозатрат на тестирование
Планирование трудозатрат на тестирование
SQALab
 
Test labs 2016. Пренебрежение лучшими практиками тестирования
Test labs 2016. Пренебрежение лучшими практиками тестированияTest labs 2016. Пренебрежение лучшими практиками тестирования
Test labs 2016. Пренебрежение лучшими практиками тестирования
Sasha Soleev
 
Распределение тестировщиков по командам как один из этапов контроля качества
Распределение тестировщиков по командам как один из этапов контроля качестваРаспределение тестировщиков по командам как один из этапов контроля качества
Распределение тестировщиков по командам как один из этапов контроля качества
SQALab
 
Виталий Стрелюк
Виталий СтрелюкВиталий Стрелюк
Виталий Стрелюк
SQALab
 
ROCS 2 - advanced platform for automated test execution in clustered environm...
ROCS 2 - advanced platform for automated test execution in clustered environm...ROCS 2 - advanced platform for automated test execution in clustered environm...
ROCS 2 - advanced platform for automated test execution in clustered environm...
Rina Uzhevko
 
Делимся опытом: как мы оптимизировали тестирование крупного проекта за 3 месяца
Делимся опытом: как мы оптимизировали тестирование крупного проекта за 3 месяцаДелимся опытом: как мы оптимизировали тестирование крупного проекта за 3 месяца
Делимся опытом: как мы оптимизировали тестирование крупного проекта за 3 месяца
SQALab
 
Построение процессов тестирования на новом проекте: как выбрать правильный путь
Построение процессов тестирования на новом проекте: как выбрать правильный путьПостроение процессов тестирования на новом проекте: как выбрать правильный путь
Построение процессов тестирования на новом проекте: как выбрать правильный путь
SQALab
 

What's hot (20)

Waterfall revisited: практические метрики тестирования
Waterfall revisited: практические метрики тестированияWaterfall revisited: практические метрики тестирования
Waterfall revisited: практические метрики тестирования
 
Пополняем арсенал тестировщика. Учимся применять новые техники
Пополняем арсенал тестировщика. Учимся применять новые техникиПополняем арсенал тестировщика. Учимся применять новые техники
Пополняем арсенал тестировщика. Учимся применять новые техники
 
Михаил Павлов - is a tester responsible for quality
Михаил Павлов - is a tester responsible for qualityМихаил Павлов - is a tester responsible for quality
Михаил Павлов - is a tester responsible for quality
 
Test labs 2016. QA в тотальном аутсорсе
Test labs 2016. QA в тотальном аутсорсеTest labs 2016. QA в тотальном аутсорсе
Test labs 2016. QA в тотальном аутсорсе
 
Sqadays 2010 burmistrov_fomin_20101120(2)
Sqadays 2010 burmistrov_fomin_20101120(2)Sqadays 2010 burmistrov_fomin_20101120(2)
Sqadays 2010 burmistrov_fomin_20101120(2)
 
Обеспечение качества: Практические советы
Обеспечение качества: Практические советыОбеспечение качества: Практические советы
Обеспечение качества: Практические советы
 
Подводные камни при построении процесса тестирования
Подводные камни при построении процесса тестированияПодводные камни при построении процесса тестирования
Подводные камни при построении процесса тестирования
 
Grammarly Test Club#2. Выступление Алексея Лупана (SysIQ, Inc.): "Без тест-ке...
Grammarly Test Club#2. Выступление Алексея Лупана (SysIQ, Inc.): "Без тест-ке...Grammarly Test Club#2. Выступление Алексея Лупана (SysIQ, Inc.): "Без тест-ке...
Grammarly Test Club#2. Выступление Алексея Лупана (SysIQ, Inc.): "Без тест-ке...
 
Метод No-Test-Cases: избавьтесь от тест-кейсов в тестировании
Метод No-Test-Cases: избавьтесь от тест-кейсов в тестированииМетод No-Test-Cases: избавьтесь от тест-кейсов в тестировании
Метод No-Test-Cases: избавьтесь от тест-кейсов в тестировании
 
Тестируем развитие тестировщика
Тестируем развитие тестировщикаТестируем развитие тестировщика
Тестируем развитие тестировщика
 
Как оценить время на тестирование. Александр Зиновьев, Test Lead Softengi
Как оценить время на тестирование. Александр Зиновьев, Test Lead SoftengiКак оценить время на тестирование. Александр Зиновьев, Test Lead Softengi
Как оценить время на тестирование. Александр Зиновьев, Test Lead Softengi
 
QA Fest 2015. Aлександр Кузняк. Тестовая документация. How-To и типичные ошибки
QA Fest 2015. Aлександр Кузняк. Тестовая документация. How-To и типичные ошибкиQA Fest 2015. Aлександр Кузняк. Тестовая документация. How-To и типичные ошибки
QA Fest 2015. Aлександр Кузняк. Тестовая документация. How-To и типичные ошибки
 
Человеко-дни на тестирование или как не ошибиться с оценкой
Человеко-дни на тестирование или как не ошибиться с оценкойЧеловеко-дни на тестирование или как не ошибиться с оценкой
Человеко-дни на тестирование или как не ошибиться с оценкой
 
Планирование трудозатрат на тестирование
Планирование трудозатрат на тестированиеПланирование трудозатрат на тестирование
Планирование трудозатрат на тестирование
 
Test labs 2016. Пренебрежение лучшими практиками тестирования
Test labs 2016. Пренебрежение лучшими практиками тестированияTest labs 2016. Пренебрежение лучшими практиками тестирования
Test labs 2016. Пренебрежение лучшими практиками тестирования
 
Распределение тестировщиков по командам как один из этапов контроля качества
Распределение тестировщиков по командам как один из этапов контроля качестваРаспределение тестировщиков по командам как один из этапов контроля качества
Распределение тестировщиков по командам как один из этапов контроля качества
 
Виталий Стрелюк
Виталий СтрелюкВиталий Стрелюк
Виталий Стрелюк
 
ROCS 2 - advanced platform for automated test execution in clustered environm...
ROCS 2 - advanced platform for automated test execution in clustered environm...ROCS 2 - advanced platform for automated test execution in clustered environm...
ROCS 2 - advanced platform for automated test execution in clustered environm...
 
Делимся опытом: как мы оптимизировали тестирование крупного проекта за 3 месяца
Делимся опытом: как мы оптимизировали тестирование крупного проекта за 3 месяцаДелимся опытом: как мы оптимизировали тестирование крупного проекта за 3 месяца
Делимся опытом: как мы оптимизировали тестирование крупного проекта за 3 месяца
 
Построение процессов тестирования на новом проекте: как выбрать правильный путь
Построение процессов тестирования на новом проекте: как выбрать правильный путьПостроение процессов тестирования на новом проекте: как выбрать правильный путь
Построение процессов тестирования на новом проекте: как выбрать правильный путь
 

Viewers also liked

Oleynikov sqa days 8_deck
Oleynikov sqa days 8_deckOleynikov sqa days 8_deck
Oleynikov sqa days 8_deckAlexei Lupan
 
ирина карачунская что ждет тестировщика итог-Fin
ирина карачунская   что ждет тестировщика итог-Finирина карачунская   что ждет тестировщика итог-Fin
ирина карачунская что ждет тестировщика итог-FinAlexei Lupan
 
сергей андреев
сергей андреевсергей андреев
сергей андреевAlexei Lupan
 
Sqadays 8-barancev
Sqadays 8-barancevSqadays 8-barancev
Sqadays 8-barancevAlexei Lupan
 
павел мильков знания и умения тестировщиков
павел мильков   знания и умения тестировщиковпавел мильков   знания и умения тестировщиков
павел мильков знания и умения тестировщиковAlexei Lupan
 
алексей лупан мал да удал
алексей лупан   мал да удалалексей лупан   мал да удал
алексей лупан мал да удалAlexei Lupan
 
Чему хороший ПМ может научиться у хорошего врача
Чему хороший ПМ может научиться у хорошего врачаЧему хороший ПМ может научиться у хорошего врача
Чему хороший ПМ может научиться у хорошего врача
Ivan Selikhovkin
 
(Seleniumcamp) Selenium IDE как артефакт пикника на обочине
(Seleniumcamp) Selenium IDE как артефакт пикника на обочине(Seleniumcamp) Selenium IDE как артефакт пикника на обочине
(Seleniumcamp) Selenium IDE как артефакт пикника на обочине
Alexei Lupan
 
Мелочь пузатая или Объем тест кейса против его содержательности
Мелочь пузатая или Объем тест кейса против его содержательностиМелочь пузатая или Объем тест кейса против его содержательности
Мелочь пузатая или Объем тест кейса против его содержательности
Alexei Lupan
 
QA Fest 2014. Алексей Лупан. Не тест-кейсы красят тестировщика, а...
QA Fest 2014. Алексей Лупан. Не тест-кейсы красят тестировщика, а...QA Fest 2014. Алексей Лупан. Не тест-кейсы красят тестировщика, а...
QA Fest 2014. Алексей Лупан. Не тест-кейсы красят тестировщика, а...
QAFest
 
Тренировка служебных тестировщиков
Тренировка служебных тестировщиковТренировка служебных тестировщиков
Тренировка служебных тестировщиковSQALab
 
DaKiRY_BAQ2016_QADay_Круглий стіл: "Чи помре ручне тестування з часом" Учасни...
DaKiRY_BAQ2016_QADay_Круглий стіл: "Чи помре ручне тестування з часом" Учасни...DaKiRY_BAQ2016_QADay_Круглий стіл: "Чи помре ручне тестування з часом" Учасни...
DaKiRY_BAQ2016_QADay_Круглий стіл: "Чи помре ручне тестування з часом" Учасни...
Dakiry
 
размышления об аутсорсинге Sqa days 2010
размышления об аутсорсинге Sqa days 2010размышления об аутсорсинге Sqa days 2010
размышления об аутсорсинге Sqa days 2010Alexei Lupan
 
ковалев нестандатное нт
ковалев    нестандатное нтковалев    нестандатное нт
ковалев нестандатное нтAlexei Lupan
 
[Sqa days]risk driven testing
[Sqa days]risk driven testing[Sqa days]risk driven testing
[Sqa days]risk driven testingAlexei Lupan
 
Наталья Руколь - Sqamaps
Наталья Руколь - SqamapsНаталья Руколь - Sqamaps
Наталья Руколь - SqamapsAlexei Lupan
 

Viewers also liked (17)

Oleynikov sqa days 8_deck
Oleynikov sqa days 8_deckOleynikov sqa days 8_deck
Oleynikov sqa days 8_deck
 
ирина карачунская что ждет тестировщика итог-Fin
ирина карачунская   что ждет тестировщика итог-Finирина карачунская   что ждет тестировщика итог-Fin
ирина карачунская что ждет тестировщика итог-Fin
 
Sqa8 urazov
Sqa8 urazovSqa8 urazov
Sqa8 urazov
 
сергей андреев
сергей андреевсергей андреев
сергей андреев
 
Sqadays 8-barancev
Sqadays 8-barancevSqadays 8-barancev
Sqadays 8-barancev
 
павел мильков знания и умения тестировщиков
павел мильков   знания и умения тестировщиковпавел мильков   знания и умения тестировщиков
павел мильков знания и умения тестировщиков
 
алексей лупан мал да удал
алексей лупан   мал да удалалексей лупан   мал да удал
алексей лупан мал да удал
 
Чему хороший ПМ может научиться у хорошего врача
Чему хороший ПМ может научиться у хорошего врачаЧему хороший ПМ может научиться у хорошего врача
Чему хороший ПМ может научиться у хорошего врача
 
(Seleniumcamp) Selenium IDE как артефакт пикника на обочине
(Seleniumcamp) Selenium IDE как артефакт пикника на обочине(Seleniumcamp) Selenium IDE как артефакт пикника на обочине
(Seleniumcamp) Selenium IDE как артефакт пикника на обочине
 
Мелочь пузатая или Объем тест кейса против его содержательности
Мелочь пузатая или Объем тест кейса против его содержательностиМелочь пузатая или Объем тест кейса против его содержательности
Мелочь пузатая или Объем тест кейса против его содержательности
 
QA Fest 2014. Алексей Лупан. Не тест-кейсы красят тестировщика, а...
QA Fest 2014. Алексей Лупан. Не тест-кейсы красят тестировщика, а...QA Fest 2014. Алексей Лупан. Не тест-кейсы красят тестировщика, а...
QA Fest 2014. Алексей Лупан. Не тест-кейсы красят тестировщика, а...
 
Тренировка служебных тестировщиков
Тренировка служебных тестировщиковТренировка служебных тестировщиков
Тренировка служебных тестировщиков
 
DaKiRY_BAQ2016_QADay_Круглий стіл: "Чи помре ручне тестування з часом" Учасни...
DaKiRY_BAQ2016_QADay_Круглий стіл: "Чи помре ручне тестування з часом" Учасни...DaKiRY_BAQ2016_QADay_Круглий стіл: "Чи помре ручне тестування з часом" Учасни...
DaKiRY_BAQ2016_QADay_Круглий стіл: "Чи помре ручне тестування з часом" Учасни...
 
размышления об аутсорсинге Sqa days 2010
размышления об аутсорсинге Sqa days 2010размышления об аутсорсинге Sqa days 2010
размышления об аутсорсинге Sqa days 2010
 
ковалев нестандатное нт
ковалев    нестандатное нтковалев    нестандатное нт
ковалев нестандатное нт
 
[Sqa days]risk driven testing
[Sqa days]risk driven testing[Sqa days]risk driven testing
[Sqa days]risk driven testing
 
Наталья Руколь - Sqamaps
Наталья Руколь - SqamapsНаталья Руколь - Sqamaps
Наталья Руколь - Sqamaps
 

Similar to евгения фирсова нерелизное тестирование

Евгения Фирсова -- Нерелизное тестирование
Евгения Фирсова -- Нерелизное тестированиеЕвгения Фирсова -- Нерелизное тестирование
Евгения Фирсова -- Нерелизное тестированиеsqadays8
 
Наталья Руколь "Планирование тестирования"
Наталья Руколь "Планирование тестирования"Наталья Руколь "Планирование тестирования"
Наталья Руколь "Планирование тестирования"
QA Club Minsk
 
Иван Евтухович — Как перестать релизиться и начать жить
Иван Евтухович — Как перестать релизиться и начать житьИван Евтухович — Как перестать релизиться и начать жить
Иван Евтухович — Как перестать релизиться и начать житьDaria Oreshkina
 
Регрессионное тестирование методом свободного поиска
Регрессионное тестирование методом свободного поискаРегрессионное тестирование методом свободного поиска
Регрессионное тестирование методом свободного поиска
SQALab
 
Артём Ерошенко, Станислав Селиверстов "Поиск багов в поиске"
Артём Ерошенко, Станислав Селиверстов "Поиск багов в поиске"Артём Ерошенко, Станислав Селиверстов "Поиск багов в поиске"
Артём Ерошенко, Станислав Селиверстов "Поиск багов в поиске"
Yandex
 
Crystal Agile: Процесс обеспечивающий качество
Crystal Agile: Процесс обеспечивающий качествоCrystal Agile: Процесс обеспечивающий качество
Crystal Agile: Процесс обеспечивающий качествоZestranec
 
How to estimate time for testing
How to estimate time for testingHow to estimate time for testing
How to estimate time for testingAlexandr Zinovyev
 
Наталья Руколь (Лаборатория Качества)
Наталья Руколь (Лаборатория Качества)Наталья Руколь (Лаборатория Качества)
Наталья Руколь (Лаборатория Качества)Ontico
 
Тест-план и исследовательское тестирование
Тест-план и исследовательское тестированиеТест-план и исследовательское тестирование
Тест-план и исследовательское тестирование
Vasiliy Burov
 
А. Калугин. О параллельном тестировании нескольких проектов. SQADays'10
А. Калугин. О параллельном тестировании нескольких проектов. SQADays'10А. Калугин. О параллельном тестировании нескольких проектов. SQADays'10
А. Калугин. О параллельном тестировании нескольких проектов. SQADays'10Alexander Kalouguine
 
Раздвоение тестирующей личности или эффективная организация параллельного тес...
Раздвоение тестирующей личности или эффективная организация параллельного тес...Раздвоение тестирующей личности или эффективная организация параллельного тес...
Раздвоение тестирующей личности или эффективная организация параллельного тес...
SQALab
 
2.3 Тестирование: процесс, роли, артефакты
2.3 Тестирование: процесс, роли, артефакты2.3 Тестирование: процесс, роли, артефакты
2.3 Тестирование: процесс, роли, артефакты
Natalia Odegova
 
Мобильный веб: назад в будущее
Мобильный веб: назад в будущееМобильный веб: назад в будущее
Мобильный веб: назад в будущее
Badoo Development
 
Управление компанией с использованием метода критического цепи (МКЦ)
Управление компанией с использованием метода критического цепи (МКЦ)Управление компанией с использованием метода критического цепи (МКЦ)
Управление компанией с использованием метода критического цепи (МКЦ)
Евгений Пикулев
 
Zero Downtime PHP Deployment with Envoyer And Forge
Zero Downtime PHP Deployment with Envoyer And ForgeZero Downtime PHP Deployment with Envoyer And Forge
Zero Downtime PHP Deployment with Envoyer And Forge
Yehor Herasymchuk
 
Организация процесса ручного тестирования
Организация процесса ручного тестированияОрганизация процесса ручного тестирования
Организация процесса ручного тестирования
IT61
 
Становление процесса автоматизированного тестирования в интернет-магазине ОКЕЙ
Становление процесса автоматизированного тестирования в интернет-магазине ОКЕЙСтановление процесса автоматизированного тестирования в интернет-магазине ОКЕЙ
Становление процесса автоматизированного тестирования в интернет-магазине ОКЕЙ
CEE-SEC(R)
 
163. Iterative design
163. Iterative design163. Iterative design
163. Iterative design
Tatyana Tabakova
 
Как начать DevOps-трансформацию
Как начать DevOps-трансформациюКак начать DevOps-трансформацию
Как начать DevOps-трансформацию
Andrey Aleksandrov
 

Similar to евгения фирсова нерелизное тестирование (20)

Евгения Фирсова -- Нерелизное тестирование
Евгения Фирсова -- Нерелизное тестированиеЕвгения Фирсова -- Нерелизное тестирование
Евгения Фирсова -- Нерелизное тестирование
 
Наталья Руколь "Планирование тестирования"
Наталья Руколь "Планирование тестирования"Наталья Руколь "Планирование тестирования"
Наталья Руколь "Планирование тестирования"
 
Иван Евтухович — Как перестать релизиться и начать жить
Иван Евтухович — Как перестать релизиться и начать житьИван Евтухович — Как перестать релизиться и начать жить
Иван Евтухович — Как перестать релизиться и начать жить
 
Регрессионное тестирование методом свободного поиска
Регрессионное тестирование методом свободного поискаРегрессионное тестирование методом свободного поиска
Регрессионное тестирование методом свободного поиска
 
Артём Ерошенко, Станислав Селиверстов "Поиск багов в поиске"
Артём Ерошенко, Станислав Селиверстов "Поиск багов в поиске"Артём Ерошенко, Станислав Селиверстов "Поиск багов в поиске"
Артём Ерошенко, Станислав Селиверстов "Поиск багов в поиске"
 
Crystal Agile: Процесс обеспечивающий качество
Crystal Agile: Процесс обеспечивающий качествоCrystal Agile: Процесс обеспечивающий качество
Crystal Agile: Процесс обеспечивающий качество
 
How to estimate time for testing
How to estimate time for testingHow to estimate time for testing
How to estimate time for testing
 
Наталья Руколь (Лаборатория Качества)
Наталья Руколь (Лаборатория Качества)Наталья Руколь (Лаборатория Качества)
Наталья Руколь (Лаборатория Качества)
 
Тест-план и исследовательское тестирование
Тест-план и исследовательское тестированиеТест-план и исследовательское тестирование
Тест-план и исследовательское тестирование
 
А. Калугин. О параллельном тестировании нескольких проектов. SQADays'10
А. Калугин. О параллельном тестировании нескольких проектов. SQADays'10А. Калугин. О параллельном тестировании нескольких проектов. SQADays'10
А. Калугин. О параллельном тестировании нескольких проектов. SQADays'10
 
Раздвоение тестирующей личности или эффективная организация параллельного тес...
Раздвоение тестирующей личности или эффективная организация параллельного тес...Раздвоение тестирующей личности или эффективная организация параллельного тес...
Раздвоение тестирующей личности или эффективная организация параллельного тес...
 
2.3 Тестирование: процесс, роли, артефакты
2.3 Тестирование: процесс, роли, артефакты2.3 Тестирование: процесс, роли, артефакты
2.3 Тестирование: процесс, роли, артефакты
 
Мобильный веб: назад в будущее
Мобильный веб: назад в будущееМобильный веб: назад в будущее
Мобильный веб: назад в будущее
 
Управление компанией с использованием метода критического цепи (МКЦ)
Управление компанией с использованием метода критического цепи (МКЦ)Управление компанией с использованием метода критического цепи (МКЦ)
Управление компанией с использованием метода критического цепи (МКЦ)
 
Zero Downtime PHP Deployment with Envoyer And Forge
Zero Downtime PHP Deployment with Envoyer And ForgeZero Downtime PHP Deployment with Envoyer And Forge
Zero Downtime PHP Deployment with Envoyer And Forge
 
Организация процесса ручного тестирования
Организация процесса ручного тестированияОрганизация процесса ручного тестирования
Организация процесса ручного тестирования
 
Становление процесса автоматизированного тестирования в интернет-магазине ОКЕЙ
Становление процесса автоматизированного тестирования в интернет-магазине ОКЕЙСтановление процесса автоматизированного тестирования в интернет-магазине ОКЕЙ
Становление процесса автоматизированного тестирования в интернет-магазине ОКЕЙ
 
Testing
TestingTesting
Testing
 
163. Iterative design
163. Iterative design163. Iterative design
163. Iterative design
 
Как начать DevOps-трансформацию
Как начать DevOps-трансформациюКак начать DevOps-трансформацию
Как начать DevOps-трансформацию
 

More from Alexei Lupan

Когда требования никакие (Dump 2015)
Когда требования никакие (Dump 2015)Когда требования никакие (Dump 2015)
Когда требования никакие (Dump 2015)
Alexei Lupan
 
Алексей Лупан - Да перестаньте уже автоматизировать
Алексей Лупан - Да перестаньте уже автоматизироватьАлексей Лупан - Да перестаньте уже автоматизировать
Алексей Лупан - Да перестаньте уже автоматизироватьAlexei Lupan
 
Ui testing how intel does this
Ui testing   how intel does thisUi testing   how intel does this
Ui testing how intel does thisAlexei Lupan
 
павел мильков знания и умения тестировщиков
павел мильков   знания и умения тестировщиковпавел мильков   знания и умения тестировщиков
павел мильков знания и умения тестировщиковAlexei Lupan
 
сергей андреев
сергей андреевсергей андреев
сергей андреевAlexei Lupan
 
New девять правил семпая, или как стать успешным наставником
New девять правил семпая, или как стать успешным наставникомNew девять правил семпая, или как стать успешным наставником
New девять правил семпая, или как стать успешным наставникомAlexei Lupan
 
Sqadays2010 nalyutin
Sqadays2010 nalyutinSqadays2010 nalyutin
Sqadays2010 nalyutinAlexei Lupan
 
очир абушинов
очир абушиновочир абушинов
очир абушиновAlexei Lupan
 
Андрей Кузьмичев - яндекс в городе
 Андрей Кузьмичев - яндекс в городе Андрей Кузьмичев - яндекс в городе
Андрей Кузьмичев - яндекс в городеAlexei Lupan
 
Evelina Tananaeva
 Evelina Tananaeva Evelina Tananaeva
Evelina TananaevaAlexei Lupan
 
Наталья Руколь - Sqa career
Наталья Руколь - Sqa careerНаталья Руколь - Sqa career
Наталья Руколь - Sqa careerAlexei Lupan
 
Orlov qa leadership
Orlov qa leadershipOrlov qa leadership
Orlov qa leadershipAlexei Lupan
 
Sqa days2010 polazhenko_osstm
Sqa days2010 polazhenko_osstmSqa days2010 polazhenko_osstm
Sqa days2010 polazhenko_osstmAlexei Lupan
 
Sqa.days.2010.beskov.system.analyst.and.test.engineers.interaction
Sqa.days.2010.beskov.system.analyst.and.test.engineers.interactionSqa.days.2010.beskov.system.analyst.and.test.engineers.interaction
Sqa.days.2010.beskov.system.analyst.and.test.engineers.interactionAlexei Lupan
 

More from Alexei Lupan (14)

Когда требования никакие (Dump 2015)
Когда требования никакие (Dump 2015)Когда требования никакие (Dump 2015)
Когда требования никакие (Dump 2015)
 
Алексей Лупан - Да перестаньте уже автоматизировать
Алексей Лупан - Да перестаньте уже автоматизироватьАлексей Лупан - Да перестаньте уже автоматизировать
Алексей Лупан - Да перестаньте уже автоматизировать
 
Ui testing how intel does this
Ui testing   how intel does thisUi testing   how intel does this
Ui testing how intel does this
 
павел мильков знания и умения тестировщиков
павел мильков   знания и умения тестировщиковпавел мильков   знания и умения тестировщиков
павел мильков знания и умения тестировщиков
 
сергей андреев
сергей андреевсергей андреев
сергей андреев
 
New девять правил семпая, или как стать успешным наставником
New девять правил семпая, или как стать успешным наставникомNew девять правил семпая, или как стать успешным наставником
New девять правил семпая, или как стать успешным наставником
 
Sqadays2010 nalyutin
Sqadays2010 nalyutinSqadays2010 nalyutin
Sqadays2010 nalyutin
 
очир абушинов
очир абушиновочир абушинов
очир абушинов
 
Андрей Кузьмичев - яндекс в городе
 Андрей Кузьмичев - яндекс в городе Андрей Кузьмичев - яндекс в городе
Андрей Кузьмичев - яндекс в городе
 
Evelina Tananaeva
 Evelina Tananaeva Evelina Tananaeva
Evelina Tananaeva
 
Наталья Руколь - Sqa career
Наталья Руколь - Sqa careerНаталья Руколь - Sqa career
Наталья Руколь - Sqa career
 
Orlov qa leadership
Orlov qa leadershipOrlov qa leadership
Orlov qa leadership
 
Sqa days2010 polazhenko_osstm
Sqa days2010 polazhenko_osstmSqa days2010 polazhenko_osstm
Sqa days2010 polazhenko_osstm
 
Sqa.days.2010.beskov.system.analyst.and.test.engineers.interaction
Sqa.days.2010.beskov.system.analyst.and.test.engineers.interactionSqa.days.2010.beskov.system.analyst.and.test.engineers.interaction
Sqa.days.2010.beskov.system.analyst.and.test.engineers.interaction
 

евгения фирсова нерелизное тестирование

  • 1. 8-я Международная конференция Санкт-Петербург, Россия Нерелизное тестирование Евгения Фирсова
  • 2. Когда релизы – это слишком медленно Большим релизам – нет: • Процессы в разработке: • объём работ – до 70 новых задач в месяц; • распараллеливание – до 10 потоков одновременно. • Организационные особенности: • периодическая смена приоритетов; • календарные ограничения релизов. Нерелизное тестирование
  • 3. Предмет, объект, основание Одновременно в тестировании: • релиз1: • задача 1; • … пакет • задача N1: • … • релиз N: • задача NN. Нерелизное тестирование
  • 4. Куда идёшь, путник? Фиксируем цели для ОТ: • Адекватный задаче выбор требуемого уровня качества. • Минимизация времени на подготовку релизов. • Совместное с разработкой планирование. Нерелизное тестирование
  • 5. Оценка переданного в ОТ релиза Критерии готовности: • окончательность постановки; • вероятность незапланированных изменений после начала тестирования; • полнота сборки пакета; • ожидания по каждой задаче; • планируемое перетестирование. Нерелизное тестирование
  • 6. Оценка переданного в ОТ релиза Параметры релиза: • приоритет, срочность, дедлайны; • вероятность, что релиз будет отложен; • обязательность/наличие тест-плана; • доступность оптимального ресурса (в ОТ и разработке); • нетестируемый функционал: • если тестирование невозможно; • если тестирование не нужно. Нерелизное тестирование
  • 7. Что тестируем на самом деле? Подлежит проверке: • типизация изменений: логические, интерфейсные, …; • реализация, меняющая глобальное поведение компонент; • «рубильники», способы выкладки и отката; • предчувствия и сомнения разработчика. Нерелизное тестирование
  • 8. Пора начинать? Выбор момента для начала тестирования: • рассчитывая длительность тестирования: • опыт аналогичных задач; • скорость закрытия багов; • процессы в реальном времени; • асинхронные процессы; • длительность регрессионного тестирования; • как можно ближе к дате возможной выкладки. Нерелизное тестирование
  • 9. Остановиться и подождать Тестировщики могут ждать: • готовность релиза; • и релизов всех связанных компонент; • наличие необходимых ресурсов (люди, сервера, настройки, деньги, …); • исправление найденных ошибок; • помощь в воспроизведении проблем; • экспертная оценка источника проблем; • выкладки. Нерелизное тестирование
  • 10. Считаем цыплят Результат тестирования: • основание для смены постановки; • отмашка на выкладку; • список багов; • отдельно неисправленные в данном релизе; • тест-план для регрессионного тестирования. Нерелизное тестирование
  • 11. За счёт и вопреки Стоимость скорости: • перетестирование: • если пакет устарел; • после рефакторинга; • перед выкладкой; • отсутствие/написание «задним числом» тест-планов; • частое переключение между релизами; • частичная передача проверок разработчикам; • наконец, скорость тестирования. Нерелизное тестирование
  • 12. Уточнения? Вопросы? Нерелизное тестирование saigo@yandex.ru – задать любые вопросы www.control-freak.ru – почитать подробнее об управлении версиями, задачами, проблемами и людьми