SlideShare a Scribd company logo
QA как услуга
Юрий Цыганенко
Качество продукта и услуги
• Качество vs удовлетворённость
• Удовлетворённость – соответствие ожиданиям
– Продукт: довольные пользователи
– Услуга: довольный заказчик
Ещё не заказчик
Принятие решения об аутсорсинге
• Нехватка собственных ресурсов,
(сжатые сроки, и т.п.)
• Требуются рабочие места, офисное пространство
• Нереально быстро найти,
отсобеседовать кандидатов, выбрать
• Неравномерность загрузки:
(пик тестирования перед релизом)
• Высокая стоимость человеко-месяца
• Предыдущий опыт аутсорсинга,
(рекомендации, примеры/антипримеры)
...у заказчика
• Решили аутсорсить !
• Знакомство
• - с компанией-исполнителем
• - с участниками проекта
• Процесс идёт
- исполнители оправдывают ожидания,
- вписываемся в планируемый цикл.
• Ура! Первый релиз! Спасибо!
• Аутсорсить больше задач
У аутсорсера
• Подбор команды
• Знакомство
• с продуктом,
документацией, тестами.
• с циклом
• Ручное тестирование
• Подготовка Тест кейсов
• Автоматизация (regression),
в промежутках между фазами
• Возрастание роли автоматизации
Путь к счастью
• Регулярно — отчёты
• Метрики
- Число багов.
- Скорость регресс.
– Чем подробнее.. ?
ещё к счастью
Регулярно
• Созвоны
– Куда движемся
– Дополнение к письмам
– Эмоционально-
окрашенные
результаты
...
exit-criteria - за представителем заказчика, но ...
Нравится
• Превосходить ожидания
• Инициативность
• Вовлечённость всех
• Активно выяснять
• Доступность
внеурочно - чат.
Отторгает
• Невнятные ответы
• Языковые трудности
• Отсутствие к-л
• «Глупые» вопросы
Рас-шар-кать-ся
• . . .
В процессе
• Тест кейсы
• - Вики / Tool /почта
• Общие аккаунты для ..
• -Дампо-почта
• - Тest Management tool
• - Сервера, и пр.
• - Экономия на лицензии
• - Нужны договорёности,
«подписи»
Хинт: Злой Полицейский
Бывает нужно:
• Тормошить dev заказчика
«Спеки нет, ясности тоже»
• Работать? А деньгами?
А гулять?
Пусть это будет MGR заказчика
Случилось страшное
Пропустили баг(и)..
• Провести аудит.
• Сообщить заказчику
о принятых мерах
для предотвращения
подобного.
Напр.:
- Pевью тесткейсов / данных /
- Регулярный статус report...
Автоматизация: начало
• Желание автоматизировать регрессионные тесты
• Выбор инструмента, языка (консультации..)
• Начинают
1-2 человека
• Экономить... - ?
Авто?
• Итог - через разумное время:
– Автоматизировано
несколько тестов
– Базовый набор
функций/классов
... Так держать?
За-Пуски
• Гоняем. Часто FAIL. :
– Конфигурация
– Не та машина
– Не те права
– Изменили UI
– Кривые данные
– Timeout'ы
... 10 раз.. На 11-й бага не ждём?
... Авто - работает!
• Выявлены баги
• % автоматизированного мал
% - метрика, статус!
• Конфигурации –
на откуп автоматизаторам
Это не метрика
(и о конфиг. Мало думают)
– Авторы сами гоняют тесты
– Логов мало, анализ недолгий
(тестов немного)
...А побольше?
• Заказчик хочет больше и быстрее
• Привлечь больше ресурсов
• % автоматизированного – единственная метрика!
• Только авторы
запускают тесты
• О конфигурациях
всё ещё не думают
... Экономить ?
• Экономить на прогонах - “гоняю сам”
(Получается?)
• Пишем вместе
(Нравится?)
• Общаемся регулярно:
– Про FWK напоминаем (вежливо)
– Ревью коммитов
«Авто» в идеале
• Запускать умеет любой:
o QA Аутсорсера
(Автор, коллеги)
o QA Заказчика
o Разработчики
(у заказчика, у аутсорсенров..)
o Робот
(Типа Continuous Integration)
• Any
– Конфигурация
– User account
– Domain
Бывает ..
• Расширена команда
• Существенно повышен % автоматизированного
• Только авторы прогоняют
• В одной и той же среде
(конфиги)
Ещё можно поправить?
o Как только меняется продукт:
o – ОЙ...
o – Логов навалило
(Успевай разбирать!)
o Как бы поскорее...
Фатально
• Framework — отсутствует
• Слишком много надо менять
• Не отделаться
Search-and-replace
• Fail, Fail Fail .. Непобедимо!
• ... Stop!
(Кто/что виноват(о,ы) и ...)
По-хорошему
вначале - Framework
• «Обвязка» UI
• Конфигурация
инструментов
• Репорты
• Бизнес-логика
• Конфигурация
(приложения)
А по-хорошему
• Всем разъяснить
Framework
• Ни шагу без Fwk
Никому!
• Refactoring
• Зелёные билды!
• Логов много, но посильно
Деньги и счастье
• Превращение проекта в процесс
– Крупные QA проекты обычно «пожизненны»
Счастье сотрудников
• «Пожизненные» проекты надоедают?
• Ротации
• Поводы подготовить
замену
• Убедить заказчика
Спасибо!
• ?
• ??
• ???

More Related Content

What's hot

Andrey Azimov - Как найти работу тестировщику?
Andrey Azimov - Как найти работу тестировщику?Andrey Azimov - Как найти работу тестировщику?
Andrey Azimov - Как найти работу тестировщику?automated-testing.info
 
SharePoint Code Quality
SharePoint Code QualitySharePoint Code Quality
SharePoint Code Quality
Stas Vyschepan
 
Grail - CodeFest'2015
Grail - CodeFest'2015Grail - CodeFest'2015
Grail - CodeFest'2015
Igor Khrol
 
особенности построения процессов тестирования в продуктовой компании. agileba...
особенности построения процессов тестирования в продуктовой компании. agileba...особенности построения процессов тестирования в продуктовой компании. agileba...
особенности построения процессов тестирования в продуктовой компании. agileba...
Dmitriy Yefimenko
 
Yandex experience-in-screenshot-based-testing-seleniumcamp-2014
Yandex experience-in-screenshot-based-testing-seleniumcamp-2014Yandex experience-in-screenshot-based-testing-seleniumcamp-2014
Yandex experience-in-screenshot-based-testing-seleniumcamp-2014
leonsabr
 
QA Fest 2015. Юрий Малый. Monthly Operations Review
QA Fest 2015. Юрий Малый. Monthly Operations ReviewQA Fest 2015. Юрий Малый. Monthly Operations Review
QA Fest 2015. Юрий Малый. Monthly Operations Review
QAFest
 
Monthly Operations Review
Monthly Operations ReviewMonthly Operations Review
Monthly Operations Review
SQALab
 
Потёмкинские Scrum деревни. Бережной
Потёмкинские Scrum деревни. БережнойПотёмкинские Scrum деревни. Бережной
Потёмкинские Scrum деревни. Бережной
Dev.by
 
Добиваемся эффективности каждого из 9000+ UI-тестов - Максим Сахаров (Tutu.ru)
Добиваемся эффективности каждого из 9000+ UI-тестов - Максим Сахаров (Tutu.ru)Добиваемся эффективности каждого из 9000+ UI-тестов - Максим Сахаров (Tutu.ru)
Добиваемся эффективности каждого из 9000+ UI-тестов - Максим Сахаров (Tutu.ru)
AvitoTech
 
Встреча "Front-end: на старт, внимание, разработка!", Сергей Пузанков
 Встреча "Front-end: на старт, внимание, разработка!", Сергей Пузанков Встреча "Front-end: на старт, внимание, разработка!", Сергей Пузанков
Встреча "Front-end: на старт, внимание, разработка!", Сергей Пузанков
GoIT
 
Евгений Романовский — 21 января
Евгений Романовский — 21 январяЕвгений Романовский — 21 января
Евгений Романовский — 21 января
Собака Павлова
 
Use cases на UX-витаминах
Use cases на UX-витаминахUse cases на UX-витаминах
Use cases на UX-витаминах
Nikita Efimov
 
Трансформация UX-культуры
Трансформация UX-культурыТрансформация UX-культуры
Трансформация UX-культуры
Nikita Efimov
 
Дао аналитика: через тернии к звездам
Дао аналитика: через тернии к звездамДао аналитика: через тернии к звездам
Дао аналитика: через тернии к звездам
Anastasia Varabei
 
Раскопки в интерфейсах
Раскопки в интерфейсахРаскопки в интерфейсах
Раскопки в интерфейсах
Alisher Yakupov
 
Зачем разработчику читать книги?
Зачем разработчику читать книги?Зачем разработчику читать книги?
Зачем разработчику читать книги?
Denis Chistyakov
 
Быстрое расширение Robot Framework под свои нужды с использованием Python
Быстрое расширение Robot Framework под свои нужды с использованием PythonБыстрое расширение Robot Framework под свои нужды с использованием Python
Быстрое расширение Robot Framework под свои нужды с использованием Python
automated-testing.info
 
It career guidance by Maxym Mykhalchuk
It career guidance by Maxym MykhalchukIt career guidance by Maxym Mykhalchuk
It career guidance by Maxym Mykhalchuk
Alice Zabolotnaya
 
Тестирование производительности клиентсайда
Тестирование производительности клиентсайдаТестирование производительности клиентсайда
Тестирование производительности клиентсайда
SQALab
 

What's hot (19)

Andrey Azimov - Как найти работу тестировщику?
Andrey Azimov - Как найти работу тестировщику?Andrey Azimov - Как найти работу тестировщику?
Andrey Azimov - Как найти работу тестировщику?
 
SharePoint Code Quality
SharePoint Code QualitySharePoint Code Quality
SharePoint Code Quality
 
Grail - CodeFest'2015
Grail - CodeFest'2015Grail - CodeFest'2015
Grail - CodeFest'2015
 
особенности построения процессов тестирования в продуктовой компании. agileba...
особенности построения процессов тестирования в продуктовой компании. agileba...особенности построения процессов тестирования в продуктовой компании. agileba...
особенности построения процессов тестирования в продуктовой компании. agileba...
 
Yandex experience-in-screenshot-based-testing-seleniumcamp-2014
Yandex experience-in-screenshot-based-testing-seleniumcamp-2014Yandex experience-in-screenshot-based-testing-seleniumcamp-2014
Yandex experience-in-screenshot-based-testing-seleniumcamp-2014
 
QA Fest 2015. Юрий Малый. Monthly Operations Review
QA Fest 2015. Юрий Малый. Monthly Operations ReviewQA Fest 2015. Юрий Малый. Monthly Operations Review
QA Fest 2015. Юрий Малый. Monthly Operations Review
 
Monthly Operations Review
Monthly Operations ReviewMonthly Operations Review
Monthly Operations Review
 
Потёмкинские Scrum деревни. Бережной
Потёмкинские Scrum деревни. БережнойПотёмкинские Scrum деревни. Бережной
Потёмкинские Scrum деревни. Бережной
 
Добиваемся эффективности каждого из 9000+ UI-тестов - Максим Сахаров (Tutu.ru)
Добиваемся эффективности каждого из 9000+ UI-тестов - Максим Сахаров (Tutu.ru)Добиваемся эффективности каждого из 9000+ UI-тестов - Максим Сахаров (Tutu.ru)
Добиваемся эффективности каждого из 9000+ UI-тестов - Максим Сахаров (Tutu.ru)
 
Встреча "Front-end: на старт, внимание, разработка!", Сергей Пузанков
 Встреча "Front-end: на старт, внимание, разработка!", Сергей Пузанков Встреча "Front-end: на старт, внимание, разработка!", Сергей Пузанков
Встреча "Front-end: на старт, внимание, разработка!", Сергей Пузанков
 
Евгений Романовский — 21 января
Евгений Романовский — 21 январяЕвгений Романовский — 21 января
Евгений Романовский — 21 января
 
Use cases на UX-витаминах
Use cases на UX-витаминахUse cases на UX-витаминах
Use cases на UX-витаминах
 
Трансформация UX-культуры
Трансформация UX-культурыТрансформация UX-культуры
Трансформация UX-культуры
 
Дао аналитика: через тернии к звездам
Дао аналитика: через тернии к звездамДао аналитика: через тернии к звездам
Дао аналитика: через тернии к звездам
 
Раскопки в интерфейсах
Раскопки в интерфейсахРаскопки в интерфейсах
Раскопки в интерфейсах
 
Зачем разработчику читать книги?
Зачем разработчику читать книги?Зачем разработчику читать книги?
Зачем разработчику читать книги?
 
Быстрое расширение Robot Framework под свои нужды с использованием Python
Быстрое расширение Robot Framework под свои нужды с использованием PythonБыстрое расширение Robot Framework под свои нужды с использованием Python
Быстрое расширение Robot Framework под свои нужды с использованием Python
 
It career guidance by Maxym Mykhalchuk
It career guidance by Maxym MykhalchukIt career guidance by Maxym Mykhalchuk
It career guidance by Maxym Mykhalchuk
 
Тестирование производительности клиентсайда
Тестирование производительности клиентсайдаТестирование производительности клиентсайда
Тестирование производительности клиентсайда
 

Viewers also liked

Реализация тестового фреймворка на основе OPEN-SOURCE инструментов
Реализация тестового фреймворка на основе OPEN-SOURCE инструментовРеализация тестового фреймворка на основе OPEN-SOURCE инструментов
Реализация тестового фреймворка на основе OPEN-SOURCE инструментов
SQALab
 
МАСТЕР-КЛАСС. Моделирование на UML
МАСТЕР-КЛАСС. Моделирование на UMLМАСТЕР-КЛАСС. Моделирование на UML
МАСТЕР-КЛАСС. Моделирование на UML
SQALab
 
Нагрузочное тестирование клиент-серверных приложений
Нагрузочное тестирование клиент-серверных приложенийНагрузочное тестирование клиент-серверных приложений
Нагрузочное тестирование клиент-серверных приложений
SQALab
 
Введение в SilverLight 3
Введение в SilverLight 3Введение в SilverLight 3
Введение в SilverLight 3
SQALab
 
Минимизация последствий мирового экономического кризиса для сектора ИТ-услуг
Минимизация последствий мирового экономического кризиса для сектора ИТ-услугМинимизация последствий мирового экономического кризиса для сектора ИТ-услуг
Минимизация последствий мирового экономического кризиса для сектора ИТ-услуг
SQALab
 
Павел Степанов
Павел СтепановПавел Степанов
Павел Степанов
SQALab
 
Оценка эффективности от внедрения и использования методологии и инструменталь...
Оценка эффективности от внедрения и использования методологии и инструменталь...Оценка эффективности от внедрения и использования методологии и инструменталь...
Оценка эффективности от внедрения и использования методологии и инструменталь...
SQALab
 
Программные сервисы как выгодная инвестиция в новую ИТ-стратегию
Программные сервисы как выгодная инвестиция в новую ИТ-стратегиюПрограммные сервисы как выгодная инвестиция в новую ИТ-стратегию
Программные сервисы как выгодная инвестиция в новую ИТ-стратегию
SQALab
 
UI Test Automation Effectiveness
UI Test Automation EffectivenessUI Test Automation Effectiveness
UI Test Automation Effectiveness
SQALab
 
Планирование процесса управления требованиями
Планирование процесса управления требованиямиПланирование процесса управления требованиями
Планирование процесса управления требованиями
SQALab
 
Организация процесса проектирования в софтверной компании
Организация процесса проектирования в софтверной компанииОрганизация процесса проектирования в софтверной компании
Организация процесса проектирования в софтверной компании
SQALab
 
Электронная коммерция
Электронная коммерцияЭлектронная коммерция
Электронная коммерция
SQALab
 
Стрижкова Варвара
Стрижкова ВарвараСтрижкова Варвара
Стрижкова Варвара
SQALab
 
Количественное управление процессом тестирования
Количественное управление процессом тестированияКоличественное управление процессом тестирования
Количественное управление процессом тестирования
SQALab
 
Rational DOORS - инструментальное средство поддержки процесса управления треб...
Rational DOORS - инструментальное средство поддержки процесса управления треб...Rational DOORS - инструментальное средство поддержки процесса управления треб...
Rational DOORS - инструментальное средство поддержки процесса управления треб...
SQALab
 
Аналитик в Agile
Аналитик в AgileАналитик в Agile
Аналитик в Agile
SQALab
 

Viewers also liked (16)

Реализация тестового фреймворка на основе OPEN-SOURCE инструментов
Реализация тестового фреймворка на основе OPEN-SOURCE инструментовРеализация тестового фреймворка на основе OPEN-SOURCE инструментов
Реализация тестового фреймворка на основе OPEN-SOURCE инструментов
 
МАСТЕР-КЛАСС. Моделирование на UML
МАСТЕР-КЛАСС. Моделирование на UMLМАСТЕР-КЛАСС. Моделирование на UML
МАСТЕР-КЛАСС. Моделирование на UML
 
Нагрузочное тестирование клиент-серверных приложений
Нагрузочное тестирование клиент-серверных приложенийНагрузочное тестирование клиент-серверных приложений
Нагрузочное тестирование клиент-серверных приложений
 
Введение в SilverLight 3
Введение в SilverLight 3Введение в SilverLight 3
Введение в SilverLight 3
 
Минимизация последствий мирового экономического кризиса для сектора ИТ-услуг
Минимизация последствий мирового экономического кризиса для сектора ИТ-услугМинимизация последствий мирового экономического кризиса для сектора ИТ-услуг
Минимизация последствий мирового экономического кризиса для сектора ИТ-услуг
 
Павел Степанов
Павел СтепановПавел Степанов
Павел Степанов
 
Оценка эффективности от внедрения и использования методологии и инструменталь...
Оценка эффективности от внедрения и использования методологии и инструменталь...Оценка эффективности от внедрения и использования методологии и инструменталь...
Оценка эффективности от внедрения и использования методологии и инструменталь...
 
Программные сервисы как выгодная инвестиция в новую ИТ-стратегию
Программные сервисы как выгодная инвестиция в новую ИТ-стратегиюПрограммные сервисы как выгодная инвестиция в новую ИТ-стратегию
Программные сервисы как выгодная инвестиция в новую ИТ-стратегию
 
UI Test Automation Effectiveness
UI Test Automation EffectivenessUI Test Automation Effectiveness
UI Test Automation Effectiveness
 
Планирование процесса управления требованиями
Планирование процесса управления требованиямиПланирование процесса управления требованиями
Планирование процесса управления требованиями
 
Организация процесса проектирования в софтверной компании
Организация процесса проектирования в софтверной компанииОрганизация процесса проектирования в софтверной компании
Организация процесса проектирования в софтверной компании
 
Электронная коммерция
Электронная коммерцияЭлектронная коммерция
Электронная коммерция
 
Стрижкова Варвара
Стрижкова ВарвараСтрижкова Варвара
Стрижкова Варвара
 
Количественное управление процессом тестирования
Количественное управление процессом тестированияКоличественное управление процессом тестирования
Количественное управление процессом тестирования
 
Rational DOORS - инструментальное средство поддержки процесса управления треб...
Rational DOORS - инструментальное средство поддержки процесса управления треб...Rational DOORS - инструментальное средство поддержки процесса управления треб...
Rational DOORS - инструментальное средство поддержки процесса управления треб...
 
Аналитик в Agile
Аналитик в AgileАналитик в Agile
Аналитик в Agile
 

Similar to Юрий Цыганенко

Юрий Цыганенко, QA как услуга
Юрий Цыганенко, QA как услугаЮрий Цыганенко, QA как услуга
Юрий Цыганенко, QA как услуга
SQADays_2009_Piter
 
Автоматизация сборки и тестирования в разрезе эффективного производства
Автоматизация сборки и тестирования в разрезе эффективного производстваАвтоматизация сборки и тестирования в разрезе эффективного производства
Автоматизация сборки и тестирования в разрезе эффективного производства
SQALab
 
Наталья Руколь (Лаборатория Качества)
Наталья Руколь (Лаборатория Качества)Наталья Руколь (Лаборатория Качества)
Наталья Руколь (Лаборатория Качества)Ontico
 
Автоматизация тестирования: почему умирают проекты?
Автоматизация тестирования: почему умирают проекты?Автоматизация тестирования: почему умирают проекты?
Автоматизация тестирования: почему умирают проекты?
SQALab
 
Автоматизация Тестирования - Почему умирают проекты?
Автоматизация Тестирования - Почему умирают проекты?Автоматизация Тестирования - Почему умирают проекты?
Автоматизация Тестирования - Почему умирают проекты?
Igor Khrol
 
Вебинар: ИТ-проекты глазами Заказчика
Вебинар: ИТ-проекты глазами ЗаказчикаВебинар: ИТ-проекты глазами Заказчика
Вебинар: ИТ-проекты глазами Заказчика
Александр Кольцов
 
Agile тестирование в enterpise проектов: путь трансформации
Agile тестирование в enterpise проектов: путь трансформацииAgile тестирование в enterpise проектов: путь трансформации
Agile тестирование в enterpise проектов: путь трансформацииAndrey Rebrov
 
Улучшить KPI в два раза? Сделано!
Улучшить KPI в два раза? Сделано!Улучшить KPI в два раза? Сделано!
Улучшить KPI в два раза? Сделано!
SQALab
 
Автоматизация тестирования: отбрасываем лишнее и проверяем суть
Автоматизация тестирования: отбрасываем лишнее и проверяем сутьАвтоматизация тестирования: отбрасываем лишнее и проверяем суть
Автоматизация тестирования: отбрасываем лишнее и проверяем суть
SQALab
 
Делимся опытом: как мы оптимизировали тестирование крупного проекта за 3 месяца
Делимся опытом: как мы оптимизировали тестирование крупного проекта за 3 месяцаДелимся опытом: как мы оптимизировали тестирование крупного проекта за 3 месяца
Делимся опытом: как мы оптимизировали тестирование крупного проекта за 3 месяца
SQALab
 
Управление качеством в Agile. Как опередить баги
Управление качеством в Agile. Как опередить багиУправление качеством в Agile. Как опередить баги
Управление качеством в Agile. Как опередить баги
SQALab
 
Anton Stoliar SQADays2012 Управление качеством в Agile. Как опередить баги.
Anton Stoliar SQADays2012 Управление качеством в Agile. Как опередить баги.Anton Stoliar SQADays2012 Управление качеством в Agile. Как опередить баги.
Anton Stoliar SQADays2012 Управление качеством в Agile. Как опередить баги.
Anton Stoliar
 
Андрей Сильчук: "Автоматическое тестирование".
Андрей Сильчук: "Автоматическое тестирование".Андрей Сильчук: "Автоматическое тестирование".
Андрей Сильчук: "Автоматическое тестирование".
Hub-IT-School
 
Автоматическое тестирование и с чем его едят
Автоматическое тестирование и с чем его едятАвтоматическое тестирование и с чем его едят
Автоматическое тестирование и с чем его едят
Marina Peregud
 
Scrum в заказной разработке
Scrum в заказной разработкеScrum в заказной разработке
Scrum в заказной разработке
Askhat Urazbaev
 
Scrum в Заказной разработке
Scrum в Заказной разработкеScrum в Заказной разработке
Scrum в Заказной разработке
Nikita Filippov
 
How to estimate time for testing
How to estimate time for testingHow to estimate time for testing
How to estimate time for testingAlexandr Zinovyev
 
Как оценить время на тестирование. Александр Зиновьев, Test Lead Softengi
Как оценить время на тестирование. Александр Зиновьев, Test Lead SoftengiКак оценить время на тестирование. Александр Зиновьев, Test Lead Softengi
Как оценить время на тестирование. Александр Зиновьев, Test Lead Softengi
Softengi
 
Процессы оптимизации конверсии: методики и инструменты. Владимир Сахаров
Процессы оптимизации конверсии: методики и инструменты. Владимир СахаровПроцессы оптимизации конверсии: методики и инструменты. Владимир Сахаров
Процессы оптимизации конверсии: методики и инструменты. Владимир Сахаров
Клуб Интернет-Маркетологов
 
ACC - конструируем тест-план методом Google
ACC - конструируем тест-план методом GoogleACC - конструируем тест-план методом Google
ACC - конструируем тест-план методом Google
SQALab
 

Similar to Юрий Цыганенко (20)

Юрий Цыганенко, QA как услуга
Юрий Цыганенко, QA как услугаЮрий Цыганенко, QA как услуга
Юрий Цыганенко, QA как услуга
 
Автоматизация сборки и тестирования в разрезе эффективного производства
Автоматизация сборки и тестирования в разрезе эффективного производстваАвтоматизация сборки и тестирования в разрезе эффективного производства
Автоматизация сборки и тестирования в разрезе эффективного производства
 
Наталья Руколь (Лаборатория Качества)
Наталья Руколь (Лаборатория Качества)Наталья Руколь (Лаборатория Качества)
Наталья Руколь (Лаборатория Качества)
 
Автоматизация тестирования: почему умирают проекты?
Автоматизация тестирования: почему умирают проекты?Автоматизация тестирования: почему умирают проекты?
Автоматизация тестирования: почему умирают проекты?
 
Автоматизация Тестирования - Почему умирают проекты?
Автоматизация Тестирования - Почему умирают проекты?Автоматизация Тестирования - Почему умирают проекты?
Автоматизация Тестирования - Почему умирают проекты?
 
Вебинар: ИТ-проекты глазами Заказчика
Вебинар: ИТ-проекты глазами ЗаказчикаВебинар: ИТ-проекты глазами Заказчика
Вебинар: ИТ-проекты глазами Заказчика
 
Agile тестирование в enterpise проектов: путь трансформации
Agile тестирование в enterpise проектов: путь трансформацииAgile тестирование в enterpise проектов: путь трансформации
Agile тестирование в enterpise проектов: путь трансформации
 
Улучшить KPI в два раза? Сделано!
Улучшить KPI в два раза? Сделано!Улучшить KPI в два раза? Сделано!
Улучшить KPI в два раза? Сделано!
 
Автоматизация тестирования: отбрасываем лишнее и проверяем суть
Автоматизация тестирования: отбрасываем лишнее и проверяем сутьАвтоматизация тестирования: отбрасываем лишнее и проверяем суть
Автоматизация тестирования: отбрасываем лишнее и проверяем суть
 
Делимся опытом: как мы оптимизировали тестирование крупного проекта за 3 месяца
Делимся опытом: как мы оптимизировали тестирование крупного проекта за 3 месяцаДелимся опытом: как мы оптимизировали тестирование крупного проекта за 3 месяца
Делимся опытом: как мы оптимизировали тестирование крупного проекта за 3 месяца
 
Управление качеством в Agile. Как опередить баги
Управление качеством в Agile. Как опередить багиУправление качеством в Agile. Как опередить баги
Управление качеством в Agile. Как опередить баги
 
Anton Stoliar SQADays2012 Управление качеством в Agile. Как опередить баги.
Anton Stoliar SQADays2012 Управление качеством в Agile. Как опередить баги.Anton Stoliar SQADays2012 Управление качеством в Agile. Как опередить баги.
Anton Stoliar SQADays2012 Управление качеством в Agile. Как опередить баги.
 
Андрей Сильчук: "Автоматическое тестирование".
Андрей Сильчук: "Автоматическое тестирование".Андрей Сильчук: "Автоматическое тестирование".
Андрей Сильчук: "Автоматическое тестирование".
 
Автоматическое тестирование и с чем его едят
Автоматическое тестирование и с чем его едятАвтоматическое тестирование и с чем его едят
Автоматическое тестирование и с чем его едят
 
Scrum в заказной разработке
Scrum в заказной разработкеScrum в заказной разработке
Scrum в заказной разработке
 
Scrum в Заказной разработке
Scrum в Заказной разработкеScrum в Заказной разработке
Scrum в Заказной разработке
 
How to estimate time for testing
How to estimate time for testingHow to estimate time for testing
How to estimate time for testing
 
Как оценить время на тестирование. Александр Зиновьев, Test Lead Softengi
Как оценить время на тестирование. Александр Зиновьев, Test Lead SoftengiКак оценить время на тестирование. Александр Зиновьев, Test Lead Softengi
Как оценить время на тестирование. Александр Зиновьев, Test Lead Softengi
 
Процессы оптимизации конверсии: методики и инструменты. Владимир Сахаров
Процессы оптимизации конверсии: методики и инструменты. Владимир СахаровПроцессы оптимизации конверсии: методики и инструменты. Владимир Сахаров
Процессы оптимизации конверсии: методики и инструменты. Владимир Сахаров
 
ACC - конструируем тест-план методом Google
ACC - конструируем тест-план методом GoogleACC - конструируем тест-план методом Google
ACC - конструируем тест-план методом Google
 

More from SQALab

Готовим стажировку
Готовим стажировкуГотовим стажировку
Готовим стажировку
SQALab
 
Куда приводят мечты? или Искусство развития тестировщика
Куда приводят мечты? или Искусство развития тестировщикаКуда приводят мечты? или Искусство развития тестировщика
Куда приводят мечты? или Искусство развития тестировщика
SQALab
 
Оптимизация Selenium тестов и ускорение их поддержки
Оптимизация Selenium тестов и ускорение их поддержкиОптимизация Selenium тестов и ускорение их поддержки
Оптимизация Selenium тестов и ускорение их поддержки
SQALab
 
Автоматизация 0.0: 0 - бюджет, 0 - опыт программирования
Автоматизация 0.0: 0 - бюджет, 0 - опыт программированияАвтоматизация 0.0: 0 - бюджет, 0 - опыт программирования
Автоматизация 0.0: 0 - бюджет, 0 - опыт программирования
SQALab
 
Нагрузочное тестирование нестандартных протоколов с использованием Citrix и J...
Нагрузочное тестирование нестандартных протоколов с использованием Citrix и J...Нагрузочное тестирование нестандартных протоколов с использованием Citrix и J...
Нагрузочное тестирование нестандартных протоколов с использованием Citrix и J...
SQALab
 
Continuous performance testing
Continuous performance testingContinuous performance testing
Continuous performance testing
SQALab
 
Конфиги вместо костылей. Pytestconfig и зачем он нужен
Конфиги вместо костылей. Pytestconfig и зачем он нуженКонфиги вместо костылей. Pytestconfig и зачем он нужен
Конфиги вместо костылей. Pytestconfig и зачем он нужен
SQALab
 
Команда чемпионов в ИТ стихии
Команда чемпионов в ИТ стихииКоманда чемпионов в ИТ стихии
Команда чемпионов в ИТ стихии
SQALab
 
API. Серебряная пуля в магазине советов
API. Серебряная пуля в магазине советовAPI. Серебряная пуля в магазине советов
API. Серебряная пуля в магазине советов
SQALab
 
Добиваемся эффективности каждого из 9000+ UI-тестов
Добиваемся эффективности каждого из 9000+ UI-тестовДобиваемся эффективности каждого из 9000+ UI-тестов
Добиваемся эффективности каждого из 9000+ UI-тестов
SQALab
 
Делаем автоматизацию проектных KPIs
Делаем автоматизацию проектных KPIsДелаем автоматизацию проектных KPIs
Делаем автоматизацию проектных KPIs
SQALab
 
Вредные привычки в тест-менеджменте
Вредные привычки в тест-менеджментеВредные привычки в тест-менеджменте
Вредные привычки в тест-менеджменте
SQALab
 
Мощь переполняет с JDI 2.0 - новая эра UI автоматизации
Мощь переполняет с JDI 2.0 - новая эра UI автоматизацииМощь переполняет с JDI 2.0 - новая эра UI автоматизации
Мощь переполняет с JDI 2.0 - новая эра UI автоматизации
SQALab
 
Как hh.ru дошли до 500 релизов в квартал без потери в качестве
Как hh.ru дошли до 500 релизов в квартал без потери в качествеКак hh.ru дошли до 500 релизов в квартал без потери в качестве
Как hh.ru дошли до 500 релизов в квартал без потери в качестве
SQALab
 
Стили лидерства и тестирование
Стили лидерства и тестированиеСтили лидерства и тестирование
Стили лидерства и тестирование
SQALab
 
"Давайте не будем про качество"
"Давайте не будем про качество""Давайте не будем про качество"
"Давайте не будем про качество"
SQALab
 
Apache.JMeter для .NET-проектов
Apache.JMeter для .NET-проектовApache.JMeter для .NET-проектов
Apache.JMeter для .NET-проектов
SQALab
 
Тестирование геолокационных систем
Тестирование геолокационных системТестирование геолокационных систем
Тестирование геолокационных систем
SQALab
 
Лидер или босс? Вот в чем вопрос
Лидер или босс? Вот в чем вопросЛидер или босс? Вот в чем вопрос
Лидер или босс? Вот в чем вопрос
SQALab
 
От Зефира в коробке к Structure Zephyr или как тест-менеджеру перекроить внут...
От Зефира в коробке к Structure Zephyr или как тест-менеджеру перекроить внут...От Зефира в коробке к Structure Zephyr или как тест-менеджеру перекроить внут...
От Зефира в коробке к Structure Zephyr или как тест-менеджеру перекроить внут...
SQALab
 

More from SQALab (20)

Готовим стажировку
Готовим стажировкуГотовим стажировку
Готовим стажировку
 
Куда приводят мечты? или Искусство развития тестировщика
Куда приводят мечты? или Искусство развития тестировщикаКуда приводят мечты? или Искусство развития тестировщика
Куда приводят мечты? или Искусство развития тестировщика
 
Оптимизация Selenium тестов и ускорение их поддержки
Оптимизация Selenium тестов и ускорение их поддержкиОптимизация Selenium тестов и ускорение их поддержки
Оптимизация Selenium тестов и ускорение их поддержки
 
Автоматизация 0.0: 0 - бюджет, 0 - опыт программирования
Автоматизация 0.0: 0 - бюджет, 0 - опыт программированияАвтоматизация 0.0: 0 - бюджет, 0 - опыт программирования
Автоматизация 0.0: 0 - бюджет, 0 - опыт программирования
 
Нагрузочное тестирование нестандартных протоколов с использованием Citrix и J...
Нагрузочное тестирование нестандартных протоколов с использованием Citrix и J...Нагрузочное тестирование нестандартных протоколов с использованием Citrix и J...
Нагрузочное тестирование нестандартных протоколов с использованием Citrix и J...
 
Continuous performance testing
Continuous performance testingContinuous performance testing
Continuous performance testing
 
Конфиги вместо костылей. Pytestconfig и зачем он нужен
Конфиги вместо костылей. Pytestconfig и зачем он нуженКонфиги вместо костылей. Pytestconfig и зачем он нужен
Конфиги вместо костылей. Pytestconfig и зачем он нужен
 
Команда чемпионов в ИТ стихии
Команда чемпионов в ИТ стихииКоманда чемпионов в ИТ стихии
Команда чемпионов в ИТ стихии
 
API. Серебряная пуля в магазине советов
API. Серебряная пуля в магазине советовAPI. Серебряная пуля в магазине советов
API. Серебряная пуля в магазине советов
 
Добиваемся эффективности каждого из 9000+ UI-тестов
Добиваемся эффективности каждого из 9000+ UI-тестовДобиваемся эффективности каждого из 9000+ UI-тестов
Добиваемся эффективности каждого из 9000+ UI-тестов
 
Делаем автоматизацию проектных KPIs
Делаем автоматизацию проектных KPIsДелаем автоматизацию проектных KPIs
Делаем автоматизацию проектных KPIs
 
Вредные привычки в тест-менеджменте
Вредные привычки в тест-менеджментеВредные привычки в тест-менеджменте
Вредные привычки в тест-менеджменте
 
Мощь переполняет с JDI 2.0 - новая эра UI автоматизации
Мощь переполняет с JDI 2.0 - новая эра UI автоматизацииМощь переполняет с JDI 2.0 - новая эра UI автоматизации
Мощь переполняет с JDI 2.0 - новая эра UI автоматизации
 
Как hh.ru дошли до 500 релизов в квартал без потери в качестве
Как hh.ru дошли до 500 релизов в квартал без потери в качествеКак hh.ru дошли до 500 релизов в квартал без потери в качестве
Как hh.ru дошли до 500 релизов в квартал без потери в качестве
 
Стили лидерства и тестирование
Стили лидерства и тестированиеСтили лидерства и тестирование
Стили лидерства и тестирование
 
"Давайте не будем про качество"
"Давайте не будем про качество""Давайте не будем про качество"
"Давайте не будем про качество"
 
Apache.JMeter для .NET-проектов
Apache.JMeter для .NET-проектовApache.JMeter для .NET-проектов
Apache.JMeter для .NET-проектов
 
Тестирование геолокационных систем
Тестирование геолокационных системТестирование геолокационных систем
Тестирование геолокационных систем
 
Лидер или босс? Вот в чем вопрос
Лидер или босс? Вот в чем вопросЛидер или босс? Вот в чем вопрос
Лидер или босс? Вот в чем вопрос
 
От Зефира в коробке к Structure Zephyr или как тест-менеджеру перекроить внут...
От Зефира в коробке к Structure Zephyr или как тест-менеджеру перекроить внут...От Зефира в коробке к Structure Zephyr или как тест-менеджеру перекроить внут...
От Зефира в коробке к Structure Zephyr или как тест-менеджеру перекроить внут...
 

Юрий Цыганенко

  • 1. QA как услуга Юрий Цыганенко
  • 2. Качество продукта и услуги • Качество vs удовлетворённость • Удовлетворённость – соответствие ожиданиям – Продукт: довольные пользователи – Услуга: довольный заказчик
  • 3. Ещё не заказчик Принятие решения об аутсорсинге • Нехватка собственных ресурсов, (сжатые сроки, и т.п.) • Требуются рабочие места, офисное пространство • Нереально быстро найти, отсобеседовать кандидатов, выбрать • Неравномерность загрузки: (пик тестирования перед релизом) • Высокая стоимость человеко-месяца • Предыдущий опыт аутсорсинга, (рекомендации, примеры/антипримеры)
  • 4. ...у заказчика • Решили аутсорсить ! • Знакомство • - с компанией-исполнителем • - с участниками проекта • Процесс идёт - исполнители оправдывают ожидания, - вписываемся в планируемый цикл. • Ура! Первый релиз! Спасибо! • Аутсорсить больше задач
  • 5. У аутсорсера • Подбор команды • Знакомство • с продуктом, документацией, тестами. • с циклом • Ручное тестирование • Подготовка Тест кейсов • Автоматизация (regression), в промежутках между фазами • Возрастание роли автоматизации
  • 6. Путь к счастью • Регулярно — отчёты • Метрики - Число багов. - Скорость регресс. – Чем подробнее.. ?
  • 7. ещё к счастью Регулярно • Созвоны – Куда движемся – Дополнение к письмам – Эмоционально- окрашенные результаты ... exit-criteria - за представителем заказчика, но ...
  • 8. Нравится • Превосходить ожидания • Инициативность • Вовлечённость всех • Активно выяснять • Доступность внеурочно - чат.
  • 9. Отторгает • Невнятные ответы • Языковые трудности • Отсутствие к-л • «Глупые» вопросы Рас-шар-кать-ся • . . .
  • 10. В процессе • Тест кейсы • - Вики / Tool /почта • Общие аккаунты для .. • -Дампо-почта • - Тest Management tool • - Сервера, и пр. • - Экономия на лицензии • - Нужны договорёности, «подписи»
  • 11. Хинт: Злой Полицейский Бывает нужно: • Тормошить dev заказчика «Спеки нет, ясности тоже» • Работать? А деньгами? А гулять? Пусть это будет MGR заказчика
  • 12. Случилось страшное Пропустили баг(и).. • Провести аудит. • Сообщить заказчику о принятых мерах для предотвращения подобного. Напр.: - Pевью тесткейсов / данных / - Регулярный статус report...
  • 13. Автоматизация: начало • Желание автоматизировать регрессионные тесты • Выбор инструмента, языка (консультации..) • Начинают 1-2 человека • Экономить... - ?
  • 14. Авто? • Итог - через разумное время: – Автоматизировано несколько тестов – Базовый набор функций/классов ... Так держать?
  • 15. За-Пуски • Гоняем. Часто FAIL. : – Конфигурация – Не та машина – Не те права – Изменили UI – Кривые данные – Timeout'ы ... 10 раз.. На 11-й бага не ждём?
  • 16. ... Авто - работает! • Выявлены баги • % автоматизированного мал % - метрика, статус! • Конфигурации – на откуп автоматизаторам Это не метрика (и о конфиг. Мало думают) – Авторы сами гоняют тесты – Логов мало, анализ недолгий (тестов немного)
  • 17. ...А побольше? • Заказчик хочет больше и быстрее • Привлечь больше ресурсов • % автоматизированного – единственная метрика! • Только авторы запускают тесты • О конфигурациях всё ещё не думают
  • 18. ... Экономить ? • Экономить на прогонах - “гоняю сам” (Получается?) • Пишем вместе (Нравится?) • Общаемся регулярно: – Про FWK напоминаем (вежливо) – Ревью коммитов
  • 19. «Авто» в идеале • Запускать умеет любой: o QA Аутсорсера (Автор, коллеги) o QA Заказчика o Разработчики (у заказчика, у аутсорсенров..) o Робот (Типа Continuous Integration) • Any – Конфигурация – User account – Domain
  • 20. Бывает .. • Расширена команда • Существенно повышен % автоматизированного • Только авторы прогоняют • В одной и той же среде (конфиги)
  • 21. Ещё можно поправить? o Как только меняется продукт: o – ОЙ... o – Логов навалило (Успевай разбирать!) o Как бы поскорее...
  • 22. Фатально • Framework — отсутствует • Слишком много надо менять • Не отделаться Search-and-replace • Fail, Fail Fail .. Непобедимо! • ... Stop! (Кто/что виноват(о,ы) и ...)
  • 23. По-хорошему вначале - Framework • «Обвязка» UI • Конфигурация инструментов • Репорты • Бизнес-логика • Конфигурация (приложения)
  • 24. А по-хорошему • Всем разъяснить Framework • Ни шагу без Fwk Никому! • Refactoring • Зелёные билды! • Логов много, но посильно
  • 25. Деньги и счастье • Превращение проекта в процесс – Крупные QA проекты обычно «пожизненны»
  • 26. Счастье сотрудников • «Пожизненные» проекты надоедают? • Ротации • Поводы подготовить замену • Убедить заказчика