Юрий Цыганенко, DataArt, Санкт-Петербург, Россия QA как услуга

1. QA как услуга
Юрий Цыганенко

2. Качество продукта и услуги
• Качество vs удовлетворённость
• Удовлетворённость – соответствие ожиданиям
– Продукт: довольные пользователи
– Услуга: довольный заказчик

3. Ещё не заказчик
Принятие решения об аутсорсинге
• Нехватка собственных ресурсов,
(сжатые сроки, и т.п.)
• Требуются рабочие места, офисное пространство
• Нереально быстро найти,
отсобеседовать кандидатов, выбрать
• Неравномерность загрузки:
(пик тестирования перед релизом)
• Высокая стоимость человеко-месяца
• Предыдущий опыт аутсорсинга,
(рекомендации, примеры/антипримеры)

4. ...у заказчика
• Решили аутсорсить !
• Знакомство
• - с компанией-исполнителем
• - с участниками проекта
• Процесс идёт
- исполнители оправдывают ожидания,
- вписываемся в планируемый цикл.
• Ура! Первый релиз! Спасибо!
• Аутсорсить больше задач

5. У аутсорсера
• Подбор команды
• Знакомство
• с продуктом,
документацией, тестами.
• с циклом
• Ручное тестирование
• Подготовка Тест кейсов
• Автоматизация (regression),
в промежутках между фазами
• Возрастание роли автоматизации

6. Путь к счастью
• Регулярно — отчёты
• Метрики
- Число багов.
- Скорость регресс.
– Чем подробнее.. ?

7. ещё к счастью
Регулярно
• Созвоны
– Куда движемся
– Дополнение к письмам
– Эмоционально-
окрашенные
результаты
...
exit-criteria - за представителем заказчика, но ...

8. Нравится
• Превосходить ожидания
• Инициативность
• Вовлечённость всех
• Активно выяснять
• Доступность
внеурочно - чат.

9. Отторгает
• Невнятные ответы
• Языковые трудности
• Отсутствие к-л
• «Глупые» вопросы
Рас-шар-кать-ся
• ...

10. В процессе
• Тест кейсы
• - Вики / Tool /почта
• Общие аккаунты для ..
• -Дампо-почта
• - Тest Management tool
• - Сервера, и пр.
• - Экономия на лицензии
• - Нужны договорёности,
«подписи»

11. Хинт: Злой Полицейский
Бывает нужно:
• Тормошить dev заказчика
«Спеки нет, ясности тоже»
• Работать? А деньгами?
А гулять?
Пусть это будет MGR заказчика

12. Случилось страшное
Пропустили баг(и)..
• Провести аудит.
• Сообщить заказчику
о принятых мерах
для предотвращения
подобного.
Напр.:
- Pевью тесткейсов / данных /
- Регулярный статус report...

13. Автоматизация: начало
• Желание автоматизировать регрессионные тесты
• Выбор инструмента, языка (консультации..)
• Начинают
1-2 человека
• Экономить... - ?

14. Авто?
• Итог - через разумное время:
– Автоматизировано
несколько тестов
– Базовый набор
функций/классов
... Так держать?

15. За-Пуски
• Гоняем. Часто FAIL. :
– Конфигурация
– Не та машина
– Не те права
– Изменили UI
– Кривые данные
– Timeout'ы
... 10 раз.. На 11-й бага не ждём?

16. ... Авто - работает!
• Выявлены баги
• % автоматизированного мал
% - метрика, статус!
• Конфигурации –
на откуп автоматизаторам
Это не метрика
(и о конфиг. Мало думают)
– Авторы сами гоняют тесты
– Логов мало, анализ недолгий
(тестов немного)

17. ...А побольше?
• Заказчик хочет больше и быстрее
• Привлечь больше ресурсов
• % автоматизированного – единственная метрика!
• Только авторы
запускают тесты
• О конфигурациях
всё ещё не думают

18. ... Экономить ?
• Экономить на прогонах - “гоняю сам”
(Получается?)
• Пишем вместе
(Нравится?)
• Общаемся регулярно:
– Про FWK напоминаем (вежливо)
– Ревью коммитов

19. «Авто» в идеале
• Запускать умеет любой:
o QA Аутсорсера
(Автор, коллеги)
o QA Заказчика
o Разработчики
(у заказчика, у аутсорсенров..)
o Робот
(Типа Continuous Integration)
• Any
– Конфигурация
– User account
– Domain

20. Бывает ..
• Расширена команда
• Существенно повышен % автоматизированного
• Только авторы прогоняют
• В одной и той же среде
(конфиги)

21. Ещё можно поправить?
o Как только меняется продукт:
o – ОЙ...
o – Логов навалило
(Успевай разбирать!)
o Как бы поскорее...

22. Фатально
• Framework — отсутствует
• Слишком много надо менять
• Не отделаться
Search-and-replace
• Fail, Fail Fail .. Непобедимо!
• ... Stop!
(Кто/что виноват(о,ы) и ...)

23. По-хорошему
вначале - Framework
• «Обвязка» UI
• Конфигурация
инструментов
• Репорты
• Бизнес-логика
• Конфигурация
(приложения)

24. А по-хорошему
• Всем разъяснить
Framework
• Ни шагу без Fwk
Никому!
• Refactoring
• Зелёные билды!
• Логов много, но посильно

25. Деньги и счастье
• Превращение проекта в процесс
– Крупные QA проекты обычно «пожизненны»

26. Счастье сотрудников
• «Пожизненные» проекты надоедают?
• Ротации
• Поводы подготовить
замену
• Убедить заказчика

27. Спасибо!
• ?
• ??
• ???