Большинство клиентов, прежде чем покупать "тестирование как сервис" для своих проектов, хотят видеть реальные цифры пользы (вложение/затраты на сэкономленное время/ресурсы), которую им даст данная инвестиция в «качество». Клиенты привыкли слышать, что тестирование, словно по-волшебству, повысит качество.
Я хочу показать конкретные цифры: как визуализировать вот ту самую пользу и дать четкие числа, на основании которых люди, инвестирующие деньги в тестирование, смогут видеть практическую пользу тестирвоания, как ручного, так и автоматизированного. Мы поговорим о метриках в тестировании и KPI, что именно и как собирать, как отслеживать данные непрерывно, как анализировать тренд и презентовать его клиентам.
QA Fest 2015. Алена Черненко-Дыба и Алексей Лупан. Секреты успешного проекта...QAFest
В докладе будут представлены самые важные вопросы, которые должен и может задавать окружающим лидер группы тестировщиков перед началом каждого проекта для того, чтобы проект был успешно запилен.
QA Fest 2015. Александра Волкова. 10 принципов автоматизации, которые я не пр...QAFest
Принципы «правильной» автоматизации всем хорошо известны, но почему-то даже опытные автоматизаторы не всегда им следуют. Допуская ошибки одну за другой, мы и не замечаем, как укорачиваем жизнь нашим авто-тестам. В результате, нередко случается так, что наши решения со временем забрасываются и не выживают, либо же превращаются в «чемодан без ручки» - когда нести тяжело, а выбросить жалко.
Я предлагаю по-новому взглянуть на автоматизацию в проектах и увидеть общие ошибки. Я расскажу о 10 принципах автоматизации, к которым пришла моя команда на собственном опыте, и которые помогут не наступать на одни и те же грабли.
Доклад смогут «прочувствовать» все тестировщики, работающие на проектах, где есть автоматизация.
QA Fest 2015. Виктор Гожий. SCRUM в QA команде и как с этим жить.QAFest
- История проекта (с чего началось внедрение SCRUM в QA команде, какая была команда и тп)
- Тестирование в идеальном Agilе (как происходит построение процесса в идеале и что мы можем получить)
- Советы тестировщику в Agile
- Показатели или что от нас хочет Product Owner
- Что мы добавили в обычное SCRUM тестирование и какой получили результат
Выводы что дал SCRUM команде и как поменялась
QA Fest 2015. Алена Черненко-Дыба и Алексей Лупан. Секреты успешного проекта...QAFest
В докладе будут представлены самые важные вопросы, которые должен и может задавать окружающим лидер группы тестировщиков перед началом каждого проекта для того, чтобы проект был успешно запилен.
QA Fest 2015. Александра Волкова. 10 принципов автоматизации, которые я не пр...QAFest
Принципы «правильной» автоматизации всем хорошо известны, но почему-то даже опытные автоматизаторы не всегда им следуют. Допуская ошибки одну за другой, мы и не замечаем, как укорачиваем жизнь нашим авто-тестам. В результате, нередко случается так, что наши решения со временем забрасываются и не выживают, либо же превращаются в «чемодан без ручки» - когда нести тяжело, а выбросить жалко.
Я предлагаю по-новому взглянуть на автоматизацию в проектах и увидеть общие ошибки. Я расскажу о 10 принципах автоматизации, к которым пришла моя команда на собственном опыте, и которые помогут не наступать на одни и те же грабли.
Доклад смогут «прочувствовать» все тестировщики, работающие на проектах, где есть автоматизация.
QA Fest 2015. Виктор Гожий. SCRUM в QA команде и как с этим жить.QAFest
- История проекта (с чего началось внедрение SCRUM в QA команде, какая была команда и тп)
- Тестирование в идеальном Agilе (как происходит построение процесса в идеале и что мы можем получить)
- Советы тестировщику в Agile
- Показатели или что от нас хочет Product Owner
- Что мы добавили в обычное SCRUM тестирование и какой получили результат
Выводы что дал SCRUM команде и как поменялась
Techleads Meetup #1
"Как автотесты ускоряют релизы в OK.ru"
Никита Макаров, руководитель отдела тестирования (Одноклассники)
Описание:
начиная с 2012 года Одноклассники прошли огромный путь в области ускорения релизов.
Одним из факторов успеха была автоматизация тестирования, которую внедряли «с нуля».
В своем докладе я расскажу:
— о том как мы учили тестировщиков писать автотесты;
— сколотили команду автоматизаторов и построили инфраструктуру автоматизации тестирования;
— о наших ошибках, поражениях, полезных практиках и процессах.
Quality Assurance vs Quality Control - так в чем же заключается работа специа...COMAQA.BY
Поговорим о том, что такое Quality Assurance и что такое Quality Control. Узнаем в чем заключается принципиальная разница между этими двумя понятиями\подходами. Расскажем как можно и нужно строить карьеру тестировщика. Приведем пример мировой практики от Microsoft.
QA Fes 2016. Анастасия Асеева. Роль тестирования в DevopsQAFest
В своем докладе я расскажу, как мы внедряли devops в банке, а конкретнее какую роль в этом процессе сыграло тестирование. Также расскажу с какими проблемами столкнулись, и как мы их устраняли. И да, каких результатов смогли добиться уже через полгода. А самое интересное, покажу как мы смогли добиться того, чтоб у нас pull request долетал до боя за 3 часа со всеми этапами тестирования.
Доклад будет содержать большое количество лайфхаков и обзоров инструментария, который мы использовали.
Мы обсудим основные виды тестовой документации, зачем и почему они нужны, кратко поговорим о том почему нужны тест планы и в каком виде. Узнаем для каких задач какую тест документацию стоит выбрать. Поговорим об эффективных принципах и подходах к построению наборов тест-кейсов и чек-листов. Затронем тему отчетности и, конечно же, поговорим о типичных ошибках.
Techleads Meetup #1
"Как автотесты ускоряют релизы в OK.ru"
Никита Макаров, руководитель отдела тестирования (Одноклассники)
Описание:
начиная с 2012 года Одноклассники прошли огромный путь в области ускорения релизов.
Одним из факторов успеха была автоматизация тестирования, которую внедряли «с нуля».
В своем докладе я расскажу:
— о том как мы учили тестировщиков писать автотесты;
— сколотили команду автоматизаторов и построили инфраструктуру автоматизации тестирования;
— о наших ошибках, поражениях, полезных практиках и процессах.
Quality Assurance vs Quality Control - так в чем же заключается работа специа...COMAQA.BY
Поговорим о том, что такое Quality Assurance и что такое Quality Control. Узнаем в чем заключается принципиальная разница между этими двумя понятиями\подходами. Расскажем как можно и нужно строить карьеру тестировщика. Приведем пример мировой практики от Microsoft.
QA Fes 2016. Анастасия Асеева. Роль тестирования в DevopsQAFest
В своем докладе я расскажу, как мы внедряли devops в банке, а конкретнее какую роль в этом процессе сыграло тестирование. Также расскажу с какими проблемами столкнулись, и как мы их устраняли. И да, каких результатов смогли добиться уже через полгода. А самое интересное, покажу как мы смогли добиться того, чтоб у нас pull request долетал до боя за 3 часа со всеми этапами тестирования.
Доклад будет содержать большое количество лайфхаков и обзоров инструментария, который мы использовали.
Мы обсудим основные виды тестовой документации, зачем и почему они нужны, кратко поговорим о том почему нужны тест планы и в каком виде. Узнаем для каких задач какую тест документацию стоит выбрать. Поговорим об эффективных принципах и подходах к построению наборов тест-кейсов и чек-листов. Затронем тему отчетности и, конечно же, поговорим о типичных ошибках.
Роль аналитика в негибких методологиях разработкиDevDay
В ходе доклада обсудим:
— Какие методологии сейчас используют чаще всего.
— Как типы разработки влияют на решение: взять аналитика в команду или нет.
— В чем суть негибкого процесса. Этапы и поставки аналитических работ.
— Нужен ли аналитик в негибком проекте продуктовой разработки - все за и против.
Comaqa 2017 Presentation in Russian. Can we have some more quality? Who is responsible for QA on a project? Visionary talk on what direction testing (as a profession) should develop nowdays.
Как Mail.Ru и AT Consulting перевели профили абонентов Beeline на Tarantool /...Ontico
РИТ++ 2017, Web-scale IT Сonference
Зал Владивосток, 6 июня, 17:00
Тезисы:
http://webscaleconf.ru/2017/abstracts/2553.html
Платформа виртуализации данных на основе Tarantool - система, созданная в Mail.Ru Group в прошлом году. Cовместно с АТ Consulting было создано и запущено в production решение для хранения 100 млн. профилей абонентов компании Beeline, выдерживающее значительные нагрузки.
...
Similar to QA Fest 2015. Юлия Завертайло. Практическая визуализация пользы тестирования для клиента (20)
QA Fest 2019. Сергій Короленко. Топ веб вразливостей за 40 хвилинQAFest
Поговоримо про найпопулярніші помилки, яких припускаються розробники веб додатків, та як зловмисник може використати їх на свою користь. Охопимо максимальну кількість матеріалу за короткий проміжок часу.
QA Fest 2019. Анна Чернышова. Self-healing test automation 2.0. The FutureQAFest
Мы уже разговаривали о self-healing автоматизации, как она работает, какие есть подходы, чем они хороши, плохи и о новом инструменте, который мы разрабатываем в EPAM. Наш продукт завершает стадию POC и настало время поделиться результатами и понять, насколько self-healing автоматизация поможет вашим тестам стать стабильнее? Или наоборот, навредит?... Приходи и узнаешь!
QA Fest 2019. Doug Sillars. It's just too Slow: Testing Mobile application pe...QAFest
Mobile apps and websites are now the predominant ways that users interact with brands. Research has shown that slow sites and apps lose customer engagement. Despite this, most mobile sites and apps have performance issues that can be easily resolved once diagnosed. In this talk, we will walk through steps to diagnose network performance bottlenecks in mobile services. We'll discuss real-world examples and how they were resolved. Attendees will leave this talk armed with the tools to test, diagnose and resolve the top network performance issues that affect mobile today.
QA Fest 2019. Катерина Спринсян. Параллельное покрытие автотестами и другие и...QAFest
Раньше мы в Badoo фокусировались в основным на ручном тестировании. Получался этакий дедлок мануальной регрессии: не было времени, чтоб писать тесты, потому что много тестировали руками, а много тестировали руками, потому что не было автотестов.
Но мы смогли наладить свою систему автоматизации и процессы, разорвали этот порочный круг и начали писать годные тесты.
В своем докладе я расскажу, как нам удалось сократить ручную регрессию с 90% до 30% рабочего времени, при этом сохранить достойный уровень качества и профессионально вырасти!
QA Fest 2019. Никита Галкин. Как зарабатывать большеQAFest
Вам знаком термин mindshift? Именно его вы испытаете от этого доклада. Он будет не о QA процессах или инструментах, он будет о деньгах и бизнесе, о рисках и коммуникациях. Все это с примерами из Украинского и мировом IT в формате живого общения с аудиторией.
QA Fest 2019. Сергей Пирогов. Why everything is spoiledQAFest
In this talk, I will cover the pain points of the Test Automation process. We will discuss traps, mistakes and crazy decisions that lead to test automation failure and lost budgets.
QA Fest 2019. Сергей Новик. Между мотивацией и выгораниемQAFest
Поговорим о мотивации простым языком, проясним, что стимулирует нас работать лучше. Поисследуем обратную сторону мотивации – выгорание. Выясним, как диагностировать выгорание и не допустить неприятных последствий.
QA Fest 2019. Владимир Никонов. Код Шредингера или зачем и как мы тестируем н...QAFest
Для разработки современных программных решений необходимо обеспечить эффективную систему тестирования, которая состоит из большого количества компонентов и задает требования ко всем этапам разработки.
Владимир Никонов, руководитель департамента разработки платформы в Terrasoft, эксперт в области проектирования приложений с опытом работы более 10 лет, поделится экспертным мнением с участниками QA Fest и расскажет:
- об инструментах и процессах на каждом этапе создания и поставки функциональности: от unit-тестов до нефункционального тестирования;
- о требования к инструментам тестирования и компетенциям команды QA-инженеров, которые необходимо выдвигать на каждом этапе тестирования;
- как внедрять современные подходы в существующий проект с минимальными затратами;
- как развивать команду и процессы тестирования в целом.
QA Fest 2019. Владимир Трандафилов. GUI automation of WEB application with SV...QAFest
Доклад посвящен автоматизации тестирования WEB-приложений с SVG-графикой. В 1-ой части доклада даны короткое описание процессов разрабатываемого приложения и обоснование необходимости применения SVG-графики. Во 2-ой части сделан короткий обзор SVG-графики, показаны основные преимущества/недостатки такого типа графики, сделан обзор основных SVG-поверхностей и рассмотрен процесс их трансформации с помощью матрицы преобразования с разбором ее основных типов. В 3-ей части обозначены основные проблемы автоматизации действий с SVG-графикой, такие как drag’n’drop графических объектов (SVG на SVG), их масштабирование при помощи колесика мышки и выделение ломаный линий. В 4-ой части показаны решения обозначенных проблем с использованием JavaScript.
QA Fest 2019. Иван Крутов. Bulletproof Selenium ClusterQAFest
Browser tests are known to be the flakiest ones. This is partly because browser infrastructure is complicated to maintain. But the second reason is – mainstream browser automation tools such as Selenium server are far from being efficient.
A year ago I have shown Selenoid - a truly efficient replacement of the standard Selenium server. This year I would like to demonstrate how to organize a fault-tolerant and easily scalable Selenium cluster using virtual machines in the cloud. I will start by setting up several Selenoid nodes and configure them to send logs and recorded videos to S3-compatible storage. Then I will run multiple Ggr load balancer instances allowing to use all running Selenoid nodes and organize a single entry point to the cluster. Finally, we'll discuss how to work with VNC and video recording in such a cluster.
QA Fest 2019. Николай Мижигурский. Миссия /*не*/выполнима: гуманитарий собесе...QAFest
Случалось ли вам запускать автоматизацию на проекте? Испытывать непревзойденное удовольствие от необходимости собеседовать технического специалиста, когда сам не имеешь технического опыта? Если да, то этот доклад для вас.
Мы научимся анализировать сеньорность кандитата, его технический уровень и способность к организации команд. Но самое главное - все это мы сможем достичь без серьезного технического опыта. Будет интересно, заходи на огонек!
QA Fest 2019. Володимир Стиран. Чим раніше – тим вигідніше, але ніколи не піз...QAFest
Це буде огляд підходів до побудови програми безпеки програмного забезпечення в команді розробки або кампанії загалом, доповнений висновками з мого власного досвіду виконання практичних та консультаційних проектів в сфері Application Security.
QA Fest 2019. Дмитрий Прокопук. Mocks and network tricks in UI automationQAFest
Веб-приложения и технологии стремительно развиваются. Мы уже вступили в эру Single Page Application и идем к Progressive Web Application. В большинстве современных проектов идет разделение команд на front-end и back-end, и не только команд, но идет раздельная релизная политика. Это требует более детальных подходов к тестированию front-end. В этом докладе мы рассмотрим кейсы, который есть на практике при тестировании задач front-end и инструменты автоматизации, которые могут решать задачи описанные в этих кейсах: чтение request/response browser network и соответственно мокирование response.
QA Fest 2019. Екатерина Дядечко. Тестирование медицинского софта — вызовы и в...QAFest
Проектирование и производство медицинских устройств — это регулируемый бизнес. Государственные органы во всем мире призваны гарантировать безопасность и эффективность медицинских устройств. Несоответствие нормативным требованиям ставит под угрозу жизнь и здоровье человека. Как медицинское регулирование влияет на рабочий процесс компании производителя? Мы поговорим о том, какие вызовы стоят перед тестировщиком медицинского софта, а также какие возможности при этом открываются.
QA Fest 2019. Катерина Черникова. Tune your P’s: the pop-art of keeping testa...QAFest
Про «тестабилити» в последнее время говорят часто, зачастую говорят в рамках способности тестировать тот или иной функционал. А иногда и ограничиваются только возможностью автоматизировать. Существует техника “10P тестируемости”, которая используется для оптимизации процесса разработки, как инструмент анализа и настройки процессов для достижения успеха на проекте в целом. Вот об этом и поговорим.
QA Fest 2019. Алиса Бойко. Какнезапутаться в коммуникативных сетях ITQAFest
Твою гениальность не замечает никто кроме мамы? Идеи и проекты нравятся только твоему коту? Одногруппники уже руководители подразделений, а ты завис между middle и senior? Пришло время найти баги не только на проекте, но и в своей голове! Прокачаем коммуникативные навыки:)
QA Fest 2019. Святослав Логин. Как найти уязвимости в мобильном приложенииQAFest
С каждым годом мобильных приложений становится все больше, но мало кто обращает внимание на безопасность этого приложения, когда оно находится в процессе разработки. Так как бизнес нацелен только на то, чтобы оторвать большую часть пользователей, которые будут использовать это приложение, они обращают внимание на конфиденциальность своих клиентов в последнюю очередь. В своем докладе я расскажу как мануал QA может проверить мобильное приложение на уязвимости и найти топовые дыры по рейтингу OWASP. В презентации будут использованы такие тулзы Santoku Linux + Genymotion.
QA Fest 2019. Катерина Шепелєва та Інна Оснач. Що українцям потрібно знати пр...QAFest
Маючи досвід роботи з іноземними замовниками і колегами, а також вивчаючи культурні особливості жителів інших країн, ми якось поставили собі за мету з'ясувати, якими українців бачать іноземці, чи потрібно їм підлаштовуватись під нашу манеру спілкування, чи є щось, що вони зовсім не можуть прийняти.
Поділимося з вами результатами цієї затії, а також поговоримо про:
- те, що потрібно знати українцям про свої софт скіли,
- то, як відрізняються софт скіли українців і жителів кількох інших країн,
- важливість софт скілів для успішних комунікацій з іноземними колегами,
- важливість софт скілів для просування по кар'єрі.
QA Fest 2019. Антон Серпутько. Нагрузочное тестирование распределенных асинхр...QAFest
Обычно в процессе нагрузочного тестирование необходимые app-side метрики(response time, throughput, ..) можно получить прямо в генераторе нагрузки. Мы шлем запрос, получаем респонс и зачастую время выполнения запроса это и есть то что нам нужно.
Но что если после того как сервер отдал вам ответ происходит еще ряд асинхронных операций, время выполнения которых нам необходимо проверить? Как замерить время выполнения этих запросов? Какая часть системы является узким местом в производительности?
В докладе рассмотрим какие челенжи появляются в такой ситуации и как их можно решить.
QA Fest 2019. Петр Тарасенко. QA Hackathon - The Cookbook 22QAFest
Хотели бы вы, чтобы в Украине происходило больше QA ивентов? Чувствуете, что их не хватает?
Знаете, кто может это изменить? - Вы!
Я поделюсь подходами, которые мы использовали при организации QA хакатонов в Wix, которыми завтра вы сможете воспользоваться для создания вашего крутого ивента!
2. О себе
• 9 лет в тестировании, из них 7 лет
в компании ITERA
• Последние 4 года работаю с
большими страховыми
компаниями в Скандинавии
• Основная специализация –
мануальное тестирование, QA и
тест менеджмент
• Основной фронт работы –
построение процессов по
тестированию в компаниях и тест
лидершип в проектах
• Ментор и коучер для
подрастающего поколения
тестировщиков
09.11.2015 / 2
3. Содержание
• Основные проблемы в области качества и тестирования
• Что улучшать?
• Что интересно знать клиенту о результатах нашей работы? (наше
мнение)
• Что же на самом деле интересно клиенту? (мнение клиента)
• KPIs – примеры
09.11.2015 / 3
4. Основные проблемы в области
качества и тестирования
• Отсутствие тестового покрытия
• Часто изменяемые и нечеткие требования к продукту /
функциональности
• Отсутствие профессионального мануального и
автоматизированного тестирования
• Позднее обнаружение дефектов во время разработки
• Критические дефекты обнаруживаются в продакшене
• Неэффективные трудозатраты на тестирование
• Отсутствие гибкости к необходимым изменениям в ходе
разработки
09.11.2015 / 4
5. Что улучшать?
• Эффективность команды разработчиков
• Качество самого тестирования
• Уменьшать затраты на тестирование и последующую поддержку
продукта
09.11.2015 / 5
6. Что интересно знать клиенту о результатах
нашей работы? (наше мнение)
• Какая мы хорошая команда тестировщиков и как здорово
вписались в проект
• Сколько тестировщики написали тест планов, тест кейсов и тест
самари репортов
• Как много мы находим багов
• Как здорово мы понимаем бизнес и требования клиента
• Как здорово вы умеем коммуницировать и решать проблемы
• …
09.11.2015 / 6
7. Что же на самом деле интересно клиенту?
(мнение клиента)
• Сколько критических и шоустопер багов было найдено в
продакшене (и сколько миллионов крон, евро, долларов было
потеряно из-за багов)?
• Насколько меньше времени (в часах) стали тратить бизнес-
пользователи на тестирование?
• Стало ли возможно увеличить частоту поставок в продакшен и
прийти к continuous integration?
• Насколько минимизировались затраты на регресионное
тестирование
09.11.2015 / 7
8. KPI – Пример1: Тестовое покрытие
09.11.2015 / 8
Как собирать:
• Настроить ТМ tool (TFS, Jira)
• «Ручками» в Excel
Какую информацию это дает клиенту:
• Визуализирует «темные» дыры приложения: показывает, что в приложении Х
функций и риск ошибок равен % того, что не покрыто тестами
• Визуализирует, что чем больше покрытие, тем меньше риск упущенных дефектов
• Визуализирует функциональность, требующую большего внимания, и дальнейшие
вложения на покрытие тестами
354
182
118 122
68
17
325
80
118
107
54
12
180
5
23
46
10 10
0
50
100
150
200
250
300
350
400
Модуль 1 Модуль 2 Модуль 3 Модуль 4 Модуль 5 Модуль 6
Всего фич Покрыто тестами Автоматизировано
9. KPI - Пример2: Временные затраты бизнес
ресурсов
Как собирать:
• Логировать время на задачах по тестированию в трекинговой системе
• Запрашивать информацию по факту –трекать в Excel
09.11.2015 / 9
Какую информацию это дает клиенту:
• Визуализирует минимизацию трудозатрат пользователей
0
10
20
30
40
50
60
70
80
Релиз 1 Релиз 2 Релиз 3 Релиз 4 Релиз 5 Релиз 6 Релиз 7 Релиз 8 Релиз 9
Модуль1 Модуль2 Модуль3
10. KPI – Пример3: Количество дефектов
Как собирать:
• TFS&Pivot tables
• Jira: filters &dashboards
• «Ручками» в Excel
09.11.2015 / 10
Какую информацию это дает клиенту
• Тренд уменьшения количества дефектов в продакшене
• Увеличение количества дефектов в ходе разработки
238
26
7
13
7 10 8
212
206
156
116
214
112
0
50
100
150
200
250
Релиз1 Релиз2 Релиз3 Релиз4 Релиз5 Релиз6
Всего Продакшен Разработка
11. KPI – Пример 4: Время на фидбек о качестве
продукта
Как собирать:
• Cравнить время на прогон автотестов с мануальными затратами
• Посчитать коэффициент: во сколько раз автотесты дают быстрее фидбек, чем
ручное тестирование
09.11.2015 / 11
Какую информацию это дает клиенту:
• Как часто можно делать поставки в продакшен после изменений
• Принять решение о рисках, связанных с хотфиксами
Тест Сьют
Кол-во тестов в
сьюте
Время
на прогон сьюта
автотестами,
в часах
Время
на прогон сьюта
мануально,
в часах
Смоук Тест Сьют 6 0,2 1,5
Модуль1 39 2,5 9,75
Модуль2 9 0,2 2,25
Модуль3 30 1 7,5
Модуль4 32 1,3 8
Модуль5 15 0,5 3,75
Регресионный сьют 1 191 5,5 47,75
Регресионный сьют 2 204 5,5 51
Регресионный сьют 3 194 5,5 48,5
Всего 720 22,2 180
12. Выводы
• Чем лучше настроены тулы и поставлены процессы – тем лучше!
• Чем хуже и бестолковей процессы по тестированию и
конфигурация ТМ тулов – тем меньше мотивации собирать
информацию руками и тем больше времени тратится на сбор
данных!
• Говорить на языке клиента – нужно и можно!
• Все сложное – удивительно просто!
09.11.2015 / 12
Отсутствие тестового покрытия (сколько всего фич в системе, что тестируется что нет, что важно тестировать что нет)
Часто изменяемые и нечеткие требования к продукту-функциональности
Отсутствие професионального мануального и автоматизированного тестирования (тестирование проводиться конечными пользователями)
Позднее обнаружение дефектов во время разработки
Критические дефекты обнаруживаются в продакшене
Неефективные трудозатраты на тестирование со стороны конечных пользователей (на тестирование уходит от 2х до 6 недель)
Отсутствие гибкости к необходимым изменениям в ходе разработки
Еффективность команды разработчиков
Путем внедрения постоянного тестирования (мануального и автоматизированного) и уменьшением временных затрат бизнес ресурсов
Качество самого тестирования
Путем формализации тест кейсов и баг репортов, запуска автотестов в каждом поставке (релизе)
Уменьшать затраты на тестирование и последующую поддерджку продукта
Путем уменьшения риска в регресионном тестировании и гаранитировании более высокого качества поставок
Стало ли возможно увеличить частоту поставок в продакшен и прийти к continuous integration (чтобы динамика бизнеса на рынке позволяла софту угнаться за изменениями)
- TFS (позволяет построить traceability matrix путем линкования Epic/US к тест кейсам которые можно маркировать как мануальные или привязать к сценарию в Тим сити. Pivot tables в помощь)
Jira (позволяет строить ту же матрицу)
Excel (выписать фичи , все, и прописать что покрыто тестами что нет. И какими)
Тренд уменьшения кол-ва дефектов в продакшене (соот-но затрат и рисков на их фикс)
Увеличение кол-ва дефектов в ходе разработки (сколько потенциальных дефектов не ушло в продакшен)
<автотесты - дают постоянный фидбек о состоянии функциональности– время затраты на прогон ТА в сравнении с мануальным тестированием>
