• Save
Test management
Upcoming SlideShare
Loading in...5
×
 

Test management

on

  • 380 views

 

Statistics

Views

Total Views
380
Views on SlideShare
380
Embed Views
0

Actions

Likes
1
Downloads
0
Comments
0

0 Embeds 0

No embeds

Accessibility

Categories

Upload Details

Uploaded via as Microsoft PowerPoint

Usage Rights

© All Rights Reserved

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Processing…
Post Comment
Edit your comment
  • Баг-трекеры, статусы ошибок, жизненный цикл ошибок
  • The separation of debugging from testing was initially introduced by Glenford J. Myers in 1979.[13] Although his attention was on breakage testing ("a successful test is one that finds a bug"[13][14]) it illustrated the desire of the software engineering community to separate fundamental development activities, such as debugging, from that of verification. Dave Gelperin and William C. Hetzel classified in 1988 the phases and goals in software testing in the following stagesThe separation of debugging from testing was initially introduced by Glenford J. Myers in 1979.[13] Although his attention was on breakage testing ("a successful test is one that finds a bug"[13][14]) it illustrated the desire of the software engineering community to separate fundamental development activities, such as debugging, from that of verification. Dave Gelperin and William C. Hetzel classified in 1988 the phases and goals in software testing in the following stagesThe origins of software testing can actually be traced back to the fifties, when the primary method of testing anything was debuggingIn the late seventies the approach evolved to one of destruction; basically, the testers woul break down the code to find holes or gaps in itThis method was effective but it was not until the advent of prevention oriented methodologies that we began to enjoy the benefits of more robust software applications
  • Технические риски: определение требований (наличие), способность обеспечить выполнение требований в условиях ограничений, качество дизайна, кодирование и тестированиеОрганизационные риски: квалификация, сокращения, тренинги и обучение, коммуникация, анализ и улучшение процессаРиски третьей стороны: поставщики, контрактные обязательства
  • Типовые показатели: производительность, квалификация, время, необходимое на разные фазы тестированияAnalytical vs. Heuristic
  • Результаты тестирования влияют на корректировку оценки, но не на первоначальную оценкуРезультаты тестирования предыдущих проектов больше относятся к пункту «квалификация разработчика»
  • Под тестовыми данными можно также подразумевать тестовые сценарии (для приемочного тестирования или если их запросили у заказчика)
  • Выполнение тестов: выполнены / не выполнены, успешно выполнены / проваленыНайденные ошибки: важность, срочность, статус

Test management Test management Presentation Transcript

  • Тест-менеджмент
  •  50е годы – тестирование зародилось какпроцесс нахождения и устранениядефектов (debugging) 70е годы – было предложено разграничитьпроцессы тестирования (testing) и отладки(debugging) В наши дни тестирование все большеиграет превентивную, а не реактивную роль Дальнейшее развитие в наших руках 
  • Тестировщик ПрограммистТестирование находитсбои в системе,вызванные дефектомПовторное тестированиеподтверждает, что послеотладки система работаетбез сбоевВ процессе отладкипрограммист находитпричину дефекта, вноситкорректировки иудостоверяется в ихправильности
  • Тестирование – это одна из техник контролякачества, включающая в себя выполнение задач попланированию работ, проектированию тестов,выполнению тестирования и анализу полученныхрезультатовТестирование ПО – проверка соответствия междуреальным и ожидаемым поведением программы,осуществляемая на конечном наборе тестов,выбранном определенным образом.
  • Ошибка (error)– некорректный результат,который является результатом действий,выполненных или не выполненныхчеловекомДефект (fault or bug) – изъян в отдельномкомпоненте системы или в системе вцелом, из-за которого данныйкомпонент или система не могуткорректно выполнять свои функции.Сбой (failure) – несоответствие работысистемы требованиям к ней.Дефект не всегда приводит к сбоям всистеме!ОшибкаДефектСбой
  • Программноеобеспечение – всеувеличивающасячасть нашей с вамижизниОшибки в ПО могутиметьсерьезныепоследствия!
  •  Человеческий фактор Требования к функционалу Ограниченное время на разработку Сложность кода Комплексные системы
  • ПовышениекачестваУменьшениерисков
  • Качество ПО – степень соответствияхарактеристик, присущих программномуобеспечению, указанным требованиям к немуи/или потребностям и ожиданиямпользователя (клиента)
  •  Тестирование – это не только выполнениетестов Задачи тестировщика до выполнения тестов:◦ Планирование◦ Проверка документации, кода◦ Определение условий тестирования◦ Создание тестовых сценариев Задачи тестировщика после выполения тестов:◦ Проверка результатов◦ Оценка критериев завершения тестирования◦ Последующий контроль◦ Документирование тестирования и отчетность
  •  Определение соответствия поставляемогоПО условиям контракта, юридическимнормам Предоставление информации о качестве ПО Предоставление информации офункциональных и нефункциональныххарактеристиках ПО Оценка соответствия стандартам(сертификация)Не забываем учиться на ошибках!
  •  Нацелен на все этапы жизненного цикла Покрывает все виды деятельности Включает процесс разработки, внедрения исопровождения Может предполагать разработку тест-планадля всего проекта в целом
  • КонтрольВнедрение ивыполнениеОценка метриктестирования иотчетностьПланированиеАнализ и дизайнЗавершениетестированияBEGINENDТест-планСтратегияП Р О Е К ТЭ Т А П
  •  Нацелено на систему в целом либо наотдельные еѐ элементы Зависит от внутренней политики, стратегии,целей, рисков, ограничений Продолжается в течение всего проекта Подлежит постоянному пересмотру иизменению
  •  Определение стратегии тестирования Определение объектов и целейтестирования Измерение уровня риска, определениемероприятий по его минимизации Определение уровней и объемовтестирования Распределение / координированиересурсов Составление графика выполнения работ Определений критериев мониторинга
  •  Превентивная (предупредительная) –тестирование начинается на раннихстадиях разработки Реактивная (реагирующая) – дизайн ивыполнение тестирования только послезавершения разработки
  •  Уровень рисков Квалификация и опыт Используемые инструменты Цели тестирования Регуляторные нормы Предметная сфера, отрасль использования
  •  Проектные риски◦ Организационные◦ Технические (относятся к процессу выполненияпроекта)◦ Риски третьей стороны Риски, связанные с продуктом:◦ Вероятность сбоя◦ Несоответствие требованиям◦ Низкая конкурентоспособность Риски для окружения (людей, среды,компании)◦ Потенциальные ущерб
  • Тестирование направлено на контроль иснижение уровня риска Снижение вероятности возникновения сбоя Определение мер предосторожности Предоставление информации обимеющемся уровне риска
  • Наличие и уровень рисков определяют: Стратегию тестирования Используемые техники Объемы тестирования Приоритезацию тестов График выполнения
  •  Постоянный анализ ситуации и оценкавозможных рисков Определение весомости рисков Внедрение предупредительных мер
  • Test estimation Метрический подход◦ Аналогичные проекты◦ Предыдущие проекты◦ Типовые показатели Экспертный подход◦ Знания экспертов◦ Предыдущий опыт◦ Понимание проекта
  •  Характеристики продукта◦ Размер◦ Уровень качества◦ Сложность◦ Наличие документации◦ Требования Характеристики процесса разработки◦ Организация процесса◦ Инструменты◦ Квалификация◦ Временные ограничения Результаты тестирования◦ Обнаруженные ошибки◦ Необходимость повторного тестирования
  •  Опрелеление критериев начала /завершения тестирования Трансформация общих целей тестированияв конкретные задачи Дополнение тест-плана тестовымипроцедурами и тестовыми сценариями Уточнение объемов и сроков тестирования
  •  Изучение требований и спецификации Оценка возможности тестирования Определение условий тестирования Дизайн и приоритезация тестовыхсценариев Описание тестовых данных Определение ожидаемых результатов,критериев успешного прохождения теста Определение тестовой среды,инфраструктуры и инструментов
  •  Готовность и доступ к среде тестирования Наличие / готовность инструментовтестирования Готовность объекта тестирования Доступ к тестовым данным Наличие / готовность ресурсов
  •  Тестовое покрытие Качество продукта Остаточные риски Проектные ограниченияTest metrics
  •  Количество выполненных тест-кейсов Количество протестированных требований Часть кода, покрытого тестом
  •  Колличество обнаруженных ошибок Важность «открытых» (не исправленых)ошибок Оценочная надежность продукта
  •  Невыполненные тест-кейсы Неисправленные ошибки Непротестированные требования
  •  Бюджет Сроки Требования рынка Проектные риски
  •  Определение процедуры тестирования◦ Детализация тестовых сценариев◦ Создание тестовой процедуры◦ Создание тестовых данных◦ Написание скриптов Запуск среды тестирования
  •  Выполнение теста Протоколирование результатов Сравнение фактических результатов сожидаемыми Анализ несоответствий Повторное тестирование
  •  Оценка результатов тестирования Определение необходимости дальнейшеготестирования Необходимость изменения критериевзавершения тестирования
  •  Объем тестирования зависит от:◦ Уровня ожидаемого риска (технического,проектного, для бизнеса в целом)◦ Время и бюджета проекта◦ Наличия и квалификации ресурсов◦ ...Тестирование должно предоставитьинформацию в объеме достаточном дляпринятия взвешенного решения озавершении этапа в разработке ПО и/иливыпуске новой версии
  •  Подведение итогов и предоставлениерекомендаций:◦ Что произошло за отчетный период◦ Анализ открытых задач, ошибок◦ Эффективность и целесообразность◦ Необходимость дальнейшего тестирования◦ Остаточные риски◦ Оценка качества◦ Уровень уверенности (level of confidence)
  •  Оценка возможности релиза (выпуска) Анализ незавершенных задач Подписание протоколов Архивация тестовых атрибутов Определение возможностей улучшенияпроцесса
  •  Мониторинг процесса и результатовтестирования Сравнение фактического прогресса сзапланированным Текущая отчетностьКорректировка плана и действий!
  •  Критерии начала тестирования Выполнение тестов Найденные (не закрытые) ошибки Критерии завершения тестирования Субъективное мнение Этапы проекта
  • Своевременное получение информации отекущем состоянии процесса тестирования ивнесение необходимых изменений в план /процесс / график / распределение ресурсовМожет предполагать изменения и на другихэтапах жизненного цикла разработки ПО