Доклад Дмитрия Маевского на конференции SQA Days-12, 30 ноября-1 декабря, Минск

1. Одесский национальный политехнический университет
Д.А. Маевский
Прогнозирование процесса
выявления дефектов при
тестировании программного
обеспечения
SQA Days-12 1

2. Цель:
На основании короткого временного ряда данных о выявлении дефектов
в тестируемом ПО (20-25% общего времени тестирования)
прогнозировать:
― Количество дефектов в ПО на момент начала тестирования;
― Длительность тестирования (время выявления всех дефектов);
― Количество вторичных дефектов, которые будут внесены в процессе
тестирования;
Задачи:
1. Разработка новой теории надежности программного обеспечения;
2. Разработка математических моделей для прогнозирования указанных
показателей;
3. Создание информационной технологии прогнозирования;
4. Разработка программного обеспечения для реализации
информационной технологии.
SQA Days-12 2

3. Противоречия существующей теории надежности ПО
― Необходимость моделирования показателей надежности ПС
разного прикладного назначения и отсутствие унифицированных
методов моделирования и процедур их выбора
― Необходимость учета вторичных дефектов, которые вносятся во
время исправления уже выявленных, и отсутствие методов такого
учета
― Наличие большого количества моделей надежности программного
обеспечения и отсутствие единых концептуальных и теоретических
основ построения таких моделей
SQA Days-12 3

4. Теория динамики программных систем. Потоки дефектов
Программная Внешняя среда
система (предметная область)
Первичный поток
Обнаружение Исправление
Внесение
Вторичный поток
Информационная Информационная
структура системы структура ПрО
Дефект – несоответствие информационной структуры ИС информационной структуре ПрО
Ошибка – проявившийся в процессе эксплуатации дефект
Процессы выявления и исправления дефектов можно
рассматривать как процессы переноса в неравновесных системах
SQA Days-12 4

5. Теория динамики программных систем. Математическая модель
взаимодействия потоков дефектов
SQA Days-12 5

6. Динамика программных систем. Теоретические выводы
Три возможных типа кумулятивных кривых выявления дефектов в
программных системах
Тип 2
Тип 3
Тип 1
Тип 1: интенсивность выходного потока больше, чем входного
Тип 2: интенсивность выходного потока равна интенсивности входного
или обнаруженные дефекты не исправляются
Тип 3: интенсивность выходного потока меньше, чем входного
SQA Days-12 6

7. Динамика программных систем. Практическая проверка
Типы кумулятивных кривых в экспериментальных рядах
Michael R. Lyu. Handbook of Software Reliability Engineering.
Диск к книге, глава 10, файл Ss1.dat
SQA Days-12 7

8. Динамика программных систем. Практическая проверка
Типы кумулятивных кривых в экспериментальных рядах
ОС «Андроид»
http://code.google.com/p/android/issues/list
SQA Days-12 8

9. Динамика программных систем. Практическая проверка
Выполнены расчеты надежности для 21 программной системы (123 временных рядов данных ) по
10 моделям надежности. Критерий сравнения моделей – среднее квадратичное отклонение (СКО)
Геом. Лог.
Шнайдер
Показатели ДПС Дж.-М. NHPP в.
Муса Вейб. S-обр. Дюэна Моранд Мусы-
ы Окум.
Количество необработанных рядов 0 22 9 49 52 0 0 0 2 49
Минимальное значение СКО 0,03 0,64 0,28 0,12 0,47 0,02 0,01 0,26 0,16 0,63
Максимальное значение СКО 54,54 902,99 823,77 306,91 10441,03 559,70 245,97 1006,36 6452,16 417,84
Результаты сравнения МНПС (по отношению к СКО модели ДПС)
SQA Days-12 9

10. Математические модели для прогнозирования показателей
надежности
SQA Days-12 10

11. Математические модели для прогнозирования показателей
надежности
Временной интервал повышенного риска внесения вторичных дефектов
Количество втор.
дефектов
Время
Зона повышенного риска:
необходим строгий контроль
процесса тестирования
SQA Days-12 11

12. Информационная технология прогнозирования
Рабочее место тестировщика
Сбор и отображение Хранение Передача
информации о информации о информации о
дефектах дефектах дефектах
(время процессора)
Сервер компании
Систематизация
Передача Расчет показателей информации о
результатов расчета надежности дефектах
SQA Days-12 12

13. Выводы
Что определяем Для чего нужно
Количество дефектов в ПО Знание качества работы и
на момент начала квалификации команды
тестирования разработчика
Длительность Прогнозирование временных и
тестирования материальных затрат на
тестирование.
Прогнозирование времени
прекращения тестирования
Количество внесенных при Оценка качества работы и
тестировании вторичных квалификации команды
дефектов тестировщиков
Границы временного Усиление контроля для снижения
интервала повышенного материальных и временных затрат
риска внесения вторичных
дефектов
SQA Days-12 13