Презентация Татьяны Зинченко на SQA Days-16 14-15 ноября 2014, Санкт-Петербург, Россия www.sqadays.com

1. ИСПОЛЬЗОВАНИЕ МЕТРИК
В ПРОЦЕССЕ ОБЕСПЕЧЕНИЯ КАЧЕСТВА
СЛОЖНЫХ СИСТЕМ
ВИКТОР ГРЕБЕНЮК

2. Гребенюк Виктор
http://ru.linkedin.com/pub/viktor-grebenyuk/19/b55/76
Менеджер по координации процесса тестирования
Райффайзенбанк
Москва
КРАТКО О СЕБЕ

3. Словарь ISTQB (v2.2): Метрика (metric): Шкала измерений и метод,
используемый для измерений [ISO 14598]
ISO/IEC 14598-1:1999 : The term "metric" has been used in many senses
in software engineering publications. In this international standard it is
defined as a quantitative scale and method which can be used for
measurement. The word "measure" is used to refer to the result of a
measurement.
Wikipedia: Ме́трика програ́ммного обеспе́чения (англ. software
metric) — мера, позволяющая получить численное значение
некоторого свойства программного обеспечения или его
спецификаций.
ЧТО ТАКОЕ МЕТРИКИ?

4. • отклонения от календарного плана;
• отклонения по составу работ/трудозатратам;
• возникновение необходимости доработок или
исправления проблем после окончания
запланированных работ.
МЕТРИКИ, КАК СРЕДСТВО
ИДЕНТИФИКАЦИИ РИСКОВ

5. • нет универсального набора метрик;
• нет единого подхода к использованию;
• нет единого подхода к классификации;
• много метрик - плохо;
• некоторые метрики могут навредить;
• нюансы тестируемых систем, организации,
процессов.
ПОЧЕМУ ВЫБРАТЬ МЕТРИКИ НЕ
ВСЕГДА ПРОСТО?

6. Сложная система — система, состоящая из множества
взаимодействующих составляющих, вследствие чего
сложная система приобретает новые свойства, которые
отсутствуют на подсистемном уровне и не могут быть
сведены к свойствам подсистемного уровня.
http://ru.wikipedia.org/wiki/Сложная_система
ЧТО ТАКОЕ «СЛОЖНАЯ СИСТЕМА»?

7. 12
линий
НАПРИМЕР… МЕТРО?
195
станций
2 463 800 000
перевезённых за год пассажиров
**данные годового отчёта Московского метрополитена за 2012 год
9 279 083
перевезённых за день пассажиров
39 946
работников метрополитена
3 656
среднесуточный эксплуатируемый
парк вагонов

8. • разная критичность подсистем;
• разные технологии и языки программирования;
• отсутствие доступа к исходному коду;
• разное качество аналитики, разработки, тестирования;
• нет унификации между информацией о найденных
дефектах, деталях выполняемых испытаний и пр.
В ЧЕМ ОСОБЕННОСТЬ ВЫБОРА
МЕТРИК ДЛЯ СЛОЖНЫХ
ИНФОРМАЦИОННЫХ СИСТЕМ?

9. КАК ПОЛУЧИТЬ МАКСИМУМ
ИНФОРМАЦИИ ИЗ ВЫБРАННОГО
МАССИВА МЕТРИК?

10. Приведём различные виды и типы метрик к 2 видам:
а. Метрики, описывающие качество продукта;
б. Метрики, характеризующие качество процесса.
УПОРЯДОЧИВАЕМ И
КЛАССИФИЦИРУЕМ МЕТРИКИ
КАЧЕСТВА
Используемые метрики
- плотность дефектов в коде/по функциональным областям;
- полнота покрытия кода или требований тестами;
- распределение инцидентов по типам;
- распределение дефектов по фазам тестирования;
- уровень удовлетворённости конечных пользователей продуктом;
- эффективность нахождения дефектов во время тестирования.

11. Обобщим данные отдельных метрик используя шкалу
оценки от 0 до 10 (чем выше качество, тем выше оценка).
ОБОБЩАЕМ ДАННЫЕ ОТДЕЛЬНЫХ
МЕТРИК
Система Качество продукта Качество процесса
System A
System B
System C
System D
System E
7,78
5,30
4,80
2,46
3,58
1,75
6,78
6,45
7,02
3,40

12. I четверть
(высокое качество процессов
и продукта) – оптимальное
соотношение уровня
качества процессов и продукта
II четверть
(высокое качество процессов,
но низкое качество продукта)
– хорошее/неплохое состояние
III четверть
(низкое качество процессов
и продукта) – наихудшее
состояние
IV четверть
(низкое качество процессов,
но высокое качество продукта)
– неопределённое состояние
ВИЗУАЛИЗИРУЕМ ПОКАЗАТЕЛИ
КАЧЕСТВА
0 5 10
5
10
КАЧЕСТВОПРОЦЕССА
КАЧЕСТВО ПРОДУКТА

13. I четверть
(высокое качество процессов
и продукта) – оптимальное
соотношение уровня
качества процессов и продукта
II четверть
(высокое качество процессов,
но низкое качество продукта)
– хорошее/неплохое состояние
III четверть
(низкое качество процессов
и продукта) – наихудшее
состояние
IV четверть
(низкое качество процессов,
но высокое качество продукта)
– неопределённое состояние
ВИЗУАЛИЗИРУЕМ ПОКАЗАТЕЛИ
КАЧЕСТВА
0 5 10
5
10
КАЧЕСТВОПРОЦЕССА
КАЧЕСТВО ПРОДУКТА

14. I четверть
(высокое качество процессов
и продукта) – оптимальное
соотношение уровня
качества процессов и продукта
II четверть
(высокое качество процессов,
но низкое качество продукта)
– хорошее/неплохое состояние
III четверть
(низкое качество процессов
и продукта) – наихудшее
состояние
IV четверть
(низкое качество процессов,
но высокое качество продукта)
– неопределённое состояние
ВИЗУАЛИЗИРУЕМ ПОКАЗАТЕЛИ
КАЧЕСТВА
0 5 10
5
10
КАЧЕСТВОПРОЦЕССА
КАЧЕСТВО ПРОДУКТА

15. I четверть
(высокое качество процессов
и продукта) – оптимальное
соотношение уровня
качества процессов и продукта
II четверть
(высокое качество процессов,
но низкое качество продукта)
– хорошее/неплохое состояние
III четверть
(низкое качество процессов
и продукта) – наихудшее
состояние
IV четверть
(низкое качество процессов,
но высокое качество продукта)
– неопределённое состояние
ВИЗУАЛИЗИРУЕМ ПОКАЗАТЕЛИ
КАЧЕСТВА
0 5 10
5
10
КАЧЕСТВОПРОЦЕССА
КАЧЕСТВО ПРОДУКТА

16. Шаг 1. Определим критичность подсистем.
Выставим уровень критичности каждой из подсистем по шкале от 1
до 5 (тем выше риск, тем выше оценка). Этот показатель будет
определять «вес» системы на графике.
Шаг 2. Определим зависимости подсистем и нанесём на
диаграмму их отображение. Это сделает возможным получение
дополнительной информации о рисках, связанных с зависимыми
системами.
ДОБАВЛЯЕМ НАГЛЯДНОСТИ

17. ОТОБРАЖАЕМ ПОЛУЧЕННЫЕ
ДАННЫЕ НА ДИАГРАММЕ
System A
System B
System C
System D
System E
0
1
2
3
4
5
6
7
8
9
10
0 1 2 3 4 5 6 7 8 9 10
КАЧЕСТВО ПРОДУКТА
КАЧЕСТВОПРОЦЕССА
II I
III IV

18. • Наглядно отобразили текущую ситуацию с качеством в
системы целом, как и для каждой подсистемы;
• Упорядочили всё множество используемых метрик и
показателей качества;
• Избежали длинных аннотаций и пояснений;
• Выделили масштабы систем и наиболее критичные
связи.
ЧЕМ УДОБЕН ТАКОЙ МЕТОД?

19. Гребенюк Виктор
http://ru.linkedin.com/pub/viktor-grebenyuk/19/b55/76
ВОПРОСЫ?

20. 1. Kan S.H., Metrics and Models in Software Quality Engineering, Second Edition. - Addison Wesle, 2002. - 560 c.
2. Certified Tester, Expert Level Syllabus, Ed. by Veenendaal E., Bath G., Evans I. - ISTQB, 2011 Режим доступа:
http://www.istqb.org/downloads/finish/18/12.html
3. Kaner C., Bond W.P., Software Engineering Metrics: What Do They Measure and How Do We Know?, 10th International
Software Metrics Symposium, Metrics 2004. Режим доступа: http://testingeducation.org/a/3
4. Hoffman D. The Darker Side of Metrics // Сайт компании Software Quality Methods, LLC. Режим доступа:
http://www.softwarequalitymethods.com/Papers/DarkMets%20Paper.pdf
5. Гребенюк В.М. О методах определения эффективности и достаточности мер по обеспечению качества сложных
информационных систем // INTERMATIC – 2013, Материалы Международной научно-технической конференции, 2
– 6 декабря 2013 г., Москва, часть 6, c. 11-12.
6. SWEBOK v3.0, edited by Bourque P., Fairley R.E. – IEEE, 2014 Режим доступа: www.swebok.org
7. Northrop L. at al, Ultra-Large-Scale Systems: The Software Challenge of the Future. - Carnegie Mellon University, 2006.
- 150 c..
8. ГОСТ Р 51901-2002 "Управление надежностью. Анализ риска технологических систем"
9. ГОСТ 27.310-95 "Надежность в технике. Анализ видов, последствий и критичности отказов. Основные
положения"
10. Схемы компонентов UML: справочные материалы // Microsoft Developer Network. Режим доступа:
http://msdn.microsoft.com/ru-ru/library/dd409390(v=vs.100).aspx (дата обращения 19.03.2014)
11. Гребенюк В.М. Использование метрик в процессе обеспечения качества сложных информационных систем //
Интернет-журнал «INTERNATIONAL JOURNAL OF OPEN INFORMATION TECHNOLOGIES» [Электронный ресурс]. –
Лаборатория Открытых Информационных Технологий факультета ВМК МГУ им. М.В. Ломоносова , № 4 2014 –
Режим доступа: http://injoit.org/index.php/j1/article/view/94/69.
12. Годовой отчет Московского метрополитена за 2012 год //
http://mosmetro.ru/upload/1716/2012.pdf
ЛИТЕРАТУРА ПО ТЕМЕ