Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Использование метрик в процессе обеспечения качества сложных систем

1,170 views

Published on

Презентация Татьяны Зинченко на SQA Days-16
14-15 ноября 2014, Санкт-Петербург, Россия
www.sqadays.com

Published in: Education
  • Be the first to comment

Использование метрик в процессе обеспечения качества сложных систем

  1. 1. ИСПОЛЬЗОВАНИЕ МЕТРИК В ПРОЦЕССЕ ОБЕСПЕЧЕНИЯ КАЧЕСТВА СЛОЖНЫХ СИСТЕМ ВИКТОР ГРЕБЕНЮК
  2. 2. Гребенюк Виктор http://ru.linkedin.com/pub/viktor-grebenyuk/19/b55/76 Менеджер по координации процесса тестирования Райффайзенбанк Москва КРАТКО О СЕБЕ
  3. 3. Словарь ISTQB (v2.2): Метрика (metric): Шкала измерений и метод, используемый для измерений [ISO 14598] ISO/IEC 14598-1:1999 : The term "metric" has been used in many senses in software engineering publications. In this international standard it is defined as a quantitative scale and method which can be used for measurement. The word "measure" is used to refer to the result of a measurement. Wikipedia: Ме́трика програ́ммного обеспе́чения (англ. software metric) — мера, позволяющая получить численное значение некоторого свойства программного обеспечения или его спецификаций. ЧТО ТАКОЕ МЕТРИКИ?
  4. 4. • отклонения от календарного плана; • отклонения по составу работ/трудозатратам; • возникновение необходимости доработок или исправления проблем после окончания запланированных работ. МЕТРИКИ, КАК СРЕДСТВО ИДЕНТИФИКАЦИИ РИСКОВ
  5. 5. • нет универсального набора метрик; • нет единого подхода к использованию; • нет единого подхода к классификации; • много метрик - плохо; • некоторые метрики могут навредить; • нюансы тестируемых систем, организации, процессов. ПОЧЕМУ ВЫБРАТЬ МЕТРИКИ НЕ ВСЕГДА ПРОСТО?
  6. 6. Сложная система — система, состоящая из множества взаимодействующих составляющих, вследствие чего сложная система приобретает новые свойства, которые отсутствуют на подсистемном уровне и не могут быть сведены к свойствам подсистемного уровня. http://ru.wikipedia.org/wiki/Сложная_система ЧТО ТАКОЕ «СЛОЖНАЯ СИСТЕМА»?
  7. 7. 12 линий НАПРИМЕР… МЕТРО? 195 станций 2 463 800 000 перевезённых за год пассажиров **данные годового отчёта Московского метрополитена за 2012 год 9 279 083 перевезённых за день пассажиров 39 946 работников метрополитена 3 656 среднесуточный эксплуатируемый парк вагонов
  8. 8. • разная критичность подсистем; • разные технологии и языки программирования; • отсутствие доступа к исходному коду; • разное качество аналитики, разработки, тестирования; • нет унификации между информацией о найденных дефектах, деталях выполняемых испытаний и пр. В ЧЕМ ОСОБЕННОСТЬ ВЫБОРА МЕТРИК ДЛЯ СЛОЖНЫХ ИНФОРМАЦИОННЫХ СИСТЕМ?
  9. 9. КАК ПОЛУЧИТЬ МАКСИМУМ ИНФОРМАЦИИ ИЗ ВЫБРАННОГО МАССИВА МЕТРИК?
  10. 10. Приведём различные виды и типы метрик к 2 видам: а. Метрики, описывающие качество продукта; б. Метрики, характеризующие качество процесса. УПОРЯДОЧИВАЕМ И КЛАССИФИЦИРУЕМ МЕТРИКИ КАЧЕСТВА Используемые метрики - плотность дефектов в коде/по функциональным областям; - полнота покрытия кода или требований тестами; - распределение инцидентов по типам; - распределение дефектов по фазам тестирования; - уровень удовлетворённости конечных пользователей продуктом; - эффективность нахождения дефектов во время тестирования.
  11. 11. Обобщим данные отдельных метрик используя шкалу оценки от 0 до 10 (чем выше качество, тем выше оценка). ОБОБЩАЕМ ДАННЫЕ ОТДЕЛЬНЫХ МЕТРИК Система Качество продукта Качество процесса System A System B System C System D System E 7,78 5,30 4,80 2,46 3,58 1,75 6,78 6,45 7,02 3,40
  12. 12. I четверть (высокое качество процессов и продукта) – оптимальное соотношение уровня качества процессов и продукта II четверть (высокое качество процессов, но низкое качество продукта) – хорошее/неплохое состояние III четверть (низкое качество процессов и продукта) – наихудшее состояние IV четверть (низкое качество процессов, но высокое качество продукта) – неопределённое состояние ВИЗУАЛИЗИРУЕМ ПОКАЗАТЕЛИ КАЧЕСТВА 0 5 10 5 10 КАЧЕСТВОПРОЦЕССА КАЧЕСТВО ПРОДУКТА
  13. 13. I четверть (высокое качество процессов и продукта) – оптимальное соотношение уровня качества процессов и продукта II четверть (высокое качество процессов, но низкое качество продукта) – хорошее/неплохое состояние III четверть (низкое качество процессов и продукта) – наихудшее состояние IV четверть (низкое качество процессов, но высокое качество продукта) – неопределённое состояние ВИЗУАЛИЗИРУЕМ ПОКАЗАТЕЛИ КАЧЕСТВА 0 5 10 5 10 КАЧЕСТВОПРОЦЕССА КАЧЕСТВО ПРОДУКТА
  14. 14. I четверть (высокое качество процессов и продукта) – оптимальное соотношение уровня качества процессов и продукта II четверть (высокое качество процессов, но низкое качество продукта) – хорошее/неплохое состояние III четверть (низкое качество процессов и продукта) – наихудшее состояние IV четверть (низкое качество процессов, но высокое качество продукта) – неопределённое состояние ВИЗУАЛИЗИРУЕМ ПОКАЗАТЕЛИ КАЧЕСТВА 0 5 10 5 10 КАЧЕСТВОПРОЦЕССА КАЧЕСТВО ПРОДУКТА
  15. 15. I четверть (высокое качество процессов и продукта) – оптимальное соотношение уровня качества процессов и продукта II четверть (высокое качество процессов, но низкое качество продукта) – хорошее/неплохое состояние III четверть (низкое качество процессов и продукта) – наихудшее состояние IV четверть (низкое качество процессов, но высокое качество продукта) – неопределённое состояние ВИЗУАЛИЗИРУЕМ ПОКАЗАТЕЛИ КАЧЕСТВА 0 5 10 5 10 КАЧЕСТВОПРОЦЕССА КАЧЕСТВО ПРОДУКТА
  16. 16. Шаг 1. Определим критичность подсистем. Выставим уровень критичности каждой из подсистем по шкале от 1 до 5 (тем выше риск, тем выше оценка). Этот показатель будет определять «вес» системы на графике. Шаг 2. Определим зависимости подсистем и нанесём на диаграмму их отображение. Это сделает возможным получение дополнительной информации о рисках, связанных с зависимыми системами. ДОБАВЛЯЕМ НАГЛЯДНОСТИ
  17. 17. ОТОБРАЖАЕМ ПОЛУЧЕННЫЕ ДАННЫЕ НА ДИАГРАММЕ System A System B System C System D System E 0 1 2 3 4 5 6 7 8 9 10 0 1 2 3 4 5 6 7 8 9 10 КАЧЕСТВО ПРОДУКТА КАЧЕСТВОПРОЦЕССА II I III IV
  18. 18. • Наглядно отобразили текущую ситуацию с качеством в системы целом, как и для каждой подсистемы; • Упорядочили всё множество используемых метрик и показателей качества; • Избежали длинных аннотаций и пояснений; • Выделили масштабы систем и наиболее критичные связи. ЧЕМ УДОБЕН ТАКОЙ МЕТОД?
  19. 19. Гребенюк Виктор http://ru.linkedin.com/pub/viktor-grebenyuk/19/b55/76 ВОПРОСЫ?
  20. 20. 1. Kan S.H., Metrics and Models in Software Quality Engineering, Second Edition. - Addison Wesle, 2002. - 560 c. 2. Certified Tester, Expert Level Syllabus, Ed. by Veenendaal E., Bath G., Evans I. - ISTQB, 2011 Режим доступа: http://www.istqb.org/downloads/finish/18/12.html 3. Kaner C., Bond W.P., Software Engineering Metrics: What Do They Measure and How Do We Know?, 10th International Software Metrics Symposium, Metrics 2004. Режим доступа: http://testingeducation.org/a/3 4. Hoffman D. The Darker Side of Metrics // Сайт компании Software Quality Methods, LLC. Режим доступа: http://www.softwarequalitymethods.com/Papers/DarkMets%20Paper.pdf 5. Гребенюк В.М. О методах определения эффективности и достаточности мер по обеспечению качества сложных информационных систем // INTERMATIC – 2013, Материалы Международной научно-технической конференции, 2 – 6 декабря 2013 г., Москва, часть 6, c. 11-12. 6. SWEBOK v3.0, edited by Bourque P., Fairley R.E. – IEEE, 2014 Режим доступа: www.swebok.org 7. Northrop L. at al, Ultra-Large-Scale Systems: The Software Challenge of the Future. - Carnegie Mellon University, 2006. - 150 c.. 8. ГОСТ Р 51901-2002 "Управление надежностью. Анализ риска технологических систем" 9. ГОСТ 27.310-95 "Надежность в технике. Анализ видов, последствий и критичности отказов. Основные положения" 10. Схемы компонентов UML: справочные материалы // Microsoft Developer Network. Режим доступа: http://msdn.microsoft.com/ru-ru/library/dd409390(v=vs.100).aspx (дата обращения 19.03.2014) 11. Гребенюк В.М. Использование метрик в процессе обеспечения качества сложных информационных систем // Интернет-журнал «INTERNATIONAL JOURNAL OF OPEN INFORMATION TECHNOLOGIES» [Электронный ресурс]. – Лаборатория Открытых Информационных Технологий факультета ВМК МГУ им. М.В. Ломоносова , № 4 2014 – Режим доступа: http://injoit.org/index.php/j1/article/view/94/69. 12. Годовой отчет Московского метрополитена за 2012 год // http://mosmetro.ru/upload/1716/2012.pdf ЛИТЕРАТУРА ПО ТЕМЕ

×