Your SlideShare is downloading. ×
0
метрик?Какая польза от метрик                      SPB SQA Group                           13.10.2011                  Сер...
Давайте познакомимся                                    В IT с 1996 года. Работал по нескольким IT                        ...
Правила игры Активное участие Слышим и уважаем другие мнения Нет фанатизму Внимание! Будет приз! За наиболее курьезную ист...
Тренинги, обучениеТренинги   Измерения в разработке ПО. Как, что и зачем измерять   Метрики: проекты, процессы   Аспекты н...
События careerlab.ruСеминар «Тестирование в Microsoft Test and Lab Management» (В.Гусаров)   28 октября - семинар, посвяще...
Содержание Зачем вообще что-то измерять? Основные концепции метрик Области применимости метрик   Обзор областей   Подробне...
Разминка           Какие метрики собирались?             Чем это было полезно?                   www.it-tuning.com        ...
РазминкаКакие метрики собирались,           Чем это полезно?собираете?                            www.it-tuning.com       ...
Зачем вообще что-то измерять?Зачем? Непрерывно оценивать качество процесса, продукта, услугиИнструментарий. Контрольная ди...
Зачем вообще что-то измерять?   Зачем? Улучшать процессы, продукт, сервис   Инструментарий. Процесс улучшений             ...
Зачем вообще что-то измерять?Зачем? Делать приемку товаров/услугИнструментарий. Договорные обязательства, специфический  и...
Зачем вообще что-то измерять?Зачем? Оценивать достижение целейИнструментарий. План действий и система измерений отражающие...
Зачем вообще что-то измерять?                                     Непр                                     оцен           ...
Основные концепции метрик         www.it-tuning.com                             14                                  14
Основные Концепции МетрикНемного Философии               Нельзя управлять тем, что нельзя измерить.                       ...
Основные Концепции МетрикНеобходимые условия успеха при внедрении метрик                        Люди          Процессы    ...
Основные Концепции Метрик        Информационные потребности и информационный продуктИнформационные                        ...
Основные Концепции МетрикСтруктура показателей      Миссия, видение, стратегические цели бизнеса. Информационные          ...
Основные Концепции МетрикСтруктура показателей                                     Снизить %                              ...
Разминка           100 дефектов в очередной итерации.  По каким признакам вы оцените это много или мало?                  ...
Понятие Размера (Size) Что есть единицей     размера?                     www.it-tuning.com                               ...
Понятие Размера (Size)Взаимосвязь между качеством, количеством, размером и  производительностью  Количество = (производите...
Понятие Размера (Size)                                                   Ка чес т в оПр  ои       зво             ди      ...
Понятие Размера (Size)Оценка размера (Size Estimate) в некоторых условных единицах используя  определенные методики.Методи...
Понятие Размера (Size)Зачем нужен Size:  Абстрагирование от уровня знаний и опыта исполнителей  Отображение реального объе...
Области применимости метрик Обзор областей Подробнее о качестве продукта                  www.it-tuning.com               ...
Обзор областей Качество продукта Производительность: проекта, персональная Качество процессов производства Сервисные метри...
Качество продуктаПродукт  Внешний – отдается заказчику  Внутренний – результаты фаз, инженерных и  управленческих практикО...
Качество продукта Defect density (степень качества)   Плотность дефектов (Defect Density) – количество дефектов на   едини...
Качество продукта Defect removal efficiency (степень качества заказчику)   Эффективность устранения дефектов (Defect Remov...
Качество продукта Defect origin (источник проблем)   Происхождение дефектов (Defect Origin) – показывает, на какой   стади...
Качество продукта Defect removal cost (стоимость устранения дефектов), или Cost of Poor Quality (стоимость плохого качеств...
Качество продуктаПри подсчете плотности дефектов (Defect Density) и эффективность  устранения дефектов (Defect Removal Eff...
Условия успешности внедрения и применения                  метрик                 www.it-tuning.com                       ...
РазминкаКакие были/есть основные препятствия для эффективного                использования метрик?                      ww...
Внедрение метрикВнедрение метрик должно рассматриваться как проект, со всеми ему  присущими характеристиками (объем работ,...
Внедрение метрикПоддержка руководства  Основные положения программы измерений  (что, зачем)  Поддержка других заинтересова...
Внедрение метрикПлан по подготовке персонала  Необходимая начальная подготовка «внедренцев» и  пользователей – тренинги (с...
Внедрение метрикДанные  Источники данных и методы сбора данных  Требования к частоте (регулярность и/или  события) измерен...
Кейсы реального использования метрик  Поддержка продукта  Центр тестирования  Слабое звено                  www.it-tuning....
РазминкаКурьезная история от слушателей,либо неправильного примененияметрик, либо вынесения суждений,принятия решений на о...
Использование метрикКейс «Поддержка продукта»   Работа – устранение дефектов, небольшие обновления   Модель – выделенная к...
Использование метрикКейс «Центр тестирования»   Работа – тестирование продукта   Модель – выделенная команда тестирования ...
Использование метрикКейс «Слабое звено»   Работа – разработка продукта, front end, backend, разработка требований,   тести...
Полезные ссылки Software Measurement: Establish - Extract - Evaluate – Execute. Christof Ebert, Reiner Dumke Measuring the...
Спасибо за внимание                                     Контакт:                          Сергей Поволяшко                ...
Upcoming SlideShare
Loading in...5
×

Какая польза от метрик?

1,739

Published on

Об измерениях в разработке ПО слышали все. Но какая от польза от их внедрения? И какие необходимые условия внедрения?

Вашему вниманию будут представлены различные способы измерения качества продукта, как их можно использовать для улучшений рабочих процессов, определения проблем, поддержки контрактных обязательств, оценки достижения целей индивидуума, отдела или компании. Также вы узнаете, как выбрать и внедрить действительно нужные метрики.

Published in: Technology
0 Comments
1 Like
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total Views
1,739
On Slideshare
0
From Embeds
0
Number of Embeds
1
Actions
Shares
0
Downloads
33
Comments
0
Likes
1
Embeds 0
No embeds

No notes for slide

Transcript of "Какая польза от метрик?"

  1. 1. метрик?Какая польза от метрик SPB SQA Group 13.10.2011 Сергей Поволяшко, РМР www.it-tuning.com 1 1
  2. 2. Давайте познакомимся В IT с 1996 года. Работал по нескольким IT специальностям. С 2001 года управляю операционной деятельностью и проектами. Место работы – Team International, LLC. www.teaminternational.com. Сергей Поволяшко Веду проект ИТ Тюнинг, www.it-tuning.com.Достижения: Настройка управления проектами и операционной Лидирующее участие во деятельности внедрении CMMI L3, 2008 Project Management Professional (PMP), PMI. 2007 ITIL Foundation V3. 2009 www.it-tuning.com 2 2
  3. 3. Правила игры Активное участие Слышим и уважаем другие мнения Нет фанатизму Внимание! Будет приз! За наиболее курьезную историю от слушателей, либо неправильного применения метрик, либо вынесения суждений, принятия решений на основании ощущений (без фактов и цифр). Думаем, вспоминаем! www.it-tuning.com 3 3
  4. 4. Тренинги, обучениеТренинги Измерения в разработке ПО. Как, что и зачем измерять Метрики: проекты, процессы Аспекты непрерывности ИТ бизнеса – 02.12.2011, Москва Управление Рисками. Классика, Agile, бизнес, заказчик Расписание работ. Как сделать сроки реалистичными Эволюционный ускоритель. Путь к эффективной организацииТренинговый Конструктор. Гибкое формирование тренинговых иконсультационных программ для ИТ компаний. Альтернатива стандартным одно- и двух- дневным тренингам Тренинговые модули по 4 часа, фокус на одну тему Полтора десятка модулей Из этих модулей можно собрать, как из конструктора, программу тренинга, отвечающую потребностям слушателей, компании www.it-tuning.com 4 4
  5. 5. События careerlab.ruСеминар «Тестирование в Microsoft Test and Lab Management» (В.Гусаров) 28 октября - семинар, посвященный тестированию с использованием Microsoft Test and Lab Management. В качестве спикера выступит Владимир Гусаров. Автор познакомит слушателей с возможностями развертывания тестовых сред, написанием test cases, работой с тестовыми планами, написанием автоматических тестов.Семинар «Разработка баз данных с использованием Visual Studio 2010» (А.Шамрай) 3 ноября - семинар, посвященный инструментам для разработки баз данных. Александр Шамрай продемонстрирует возможности инструментов Visual Studio 2010 для разработки и развертывания баз данных, обеспечения их качества и интегрирование в общий процесс разработки ПО организации.Конференция Internet Life 15 ноября в Московском Центре международной торговли состоится конференция Internet Life 2011. Эксперты рассмотрят новейшие технологии и продукты в рамках трех профильных потоков: social experience, business и entertainment. Мероприятие имеет широкую целевую аудиторию и предназначено как для стартаперов и топ- менеджеров ИТ-компаний, так и для маркетологов, PR-специалистов и просто любители Интернета. Для тех, кто хочет получить дополнительные и более продвинутые знания, предлагается отдельная зона Advanced. Все доклады читаются в России впервые. www.it-tuning.com 5 5
  6. 6. Содержание Зачем вообще что-то измерять? Основные концепции метрик Области применимости метрик Обзор областей Подробнее о качестве продукта Условия успешности внедрения и применения метрик Кейсы реального использования метрик Поддержка продукта Центр тестирования Слабое звено Вопросы-ответы www.it-tuning.com 6 6
  7. 7. Разминка Какие метрики собирались? Чем это было полезно? www.it-tuning.com 7 7
  8. 8. РазминкаКакие метрики собирались, Чем это полезно?собираете? www.it-tuning.com 8 8
  9. 9. Зачем вообще что-то измерять?Зачем? Непрерывно оценивать качество процесса, продукта, услугиИнструментарий. Контрольная диаграмма (Control Chart) Значения (напр. дефекты) Периоды измерений Целевые показания или среднее значение (goal) Верхняя и нижняя контрольные границы (upper and lower control limits)Пример. Количество дефектов в очередной итерации, спринте, релизе www.it-tuning.com 9 9
  10. 10. Зачем вообще что-то измерять? Зачем? Улучшать процессы, продукт, сервис Инструментарий. Процесс улучшений Что мы хотим улучшить?Входящая информация: Что нам следует измерять?•Бизнес цели•Отчетность, контроль Настроить сбор данных. Кто,•Тактические цели что, как и когда? Запланировать и воплотить улучшение Оценить эффект от принятых мер Обработать, проанализировать данные Пример. Улучшить эффективность устранения дефектов (DRE) www.it-tuning.com 10 10
  11. 11. Зачем вообще что-то измерять?Зачем? Делать приемку товаров/услугИнструментарий. Договорные обязательства, специфический инструментарий, запланированные процедуры контроля критериевПримеры: Программный продукт должен содержать не более 10 несущественных дефектов Вебсайт должен быть доступен не менее 99.8% времени Отчет А в среде Б должен формироваться не более чем за В секунд www.it-tuning.com 11 11
  12. 12. Зачем вообще что-то измерять?Зачем? Оценивать достижение целейИнструментарий. План действий и система измерений отражающие текущее, промежуточные и целевое состоянияПример: Бизнес план для выхода на валовую прибыль Х в очередном году www.it-tuning.com 12 12
  13. 13. Зачем вообще что-то измерять? Непр оцен проц услу еры иват Оц есса гице ени ку вн о ле ва м ь ка й и е уг , про ть ть до пр сл чша ст ь у чест иж ат ов/ дукт ен л Де в ар Улу и е во то а, Принимать обоснованные решения - Управлять www.it-tuning.com 13 13
  14. 14. Основные концепции метрик www.it-tuning.com 14 14
  15. 15. Основные Концепции МетрикНемного Философии Нельзя управлять тем, что нельзя измерить. Peter Drucker, Tom De Marco Не имея правильной информации, вы всего лишь еще один человек со мнением. Tracy O’RourkeЕсли вы не знаете куда вы идете, то любая дорога приведет вас туда www.it-tuning.com 15 15
  16. 16. Основные Концепции МетрикНеобходимые условия успеха при внедрении метрик Люди Процессы Инструментарий www.it-tuning.com 16 16
  17. 17. Основные Концепции Метрик Информационные потребности и информационный продуктИнформационные Информационный продуктпотребности (Information product)(Information needs) и •Метрики, статистика,среда тренды, данные•Цели/интересы Система метрик •Информация длякомпании, заказчика, (Measurement принятия управленческихпроекта Framework) решений•Виды контрактов, •Информация дляпроектов, бизнеса, улучшенийсреда, ресурсы•Бизнес итехнологическиепроцессы www.it-tuning.com 17 17
  18. 18. Основные Концепции МетрикСтруктура показателей Миссия, видение, стратегические цели бизнеса. Информационные потребности. (Mission, Vision, Goals, Information needs) Ключевой индикатор эффективности (KPI – Key Performance Indicator) Метрики (Metrics) Измерения (Measurements, raw data) www.it-tuning.com 18 18
  19. 19. Основные Концепции МетрикСтруктура показателей Снизить % переоткрытых дефектов в 2 раза Ключевые показатели (KPI) - Уменьшение рейтинга (цель: в 2 раза) Тренд метрик(и) - Мониторинг ежемесячно Метрики - Рейтинг переоткрытых дефектов (%) Формула Базовые измерения - Количество дефектов - Количество переоткрытых дефектов - Единица времени (напр. месяц) www.it-tuning.com 19 19
  20. 20. Разминка 100 дефектов в очередной итерации. По каким признакам вы оцените это много или мало? www.it-tuning.com 20 20
  21. 21. Понятие Размера (Size) Что есть единицей размера? www.it-tuning.com 21 21
  22. 22. Понятие Размера (Size)Взаимосвязь между качеством, количеством, размером и производительностью Количество = (производительность * размер) / качество Качество = (производительность * размер) / количество Производительность = (количество * качество) / размер Размер = (количество * качество) / производительностьРазмер – условная единица объема работы www.it-tuning.com 22 22
  23. 23. Понятие Размера (Size) Ка чес т в оПр ои зво ди те л ьн ост ь ество К олич www.it-tuning.com 23 23
  24. 24. Понятие Размера (Size)Оценка размера (Size Estimate) в некоторых условных единицах используя определенные методики.Методики и единицы: Строки кода (LOC, KLOC) Функциональные единицы (Function Points Analysis - FPA) и разновидности FPA Единицы вариантов использования (Use Case Points - UCP) Story points (SCRUM) Количество страниц в спецификации Любые другие единицы работы, которые могут осмысленно выразить общий объем работ или его существенную часть (веб страница для верстки, страница текста для перевода, одно требование в спецификации, один шаг тестового сценария, класс, и т.п.) www.it-tuning.com 24 24
  25. 25. Понятие Размера (Size)Зачем нужен Size: Абстрагирование от уровня знаний и опыта исполнителей Отображение реального объема работ Использования в метриках, KPI для оценки производительности, качества Оценки производительности команды или персональной Для прогнозирования: времени, качества, расходов Оценки временнЫх затрат (Effort Estimate) www.it-tuning.com 25 25
  26. 26. Области применимости метрик Обзор областей Подробнее о качестве продукта www.it-tuning.com 26 26
  27. 27. Обзор областей Качество продукта Производительность: проекта, персональная Качество процессов производства Сервисные метрики HR метрики Нефинансовые метрики деятельности компании www.it-tuning.com 27 27
  28. 28. Качество продуктаПродукт Внешний – отдается заказчику Внутренний – результаты фаз, инженерных и управленческих практикОсновные характеристики качества Defect density (степень качества) Defect removal efficiency (степень качества заказчику) Defect origin (источник проблем) Defect removal cost (стоимость устранения дефектов) www.it-tuning.com 28 28
  29. 29. Качество продукта Defect density (степень качества) Плотность дефектов (Defect Density) – количество дефектов на единицу размера, например: На весь продукт, на часть функционала, на релиз, на итерацию, на спринт, на документ, на объем трудозатрат и т.п. DD = Σ Дефектов / Релиз DD = Σ Дефектов / Σ KLOC DD = Σ Дефектов / Σ Story_Point DD = Σ Дефектов / Σ Шагов_ТестКейсов DD = Σ Дефектов / Σ Размер_Спецификации www.it-tuning.com 29 29
  30. 30. Качество продукта Defect removal efficiency (степень качества заказчику) Эффективность устранения дефектов (Defect Removal Efficiency) – соотношение количества устраненных дефектов во время стадии и общего количества найденных дефектов (или до передачи заказчику и количества дефектов, найденных после передачи заказчику) DRE = Σ Устраненные_Дефекты ÷ (Σ Устраненные_Дефекты + Σ Обнаруженные_Позже) * 100% Производство продукта Приемочное тестирование (UAT) Эксплуатация для Σ ОП для Σ ОП отсчета отсчета Начало Начало или www.it-tuning.com 30 30
  31. 31. Качество продукта Defect origin (источник проблем) Происхождение дефектов (Defect Origin) – показывает, на какой стадии был внесен дефект, необходимо для выявления наиболее проблемных процессов с целью принятия фокусных улучшений 25 20 15 10 5 0 Спец. Арх. Модуль 1 Модуль N Тест. Док. www.it-tuning.com 31 31
  32. 32. Качество продукта Defect removal cost (стоимость устранения дефектов), или Cost of Poor Quality (стоимость плохого качества) Стоимость, выраженная в человеко-часах, или деньгах, или времени. Для подсчета должна соответствующим образом быть настроена система планирования и учета времени, а также система управления дефектами. Треб. Арх. Инсп. Код. Тест. Устр. Деф. www.it-tuning.com 32 32
  33. 33. Качество продуктаПри подсчете плотности дефектов (Defect Density) и эффективность устранения дефектов (Defect Removal Efficiency) можно использовать их «тяжесть» (Severity): Считать DD и DRE отдельно по разным категориям «тяжести» (High, Middle, Low), и/или Ввести весовые коэффициенты «тяжести», например: High = 5, Middle = 3, Low = 1IEEE J-STD-016-1995 предлагает такую классификацию дефектов: 1 – Критические ошибки; 2 – Ошибка, которую нельзя обойти ; 3 – Ошибка, которую можно обойти; 4 – Неточность; 5 – Запрос об изменении; 6 – Консультация www.it-tuning.com 33 33
  34. 34. Условия успешности внедрения и применения метрик www.it-tuning.com 34 34
  35. 35. РазминкаКакие были/есть основные препятствия для эффективного использования метрик? www.it-tuning.com 35 35
  36. 36. Внедрение метрикВнедрение метрик должно рассматриваться как проект, со всеми ему присущими характеристиками (объем работ, план проекта, ресурсы, результат)Интегрировать процедуры измерений в соответствующие бизнес и технологические процессы www.it-tuning.com 36 36
  37. 37. Внедрение метрикПоддержка руководства Основные положения программы измерений (что, зачем) Поддержка других заинтересованных сторон В какие проекты, производственные процессы что и когда интегрируется Обеспечение ресурсами Компетентный персонал Инструментарий Выделение ресурсов (время, бюджет, люди и т.п.) Контроль внедрения и использования программы измерений Использование информационного продукта для принятия решений www.it-tuning.com 37 37
  38. 38. Внедрение метрикПлан по подготовке персонала Необходимая начальная подготовка «внедренцев» и пользователей – тренинги (список и график), необходимость найма, самообучение, сроки Затраты на подготовку персонала и поддержку системы метрикПлан внедрения/настройки процессов производства План по внедрению/настройке процессов (документация, шаблоны, тренинги, инструментарий) Подготовка, настройка инструментария www.it-tuning.com 38 38
  39. 39. Внедрение метрикДанные Источники данных и методы сбора данных Требования к частоте (регулярность и/или события) измерений Кто будет собирать, использовать данные, когда, в каком виде Структура показателей (Метрики, KPI) Агрегация данных www.it-tuning.com 39 39
  40. 40. Кейсы реального использования метрик Поддержка продукта Центр тестирования Слабое звено www.it-tuning.com 40 40
  41. 41. РазминкаКурьезная история от слушателей,либо неправильного примененияметрик, либо вынесения суждений,принятия решений на основанииощущений (без фактов и цифр).ЗаписываемГолосуем www.it-tuning.com 41 41
  42. 42. Использование метрикКейс «Поддержка продукта» Работа – устранение дефектов, небольшие обновления Модель – выделенная команда, всего 3 команды (одна - наша) Что важно заказчику – «отдача» - количество закрытых запросов и качество работы. Команды сравниваются, принимаются решения о развитии бизнеса Что важно нам – удерживать показатели в рамках ожиданий заказчикаЧто измеряем: Производительность команды в пересчете на 1 человека в неделю, сбор данных понедельно, тренд Пр = КоличЗакрЗапр/КоличЧеловек/Неделя, Качество, рейтинг количества возвратов после тестирования (Defect Reopen Rate), сбор данных понедельно, тренд РейтКоличВозвр = (КоличВозврЗапр/КоличСданныхЗапр)*100% www.it-tuning.com 42 42
  43. 43. Использование метрикКейс «Центр тестирования» Работа – тестирование продукта Модель – выделенная команда тестирования на несколько центров разработки Что важно заказчику – принятие решений о выпуске очередного релиза, информирование конечных пользователей об известных дефектах, принятие решений о направлениях разработки Что важно нам – производительность команды на человекаЧто измеряем: Плотность дефектов по модулям продукта. Cбор данных по релизам, тренды ПД(мод 1..N) = (КоличОтрицТестов/КоличТестов)*100% Производительность команды на человека в неделю, тренд ПК = КоличТестов/КоличЧеловек/Неделя www.it-tuning.com 43 43
  44. 44. Использование метрикКейс «Слабое звено» Работа – разработка продукта, front end, backend, разработка требований, тестирование Модель – выделенная команда, релизы раз в 2-3 месяца Проблема – Количество возвратов после тестирования на front end в несколько раз выше, чем back end. А именно, около 50%. Решили разобратьсяЧто измеряем: Рейтинг возврата – количество дефектов на количество задач. Тренд РейтВозвр = (КоличВозврЗадач/КоличЗадач)*100%Разобрались: Заказчик часто давал указания «мимо» аналитика именно по front end, соответственно было разное понимание задачи у разработчиков front end, у тестировщиков, у аналитика, и у заказчика. Команда стала обсуждать вместе такие указания и приходить к общему пониманию прежде чем делать Рейтинг со временем понизился до нормального уровня www.it-tuning.com 44 44
  45. 45. Полезные ссылки Software Measurement: Establish - Extract - Evaluate – Execute. Christof Ebert, Reiner Dumke Measuring the software process. William A. Florac, Anita D. Carleton ISO 15939 Systems and software engineering -- Measurement process PMBOK® Guide. Fourth Edition. PMI PMP Exam Prep. Fifth edition. Rita Mulcahy Practice Standard for Earned Value Management. PMI Слайдкасты http://www.it-tuning.com/, раздел «Ресурсы» Измерения в разработке ПО. Часть I Измерения в разработке ПО. Часть II www.it-tuning.com 45 45
  46. 46. Спасибо за внимание Контакт: Сергей Поволяшко info@it-tuning.com www.it-tuning.com www.it-tuning.com 46 46
  1. A particular slide catching your eye?

    Clipping is a handy way to collect important slides you want to go back to later.

×