Документ представляет руководство по измерению процессов управления IT-услугами, обсуждая важность системы метрик для оценки их результата и эффективности. Рассматриваются проблемы, связанные с измерениями, такие как низкое качество систем и отсутствие единой системы. Авторы подчеркивают необходимость адаптации метрик к специфике каждой организации и предоставляют рекомендации по разработке ключевых показателей (KPI).

1. ITSM. Руководство
по измерению
Дмитрий Исайченко
Роман Журавлев
http://80na20.blogspot.ru

2. Наведение порядка практически всегда
включает в себя создание системы метрик и
показателей, направленной на измерение и
контроль процессов управления,
предоставляемых услуг и ИТ-систем,
лежащих в основе этих услуг.

3. 3 проблемы измерений
1. Одержимость измерениями.
2. Низкое качество систем измерения и оценки.
Примеры в книгах – не более чем примеры,
часто вызывающие множество вопросов
3. Отсутствие единой системы, «лоскутная»
оценка. Не позволяет делать выводы о работе
комплекса процессов, не дает представления о
«здоровье» ИТ-службы.

4. «Мы ни в коем случае не предполагаем, что эта книга
станет универсальным набором метрик, пригодным
для копирования и использования в любой ИТ-
организации. Мы вообще не верим, что такой набор
возможен.
Более того, мы видим свою задачу не столько в том,
чтобы предложить решения, сколько в обсуждении
подходов, в определении и анализе проблем,
характерных для измерения и оценки отдельных
процессов управления ИТ-услугами и системы
управления в целом. В каждом процессе есть свои
трудности, особенности, ловушки для того, кто
намерен измерять и оценивать работу этого
процесса. Мы постарались описать эти особенности,
а кое-где - предложить свои решения для преодоления
трудностей и обхода ловушек.
Это книга для тех, кто думает об измерении и оценке
процессов и ищет свои решения для реальных
прикладных задач управления ИТ.»

5. Базовые термины
• Измерение – выраженное в количественных
величинах сокращение неопределенности на
основании одного или нескольких наблюдений.
Если неопределенности нет, нет и необходимости в измерении.
Если вы не имеете непосредственного контакта с объектом
управления (например, с персоналом в территориально
распределенной организации) или не все аспекты его состояния
поддаются непосредственному восприятию (например,
функционирование сложной ИС), измерение становится одной из
важнейших составных частей управления.
В целом мы не можем согласиться с расхожим утверждением
"нельзя управлять тем, что не можешь измерить". Можно…

6. • Метрика – технически или процедурно
измеряемая величина, характеризующая
объект управления (процедура, услуга,
исполнитель и пр.)

7. ИТ-процессы обеспечивают эффективное
применение информационных технологий для
удовлетворения потребностей заказчиков.
Эффективность здесь означает, что:
– Информационные технологии формируют ценность
для Заказчиков (приносят пользу, повышая
производительность бизнес-процессов и/или снижая
действующие на эти процессы ограничения).
– Затраты на информационные технологии
рациональны и контролируются.
– Риски, связанные с использованием
информационных технологий, также контролируются
и сведены к приемлемому уровню.

8. Измерение и оценка ИТ-процессов
выполняется в интересах двух основных групп
заинтересованных лиц (stakeholders)
1. Инвесторы, заказчики, высшее руководство,
внешние регуляторы
2. ИТ-менеджеры

9. Инвесторов, заказчиков, высшее руководство,
внешних регуляторов интересует:
• в какой степени система управления ИТ решает
поставленные задачи (результативность /
effectiveness)
• предусмотрены ли и как действуют управленческие
механизмы, обеспечивающие должный уровень
контроля и изменения системы в ответ на новые
требования (соответствие / compliance)

10. ИТ-менеджеров интересует текущее состояние
процессов с точки зрения:
• содержания и результатов деятельности, а также
объёма работ (продуктивность / productivity)
• рациональности использования ресурсов
(рациональность / efficiency)

12. 1.Метрики результативности
• Результативность показывает, насколько данный
процесс (или группа взаимосвязанных процессов)
соответствует своему назначению, а также достигает
поставленных целей. Назначение определяет роль
процессов в системе управления, то есть ответ на вопрос
«зачем нужен этот процесс, за что он отвечает».
• Назначение процесса, как правило, более-менее универсально,
то есть мало меняется от компании к компании. Формулировки
можно найти в стандартах и сводах знаний (COBIT, ITIL, ISO
20000).
• Помимо назначения у каждого управляемого процесса должны
быть определены цели (SMART: конкретные, измеряемые,
достижимые, актуальные, ограниченные по времени). Цели не
универсальны…

13. Пример 1. Управление инцидентами и запросами пользователей:
Назначение: обеспечение качества ИТ-услуг за счёт скорейшего устранения
инцидентов и своевременного выполнения запросов на обслуживание.
Примеры целей:
• увеличение доли своевременно решённых инцидентов до 95%
• увеличение доли обращений, решённых на первой линии, до 50%
Примеры метрик результативности:
• доля инцидентов и запросов, решённых в срок *%+
• среднее время решения инцидентов в разбивке по уровню влияния *час+
Пример 2. Управление уровнем ИТ-услуг:
Назначение: обеспечение качества ИТ-услуг за счёт согласования и контроля
соблюдения обязательств поставщика ИТ-услуг, а также организации планового
совершенствования ИТ-услуг.
Примеры целей:
• довести уровень удовлетворённости заказчиков качеством ИТ-услуг до 90%
• обеспечить своевременность формирования отчётов по ИТ услугам на уровне
100%
Примеры метрик результативности:
• интегральный показатель качества ИТ-услуг (рассчитывается по отчётам о
предоставлении ИТ-услуг за период) *%+
• уровень удовлетворённости заказчиков качеством ИТ-услуг (рассчитывается по
результатам опроса заказчиков за период) *%+

14. 2.Метрики рациональности
• Результативность процессов обеспечивается за счёт
использования ресурсов организации, расходуемых
на исполнение процессов и обеспечение управления.
• Метрики рациональности характеризуют количество
ошибок, возникающих при исполнении процесса, а также
использование тех или иных механизмов сокращения
затрат.
• Основной принцип обеспечения и оценки рациональности
системы управления: стоимость владения системой
управления и её контроля не должна превышать
ценности, формируемой в результате функционирования
этой системы с учётом контролируемых рисков.
Идея: оценить использование ресурсов, а по результатам
оценки – оптимизировать процесс.

15. 3.Метрики продуктивности
• Метрики продуктивности характеризуют объем работ
по исполнению и контролю процесса.
• Например, при проектировании процесса управления
изменениями важно понимать, какой поток изменений
ожидается, прежде чем записывать в регламент процесса
«все изменения рассматриваются на CAB (Change Advisory
Board)».
• Например, увеличение потока инцидентов с 8000 до 15000
в месяц (за счет неудачного внедрения новой ИТ-системы)
может существенно снизить значение метрики
результативности («Среднее время устранения
инцидентов»).

16. 4.Метрики соответствия
• Метрики соответствия интересующие, прежде всего,
внешних по отношению к процессу заинтересованных
лиц, также нередко включают в себя оценку реализации
назначения и ключевых практик процесса.
• Обычно оценивается зрелость системы управления ИТ. Она
выражается, прежде всего, в уровнях формализации и контроля,
действующих в отношении той или иной деятельности.
• Важно отметить, что определённый уровень зрелости характеризует
не саму деятельность, но действующую в отношении неё практику
управления:
– зрелость процесса — характеристика, позволяющая оценить
насколько тщательно и формально в рамках процесса
контролируются входящие в его состав виды деятельности;
– зрелость системы управления или зрелость организации
характеризует практику контроля, действующую в организации
в отношении процессов.

17. Оценка уровня зрелости обычно выполняется
с использованием так называемых «моделей зрелости»
(maturity models). Модели зрелости могут быть
самостоятельными сводами знаний или входить в состав
других сводов знаний и стандартов. Наиболее известные
модели зрелости:
• Capability Maturity Model (CMM). Эта модель была принята за основу
при разработке модели зрелости процессов в составе COBIT
(до версии 4.1 включительно);
• ISO/IEC 15504 «Information technology — Process assessment».
Эта модель была принята за основу при разработке модели зрелости
процессов управления ИТ, вошедшей в состав новой — пятой —
версии COBIT.

18. Мы используем два основных способа
получения информации о значениях метрик:
1. Расчет по данным учетных систем и средств
мониторинга
2. Опросы пользователей

19. Сложности перехода от метрик к KPI
• Разная целевая динамика метрик
• Разные единицы измерений метрик
• Несопоставимые значения метрик

20. Метрики позволяют собирать численную
информацию об объектах управления. Но для того,
чтобы оценивать результаты измерений мало их
просто собрать…
• Ключевой показатель (KPI) – метрика, которая
служит индикатором состояния объекта
управления. Обязательное условие – наличие
целевого значения и установленные допустимые
отклонения.
От метрик к KPI

21. Сбалансированная карта показателей
Сбалансированная карта показателей
представляет собой инструмент
целеполагания и контроля, основанный на
некотором наборе измеримых целей и
соответствующих им KPI, характеризующих
различные аспекты состояния объекта
управления.
Карта показателей помогает наглядно
отобразить прогресс в достижении
различных целей, характеризуемых
произвольным набором метрик.
см.далее

22. Суть карты (таблица)
• «Вес» – характеристика значимости данного показателя в общей
оценке объекта управления.
• «Целевое значение» (Т) – граница между зеленой и желтой зонами
шкалы оценки метрики.
• «Граничное значение» (М) – граница между желтой и красной зонами
• «Фактическое значение» (К) – значение метрики, которое является
результатом измерения за истекший отчетный период.
• «Оценка (R)» – численный результат сравнения фактического
значения с целевым и граничным значениями.
!!! Важно, на формулу влияет направление целевой динамики (см.далее)

23. Оценка (R)

24. Пример оценки
Какова итоговая (интегральная) оценка?

25. Расчет итоговой оценки
• Вариант 1
(взвешенное среднее арифметическое)
• Вариант 2
(произведение)
!!! Важно:
Вариант 1 удачен при несвязанных метриках.
Вариант 2 дает более адекватную оценку, когда успехи в одном из
направлений теряют ценность при наличии серьезных провалов в других.

26. Пример оценки (продолжение)
Вариант 1: 67%
Вариант 2: 12%

27. Важно помнить, что разработка метрик – не
самоцель. Про каждую метрику важно понимать,
кем и для чего она будет использоваться. «Чего мы
хотим оценивать?» - вот первый вопрос, который
необходимо задать себе перед тем, как переходить
к следующему – «Что для этого нужно и можно
измерять?»

28. Порядок разработки KPI по процессу
(процесса)
ITIL: Critical success factor (CSF)
COBIT: Governance / Management Practice

29. Требования к KPI
• Связь с целями
• Обеспечение полноты оценки
• Обеспечение сравнимости
оценок с истечением времени
• Стимулирование «правильного»
поведения
• Исключение возможности
манипуляций

30. Пример из книги
• Метрики продуктивности не используются в расчете оценок, но позволяют
сопоставить успехи процесса с объемом работы, поступившей на вход.

31. Измерение процессов ITSM
• Управление инцидентами
и запросами пользователей (8)
• Управление проблемами (5)
• Управление конфигурациями (6)
• Управление изменениями (9)
• Управление уровнем ИТ-услуг (7)
(х) – кол-во метрик, приводимых авторами в книге

32. Пример
показателей по
процессу
«управление
инцидентами».
!!! Но не из книги, а
из статьи автора
(обновленный
вариант) -
http://bit.ly/1C50d6s

34. Измерение позволяет:
• Обеспечить достоверность оценки текущего состояния
объекта управления
• Повысить достоверность прогноза возможных улучшений
• Проконтролировать исполнение принятых решений
• Более точно и комплексно оценить эффект от реализации
принятых решений
Измерение НЕ в состоянии:
• Сделать выводы
• Принять решение

35. 1. Каковы причины отклонений,
нарушений, невыполнения
планов?
2. Каков общий вывод по текущему
состоянию?
3. Что необходимо предпринять
для улучшения ситуации?
Важнейшие вопросы
по результатам измерений

36. Вместо заключения
• Руководителям нужно осознать, что результаты
измерения не самоценны, а лишь дают информацию для
обработки. И если отчет, предназначенный для принятия
решения, помимо результатов измерений не содержит
анализа, выводов и предложений, то работа не сделана,
потому что менеджер – по определению больше (и, как
правило, дороже), чем панель мониторинга (dashboard).
• Только если правильно работать с результатами
измерений, вы сможете перейти от измерений к
действиям.

37. Дополнительные материалы
• Описание книги и фрагмент для чтения -
http://www.cleverics.ru/ru/subject-field/itsm-a-practical-guide-to-
process-measurement
• Видео (про книгу):
– ‪О том, какие задачи помогает решать книга «ITSM. Руководство по
измерению»‪- http://youtu.be/DOtCpkoMvlk ‪
– ‪‪Комплексная система измерения и оценки за пять шагов‪-
http://youtu.be/4jBk4khLmXo ‪
– ‪‪Измерение и оценка ITSM-процесса на примере управления
изменениями‪- http://youtu.be/3GZivPn3rqU ‪
• Статьи консультантов Cleverics - http://www.cleverics.ru/ru/subject-
field/articles
• Портал Real ITSM - http://www.realitsm.ru