Security Metrics.pdf

Как посчитать
эффективность
информационной
безопасности?

Алексей Лукацкий
Бизнес-консультант по безопасности

Данная презентация представляет собой фрагмент многочасового курса по измерению ИБ

Security Measurement © 2006 Cisco Systems, Inc. All rights reserved. 1/63

Безопасность на
уровне бизнеса


Опрос ISACA

 Опрос «Critical Elements of Information Security
Program Success», ISACA
 Опрос 157 руководителей в 8 странах
Канада, Франция, Германия, Израиль, Италия, Япония, США,
Венесуэла

 Отрасли
Финансы, транспорт, ритейл, государство, промышленность,
здравоохранение, консалтинг, коммунальные услуги

 35 критических факторов успеха
Культура, люди, бюджет и финансы, организация,
технологии, законы и стандарты, метрики, повышение
осведомленности и обучение

5 критериев успеха

1 Общий язык
Бизнес первичен

Процесс
2 взаимодействия
Метрики Двусторонняя связь
5 Что и как
измерять

Выход на Система
4 руководство 3 убеждения
Сила и влияние Маркетинг и PR


Что говорит и думает руководство?

 Он спрашивает: «Каков уровень риска?»
Он думает: «Чем нам это грозит?»
 Он спрашивает: «Соответствуем ли мы
требованиям?»
Он думает: «Не накажут ли нас?»
 Он спрашивает: «Почему так дорого?»
Он думает: «А может лучше кофе или туалетной бумаги
купить?»

 Знания CISO/CIO не совпадают с восприятием CxO
Любой вопрос подразумевает измерение ИБ!


А можно ли вообще измерять?

 Если что-то лучше
 Есть признаки улучшения
 Улучшение можно наблюдать
 Наблюдаемое улучшение можно посчитать
 То, что можно посчитать, можно измерить
 То, что можно измерить, можно оценить
 …и продемонстрировать!


Что мы измеряем в ИБ?

1. Уровень опасности или сколько мы потеряем?
2. Сколько денег на ИБ достаточно?
3. Мы достигли цели?
4. Насколько оптимально мы движемся к цели?
5. Сколько стоит информация?
6. Насколько мы соответствуем стандартам или
требованиям?
7. Какая из мер защиты выгоднее/лучше?
8. Как мы соотносимся с другими?
9. …

Качественная и
количественная
оценка


Качество или количество?

 1954 г. - Paul Meehl – «Clinical Versus Statistical
Prediction: A Theoretical Analysis and Review of the
Evidence», 1954
Работа обновлена в 1996

 Количественная оценка работает лучше экспертной
(качественной)
В 136-ти случаев из 144-х
Качественная оценка необъективна по своей сути
При качественной оценке сложно предъявить
доказательства


Монетарные и
нефинансовые
метрики
безопасности


Функции и процессы любой компании

Основная деятельность
(выпуск продукта,
предоставление услуг)

Улучшение основной
деятельности
(оптимизация издержек)

Совершенствование
предыдущей категории
(управление качеством)


Могут ли быть нефинансовые метрики?

 ИБ не относится к первой категории функций
предприятия
Финансовые метрики сложно применять в этом случае, т.к. ИБ
напрямую не генерит бизнес
 ИБ чаще всего относится ко второй категории функций
Возможность использования финансовых метрик зависят от
оцениваемого процесса
Некоторые проекты ИБ могут помочь оптимизировать
издержки
 Управление ИБ – это всегда третья категория
функций
Финансовых метрик может вообще не быть
Исключение может составлять экономия на персонале за счет
более эффективного управления

Не все измеряется деньгами

 Классические финансовые метрики определяют
балансовую стоимость предприятия, его доходы и
расходы
 Рыночная стоимость, капитализация определяются в
т.ч. и нефинансовыми показателями
Уровень корпоративного управления
Наличие бренда
Прозрачность
Эффективность управления
И т.д.
 Не зря появляется такое понятие, как система
сбалансированных показателей (Balanced scorecard,
BSC)

Security balanced scorecard

Заказчик
Compliance
Финансы
Заказчик

Базовая
Будущее BSC Ценность для
бизнеса

Внутренние
Обучение и рост
процессы Операционная
эффективность


Всегда ли выгода измеряется деньгами

 Бизнес инвестирует в проекты, приносящие отдачу
Отдача не обязательно носит денежный характер
Критерии Примеры
• Бизнес-ориентированный • Снижение TCO
• Связанный с приоритетами/целями • Защита взаимоотношений
компании • Рост доверия
• Измеримый в метриках, понятных бизнесу • Соответствие требованиям
• Приносящий ценность или отдачу • Ускорение выхода на рынок
(желательно финансовую) • Географическая экспансия
• Оптимальный (цель не любыми • Снижение бизнес-рисков
средствами)
• Снижение текучки клиентов/партнеров
• Выполненный в срок
• Рост лояльности клиентов/сотрудников
• Не нарушающий законодательство
• Оптимизация процессов
• Интероперабельность и интеграция
• Стандартизация
• Рост качества
• Оптимизация затрат (на внедрение,
эксплуатацию, поддержку и т.п.)
• Повторное использование
• Масштабируемость


Метрики
безопасности


Что такое «метрика безопасности»?

 Метрика безопасности – способ применения
количественного, статистического и/или
математического анализа для измерения
«безопасных» стоимости, преимуществ, удач,
неудач, тенденций и нагрузок
Отслеживание статуса каждой функции безопасности
 Метрики – это не столько цифры, сколько факт
достижения определенным образом поставленных
целей, выраженный количественно

 KPI, KRI, PI = метрика


Таксономия метрик ИБ

Метрики

По По отношению к По По объекту По
По финансам По осязаемости
представлению цели применимости оценки стратегичности

Монетарные Обычные Осязаемые Прямые Прямые Результат Стратегические

Являющие
Немонетарные Двоичные Неосязаемые Косвенные входом для Процесс Тактические
других систем

Процентные Оперативные


Иерархия метрик
в масштабе службы ИБ

Система управления
(Security Governance)

Система управления
(Security Management)

Технические средства
(Security System)


Иерархия метрик
в масштабе предприятия

Корпоративные измерения
(финансы, индексы, рейтинги)

Сравнение с другими
компаниями

Измерение достижения
департаментами своих целей
и их оптимальности

Измерение отдельных
элементов (продуктов,
процессов, услуг)


Стратегические/тактические метрики

 Стратегическая метрика – показатель правильности
выбранного пути
Отклонение от него не требует немедленной реакции
Стандартный срок действия метрики – 3 года
Требуется понимание образа мыслей топ-менеджеров
Никаких деталей – только высокоуровневые индикаторы

 Отраслевых стратегических метрик в ИБ нет
В отличие от других отраслей
Исключая число выданных сертификатов и лицензий


Считать можно все!
Частота Единица
Метрика
измерения измерения

Удачная аутентификация квартал секунда

Неудачная аутентификация квартал секунда

Стоимость обработки
долларов
звонка в Help Desk квартал
на звонок
о смене пароля
Время регистрации
квартал минут в день
в системе

Добавление/удаление долларов
квартал
учетной записи за событие
Инцидент, произошедший
из-за некорректной настройки квартал инцидент
системы контроля доступа


Метрика
Стоимость системы защиты в
долларов на
расчете на одного сотрудника 6 месяцев
сотрудника
(собственного или по контракту)
Число узлов КИС, на которых были
ежегодно процент
протестированы механизмы защиты

Время между обнаружением
квартал час
уязвимости и ее устранением

Число прикладных систем, для
которых реализовано требование
6 месяцев процент
разделения полномочий между
операциями А и Б
Число лэптопов с внедренной
подсистемой шифрования важных и квартал процент
конфиденциальных документов


Метрика
Число систем, для которых план
реагирования на инциденты был квартал процент
протестирован
Число задокументированных
изменений ПО

Число систем с установленными
месяц процент
последними патчами

Число систем с автоматическим
антивирусным обновлением
Число сотрудников, прошедших
через тренинги по повышению ежегодно процент
осведомленности
Число систем с разрешенными
уязвимыми протоколами


Пример: индекс защищенности

Градация уровней Пример расчета
1 2 3 4 5 Значение Уровень Вес Рейтинг

Число
уязвимостей на
ПК (в среднем) 100 75 50 25 0 34 4 25 100

Число
инцидентов ИБ >5 5 3-4 1-2 0 2 4 25 100

Число
непропатченных 100% 75% 50% 25% 0% 65% 3 25 75
ПК
Объем спама >95% 95% 90% 80% <80% 24% 5 25 125
Совокупный рейтинг 400

 Пример: в Verizon всего одна метрика для топ-
менеджмента – индекс риска активов

Результат любой
ценой?


Efficiency vs. Effectiveness

Результативность
Оптимальность

 Сначала мы обычно оцениваем достижение цели как
таковой (результат)
Но интересно ли нам достижение цели любыми средствами?


Метрики на результат и процесс

 Метрики, нацеленные на результат
Наиболее привычные для служб ИБ
Чаще всего выдаются системами защиты

 Метрики, нацеленные на процесс
Сложнее оцениваются
Требуют взаимодействия с людьми

• Процент заблокированного спама
• Процент прошедшего спама через
Антиспам антиспам и о котором сообщили
сотрудники, прошедшие тренинг
повышения осведомленности


Цели


Достижение каких целей измеряем?

Цели топ- Операционные
менеджмента цели

Цели ИБ

Финансовые
Цели ИТ
цели

 Цели ИБ в данной ситуации вторичны, т.к. их никто
не понимает кроме службы ИБ
Грустно это признавать, но это так

Бизнес-цель

 «Бизнес-цели» - отталкиваемся не от того, ЧТО
защищаем, а КУДА стремимся
 Бизнес-цели не всегда связаны с финансами
Нельзя искать только финансовую выгоду от решения
вопросов безопасности
Необходимо учитывать нефинансовые цели (например,
лояльность клиентов) и синергетический эффект

 Бизнес-цель может быть
У всего предприятием
У отдельного подразделения
У отдельного проекта/инициативы
У отдельного «важного» человека («спонсора»)

Связь метрик и бизнес-цели

 Наиболее эффективный путь – декомпозиция
бизнес-цели на части и выбор метрик для каждой
из них

Бизнес-цель

Подцель 1 Подцель 2 Подцель 3

Действие 1 Действие 2

Метрика 1 Метрика 2


Как выбирать
метрики ИБ


Принципы выбора метрик
SMART – Specific, Measurable, Achievable, Relevant, Timely
Характеристика Пример хорошей метрики Пример плохой метрики
Конкретная Число неудачных попыток Число неудачных попыток
входа в систему в неделю входа в систему
на одного сотрудника

Измеримая Уровень лояльности Доход от внедрения
внутренних клиентов системы защиты

Достижимая Число инцидентов в Отсутствие инцидентов ИБ
текущем квартале < 5 за текущий квартал

Релевантная Число проектов Число запущенных
завершенных в срок проектов

Актуальная Число пропатченных ПК в Число пропатченных ПК в
этом году прошлом году


Как выбирают метрики?

1. Метрики обычно выбираются исходя из
корпоративных целей (в 65% случаев)
2. Анализ существующих отчетов, из которых
вычленяются чаще всего используемые для оценки
деятельности показатели
3. Индивидуальные интервью
4. Карты бизнес-процессов
5. Специальные сессии определения KPI
6. Групповые интервью
7. Стратегические карты
8. Опросы (в 23% случаев)

Пример: значимость метрик

 Измерение числа спам-сообщений в общем объеме
почты
Как это важно для предприятия и для бизнеса?
Что изменится, если спама будет 70%, а не 50%
 Обнаружение шпионского ПО
Обнаружение 50% всех spyware, встречающихся в диком виде
Обнаружение 95% spyware, которые могут встретиться в
компании (даже если это будет 10% от всех spyware)
 Число вирусов, а следовательно и атак, бесконечно.
Поэтому бессмысленно опираться на конечное число
обнаруженных вирусов и уязвимостей
Что такое тысяча или даже миллион по сравнению с
бесконечностью

Пример: число звонков в Service Desk

 Задача: оценить время реагирования на звонок об
инциденте
 Поощрение за снижение времени реагирования
Сотрудники могут класть трубку сразу после звонка!

 Поощрение за число разрешенных инцидентов
Сотрудники будут самостоятельно пытаться закрыть
инцидент, не эскалируя его правильному специалисту
Увеличение длительности звонков и ожидания клиентов на
линии
Меньше доступных специалистов – ниже удовлетворенность

 Комбинируйте метрики
Время реагирования на звонок + длительность звонка

Пример: контроль доступа в Интернет

 Задача: оценить эффективность системы контроля
доступа

Видимая оценка Скрытая оценка

• 1,5 часа в день на • Блокирование доступа
«одноклассниках» не значит, что
• 200 сотрудников сотрудники будут
• 6600 часов экономии – работать
825 чел/дней • Работа «от» и «до» и не
• $18750 в месяц (при больше
зарплате $500) • Ухудшение псих.климата
• $225000 в год экономии • Потери $150000 в год


Что обычно считают?

Какие данные собирает ваша организация? %

Обнаруженных вирусов в файлах 92,30%

Обнаруженных вирусов в почте 92,30%

Неудачный пароль при входе в систему 84,60%

Попытка проникновения/атаки 84,60%

Обнаруженный/отраженный спам 76,90%

Доступ к вредоносным сайтам 69,20%

Неудачное имя при входе в систему 69,20%

Обнаруженных вирусов на сайтах 61,50%


Что обычно считают?

Какие данные собирает ваша организация? %

Внутренняя попытка НСД 61,50%

Нарушение со стороны администратора 61,50%

Удачное проникновение 53,80%

Раскрытие информации 38,50%

Пропущенный спам 38,50%

Ложное обнаружение спама 30,80%

Другое 23,10%

Источник: http://www.csoonline.com/analyst/report2412.html


Пример бизнес-
ориентированных
метрик ИБ


Транзакция

 Транзакция – это ключевое понятие на современном
предприятии
 Обычно оно выпадает из поля деятельность служб
ИБ, т.к. транзакция является обычным и легитимным
событием
 Это не только финансовое понятие
Сетевые потоки (flow)
Сессии
Сообщения
Операции приложений (немного выпадает из традиционного
восприятия транзакций, но относится к ним же. Правда, и
измеряется сложнее)


Бизнес-метрики ИБ
Метрика Формула Комментарий
Transaction Совокупная цена Снижение данного показателя
Cost средств ИБ / число может войти в конфликт с
транзакций минимально необходимым
уровнем защиты
Controls per Число технических Интересна в совокупности с
transaction защитных мер / число другими метриками.
(CPT) транзакций Например, при одинаковом
количестве инцидентов для
разных приложений больший
CPT говорит о переборе
защитных мер. Транзакции
можно поменять на
подразделения или филиалы


Бизнес-метрики ИБ (продолжение)
Security to IT Цена ИБ / цена ИТ Показывает соотношение
Cost Ratio затрат на ИБ от ИТ бюджета.
(STC) При оценке в совокупности с
метриками по инцидентам
позволит оценить
оптимальный уровень затрат
на ИБ от ИТ-бюджета. Если
STC снижается, а инциденты
растут, то защита
неэффективна. Cost можно
заменить на Value - STV (если
можно оценить не просто
стоимость, сколько ценность)
Transaction Total Security Value /
Value Total Transaction


Cost per Цена технических мер Снижение CPC может
Control защиты / число привести к росту CPT
(CPC) контролируемых
средством защиты
элементов (число
соединений для МСЭ,
число сканируемых
узлов для сканера…)
Loss to Value Совокупные потери / Чем меньше, тем лучше.
Ratio (LTV) ценность ИБ Однако при падении LTV и
росте STV/STC это уже не
очень хорошо


Control (100% хорошие Выше CER – эффективнее система
Effectiveness /пропущенные/ защиты. Однако надо понимать, что данная
Ratio (CER) события + 100% метрика должна рассматриваться в
плохие контексте предприятия, а не оторвано от
/блокированные/ него. Просто измерять CER можно для
события) / общее сравнения различных продуктов, но сама
число событий по себе данная метрика не говорит,
снижает ли риски данная защитная мера.
Иными словами, данная метрика
оценивает, насколько защитная мера
делает то, что должна делать, а не то, как
она это делает в конкретной ситуации.
Если CER высок, а число инцидентов не
уменьшается или растет, то выбрана
неадекватная защитная мера (которая
сама по себе может быть очень
эффективной)

Incident per Число инцидентов / Важно определить, что такое
Million (IPM) число транзакций * инцидент. Вместо миллиона
миллион – частота можно взять более реальный для
инцидентов бизнеса порядок транзакций.
Инцидент может произойти по
причине неэффективной
защитной меры, пропустившей
инцидент, или по причине
отсутствия защитной меры. Чем
ниже, тем лучше. Необходимо
учитывать, что в ряде случаев
этот показатель может быть
достаточно высоким, т.к. в ряде
случаев экономически невыгодно
защищать транзакции


Бизнес-метрики ИБ (окончание)
Incident 1 – (число CER – важная метрика, но
Prevention инцидентов / (100% гораздо важнее число
Rate (IPR) предотвращенные пропущенных инцидентов. Чем
инциденты + число выше, тем лучше
инцидентов))
Risk Aversion Хорошие Показывает насколько
Ratio (RAR) отброшенные / число организация готова бороться с
инцидентов реальными инцидентами. RAR –
уровень терпимости организации
к риску. Он ни плох, ни хорош


Пример: оценка системы защиты e-mail
Технические метрики

 % обнаруженного спама от общего числа писем
 % писем с вредоносными программами или
фишингом от общего числа писем
 % необнаруженного спама/вредоносных
программ/фишинга
 % ложного обнаружения спама/вредоносных
программ/фишинга
 Число предотвращенных утечек информации
 Число/стоимость/длительность звонков в службу
поддержки по поводу недошедших писем


Псевдотехнические метрики

 Цена/длительность лечения зараженной почты
 Число вирусов/спама/утечек в исходящей почте
 % пользователей, прошедших тренинг по
использованию и защите электронной почты
 % пользователей, сообщивших о пропущенном
спаме/вредоносной программе/фишинге
 Рейтинг успешности повышения осведомленности в
области использования и защиты электронной почты
 % внутренних нарушителей, отправивших
спам/вредоносную программу/конфиденциальную
информацию

Псевдотехнические метрики

 Наличие политики использования и защиты
электронной почты
 Число зашифрованных сообщений
 Потери от вирусов/спама/утечек/фишинга
 Сэкономленное время сотрудников
 Затраты на Интернет-трафик для удаленных
офисов/мобильных работников


Бизнес-метрики
Исходные данные Значение Метрика Значение
Ценность (value) 1.000.000 Transaction Value 0,0025
Цена решения 250.000 Transaction Cost 0,000625
Цена средств защиты 20.000
Потери на инцидент 300 Cost per Control 0,000023529

Число транзакций 400.000.000

Control per Transaction 2.13
Проверенных IP 300.000.000

Антиспам 400.000.000 Security to Value Ratio 2%

Антивирус 150.000.000 Loss to Value Ratio 15%

Хороших писем разрешено 80.000.000 Control Effectiveness Ratio 95%
Плохих писем запрещено 300.000.000 Incident per Million 1,25

Хороших писем запрещено 200.000 Incident Prevention Rate 99,9998%
Плохих писем разрешено 500 Risk Aversion Ratio 400

Сколько нужно
времени и
метрик?


Сколько нужно времени?

Стратегические
(3-5 лет)
Тактические
(1-1.5 года)

Оперативные
(1-2 квартала)


Количество метрик

 Надо понимать разницу между KPI и PI
Обычно для измеряемого процесса / приложения /
подразделения не должно быть больше 7-ми ключевых
метрик
Низкоуровневых метрик может быть больше, но их число не
должно быть самоцелью
На уровень топ-менеджмента также не должно выноситься
более 7-ми метрик по всей службе ИБ

 Verizon использует всего одну метрику для топ-
менеджмента - индекс риска актива
Опирается на данные анализа защищенности,
транслированные в бизнес-язык


Что дальше?


Что дальше?

 Метрики не нужны сами по себе
 Метрики нужны для принятия решений
 Не готовы к действиям – не внедряйте программу
управления метриками

 Пример
Метрика - число уязвимых ПК в финансовом департаменте за
прошедший квартал
Готовы ли мы внедрить процесс управления патчами для этих
ПК?
Готовы ли мы регулярно оценивать уязвимости и ставить
новые патчи?

А что после выбора метрик?
Цель Метрика Целевое значение Инициатива
Улучшить управление # инцидентов < 7 в квартал Обучение
рисками безопасности пользователей
% систем защиты, 43% Заключение SLA на
отданных на аутсорсинг аутсорсинг ИБ
Улучшение управления % проектов, 95% Увеличить число
проектами завершенных в срок сертифицированных
специалистов по
управлению проектами
% проектов, 95% Внедрение PMO в
выполненных в рамках отделе
бюджета
Повысить уровень % сотрудников, 25% Обучение MBA
бизнес-знаний в службе прошедших MBA
ИБ Количество Business 1 Изменение оргштатной
Relations Manager (BRM) структуры отдела
Compliance Соответствие ISO 27001 Получение сертификата Обучение по ISO 27001
через год Внедрение compliance-
решения
Улучшение операций % сбоев в системе < 5 в квартал Внедрение системы
защиты контроля качества

Заключение


Модель зрелости программы ИБ
Использование метрик.
5-ый Оптимально подобранные
уровень процедуры

4-ый Обратная связь существует, что
позволяет управлять постоянно
уровень
изменяющимися рисками

3-ий Программа ИБ учитывается для всех
уровень новых проектов. Все документировано.
Обратной связи и метрик нет

2-ой
Достигнута повторяемость позитивного
уровень
результата для аналогичных процессов

1-ый Определено несколько процессов.
уровень Удача зависит от индивидуальных
талантов и героических усилий
0-ой
уровень Хаотичное применение продуктов защиты


Панацеи нет

 Не бывает универсальных подходов к измерению
метрик
 Выбирайте в каждом конкретном случае свой
подход
 Выбор зависит
От организации и ее бизнеса (включая цели)
От «спонсоров», перед которыми требуется защита
проектов по ИБ
От опыта CISO
Наличия инструментария сбора информации для
вычисления метрик


Вопросы?

Дополнительные вопросы Вы можете задать по электронной
почте security-request@cisco.com
или по телефону: +7 495 961-1410


Security Metrics.pdf

Recommended

Recommended

More Related Content

Viewers also liked

Viewers also liked (20)

Similar to Security Metrics.pdf

Similar to Security Metrics.pdf (20)

More from Aleksey Lukatskiy

More from Aleksey Lukatskiy (20)

Security Metrics.pdf