Downloaded 45 times
Uploaded byAleksey Lukatskiy
Измерение эффективности SOC. 3 года спустя
Документ анализирует эффективность центров управления безопасностью (SOC) в России через призму использования метрик для оценки их работы. Он сравнивает подходы российских SOC с зарубежными, подчеркивая различия в измерении инцидентов и временных метрик, а также обращает внимание на проблему манипуляции метриками. В статье также рассматриваются примеры эффективных метрик и инструментария для оценки работы SOC.
Измерение эффективности SOC. 3 года спустя
- 1. Измерение эффективности SOC Тригода спустя Алексей Лукацкий 20 ноября 2019 Бизнес-консультант по кибербезопасности
- 2. © 2018 Ciscoand/or its affiliates. All rights reserved. Cisco Public Три года спустя
- 3. © 2018 Ciscoand/or its affiliates. All rights reserved. Cisco Public Мы говорим преимущественно о технических и организационных моментах DC 2 Case management, automation and orchestration Internal and external context data sources 1 2 3 4 6 5 7 9 12 11 8 13 14 15 TIP 16 17 DC 1 Cloud Branch Data bus 25 External data stores External analytics 27 26 Data collection and storage Store 1 Collect and Forward Store 2 Security analytics Correlation UEBA NetFlow analytics Threat hunting Compliance monitoring Malware analysis Archive TIP Threat intelligence and enrichment Data sources 22 18 19 23 Enforcement 21 Reporting SOC Dashboards Visualization Infrastructure LDAP NTP E-mail End-Point Security Software management Backup Network Security Network Compute Storage Agent Workstation VDI Configuration management Network Security Active Directory SOC Portal SOC Collaboration External data and analytics 24 TI feeds External TI consumers 20 28 Search Store 3 10 Источник: один из проектов Cisco по проектированию SOC
- 4. © 2018 Ciscoand/or its affiliates. All rights reserved. Cisco Public Сколько SOCов в России измеряют себя? 15% 80% 5% Число SOCов, использующих метрики Измеряют Не измеряют Скрывают Источник: опрос перед SOC Forum 2019
- 5. © 2018 Ciscoand/or its affiliates. All rights reserved. Cisco Public В США/мире тоже не все измеряют свою эффективность, но их меньше, чем в России 0 5 10 15 20 25 30 Q3:Fewer than100 Q3:101– 1,000 Q3: 1,001– 2,000 Q3: 2,001– 5,000 Q3: 5,001– 10,000 Q3: 10,001– 15,000 Q3: 15,001– 50,000 Q3: 50,001– 100,000 Q3:More than 100,000 Yes No Unknown Источник: SANS SOC Survey 2019
- 6. © 2018 Ciscoand/or its affiliates. All rights reserved. Cisco Public Число инцидентов – самая простая метрика. Легко считать и показать динамику!
- 7. © 2018 Ciscoand/or its affiliates. All rights reserved. Cisco Public Поздний детект Высокий ущерб Ранний детект Малый ущерб Среднее по индустрии время обнаружения утечки Среднее по индустрии время локализации утечки Средняя цена утечки данных Время – критический фактор 1 из 4 Риск крупных утечек в следующие 24 месяца Время Источник: Ponemon 2018 Cost of a Data Breach Study
- 8. © 2018 Ciscoand/or its affiliates. All rights reserved. Cisco Public Временная шкала инцидента Угроза реализована T0 Обнаружена и отправлена в SOC T1 T2 Начата приорите- зация T5 Инцидент локализован T3 Приорите- зация завершена T6 Инцидент закрыт и причины устранены Анализ завершен T4 TTD TTT TTC Большинство SOCов очень хорошо умеет вычислять число инцидентов/событий с течением времени, но плохо чистые временные метрики
- 9. © 2018 Ciscoand/or its affiliates. All rights reserved. Cisco Public Бывает и большая детализация временных метрик MTTT MTTQ MTTI MTTM MTTV MTTD MTTR Ранние доказательства Создание алерта Первичная инспекция Создание кейса Признание инцидента Устранение Восстановление Но это уже лишнее во многих случаях
- 10. © 2018 Ciscoand/or its affiliates. All rights reserved. Cisco Public Примеры временных метрик Median time to triage (MTTT) (общее и по критичности) Среднее время, необходимое SOC для начала реагирования на инцидент с момента получения сигнала тревоги. Более длинный MTTT указывает на более высокие уровни ущерба или неспособность аналитиков своевременно включаться в работу. Median time to contain* (MTTC) (общее, по категории и по критичности) Среднее время, в течение которого SOC локализует инцидент с момента его начала. Более длинный MTTC указывает на более высокие уровни ущерба. Время Время Median time to detect* (MTTD) (общее и по критичности) Среднее время, в течение которого SOC начинает реагировать на инцидент с момента его начала. Более длительный MTTD указывает на более высокие уровни ущерба. Отслеживание MTTD поможет вам настроить инструментарий, возможности обнаружения инцидентов или увеличить охват сбора данных. Время
- 11. © 2018 Ciscoand/or its affiliates. All rights reserved. Cisco Public© 2018 Cisco and/or its affiliates. All rights reserved. Cisco Confidential Почему медиана? • Среднее арифметическое – 8,81 часов • Медиана – 2 часа • Худшее – 42 часа • Лучшее – 0,1 часа 0 5 10 15 20 25 30 35 40 45 Тип 1 Тип 2 Тип 3 Тип 4 Тип 5 Тип 6 Тип 7 Тип 8 Тип 9 Тип 10 TTD, часов
- 12. © 2018 Ciscoand/or its affiliates. All rights reserved. Cisco Public© 2018 Cisco and/or its affiliates. All rights reserved. Cisco Confidential Почему не только общее число? • Разные типы инцидентов имеют разное время обнаружения, локализация и закрытия Источник: Cisco CISRT
- 13. © 2018 Ciscoand/or its affiliates. All rights reserved. Cisco Public Примеры метрик Число часов, сохраненных автоматизацией (всего и по каждому инструменту автоматизации) Указывает на ценность автоматизации, а также дает представление о том, какие инструменты автоматизации дают эффект Число инцидентов ИБ, обнаруженных с помощью TI Отслеживание этого показателя показывает ценность фидов / провайдеров TI ##
- 14. © 2018 Ciscoand/or its affiliates. All rights reserved. Cisco Public Примеры метрик Число открытых инцидентов 1-го уровня (критический/высокий) Более высокие значения могут указывать на плохую конфигурацию инструментов ИБ, включая инструменты в SOC или более высокие возможности обнаружения по мере увеличения зрелости SOC Число ложных срабатываний (всего и на сигнал тревоги/правило) Более высокие значения могут указывать на плохую конфигурацию инструментов ИБ, в том числе в SOC % инцидентов, переданных аналитикам L2 (всего и на аналитика) Показывает эффективность команды аналитиков 1-го уровня. Более высокие значения будут влиять на команду L2 и могут указывать на: низкий уровень знаний, потребность в обучении, неправильный обмен информацией % точности эскалации на L2 (всего и на аналитика) Показывает эффективность команды аналитиков 1-го уровня. Более высокие значения будут влиять на команду L2 и могут указывать на: низкий уровень знаний, потребность в обучении, неправильный обмен информацией ##% %
- 15. © 2018 Ciscoand/or its affiliates. All rights reserved. Cisco Public • Отсутствие незакрытых инцидентов, скорость реакции, отсутствие претензий от службы реагирования • Количество инцидентов/общее количество выявленных предположительно угроз (что-то вроде показателя уязвимости) пропуска • Количество выявленных верно угроз/общее количество выявленных предположительных угроз (что-то вроде показателя нагруженности) • % отработанных инцидентов от общего их числа Что измеряют российские SOCи?
- 16. © 2018 Ciscoand/or its affiliates. All rights reserved. Cisco Public • Среднее время реагирования, контроль полноты, количество ложных срабатываний • Количество обработанных инцидентов, количество выполненных глобальных задач • TTD, TTR, TTC, количество новых выявленных угроз, количество разборов на новые угрозы Что измеряют российские SOCи?
- 17. © 2018 Ciscoand/or its affiliates. All rights reserved. Cisco Public Пример dashboard/отчета для главы CSIRT Источник: Cisco CISRT
- 18. © 2018 Ciscoand/or its affiliates. All rights reserved. Cisco Public SOC – это не только технический стек Активность Месяц 1 Месяц 2 Месяц 3 Месяц 4 Месяц 5 Месяц 6 Управление программой Управление сервисом Анализ KPI и SLA Стратегия и бизнес кейсы Анализ контрактов с внешними контрагентами Анализ закупок у внешних контрагентов Персонал Рекрутинг Документация Каталог сервисов Playbooks Тренинги и развитие Оценка навыков Подготовка Передача знаний Тренинги Улучшения Улучшение инжиниринга Улучшение операций Пересмотр периметра Пересмотр VA Пересмотр телеметрии Улучшение периметра Улучшение VA Telemetry improvement Измерение Бенчмаркинг 3rd Бенчмаркинг 3rd • Число закрытых требованиями НПА по КИИ сегментов / бизнес-единиц / устройств • Число отправленных в НКЦКИ / ФинЦЕРТ инцидентов • Загрузка аналитиков SOC • Количество пройденных тренингов • % эффективных playbook • % используемых сервисов SOC • % эффективных use case Источник: один из проектов Cisco по аудиту SOC
- 19. © 2018 Ciscoand/or its affiliates. All rights reserved. Cisco Public Как считают буржуйские SOCи?
- 20. © 2018 Ciscoand/or its affiliates. All rights reserved. Cisco Public Отличия крупных и небольших SOCов Меньше внимания числу инцидентов и времени восстановления после инцидента и больше числу эскалированных инцидентов, времени простоя и времени устранения последствий от инцидента Сфокусированы на оценке длительности простоев и потерь для бизнеса
- 21. © 2018 Ciscoand/or its affiliates. All rights reserved. Cisco Public • Число пострадавших активов и устройств • Финансовая стоимость инцидента • С точки зрения затрат на разруливание инцидента, а не потерь от него для бизнеса • Число инцидентов, произошедших по причине известных уязвимостей • Число инцидентов, закрытых за одну смену • Привязка к MITRE ATT&CK Какие еще метрики используют?
- 22. © 2018 Ciscoand/or its affiliates. All rights reserved. Cisco Public Соотношение понесенных и предотвращенных потерь Одна из самых редких метрик, которую не способны посчитать даже руководители бизнес-подразделений, не говоря о SOCах
- 23. © 2018 Ciscoand/or its affiliates. All rights reserved. Cisco Public Стоимость украденного аккаунта клиента в Darknet?! Источник: один из проектов Cisco по аудиту SOC
- 24. © 2018 Ciscoand/or its affiliates. All rights reserved. Cisco Public С помощью чего анализируются данные и оценивается эффективность SOC? 57% 10% 5% 23% 5% Россия SIEM TIP SOAR/IRP Самопал/API Другое 50% 15% 10% 10% 15% США/весь мир SIEM TIP SOAR/IRP Самопал/API Другое • Большинство респондентов полагается на SIEM, но не удовлетворены результатами оценки
- 25. © 2018 Ciscoand/or its affiliates. All rights reserved. Cisco Public Отмечается тенденция отказа от метрик, под которые аналитики подгоняют свои результаты Например, число закрытых тикетов/кейсов на аналитика, которое приводит к созданию фейковых (легко открываемых/закрываемых) тикетов
- 26. © 2018 Ciscoand/or its affiliates. All rights reserved. Cisco Public Как отслеживаются и рапортуются метрики SOC? 12% 45% 33% 10% Россия Полностью ручной Частичная автоматизация Преимущественно автоматизированно Полная автоматизация 18% 44% 27% 11% США/весь мир Полностью ручной Частичная автоматизация Преимущественно автоматизированно Полная автоматизация • Большинство респондентов полагается на SIEM, но не удовлетворены результатами оценки
- 27. © 2018 Ciscoand/or its affiliates. All rights reserved. Cisco Public Уровень Инструментарий Функции Threat Intelligence Метрики Персонал 1 SIEM Базовый мониторинг событий Нет фидов Метрик нет Мониторинг событий (L1-L3) 2 SIEM + базовый сетевой мониторинг Мониторинг событий, тюнинг контента Базовые фиды TI Базовые метрики, ориентированные на инструментарий (например, число событий) Мониторинг событий, разработка контента 3 SIEM + NTA Базовое обнаружение аномалий, периодические пентесты Широкое использование тактического и стратегическогоTI Метрики, ориентированные на инструментарий и временные метрики (TTD, TTC, TTR) Базовый TI FTE 4 SIEM + NTA + EDR Анализ ВПО, базовый threat hunting, киберучения red/blue team Широкое использование тактического и стратегическогоTI, внутренняя служба TI, процессы, основанные на TI Метрики эффективности аналитиков, фокус на улучшения TI FTE или отдел TI, red team FTE или служба 5 SIEM + NTA + EDR + UEBA + SOAR Интегрированные мониторинг и реагирование, threat hunting, продвинутая аналитика для обнаружения аномалий, red team Широкое использование тактического и стратегическогоTI, внутренняя служба TI, процессы, основанные на TI, обмен данными Метрики результативности эффективности, доказательства улучшения обнаружения и реагирования Hunting team, red team, TI team А вот зрелость SOC мало кто оценивает Источник: Gartner SOC Maturity Model
- 28. © 2018 Ciscoand/or its affiliates. All rights reserved. Cisco Public • Не снизу вверх («у меня есть данные, что я могу из них выжать?»), а сверху вниз («у меня есть цель, какие данные мне для этого нужны?») • Почему вы тратите деньги на SOC? • Законодательство • Мода • Бизнес • Что важно для вашего руководства и почему? • Выбирайте метрики только после ответа на эти вопросы Как правильно?
- 29. © 2018 Ciscoand/or its affiliates. All rights reserved. Cisco Public Вопросы?