24 мая 2018
Бизнес-консультант по безопасности
Искусственный интеллект
и кибербезопасность
Алексей Лукацкий
Что заставляет нас думать об ИИ в ИБ?
• Сложность получения
контекста
• Нехватка данных
• Огромные объемы данных
Контекст
0 1 0 1 1 1 1 0 1 1 1 0
1 1 0 0 1 1 0 0 0 0 1 1
1 0 1 1 1 0 1 0 0 0 0 1
0 0 0 1 1 0 0 0 0 0 1 0
0 1 0 0 0 0 1 0 0 1 0 0
• Усложнение атак и рост их
числа
• Эволюция угроз
• Нехватка лучших практик
• Нехватка специалистов
Навыки / Люди
0 1 0 1 1 1 1 0 1 1 1 0
1 1 0 0 1 1 0 0 0 0 1 1
1 0 1 1 1 0 1 0 0 0 0 1
0 0 0 1 1 0 0 0 0 0 1 0
0 1 0 0 0 0 1 0 0 1 0 0
• Атаки быстрее защитников
• Уменьшение времени
реагирования
Время
0 1 0 1 1 1 1 0 1 1 1
0
1 1 0 0 1 1 0 0 0 0 1
1
1 0 1 1 1 0 1 0 0 0 0
1
0 0 0 1 1 0 0 0 0 0 1
0
0 1 0 0 0 0 1 0 0 1 0
0
Идея не нова
А на самом деле еще
раньше
Талос, бронзовый
воин, данный Зевсом и
запрограммированный
Гефестом для защиты
о-ва Крит
Эволюция терминов
KDD
Статистика
Распознавание
образов
Базы
данных
Машинное
обучение
ИИ
Глубокое
обучение
Добыча
данных
«Предсказания очень сложны,
особенно если говорить о будущем»
Нильс Бор
Огромное количество алгоритмов ИИ
ИИ на благо
безопасности
© 2017 Cisco and/or its affiliates. All rights reserved. Cisco Confidential© 2017 Cisco and/or its affiliates. All rights reserved. Cisco Confidential
ВОЗМОЖНОСТИ
• Сетевая телеметрия
• Классификация метаданных
• Обнаружение аномалий
ОБНАРУЖЕНИЕ
ВРЕДОНОСНОГО
ПО
Виновен по поведению
§ Модель совместных запросов
§ Геолокационная модель
§ Модель индекса безопасности
Виновен по связям
§ Модель предсказуемого IP сегмента
§ Корреляция DNS и WHOIS данных
Шаблон виновности
§ Модель всплесков активности
§ Модель оценки языкового
шаблона (NLP)
§ Обнаружение DGA
Классификация вредоносных доменов
На примере Cisco Umbrella
Обнаружение ВПО в шифрованном
трафике Acc. FDR
SPLT+BD+TLS+HTTP+DNS 99.993% 99.978%
TLS 94.836% 50.406%
DNS 99.496% 94.654%
HTTP 99.945% 98.996%
TLS+DNS 99.883% 96.551%
TLS+HTTP 99.955% 99.660%
HTTP+DNS 99.985% 99.956%
SPLT+BD+TLS 99.933% 70.351%
SPLT+BD+TLS+DNS 99.968% 98.043%
SPLT+BD+TLS+HTTP 99.983% 99.956%
TLS DNS
HTTP SPLT+BD
На примере Cisco ETA
© 2017 Cisco and/or its affiliates. All rights reserved. Cisco Confidential© 2017 Cisco and/or its affiliates. All rights reserved. Cisco Confidential
ВОЗМОЖНОСТИ
• Распознавание картинок
• Сегментация картинок
• Поиск похожих
ИЗОБРАЖЕНИЯ
Обнаружение мошенничества с
документами
На примере OZ Forensics
Присланная фотография Паспорт вставлен в Photoshop
Распознавание лиц
На примере OZ Forensics
Распознавание лиц
На примере бета-проекта в Cisco
Как проникнуть в офис Cisco?
Но не все так просто
Нейросеть анализирует видеоаналитику
16
Tailgating Detection @ Cisco2Обнаружение посторонних @
Cisco3
Но не все так просто
Нейросеть анализирует видеоаналитику
17
Обнаружение посторонних @
Cisco4
© 2017 Cisco and/or its affiliates. All rights reserved. Cisco Confidential© 2017 Cisco and/or its affiliates. All rights reserved. Cisco Confidential
ВОЗМОЖНОСТИ
• Распознавание голосовых команд
• Запросы на обычном языке
• Транскрипция аудио
• Перевод
• Приоритезация документов
• Контроль утечек
• Чтение TI-бюллетеней
ПОНИМАНИЕ
ЯЗЫКА
© 2017 Cisco and/or its affiliates. All rights reserved. Cisco Confidential© 2017 Cisco and/or its affiliates. All rights reserved. Cisco Confidential
ВОЗМОЖНОСТИ
• Оптимизация числовых значений
• Отображение релевантных данных
• Предупреждение о выходе за рамки
• Создание плана действий
• Полуавтономные действия
ПРЕДОСТАВЛЕНИЕ
РЕКОМЕНДАЦИЙ
Исследование ESG
• 29% хотят использовать ИИ для обнаружения инцидентов
• Распознавание и классификация – одно из самых популярных
направлений в применении ИИ
• 27% хотят использовать ИИ для реагирования на инциденты
• 24% хотят использовать ИИ для идентификации рисков
• 22% хотят использовать ИИ для улучшения ситуационной
осведомленности о состоянии ИБ на предприятии
ИИ во вред
безопасности
Отличие исследователя от безопасника /
хакера
Исследователь Безопасник / хакер
Основной фокус
Что произойдет в случае
нормальных входных
данных?
Что произойдет в случае
аномальных входных
данных?
Отказ в редких
условиях и сочетаниях
Что-то, что я смогу
игнорировать или чем я
могу пренебречь
Что-то, что я смогу
использовать для
нарушения
Когда злоумышленник знает как
работает ИИ
Знаки распознаются автомобилями с
автопилотом как «снижение скорости» в
100% случаев
Знак «СТОП» в 100%
Когда злоумышленник знает как
работает ИИ
«Панда»
57,7% уверенности
«Гиббон»
99,3% уверенности
• Именно поэтому контрольные точки проверки денежных
купюр или биометрических данных держатся в секрете
Когда злоумышленник знает как
работает ИИ
Когда злоумышленник знает как
работает ИИ
• Компания Microsoft запустила
основанного на машинном
обучении чат-бота Тай в 2016-
м году
• Группа злоумышленников, не
имея доступа к исходным
кодам, научила чат-бота
ругаться и грубо общаться с
пользователями
Есть ли реальные примеры?
Как можно атаковать ИИ?
• Атака на алгоритм
• Внесение изменений в алгоритм
• Подстройка под алгоритм
• Adversarial examples
• Атака на данные
• Внесение посторонних данных
• Изменение существующих
данных
Copyright © 2015-2018 Kushnirenko Nikolay V.
Мы часто видим такие тесты в Фейсбуке
Это щутка J
Давайте пройдем тест
Какое из двух фото синтезированное?
Большой скачок всего за 3 года
2014 → 2017
10 минут 8 часов 16 часов 1 день
5 дней
9 дней
18 дней
4 дня
8 дней
16 дней
3 дня
7 дней
14 дней
2 дня
6 дней
10 дней
• Компания Nvidia
создала нейросеть,
которая
«научилась» за 18
дней создавать
реалистичные
фотографии людей
• Вторая нейросеть Nvidia
училась распознавать
синтезированные
фотографии
• Нейросеть дала сбой и
посчитала данные
синтезированные
фотографии реальными
А вы хотите стать «героем» порно?
• Подмена лица
порноактрисы
в динамике на
лицо актрисы
Галь Гадот
Подмена голоса
• Аудиоредактор Adobe VoCo (пока проект) позволяет «произнести» все,
что угодно, голосом человека, которого предварительно
«прослушивали» в течение 20 минут и более
Есть ли реальные примеры?
• Пока применение
ИИ по ту сторону
баррикад является
предметом
исследований (в т.ч.
и закрытых)
• … но давайте
вспомним
полиморфизм у
компьютерных
вирусов
https://socprime.com/en/blog/petya-a-notpetya-is-an-ai-powered-cyber-weapon-ttps-lead-to-sandworm-apt-group/
А как может быть?
• Поиск уязвимостей
• Модификация эксплойтов
• Фишинг
• Боты для обмана
пользователя
• Подбор пароля
• Подмена личности
Конкуренция на уровне ИИ
Что думают заказчики?
Copyright © 2015-2018 Kushnirenko Nikolay V.Copyright © 2015-2018 Kushnirenko Nikolay V.
0 10 20 30 40 50 60
Как вы реализуете технологии AI/ML в своей системе ИБ?
(%)
Пока только
присматриваюсь
Использую то, что
встроено вендором
в его решение, но
не понимаю, как они
работают
Не верю в этот
маркетинг
Активно пилотирую
AI/ML в целях ИБ и
понимаю, как они
работают
Российский безопасник пока не готов
Источник: Лукацкий А.В., IDC Security Roadshow
В целом, рынок ИИ повторяет тенденции
Изучают
59% изучают, собирают
информацию или
разрабатывают стратегию
Пилотируют
25% пробуют поставщиков,
взаимодействуют с
потребителями, учатся на
своих ошибках
Внедряют
6%
Реализовали
6%
+4% планируют внедрить в
2018
Источник: Gartner
Несмотря на наличие игроков рынка ИИ
в кибербезопасности
Но не все так просто
• У вас есть нужные данные, но
нет правильных моделей. У вас
есть правильные модели, но нет
нужных данных
• CISO Summit, начало 2000-х годов
• Сегодня у вас есть нужные
данные (и их слишком много) и
правильные (наверное)
модели… но нет аналитиков,
которые могут свести все это
вместе
Антон Чувакин, VP Gartner
Давайте
подводить итоги
Но мы еще вначале пути
Оптимизация
Информация
Взгляд в прошлое
Взгляд в будущее
В поле зренияОписательная
аналитика
Что
случилось?
Диагностичес-
кая аналитика
Почему это
случилось?
Предсказатель
-ная аналитика
Что
случится?
Предписываю-
щая аналитика
Что я должен
сделать?
Сложность
Ценность
Без человека пока не обойтись
Описательная
Диагностическая
Предсказательная
Предписывающая
Аналитика Участие человека
Решение
Действие
Поддержка решений
Автоматизация решений
Данные
Текущий статус кибербезопасности и ИИ
Впервые стали
говорить
Много
шума
Не так страшен черт,
как его малюют
Наработаны контрмеры Плато
продуктивности
технологии
О безопасности
никто не думает
Первые
уязвимости
Страх и
неопределенность
Первые решения по
безопасности с ИИ
Атаки ->
отражение ->
атаки …
ИИ тут!
!
Может ли
безопасность
быть
автоматической?
В качестве заключения
Спасибо!
alukatsk@cisco.com

Кибербезопасность и искусственный интеллект

  • 1.
    24 мая 2018 Бизнес-консультантпо безопасности Искусственный интеллект и кибербезопасность Алексей Лукацкий
  • 2.
    Что заставляет насдумать об ИИ в ИБ? • Сложность получения контекста • Нехватка данных • Огромные объемы данных Контекст 0 1 0 1 1 1 1 0 1 1 1 0 1 1 0 0 1 1 0 0 0 0 1 1 1 0 1 1 1 0 1 0 0 0 0 1 0 0 0 1 1 0 0 0 0 0 1 0 0 1 0 0 0 0 1 0 0 1 0 0 • Усложнение атак и рост их числа • Эволюция угроз • Нехватка лучших практик • Нехватка специалистов Навыки / Люди 0 1 0 1 1 1 1 0 1 1 1 0 1 1 0 0 1 1 0 0 0 0 1 1 1 0 1 1 1 0 1 0 0 0 0 1 0 0 0 1 1 0 0 0 0 0 1 0 0 1 0 0 0 0 1 0 0 1 0 0 • Атаки быстрее защитников • Уменьшение времени реагирования Время 0 1 0 1 1 1 1 0 1 1 1 0 1 1 0 0 1 1 0 0 0 0 1 1 1 0 1 1 1 0 1 0 0 0 0 1 0 0 0 1 1 0 0 0 0 0 1 0 0 1 0 0 0 0 1 0 0 1 0 0
  • 3.
  • 4.
    А на самомделе еще раньше Талос, бронзовый воин, данный Зевсом и запрограммированный Гефестом для защиты о-ва Крит
  • 5.
  • 6.
  • 7.
  • 8.
    © 2017 Ciscoand/or its affiliates. All rights reserved. Cisco Confidential© 2017 Cisco and/or its affiliates. All rights reserved. Cisco Confidential ВОЗМОЖНОСТИ • Сетевая телеметрия • Классификация метаданных • Обнаружение аномалий ОБНАРУЖЕНИЕ ВРЕДОНОСНОГО ПО
  • 9.
    Виновен по поведению §Модель совместных запросов § Геолокационная модель § Модель индекса безопасности Виновен по связям § Модель предсказуемого IP сегмента § Корреляция DNS и WHOIS данных Шаблон виновности § Модель всплесков активности § Модель оценки языкового шаблона (NLP) § Обнаружение DGA Классификация вредоносных доменов На примере Cisco Umbrella
  • 10.
    Обнаружение ВПО вшифрованном трафике Acc. FDR SPLT+BD+TLS+HTTP+DNS 99.993% 99.978% TLS 94.836% 50.406% DNS 99.496% 94.654% HTTP 99.945% 98.996% TLS+DNS 99.883% 96.551% TLS+HTTP 99.955% 99.660% HTTP+DNS 99.985% 99.956% SPLT+BD+TLS 99.933% 70.351% SPLT+BD+TLS+DNS 99.968% 98.043% SPLT+BD+TLS+HTTP 99.983% 99.956% TLS DNS HTTP SPLT+BD На примере Cisco ETA
  • 11.
    © 2017 Ciscoand/or its affiliates. All rights reserved. Cisco Confidential© 2017 Cisco and/or its affiliates. All rights reserved. Cisco Confidential ВОЗМОЖНОСТИ • Распознавание картинок • Сегментация картинок • Поиск похожих ИЗОБРАЖЕНИЯ
  • 12.
    Обнаружение мошенничества с документами Напримере OZ Forensics Присланная фотография Паспорт вставлен в Photoshop
  • 13.
  • 14.
  • 15.
  • 16.
    Но не всетак просто Нейросеть анализирует видеоаналитику 16 Tailgating Detection @ Cisco2Обнаружение посторонних @ Cisco3
  • 17.
    Но не всетак просто Нейросеть анализирует видеоаналитику 17 Обнаружение посторонних @ Cisco4
  • 18.
    © 2017 Ciscoand/or its affiliates. All rights reserved. Cisco Confidential© 2017 Cisco and/or its affiliates. All rights reserved. Cisco Confidential ВОЗМОЖНОСТИ • Распознавание голосовых команд • Запросы на обычном языке • Транскрипция аудио • Перевод • Приоритезация документов • Контроль утечек • Чтение TI-бюллетеней ПОНИМАНИЕ ЯЗЫКА
  • 19.
    © 2017 Ciscoand/or its affiliates. All rights reserved. Cisco Confidential© 2017 Cisco and/or its affiliates. All rights reserved. Cisco Confidential ВОЗМОЖНОСТИ • Оптимизация числовых значений • Отображение релевантных данных • Предупреждение о выходе за рамки • Создание плана действий • Полуавтономные действия ПРЕДОСТАВЛЕНИЕ РЕКОМЕНДАЦИЙ
  • 20.
    Исследование ESG • 29%хотят использовать ИИ для обнаружения инцидентов • Распознавание и классификация – одно из самых популярных направлений в применении ИИ • 27% хотят использовать ИИ для реагирования на инциденты • 24% хотят использовать ИИ для идентификации рисков • 22% хотят использовать ИИ для улучшения ситуационной осведомленности о состоянии ИБ на предприятии
  • 21.
  • 22.
    Отличие исследователя отбезопасника / хакера Исследователь Безопасник / хакер Основной фокус Что произойдет в случае нормальных входных данных? Что произойдет в случае аномальных входных данных? Отказ в редких условиях и сочетаниях Что-то, что я смогу игнорировать или чем я могу пренебречь Что-то, что я смогу использовать для нарушения
  • 23.
    Когда злоумышленник знаеткак работает ИИ Знаки распознаются автомобилями с автопилотом как «снижение скорости» в 100% случаев Знак «СТОП» в 100%
  • 24.
    Когда злоумышленник знаеткак работает ИИ «Панда» 57,7% уверенности «Гиббон» 99,3% уверенности • Именно поэтому контрольные точки проверки денежных купюр или биометрических данных держатся в секрете
  • 25.
  • 26.
    Когда злоумышленник знаеткак работает ИИ • Компания Microsoft запустила основанного на машинном обучении чат-бота Тай в 2016- м году • Группа злоумышленников, не имея доступа к исходным кодам, научила чат-бота ругаться и грубо общаться с пользователями
  • 27.
  • 28.
    Как можно атаковатьИИ? • Атака на алгоритм • Внесение изменений в алгоритм • Подстройка под алгоритм • Adversarial examples • Атака на данные • Внесение посторонних данных • Изменение существующих данных Copyright © 2015-2018 Kushnirenko Nikolay V.
  • 29.
    Мы часто видимтакие тесты в Фейсбуке Это щутка J
  • 30.
    Давайте пройдем тест Какоеиз двух фото синтезированное?
  • 31.
    Большой скачок всегоза 3 года 2014 → 2017
  • 32.
    10 минут 8часов 16 часов 1 день 5 дней 9 дней 18 дней 4 дня 8 дней 16 дней 3 дня 7 дней 14 дней 2 дня 6 дней 10 дней • Компания Nvidia создала нейросеть, которая «научилась» за 18 дней создавать реалистичные фотографии людей
  • 33.
    • Вторая нейросетьNvidia училась распознавать синтезированные фотографии • Нейросеть дала сбой и посчитала данные синтезированные фотографии реальными
  • 34.
    А вы хотитестать «героем» порно? • Подмена лица порноактрисы в динамике на лицо актрисы Галь Гадот
  • 35.
    Подмена голоса • АудиоредакторAdobe VoCo (пока проект) позволяет «произнести» все, что угодно, голосом человека, которого предварительно «прослушивали» в течение 20 минут и более
  • 37.
    Есть ли реальныепримеры? • Пока применение ИИ по ту сторону баррикад является предметом исследований (в т.ч. и закрытых) • … но давайте вспомним полиморфизм у компьютерных вирусов https://socprime.com/en/blog/petya-a-notpetya-is-an-ai-powered-cyber-weapon-ttps-lead-to-sandworm-apt-group/
  • 38.
    А как можетбыть? • Поиск уязвимостей • Модификация эксплойтов • Фишинг • Боты для обмана пользователя • Подбор пароля • Подмена личности
  • 39.
  • 40.
    Что думают заказчики? Copyright© 2015-2018 Kushnirenko Nikolay V.Copyright © 2015-2018 Kushnirenko Nikolay V.
  • 41.
    0 10 2030 40 50 60 Как вы реализуете технологии AI/ML в своей системе ИБ? (%) Пока только присматриваюсь Использую то, что встроено вендором в его решение, но не понимаю, как они работают Не верю в этот маркетинг Активно пилотирую AI/ML в целях ИБ и понимаю, как они работают Российский безопасник пока не готов Источник: Лукацкий А.В., IDC Security Roadshow
  • 42.
    В целом, рынокИИ повторяет тенденции Изучают 59% изучают, собирают информацию или разрабатывают стратегию Пилотируют 25% пробуют поставщиков, взаимодействуют с потребителями, учатся на своих ошибках Внедряют 6% Реализовали 6% +4% планируют внедрить в 2018 Источник: Gartner
  • 43.
    Несмотря на наличиеигроков рынка ИИ в кибербезопасности
  • 44.
    Но не всетак просто • У вас есть нужные данные, но нет правильных моделей. У вас есть правильные модели, но нет нужных данных • CISO Summit, начало 2000-х годов • Сегодня у вас есть нужные данные (и их слишком много) и правильные (наверное) модели… но нет аналитиков, которые могут свести все это вместе Антон Чувакин, VP Gartner
  • 45.
  • 46.
    Но мы ещевначале пути Оптимизация Информация Взгляд в прошлое Взгляд в будущее В поле зренияОписательная аналитика Что случилось? Диагностичес- кая аналитика Почему это случилось? Предсказатель -ная аналитика Что случится? Предписываю- щая аналитика Что я должен сделать? Сложность Ценность
  • 47.
    Без человека покане обойтись Описательная Диагностическая Предсказательная Предписывающая Аналитика Участие человека Решение Действие Поддержка решений Автоматизация решений Данные
  • 48.
    Текущий статус кибербезопасностии ИИ Впервые стали говорить Много шума Не так страшен черт, как его малюют Наработаны контрмеры Плато продуктивности технологии О безопасности никто не думает Первые уязвимости Страх и неопределенность Первые решения по безопасности с ИИ Атаки -> отражение -> атаки … ИИ тут! !
  • 49.
  • 51.
  • 52.