В этом докладе мы поговорим о том, какие области науки о данных применимы при защите от DDoS, взглянем на машинное обучение с позиций злоумышленников, специалистов по обеспечению доступности и по защите информации.
Рассмотрим в этом контексте обучение с обратной связью:
• от окружающей среды (теория управления/control theory),
• от данных (кластеризация, unsupervised learning),
• от внешнего источника (обучение с учителем/supervised learning — классификация и регрессия).
Особенности использования машинного обучения при защите от DDoS-атакQrator Labs
В докладе мы взглянем на проблему DDOS, с одной стороны, более широко — как на проблему обеспечения доступности ресурса, с другой стороны более конкретно — как на проблему информационной безопасности.
Поговорим о том, как автоматизировать борьбу с DDOS-атаками при помощи машинного обучения, и чем такая автоматизация может быть опасна.
Наконец, рассмотрим пару примеров и обсудим, с чего начинать строить систему защиты от DDOS.
Как подготовиться к гигабитной DDoS-атаке при помощи машинного обучения / Игн...Ontico
Обеспечение доступности — это сложная задача, которая требует совместной работы специалистов по проектированию и администрированию сетей, разработчиков приложений, тестировщиков и специалистов по IT-безопасности.
В этом докладе мы поговорим о том, какие области науки о данных применимы при защите от DDoS, взглянем на машинное обучение с позиций злоумышленников, специалистов по обеспечению доступности и по защите информации.
Рассмотрим в этом контексте обучение с обратной связью:
+ от окружающей среды (теория управления/control theory),
+ от данных (кластеризация, unsupervised learning),
+ от внешнего источника (обучение с учителем/supervised learning — классификация и регрессия).
Сделаем акцент на сложности алгоритмов и времени, необходимом для обучения. Машинное обучение нельзя просто включить по щелчку пальцев: чтобы всё работало хорошо, нужно заблаговременно подготовить данные, настроить и обучить механизмы защиты.
Основная цель практически любой атаки при реализации угроз -- получение несанкционированного доступа к информации.
Мы, как тестировщики, проверяем приложение на наличие уязвимостей, вместе с тем нам удобно иметь какую-то систему для эффективного тестирования безопасности.
Одной из таких основ может стать моделирование угроз для приложения. Это одна из практик Security Development Lifecycle (SDL).
Эта база дает возможность тестировщикам выявлять и разработчикам устранять потенциальные проблемы безопасности на ранних этапах разработки ПО.
Я расскажу основную концепцию моделирования угроз и покажу как это можно выполнить.
Доклад будет интересен специалистам которые недавно открыли увлекательный мир безопасности ПО.
Особенности использования машинного обучения при защите от DDoS-атакQrator Labs
В докладе мы взглянем на проблему DDOS, с одной стороны, более широко — как на проблему обеспечения доступности ресурса, с другой стороны более конкретно — как на проблему информационной безопасности.
Поговорим о том, как автоматизировать борьбу с DDOS-атаками при помощи машинного обучения, и чем такая автоматизация может быть опасна.
Наконец, рассмотрим пару примеров и обсудим, с чего начинать строить систему защиты от DDOS.
Как подготовиться к гигабитной DDoS-атаке при помощи машинного обучения / Игн...Ontico
Обеспечение доступности — это сложная задача, которая требует совместной работы специалистов по проектированию и администрированию сетей, разработчиков приложений, тестировщиков и специалистов по IT-безопасности.
В этом докладе мы поговорим о том, какие области науки о данных применимы при защите от DDoS, взглянем на машинное обучение с позиций злоумышленников, специалистов по обеспечению доступности и по защите информации.
Рассмотрим в этом контексте обучение с обратной связью:
+ от окружающей среды (теория управления/control theory),
+ от данных (кластеризация, unsupervised learning),
+ от внешнего источника (обучение с учителем/supervised learning — классификация и регрессия).
Сделаем акцент на сложности алгоритмов и времени, необходимом для обучения. Машинное обучение нельзя просто включить по щелчку пальцев: чтобы всё работало хорошо, нужно заблаговременно подготовить данные, настроить и обучить механизмы защиты.
Основная цель практически любой атаки при реализации угроз -- получение несанкционированного доступа к информации.
Мы, как тестировщики, проверяем приложение на наличие уязвимостей, вместе с тем нам удобно иметь какую-то систему для эффективного тестирования безопасности.
Одной из таких основ может стать моделирование угроз для приложения. Это одна из практик Security Development Lifecycle (SDL).
Эта база дает возможность тестировщикам выявлять и разработчикам устранять потенциальные проблемы безопасности на ранних этапах разработки ПО.
Я расскажу основную концепцию моделирования угроз и покажу как это можно выполнить.
Доклад будет интересен специалистам которые недавно открыли увлекательный мир безопасности ПО.
В данной сессии мы подробно рассмотрим архитектурные принципы построения защищённого корпоративного периметра, с разбором решения некоторых частных задач, характерных для периметра: контроль доступа пользователей в сеть Интернет, борьба с целенаправленными (APT) угрозами, защита web и email-трафика, средства объективного контроля сетевых процессов.
Обзор применения искусственного интеллекта в кибербезопасности как с позитивной, так и с негативной стороны. Как ИИ используют безопасники. Как ИИ используют хакеры. Какие угрозы могут быть для ИИ.
Анатомия DDoS-атак, или Как предупредить и обезвредить нападения злоумышленниковКРОК
Вебинар «Анатомия DDoS-атак, или Как предупредить и обезвредить нападения злоумышленников» http://www.croc.ru/action/webinars/41850/
Презентация Данила Дрожжина, эксперта по сетевой безопасности компании КРОК
Защита веб-приложений и веб-инфраструктурыInfoWatch
Андрей Бондаренко, эксперт компании Qrator Labs, поделится опытом защиты от DDoS-атак, расскажет о современных трендах и даст прогнозы о том, какие виды DDoS будут наиболее «популярны» в следующем году.
Алексей Афанасьев, эксперт InfoWatch, расскажет о подходе компании InfoWatch в борьбе с таргетированными атаками, о философии Continuous Security, а также о многомодульном решении InfoWatch Attack Killer, реализованном на технологиях компании Qrator Labs, Wallarm и Appercut и Cezurity.
Годовой отчет Qrator Labs об угрозах интернета 2017Qrator Labs
Узнаваемость проблематики DDoS растет одновременно с увеличением агрессии интернета и изменения его здорового состояния. DDoS-атаки похожи на акул в океане — вы знаете, что они есть, даже не видя плавников над водой. Эта картина в полной мере описывает происходящее в современном интернете, где атаки происходят каждую минуту, становясь новой нормальностью. Те, кто продает защиту и доступность, адаптируются соответствующим образом. В 2017 году интернет-бизнес без защиты от DDoS и без WAF прекратил свое существование.
DDoS awareness grows with the attack state shifting towards the healthy state of the Internet. DDoS attacks are like sharks in the ocean—you know they are there, even if you do not see any shark fins above the water. This picture describes what’s happening in the modern internet, where DDoS attacks occur every minute—they become the new normal, and those serving accessibility are adapting by including such services in their bundles. In 2017 an internet business without DDoS mitigation and WAF is ceased to exist.
More Related Content
Similar to Как подготовиться к гигабитной DDoS-атаке при помощи машинного обучения
В данной сессии мы подробно рассмотрим архитектурные принципы построения защищённого корпоративного периметра, с разбором решения некоторых частных задач, характерных для периметра: контроль доступа пользователей в сеть Интернет, борьба с целенаправленными (APT) угрозами, защита web и email-трафика, средства объективного контроля сетевых процессов.
Обзор применения искусственного интеллекта в кибербезопасности как с позитивной, так и с негативной стороны. Как ИИ используют безопасники. Как ИИ используют хакеры. Какие угрозы могут быть для ИИ.
Анатомия DDoS-атак, или Как предупредить и обезвредить нападения злоумышленниковКРОК
Вебинар «Анатомия DDoS-атак, или Как предупредить и обезвредить нападения злоумышленников» http://www.croc.ru/action/webinars/41850/
Презентация Данила Дрожжина, эксперта по сетевой безопасности компании КРОК
Защита веб-приложений и веб-инфраструктурыInfoWatch
Андрей Бондаренко, эксперт компании Qrator Labs, поделится опытом защиты от DDoS-атак, расскажет о современных трендах и даст прогнозы о том, какие виды DDoS будут наиболее «популярны» в следующем году.
Алексей Афанасьев, эксперт InfoWatch, расскажет о подходе компании InfoWatch в борьбе с таргетированными атаками, о философии Continuous Security, а также о многомодульном решении InfoWatch Attack Killer, реализованном на технологиях компании Qrator Labs, Wallarm и Appercut и Cezurity.
Годовой отчет Qrator Labs об угрозах интернета 2017Qrator Labs
Узнаваемость проблематики DDoS растет одновременно с увеличением агрессии интернета и изменения его здорового состояния. DDoS-атаки похожи на акул в океане — вы знаете, что они есть, даже не видя плавников над водой. Эта картина в полной мере описывает происходящее в современном интернете, где атаки происходят каждую минуту, становясь новой нормальностью. Те, кто продает защиту и доступность, адаптируются соответствующим образом. В 2017 году интернет-бизнес без защиты от DDoS и без WAF прекратил свое существование.
DDoS awareness grows with the attack state shifting towards the healthy state of the Internet. DDoS attacks are like sharks in the ocean—you know they are there, even if you do not see any shark fins above the water. This picture describes what’s happening in the modern internet, where DDoS attacks occur every minute—they become the new normal, and those serving accessibility are adapting by including such services in their bundles. In 2017 an internet business without DDoS mitigation and WAF is ceased to exist.
Memcached amplification DDoS: a 2018 threat. Qrator Labs
In November 2017, researchers have found a new class of amplification DDoS attacks: memcached amplification. At the end of February 2018 those attacks are in the wild, with a bandwidth already close to 0,5 Gbps. This lightning talk is a short analysis of the threat structure, consequences and possible ways to mitigate the threat.
A contemporary network service heavily depends on domain name system operating normally. Yet, often issues and caveats of typical DNS setup are being overlooked. DNS (like BGP before) is expected to "just work" everywhere, however, just as BGP, this is a complex protocol and a complex solution where a lot of things could go wrong in multiple ways under different circumstances. This talk is supposed to provide some assistance both in maintaining your own DNS infrastructure and in relying on service providers doing this.
The global routing incidents have already become regular. Its source is engineers mistakes, but the tolerance to these anomalies at the level of IP-transit allows these incidents to have global consequences. In this report, I will make a review of different methods of ingress route filtering and discuss possible future solutions.
At the Ripe74 routing working group, Qrator Labs leading engineer Alexander Azimov gave a status update on the BGP route leaks issue. These are the slides to the video: https://youtu.be/4NAlJzVRwM0
Презентация Артема Гавриченкова, технического директора Qrator Labs, на конференции "Хакер, вендор, клиент: безопасность без купюр" (https://vulners.com/conference).
Qrator and Wallarm 2016 State of Network Security report is dedicated to the main events and strong trends in the network security industry. Particular attention is payed to the DDoS, Internet infrastructure, hacks and vulnerabilities in software and hardware, like connected devices.
Состояние сетевой безопасности в 2016 году Qrator Labs
Отчёт компаний Qrator и Wallarm, представленный вашему вниманию, посвящён главным событиям и основным тенденциям в области сетевой безопасности.
Отдельное внимание в отчёте уделяется проблематике DDoS, инфраструктуры Интернета и уязвимостям, а также взломам широко используемого ПО и других продуктов с электронной составляющей — устройств, подключённых к Сети.
Сколько стоит доступ в память, и что с этим делатьQrator Labs
Конференция Highload++ / 7 ноября 2016 / Спикер - Антон Орлов, занимается исследованием аппаратных компонентов, пригодных к использованию в платформе фильтрации трафика Qrator Labs.
В пересчёте на количество транзисторов оперативная память занимает в современном сервере не менее 85% (если добавить сюда внутрипроцессорные кэши, то и сильно за 90%). Все эти транзисторы оплачены, они греются. Хотелось бы использовать их по максимуму. При этом уже с середины 90-х годов именно скорость доступа к данным ограничивает производительность большинства вычислений (фоннеймановское узкое горло, стена памяти).
Мы так привыкли к слову RAM, что порой принимаем название random access за чистую монету. Однако во что на самом деле обходится доступ в память? И как это узнать? И что потом с этим делать?
Анализ количества посетителей на сайте [Считаем уникальные элементы]Qrator Labs
Конференция Highload++ / 7 ноября 2016 / Спикер - Константин Игнатов, инженер-разработчик в отделе исследований Qrator Labs.
Для точного ответа на вопрос, сколько уникальных посетителей было на моём сайте за произвольный интервал времени в прошлом, нужно через равные интервалы времени сохранять множество посетителей сайта (пусть это для простоты будут IP-адреса), которых мы за прошедший интервал увидели. Понятное дело, что такой объём информации хранить нереально, а даже, если получится, придётся объединять большое количество множеств и считать элементы в том множестве, которое получилось в итоге. Это очень долго. Не спасает ситуацию даже переход от точных алгоритмов к приблизительным: гарантировать точность либо не получится, либо придётся использовать объём памяти и вычислительные ресурсы, сопоставимые с точным алгоритмом.
Конференция Highload++ / 7 ноября 2016 / Спикер - Александр Азимов, network Architect at Qrator Labs, руководитель проекта "Radar by Qrator"
Многим известна проблема исчерпания адресного пространства IPv4, из года в год делаются доклады о том, что адреса кончаются, кончаются, да никак не кончатся. На этом фоне польза от внедрения IPv6 кажется абсолютно неочевидной.
В докладе пойдет речь о причинах неизбежности прихода и массового внедрения IPv6 вне зависимости от судьбы адресного пространства IPv4, с описанием как пользы от использования Dual Stack, так и возникающих рисков.
The document discusses different approaches to merging multiple autonomous systems (ASNs) operated by an Internet service provider (ISP) into a single network. It evaluates using BGP with neighbor roles, BGP confederations, and migration techniques. The preferred approach uses BGP with roles and confederations to synchronize policies, implement "hot potato" routing, prevent route leaks, and merge the ASNs without increasing path lengths. The summary outlines key steps for the migration process and benefits of this approach over alternatives.
DDoS Attacks in 2017: Beyond Packet FilteringQrator Labs
This document discusses the evolution of DDoS attacks beyond simple packet filtering. It notes that modern attacks use TCP connections and HTTPS to exhaust server resources, and that effective defenses require deep packet inspection, behavioral analysis, and correlation across networks. However, implementing these defenses is very expensive. As a result, best effort mitigation services cannot guarantee service level agreements, forcing networks to protect themselves individually in an every-man-for-himself environment. The future of DDoS defense remains unclear.
This document analyzes internet connectivity in the Caucasus region based on BGP and RIPE Atlas data. It finds that the top 2 autonomous systems (ASNs) make up over half the traffic in Russia, Armenia, and Georgia, but over 90% in Azerbaijan. Latency between countries is generally higher than expected, ranging from 2ms between Azerbaijan and Georgia to 146ms between Georgia and Russia. Traffic tends to stay local, except over half of Russian traffic goes through European networks. The author encourages expanding RIPE Atlas and BGP data to better understand regional internet infrastructure.
The document compares latency between IPv4 and IPv6 networks and explores reasons for differences. It finds that in some cases, IPv6 latency is faster than IPv4 due to a shift in connectivity where IPv6 traffic flows through a tier 1 provider, HE (AS6939), that has higher connectivity in IPv6. The separation of IPv4 and IPv6 networks means latency comparisons do not always reflect an identical network structure. As IPv6 adoption increases, the document predicts the differences between the two networks will decrease.
Финансовый сектор. Аспекты информационной безопасности 2016Qrator Labs
Целью настоящего исследования было изучить актуальность проблематики и масштаб угрозы DDoS-атак и атак на уязвимости приложений в российском финансовом секторе (банки и платежные системы), а также оценить уровень защищенности внешнего сетевого периметра организаций.
White Paper. Эволюция DDoS-атак и средств противодействия данной угрозеQrator Labs
В области DDoS-атак, как и во всех других сферах кибербезопасности, не прекращается борьба щита и меча. Злоумышленники используют всё более изощрённые методы. Поставщики решений следуют за ними, выпуская всё новые продукты для того, чтобы помешать злому умыслу. Старые средства перестают работать, требуются новые подходы и инструменты для того, чтобы не стать жертвой киберпреступников. В данном документе рассматривается путь развития, который проходят инструменты противодействия DDoS-атакам, под влиянием меняющихся подходов киберпреступников.
Информация в данном документе будет полезной компаниям, которые хотят быть уверены, что их интернет-ресурсы защищены современными средствами противодействия, а не решениями, основанными на устаревших неэффективных более технологиях, которые всё ещё предлагаются на рынке. Также, документ предназначен для специалистов в области информационной безопасности и широкого круга людей, интересующихся данной темой.
Тренды 2015 года в области интернет-безопасности в россии и в миреQrator Labs
В документе приведены словарь терминов (определение, типы ddos атак и их особенности), история развития инструментов злоумышленников, соответствующие методы противодействия, а также прогноз до 2020 года.
Обзорное исследование будет полезным компаниям, которые хотят быть уверены, что их интернет-ресурсы защищены современными средствами противодействия, а не решениями, основанными на устаревших неэффективных более технологиях.
Также, документ предназначен для специалистов в области информационной безопасности и широкого круга людей, интересующихся данной темой.
Тренды 2015 года в области интернет-безопасности в россии и в мире
Как подготовиться к гигабитной DDoS-атаке при помощи машинного обучения
1. Процессы ИБ Machine learning Сбор данных Примеры задач Самое важное
Как подготовиться к гигабитной DDoS-атаке
при помощи машинного обучения
Константин Игнатов
Qrator Labs
3.11.2015
@podshumok Qrator
Machine learning for DDoS mitigation
4. Процессы ИБ Machine learning Сбор данных Примеры задач Самое важное
План
Процессы информационной безопасности
Информационная безопасность
Процесс DDoS mitigation
Machine learning
Объяснимость и устойчивость к манипуляциям
Что захочет сделать злоумышленник
Сбор данных
Откуда брать данные для обучения?
Чему учиться, что искать?
Примеры задач
Предсказание нагрузки
Поиск групп запросов
@podshumok Qrator
Machine learning for DDoS mitigation
5. Процессы ИБ Machine learning Сбор данных Примеры задач Самое важное
Информационная безопасность
План
Процессы информационной безопасности
Информационная безопасность
Процесс DDoS mitigation
Machine learning
Объяснимость и устойчивость к манипуляциям
Что захочет сделать злоумышленник
Сбор данных
Откуда брать данные для обучения?
Чему учиться, что искать?
Примеры задач
Предсказание нагрузки
Поиск групп запросов
@podshumok Qrator
Machine learning for DDoS mitigation
6. Процессы ИБ Machine learning Сбор данных Примеры задач Самое важное
Информационная безопасность
Обеспечение доступности
Процесс противодействия злоумышленнику
наша цель — 100% доступность
цель злоумышленника — наш даунтайм
Основные принципы:
"мыслить как преступник"
спрашивать (не только) себя: "что здесь может пойти
не так?"
@podshumok Qrator
Machine learning for DDoS mitigation
7. Процессы ИБ Machine learning Сбор данных Примеры задач Самое важное
Информационная безопасность
Обеспечение доступности
Процесс противодействия злоумышленнику
наша цель — 100% доступность
цель злоумышленника — наш даунтайм
Основные принципы:
"мыслить как преступник"
спрашивать (не только) себя: "что здесь может пойти
не так?"
@podshumok Qrator
Machine learning for DDoS mitigation
8. Если что-то плохое может произойти, оно произойдёт...
по чьей-то злой воле
9. Процессы ИБ Machine learning Сбор данных Примеры задач Самое важное
Процесс DDoS mitigation
План
Процессы информационной безопасности
Информационная безопасность
Процесс DDoS mitigation
Machine learning
Объяснимость и устойчивость к манипуляциям
Что захочет сделать злоумышленник
Сбор данных
Откуда брать данные для обучения?
Чему учиться, что искать?
Примеры задач
Предсказание нагрузки
Поиск групп запросов
@podshumok Qrator
Machine learning for DDoS mitigation
10. Процессы ИБ Machine learning Сбор данных Примеры задач Самое важное
Процесс DDoS mitigation
Защищаем ограниченные ресурсы
DDoS атака, как правило, направлена на их исчерпывание
Требуется совместная работа многих отделов
сетевые инженеры, архитекторы: канал
разработчики приложения: память, CPU, IOPS
специалисты по ИБ: защищаемый IP
@podshumok Qrator
Machine learning for DDoS mitigation
12. Процессы ИБ Machine learning Сбор данных Примеры задач Самое важное
Объяснимость и устойчивость к манипуляциям
План
Процессы информационной безопасности
Информационная безопасность
Процесс DDoS mitigation
Machine learning
Объяснимость и устойчивость к манипуляциям
Что захочет сделать злоумышленник
Сбор данных
Откуда брать данные для обучения?
Чему учиться, что искать?
Примеры задач
Предсказание нагрузки
Поиск групп запросов
@podshumok Qrator
Machine learning for DDoS mitigation
13. Процессы ИБ Machine learning Сбор данных Примеры задач Самое важное
Объяснимость и устойчивость к манипуляциям
Machine learning для автоматизации
Machine learning — это просто набор алгоритмов
Два этапа работы алгоритмов:
подготовка (настройка, выбор модели, обучение)
предсказание
Три типа алгоритмов:
с обратной связью от среды
теория управления (control systems)
с обратной связью от человека
обучение с учителем (supervised learning)
с обратной связью от данных
обучение без учителя (unsupervised learning)
@podshumok Qrator
Machine learning for DDoS mitigation
14.
15. Процессы ИБ Machine learning Сбор данных Примеры задач Самое важное
Объяснимость и устойчивость к манипуляциям
Требования к алгоритмам
Алгоритмы дают оценку, например, матожидания E [ω|X]
ω — случайная величина (что мы хотим «предсказать»)
X — известные данные
Мы хотим:
На первом этапе работы: игнорировать аномалии при
обучении (в обратной связи)
На втором: иметь возможность понять, почему было принято
именно такое решение
@podshumok Qrator
Machine learning for DDoS mitigation
16. Процессы ИБ Machine learning Сбор данных Примеры задач Самое важное
Что захочет сделать злоумышленник
План
Процессы информационной безопасности
Информационная безопасность
Процесс DDoS mitigation
Machine learning
Объяснимость и устойчивость к манипуляциям
Что захочет сделать злоумышленник
Сбор данных
Откуда брать данные для обучения?
Чему учиться, что искать?
Примеры задач
Предсказание нагрузки
Поиск групп запросов
@podshumok Qrator
Machine learning for DDoS mitigation
17. Процессы ИБ Machine learning Сбор данных Примеры задач Самое важное
Что захочет сделать злоумышленник
Кто учит машину?
Данные для
обучения = поведение
пользователей
То есть частично
контролируемы
злоумышленником
И тут у злоумышленника появляется одна идея...
научить наш алгоритм «вместо нас»
Это плохо. И может случиться. Что делать?
@podshumok Qrator
Machine learning for DDoS mitigation
18. Процессы ИБ Machine learning Сбор данных Примеры задач Самое важное
Что захочет сделать злоумышленник
Кто учит машину?
Данные для
обучения = поведение
пользователей
То есть частично
контролируемы
злоумышленником
И тут у злоумышленника появляется одна идея...
научить наш алгоритм «вместо нас»
Это плохо. И может случиться. Что делать?
@podshumok Qrator
Machine learning for DDoS mitigation
19. Процессы ИБ Machine learning Сбор данных Примеры задач Самое важное
Что захочет сделать злоумышленник
Кто учит машину?
Данные для
обучения = поведение
пользователей
То есть частично
контролируемы
злоумышленником
И тут у злоумышленника появляется одна идея...
научить наш алгоритм «вместо нас»
Это плохо. И может случиться. Что делать?
@podshumok Qrator
Machine learning for DDoS mitigation
20. Процессы ИБ Machine learning Сбор данных Примеры задач Самое важное
Что захочет сделать злоумышленник
Кто учит машину?
Данные для
обучения = поведение
пользователей
То есть частично
контролируемы
злоумышленником
И тут у злоумышленника появляется одна идея...
научить наш алгоритм «вместо нас»
Это плохо. И может случиться. Что делать?
@podshumok Qrator
Machine learning for DDoS mitigation
22. Процессы ИБ Machine learning Сбор данных Примеры задач Самое важное
Что захочет сделать злоумышленник
Робастная оценка
Робастность — мера того, насколько просто повлиять на
предсказываемую оценку
Breaking point — количество образцов в обучающей выборке,
достаточное для того, чтобы исказить оценку
Чем выше Breaking Point, тем сложнее злоумышленнику
повлиять на работу алгоритма ML
Что означает «сложнее»?
@podshumok Qrator
Machine learning for DDoS mitigation
23. Деталь, которая не ломается, отличается от детали,
которая ломается, тем, что, если деталь, которая не
ломается, сломается, то её нельзя будет починить.
24. Процессы ИБ Machine learning Сбор данных Примеры задач Самое важное
Что захочет сделать злоумышленник
Объяснимость
Помогает «приглядывать» за автоматизированным
процессом.
Как иначе понять, что что-то пошло не так?
Помогает при тестировании и отладке.
Помогает при расследовании инцидентов.
@podshumok Qrator
Machine learning for DDoS mitigation
26. Процессы ИБ Machine learning Сбор данных Примеры задач Самое важное
Откуда брать данные для обучения?
План
Процессы информационной безопасности
Информационная безопасность
Процесс DDoS mitigation
Machine learning
Объяснимость и устойчивость к манипуляциям
Что захочет сделать злоумышленник
Сбор данных
Откуда брать данные для обучения?
Чему учиться, что искать?
Примеры задач
Предсказание нагрузки
Поиск групп запросов
@podshumok Qrator
Machine learning for DDoS mitigation
27. Процессы ИБ Machine learning Сбор данных Примеры задач Самое важное
Откуда брать данные для обучения?
Что хранить
Необходимо (и легко)
Данные о состояния
сервера
(«телеметрию»):
статистика
соединений
объём трафика
свободная память
загрузка ЦПУ
прочие замеры
исчерпываемых
ресурсов
Полезно (но тяжело)
Логи
желательно,
подробные
в основном, access.log
в более-менее
удобном для машины
формате
@podshumok Qrator
Machine learning for DDoS mitigation
28. Процессы ИБ Machine learning Сбор данных Примеры задач Самое важное
Откуда брать данные для обучения?
Что хранить
Необходимо (и легко)
Данные о состояния
сервера
(«телеметрию»):
статистика
соединений
объём трафика
свободная память
загрузка ЦПУ
прочие замеры
исчерпываемых
ресурсов
Полезно (но тяжело)
Логи
желательно,
подробные
в основном, access.log
в более-менее
удобном для машины
формате
@podshumok Qrator
Machine learning for DDoS mitigation
29. Процессы ИБ Machine learning Сбор данных Примеры задач Самое важное
Откуда брать данные для обучения?
Логи
Нужен хотя бы небольшой образец логов «чистого
поведения»
Нужно иметь возможность сохранить хотя бы часть логов
за время атаки
Что здесь может пойти не так?
Можно хранить только подмножество логов
Важно: правильно организовать выборку
например, можно хранить только запросы с
MurmurHash(IP) mod 1024 ∈ B, где B ⊂ 0, 1023
@podshumok Qrator
Machine learning for DDoS mitigation
30. Процессы ИБ Machine learning Сбор данных Примеры задач Самое важное
Откуда брать данные для обучения?
Логи
Нужен хотя бы небольшой образец логов «чистого
поведения»
Нужно иметь возможность сохранить хотя бы часть логов
за время атаки
Что здесь может пойти не так?
Можно хранить только подмножество логов
Важно: правильно организовать выборку
например, можно хранить только запросы с
MurmurHash(IP) mod 1024 ∈ B, где B ⊂ 0, 1023
@podshumok Qrator
Machine learning for DDoS mitigation
31. Процессы ИБ Machine learning Сбор данных Примеры задач Самое важное
Откуда брать данные для обучения?
Логи
Нужен хотя бы небольшой образец логов «чистого
поведения»
Нужно иметь возможность сохранить хотя бы часть логов
за время атаки
Что здесь может пойти не так?
Можно хранить только подмножество логов
Важно: правильно организовать выборку
например, можно хранить только запросы с
MurmurHash(IP) mod 1024 ∈ B, где B ⊂ 0, 1023
@podshumok Qrator
Machine learning for DDoS mitigation
32. Процессы ИБ Machine learning Сбор данных Примеры задач Самое важное
Откуда брать данные для обучения?
Логи
Нужен хотя бы небольшой образец логов «чистого
поведения»
Нужно иметь возможность сохранить хотя бы часть логов
за время атаки
Что здесь может пойти не так?
Можно хранить только подмножество логов
Важно: правильно организовать выборку
например, можно хранить только запросы с
MurmurHash(IP) mod 1024 ∈ B, где B ⊂ 0, 1023
@podshumok Qrator
Machine learning for DDoS mitigation
33. Процессы ИБ Machine learning Сбор данных Примеры задач Самое важное
Чему учиться, что искать?
План
Процессы информационной безопасности
Информационная безопасность
Процесс DDoS mitigation
Machine learning
Объяснимость и устойчивость к манипуляциям
Что захочет сделать злоумышленник
Сбор данных
Откуда брать данные для обучения?
Чему учиться, что искать?
Примеры задач
Предсказание нагрузки
Поиск групп запросов
@podshumok Qrator
Machine learning for DDoS mitigation
34. Процессы ИБ Machine learning Сбор данных Примеры задач Самое важное
Чему учиться, что искать?
Что даёт сбор данных?
«Телеметрия»
Фиксируем, когда
серверу «плохо»
Прогнозируем
проблемы
Логи
Чем отличается
зловредное поведение,
от
«доброкачественного»?
Какая группа
пользователей вызывает
основную нагрузку?
@podshumok Qrator
Machine learning for DDoS mitigation
35. Процессы ИБ Machine learning Сбор данных Примеры задач Самое важное
Чему учиться, что искать?
Что даёт сбор данных?
«Телеметрия»
Фиксируем, когда
серверу «плохо»
Прогнозируем
проблемы
Логи
Чем отличается
зловредное поведение,
от
«доброкачественного»?
Какая группа
пользователей вызывает
основную нагрузку?
@podshumok Qrator
Machine learning for DDoS mitigation
36. Процессы ИБ Machine learning Сбор данных Примеры задач Самое важное
Предсказание нагрузки
План
Процессы информационной безопасности
Информационная безопасность
Процесс DDoS mitigation
Machine learning
Объяснимость и устойчивость к манипуляциям
Что захочет сделать злоумышленник
Сбор данных
Откуда брать данные для обучения?
Чему учиться, что искать?
Примеры задач
Предсказание нагрузки
Поиск групп запросов
@podshumok Qrator
Machine learning for DDoS mitigation
37. Процессы ИБ Machine learning Сбор данных Примеры задач Самое важное
Предсказание нагрузки
Цепочки задач
1. Какая ожидается нагрузка?
1.1 А какая бывает?
1.2 На что похоже то, что наблюдаем сейчас?
2. Нужно ли что-то делать?
2.1 Какое количество запросов приводит к сбоям сервера?
2.2 Сколько нужно «зарезать» запросов, чтобы стало легче
жить?
2.3 Нужно ли заблокировать часть легитимных запросов?
3. Какие запросы более важны?
@podshumok Qrator
Machine learning for DDoS mitigation
38. Процессы ИБ Machine learning Сбор данных Примеры задач Самое важное
Предсказание нагрузки
Исходные данные
@podshumok Qrator
Machine learning for DDoS mitigation
39. Процессы ИБ Machine learning Сбор данных Примеры задач Самое важное
Предсказание нагрузки
Общие замечания
Использование абсолютных отклонений (L1)
Робастная нормализация
Нелинейные обратимые преобразования (sigmoid)
"Тяжёлые хвосты", когда нужно предположение о
распределении
Сэмплирование уменьшает вероятность попадания
Как правило, можно принять:
В алгоритмах, основанных на деревьях,
breaking point<минимальный размер листка
При кластеризации breaking point<минимальный размер
кластера
@podshumok Qrator
Machine learning for DDoS mitigation
40. Процессы ИБ Machine learning Сбор данных Примеры задач Самое важное
Предсказание нагрузки
Подготовка
@podshumok Qrator
Machine learning for DDoS mitigation
41.
42.
43. Процессы ИБ Machine learning Сбор данных Примеры задач Самое важное
Предсказание нагрузки
Кластеризация
@podshumok Qrator
Machine learning for DDoS mitigation
44. Процессы ИБ Machine learning Сбор данных Примеры задач Самое важное
Предсказание нагрузки
Классификация + регрессия
@podshumok Qrator
Machine learning for DDoS mitigation
45. Процессы ИБ Machine learning Сбор данных Примеры задач Самое важное
Поиск групп запросов
План
Процессы информационной безопасности
Информационная безопасность
Процесс DDoS mitigation
Machine learning
Объяснимость и устойчивость к манипуляциям
Что захочет сделать злоумышленник
Сбор данных
Откуда брать данные для обучения?
Чему учиться, что искать?
Примеры задач
Предсказание нагрузки
Поиск групп запросов
@podshumok Qrator
Machine learning for DDoS mitigation
46. Процессы ИБ Machine learning Сбор данных Примеры задач Самое важное
Поиск групп запросов
Примеры признаков запросов/сессий
Пользуется ли посетитель последней версией браузера?
Читает ли на там же языке, который используется в его
системной локали?
Загружает ли статику? Сколько раз запросил
favicon.ico?
Заходил ли на страницу /buy?
@podshumok Qrator
Machine learning for DDoS mitigation
47. Процессы ИБ Machine learning Сбор данных Примеры задач Самое важное
Поиск групп запросов
Pattern discovery
Как выделить признаки запросов/сессий
Дано: всплеск на 50k запросов.
Преобразуем запрос в набор элементарных признаков
@podshumok Qrator
Machine learning for DDoS mitigation
49. Процессы ИБ Machine learning Сбор данных Примеры задач Самое важное
Поиск групп запросов
Pattern discovery
Наиболее популярные:
подмножества (элементарных признаков)
подпоследовательности (запросов)
подграфы (переходов)
@podshumok Qrator
Machine learning for DDoS mitigation
50. Процессы ИБ Machine learning Сбор данных Примеры задач Самое важное
Итого: готовиться нужно заранее
Защита как процесс
Нужно время на поиск и/или подготовку специалистов
Нужно время на сбор данных
Нужно время на ручной анализ, выбор и настройку
алгоритмов
Нужно время на обучение алгоритмов
К размышлению:
Документирование процесса защиты.
Связь с бизнес-аналитикой.
Стандартизация собираемой информации.
@podshumok Qrator
Machine learning for DDoS mitigation
52. Запасные слайды
Защита, прозрачная для пользователей
Почему нельзя просто...
Full browser stack
Completely Automated Public Turing test to tell Computers
and Humans Apart
простые — взломаны
сложные — вызывают боль у пользователей
automated humans
@podshumok Qrator
Machine learning for DDoS mitigation
53. Запасные слайды
Схема защиты
Availability network
Подключение по DNS
клиент получает IP, пользователи используют его,
reverse-proxy перенаправляет чистые запросы на старый
адрес
самый простой и быстрый, но конфиденциальность
защищаемого IP нужно беречь как зеницу ока
Выделенный VPN канал
BGP анонс
@podshumok Qrator
Machine learning for DDoS mitigation