я рассматриваю 3 основных критерия выбора: 1. Эффективность модулей безопасности. 2. Производительность. 3. Общая стоимость владения. А также отвечаю на 4 вопроса: 1. Какой план действий при выборе и тестировании NGFW? 2. Какой способ тестирования самый правильный? 3. Как анализировать результаты тестов производительности и эффективности NGFW от внешних лабораторий? 4. Что иногда говорят производители NGFW и их партнеры, чтобы показать свои устройства в лучшем свете и принизить устройства конкурентов?

1. Выбор NGFW
опыт Rambler
Свердлов Константин, OSCP
Руководитель направления офисной безопасности, Департамент Кибербезопасности
2020

2. 1. Какой план действий при выборе и тестировании NGFW?
2. Какой способ тестирования самый правильный?
3. Как анализировать результаты тестов производительности и эффективности
NGFW от внешних лабораторий?
4. Что иногда говорят производители NGFW и их партнеры, чтобы показать свои
устройства в лучшем свете и принизить устройства конкурентов?
На какие вопросы буду отвечать

3. План выбора и тестирования NGFW
1. Выбор:
1. Различные обзорные статьи и сравнения.
2. Gartner (и не надо плеваться). Важно учитывать позицию производителя на рынке, динамику развития, а также
прогнозы. Потому что NGFW покупается не на один год.
3. Внешние тесты (NSS Labs, NetSecOPEN).
4. Отзывы коллег из других компаний.
5. Опыт ваших сотрудников (важно, кто будет внедрять и поддерживать работу устройства).
6. Текущие возможности устройств по работе с современными видами трафика.
7. Скорость внедрения поддержки новых протоколов, приложений, появления новых сигнатур IPS в базе знаний.
8. Возможности устройства: High Availability, интеграция с другими системами, ведение журналов и т.п.
9. Общая стоимость владения (TCO, total cost of ownership).
2. Тест:
1. Знакомство с устройством, настройка кластера.
2. Проверка возможностей (в том числе модулей безопасности).
3. Пилот:
1. Конвертация конфигураций текущего сетевого оборудования -> NGFW один-к-одному (L4).
2. Интеграция с SIEM, HA, консольный доступ, резервное копирование конфигураций, обновление инструкций
для HelpDesk, ...
3. Перевод нескольких VLAN, а затем перевод оставшихся VLAN. В это же время — поэтапное включение и
тюнинг настроек модулей безопасности.

4. 4 способа тестирования NGFW
✅ Быстрый: найти результаты тестов, проведенных независимой лабораторией.
✅ Правильный: самим провести тестирование NGFW на своем трафике.
1) Не исключает Быстрого.
2) Провести честное тестирование всех устройств, аналогичное по охвату тестам лабораторий — невыполнимая задача.
3) Пустить боевой трафик (не копию) — большая задача, которую лучше сделать один раз с оборудованием выбранного
вендора (победителя в Быстром способе) на этапе пилота.
❌ Легкий: заказать тест скорости под свои параметры производителю NGFW или партнеру.
1) Производитель NGFW (или его партнер) сам будет измерять скорость — конфликт интересов.
2) Это тестирование только скорости и, может быть, эффективности, но не пользовательское тестирование. Если же
делаешь все сам, то также получаешь опыт работы с устройством.
3) На профилирование трафика приложений потребуется от недели до 3 месяцев, а в условиях постоянно
изменяющегося IT-ландшафта и приоритетов по защите, высокой точности здесь трудно достигнуть.
❌ Неверный: выбрать по официальному datasheet.
Про это много и правильно говорили на прошлой встрече. Хотя у некоторых производителей datasheet близки к
реальности.
Источник: «Как вогнать в краску продавца NGFW» h‰ps://www.securitylab.ru/analyŒcs/503903.php

5. NSS Labs тесты
1. Ограниченный набор моделей: от каждого производителя по одному устройству.
Но этого достаточно, чтобы сравнивать.
2. Отчеты платные, но на сайтах некоторых производителей NGFW можно скачать
результаты по их моделям и сводные отчеты по всем производителям. Также
можно запросить результаты этих тестов у продавцов NGFW.
3. Основные показатели вынесены в таблицу на странице 2.
4. В приложении Appendix A: Product Scorecard подробная таблица (названия атак,
техник обхода защиты, пропорции для комбинированного трафика).
5. Бизнес-ориентированные данные в публично доступной Security Value Map от
июля 2019, но некоторые устройства прошли повторные тесты позже и по ним есть
отчеты с новыми данными.
6. Нельзя распространять без письменного разрешения NSS Labs 😢

6. NetSecOPEN тесты
1. Бесплатные и открытые.
2. Доступны для меньшего количества устройств.
3. Меньше данных по Security Effectiveness (пока что) и нет TCO.
4. CVE Detection Rates: the public set contained approximately 435 CVEs and the
private set contained approximately 30 CVEs.
5. Полезно, чтобы перепроверить данные NSS Labs по скорости, если повезет и
результаты будут по одинаковым устройствам.
6. Более детальное, чем у NSS Labs, описание стандарта тестирования.
7. Конфигурацию для устройства предоставляет производитель. Ее можно
запросить по электронной почте.
8. Certification Report — унифицированный формат для сравнения.
9. Lab Report — форматы отличаются, если тестируют разные лаборатории.

7. Источник: NSS-Labs-Next-Generation-Firewall-Test-Methodology-v9.95-RFC-DRAFT.pdf
1. Security Effectiveness
1. Firewall Policy Enforcement
2. Intrusion Prevention
3. Evasions
2. Performance
1. Raw Packet Processing (UDP Throughput)
2. ...
3. SSL/TLS Performance
4. "Real-World" Single Application Flows
3. Stability and Reliability
4. Management/Usability
5. Total Cost of Ownership and Value
NSS Labs: Критерии оценки

8. TCO
Performance
Security Effectiveness
Критерии NSS Labs -> Проектный треугольник
Security Value

9. NSS Labs: Security Effectiveness
1. У лидеров рынка разница на доли процента, например: 99.94% vs 99.83% (в
первом случае Attacks Blocked 1783 из 1784, во втором — 1781 из 1784.
2. NSS Labs сообщают производителю, какие атаки пропустило устройство.
1. Производитель может выпустить обновление и улучшить свои показатели
в следующих тестах.
2. Производитель может заказать приватный тест и доработать свое
устройство.
3. Косвенно показывает эффективность защиты от некоторой реальной атаки.
4. В реальной инсталляции никто никогда не включает СЗИ на 100%
эффективность, поэтому неправильно смотреть только на этот критерий
выбора.

10. 1. Показатели зависят от архитектуры устройства/ускорителей.
2. Измеряется с настройками по-умолчанию. Основные модули безопасности
включены.
3. HTTP NSS -Tested Throughput измеряется из набора:
1. UDP трафика по 128-1514 байт (10%)
2. HTTP 1.7-44 Кбайт (34%)
3. трафика приложений из таблицы справа (56%).
4. HTTPS (SSL/TLS) NSS-Tested Throughput измеряется из набора HTTPS запросов/
ответов разных алгоритмов шифрования и размеров.
NSS Labs: Performance
Telephony 17 %
Email 12 %
File Sharing 7 %
Remote Console 1 %
Video 16 %
Database 3 %

11. NSS Labs: TCO =
$ HW + $ установки + $ обслуживания и поддержки + $ обновлений IPS, AV, etc
Устройства разных производителей с аналогичными показателями Performance и
Security Effectiveness отличаются по TCO в несколько раз.

12. NetSecOPEN: сравниваем 2 отчета
PA-3250 9.0.7 Fortigate 500E 6.0.6

13. PA-32509.0.7
Fortigate500E6.0.6

14. PA-3250 9.0.7 Fortigate 500E 6.0.6
NetSecOPEN: черновик Security Effectiveness

15. 1. «У меня есть тесты, в которых конкурент проигрывает, но показать я их могу только offline».
Если тест не опубликован, можно ли ему верить?
2. «У конкурентов ниже показатель по Security».
При этом умалчивают про остальные показатели: Performance и TCO.
3. «Не нужно верить высокой TCO в отчетах NSS Labs, так как цены на российском рынке значительно
отличаются от цен на рынке US».
Похоже на санкции наоборот. В действительности итоговая цена всегда зависит от скидки.
4. «Устройства с одинаковой скоростью анализа от разных вендоров стоят одинаково».
Тогда откуда значительные различия в TCO per Protected Mbps?
5. «В тестах выключена URL фильтрация».
Справедливо, но покажите тесты, где она включена и меняет ли это расклад сил?
6. «Устройство перестает ловить атаки на высоких нагрузках».
Не перестает, это проверяется в наборе тестов Stability and Reliability.
7. «Устройство проверяет только первые 200 Кб, поэтому такое быстрое». «Эту функцию нужно выключать,
если ваша задача защищать вашу сеть».
Можно проверить, что это не так: добавляем 400 Кб до зловреда https://github.com/ksverdlov/CVE-2017-8759-
Exploit-sample/blob/master/exploit.txt, убеждаемся, что устройство ловит атаку.
Также набор тестов NSS Labs Evasions (Padding, padded) проверяет это.
8. «Устройство проигрывает в HTTP(S) трафике, но выигрывает при работе с другими протоколами».
Тесты NSS Labs включают трафик различных приложений, нужно сравнивать и эти цифры.
Что иногда говорят вендоры

16. Компания:
https://ramblergroup.com
Me:
https://t.me/KonstantinSverdlov