Тестирование оборудования для операторов связи: методики, инструменты, анализ результатов, подводные камни

1. Тестирование оборудования для
операторов связи: методики, инструменты,
анализ результатов, подводные камни
Нарек Татевосян
Treatface
Ведущий Инженер
nrk@treatface.ru
23.11.15 © 2015 Cisco and/or its affiliates. All rights reserved.

2. Содержание
• Обзор различных типов и методик тестирования
• Кейс 1 – почему IPERF недостаточно ( тест virtual Router)
• Обзор решений на рынке
• Кейс 2 – зачем нужно комплексное тестирование ( тест IPS)
• Как надо проводить тестирование оператору связи
23.11.15 © 2015 Cisco and/or its affiliates. All rights reserved.2

3. Обзор различных типов и методик тестирования
Что тестируется и какими инструментами
23.11.15 © 2015 Cisco and/or its affiliates. All rights reserved.

4. Упрощенная классификация тестов
L2-L3
Control plane
Соответствие
стандартам
Scaling
Data plane Benchmarking
L4-L7 Data plane
Benchmarking
SLA
23.11.15 © 2015 Cisco and/or its affiliates. All rights reserved.4

5. Где искать методики для тестов
Standard
RFC
ITU
Vendor
Specific
IXIA
Spirent
23.11.15 © 2015 Cisco and/or its affiliates. All rights reserved.5
Vendor
Agnostic
NSS
ISCA
Treatface
Your own

6. Типы генерируемого трафика – L2-L3
L Генерируем Что проверяем Устройство
2 Фреймы Data plane - скорость, задержки, L2
QoS
Коммутатор
2 Протоколы L2 Control Plane - Совместимость,
ограничения, предельные значения
Коммутатор
3 Пакеты Data plane - скорость, задержки, L3
QoS, ACL
Маршрутизатор
3 Протоколы L3 Control Plane - Совместимость,
ограничения, предельные значения
Маршрутизатор
23.11.15 © 2015 Cisco and/or its affiliates. All rights reserved.6

7. Типы генерируемого трафика – L4-L7
L Генерируем Что проверяем Устройство
4 Сессии Скорость обработки сессий,
количество одновременных сессий,
ACL, Stateful filtering, NAT
Сервер,
FW,IDS, IPS,
WAN-
оптимизатор,
WAF, DPI,
Балансировщик,
NGFW, NGIPS,
VPN, SSL-
Offload, NFV
7 Сервисы Скорость обработки транзакций,
L7 QoS, различение сервисов,
обработка сервисов, работа под
нагрузкой смесью протоколов, QoE.
23.11.15 © 2015 Cisco and/or its affiliates. All rights reserved.7

8. Типы генерируемого трафика – Security
L Генерируем Что проверяем Устройство
2-7
DDoS Работу в случае DDoS FW,IDS, IPS,
NGFW, NGIPS,
Anti-DDOS, Anti-
APT, Anti-
Malware, UTM
Fuzzing Обработку некорректных пакетов
Атаки Обработку Analysis, Backdoors,
Denial, Exploits, Malware, Recon,
Shellcode, Worms
23.11.15 © 2015 Cisco and/or its affiliates. All rights reserved.8

9. Кейс 1 – почему IPERF недостаточно
Тестирование Виртуального Маршрутизатора
23.11.15 © 2015 Cisco and/or its affiliates. All rights reserved.9

10. Исходные данные
• Виртуальный
маршрутизатор
• IPERF показывает
прекрасные результаты
• При работе в реальной
сети отключается через 2
минуты
23.11.15 © 2015 Cisco and/or its affiliates. All rights reserved.10

11. План тестирования
• Производительность на разных профилях трафика L7
• HTTP
• Enterprise
• Проверка механизмов обработки сессий
• Скорость обработки сессий
• Количество одновременных сессий
• Тест успешен, если трафик ходит 5 минут
• Проверяем с помощью IXIA BreakingPoint Virtual Edition
23.11.15 © 2015 Cisco and/or its affiliates. All rights reserved.11

12. HTTP трафик показал прекрасный результат
23.11.15 © 2015 Cisco and/or its affiliates. All rights reserved.12
Производительность до 1 Гбит/с

13. На Enterprise MIX трафике устройство отказало
23.11.15 © 2015 Cisco and/or its affiliates. All rights reserved.13
20 секунд работы привели к полному отказу устройства

14. Ищем причину – скорость обработки сессий
23.11.15 © 2015 Cisco and/or its affiliates. All rights reserved.14
2500 сессий в секунду – устройство умирает через 27 секунд

15. Ищем причину – скорость обработки сессий
23.11.15 © 2015 Cisco and/or its affiliates. All rights reserved.15
825 сессий в секунду – устройство умирает через 80 секунд

16. Ищем причину – скорость обработки сессий
23.11.15 © 2015 Cisco and/or its affiliates. All rights reserved.16
400 сессий в секунду – устройство проходит тест

17. Ищем причину – количество одновременных сессий
23.11.15 © 2015 Cisco and/or its affiliates. All rights reserved.17
Предел 63500

18. Ищем причину – общее число сессий при отказе
23.11.15 © 2015 Cisco and/or its affiliates. All rights reserved.18
Во всех не пройдённых тестах было 63500 открытых + закрытых сессий
2500 сессий в секунду 825 сессий в секунду

19. Выводы
• Несмотря на высокую пропускную способность, устройство
не может справиться с небольшой реальной нагрузкой
• Несмотря на то, что это был Роутер ( по заявлению
вендора), он работал на уровне 4
• Основной вывод теста – устройство не готово к
использованию в рабочей сети
• Причиной оказался баг очистки сессий внутри устройства.
Его до сих пор не устранилиJ
23.11.15 © 2015 Cisco and/or its affiliates. All rights reserved.19

20. Обзор решений на рынке
Инструменты и решения по тестированию
23.11.15 © 2015 Cisco and/or its affiliates. All rights reserved.20

21. IXIA – L2-L3 возможности
Ключевые особенности:
• Лидер рынка
• High End поставщик
• Порты от 1 до 400G
• Методики тестирования RFC, ITU
и BlackBook
• Эмуляция сетевых протоколов :
• Маршрутизация
• MPLS
• SDN OpenFlow
• Access
23.11.15 © 2015 Cisco and/or its affiliates. All rights reserved.21

22. IXIA – L4-L7 возможности
Ключевые особенности:
• Эмуляция 240 L7 протоколов
• Наивысшая производительность
L4-L7 в мире
• Эмуляция 35 тыс. атак
• Методики тестирования NSS Labs
• Варианты исполнения:
• Виртуальное шасси
• Портативное шасси
• Стационарное шасси
23.11.15 © 2015 Cisco and/or its affiliates. All rights reserved.22

23. 23.11.15 © 2015 Cisco and/or its affiliates. All rights reserved.23
Преднастроенные тесты – большая база шаблонов тестов,
позволяющая выполнять измерения до 10 Гбит/с по стандартам
МЭС и получать интегральные оценки качества, такие как MOS и
QoE, на всех уровнях L4-L7.
Управленческая логика – система обеспечивает полный цикл
управления услугами связи: от учета контрактов, до контроля
договоров SLA на каждый предоставляемый сервис с
автоматическим учетом аварий и выставлением штрафов.
Реалистичный трафик – единственная на рынке система,
имеющая метрологический сертификат Росстандарта и
позволяющая тестировать каналы связи реальным трафиком
сервисов (ВКС, VoIP, почта, веб-ГИС, тонкие клиенты)
Бесплатные программные пробники – компактные программные
агенты, устанавливаемые на любые платформы
Система контроля SLA

24. Xena – L2-L3 возможности
Ключевые особенности:
• Low-end
• Адекватная стоимость
• Идеален для задачи генерации L2-
L3 трафика
• Порты 1,10,40,100 Гбит/с
• Встроенные тесты RFC2544,
RFC2889, Y.1564, RFC3889
23.11.15 © 2015 Cisco and/or its affiliates. All rights reserved.24

25. Сравнение ключевых игроков
Ixia Spirent Xena
Генерация трафика L2-3 Да Да Да
Генерация трафика L4-7 Да Ограниченно, низкая скорость Ограниченно, низкая скорость
Интерфейсы, Гбит/с 1,10,40,100,400 1,10,40,100,400 1,10,40,100
Протоколы маршрутизации Да Да Нет
Готовые тесты RFC Да Да ДА
Эмуляция L7 сервисов Да, до 240 Ограниченно, до 36 Ограниченно, Н/Д
Эмуляция Атак Да, до 35000 Да, до 3600 Нет
Ценовой сегмент High-End High-end Low-End
23.11.15 © 2015 Cisco and/or its affiliates. All rights reserved.25

26. Обзор рыночных возможностей тестирования
Услуги Вендоров Доп услуги от реселлеров
Продажа оборудования и ПО Аренда оборудования и ПО
Демо ПО Демо оборудования
Поддержка на английском Поддержка на русском
Обучение на английском Обучение на русском
Проведение тестирования Разработка методик тестирования
Проведение тестирования
23.11.15 © 2015 Cisco and/or its affiliates. All rights reserved.26
*все услуги вендоров проводятся через тех же реселлеров

27. Кейс 2 – зачем нужно комплексное тестирование
На базе тестирования IPS
23.11.15 © 2015 Cisco and/or its affiliates. All rights reserved.27

28. Выбор поставщика IPS
23.11.15 © 2015 Cisco and/or its affiliates. All rights reserved.28
4 поставщика IPS

29. План тестирования
• Производительность на легитимном трафике
• L3 Maximum Packet Forwarding for Different Packet Size
• L4 Maximum TCP/SEC, TCP OPEN and TCP Bandwidth
• L7 Maximum HTTP/SEC and Mix of Application Protocols
• Эффективность на нелегитимном трафике
• Комплексный тест на легитимном и нелегитимном трафиках
23.11.15 © 2015 Cisco and/or its affiliates. All rights reserved.29

30. Результаты - L3 UDP Stateless Traffic
Test Scenario Vendor 1 Vendor 2 Vendor 3 Vendor 4
64 Bytes 1.7 Gbps 2.8 Gbps 0.45 Gbps 1.1 Gbps
512 Bytes 4.8 Gbps 9.3 Gbps 3.3 Gbps 4.2 Gbps
1518 Bytes 16 Gbps 9 Gbps 10 Gbps 5.3 Gbps
4096 Bytes NA 19.8 Gbps NA NA
Latency [uSec] 34 uSec 31 uSec 250 uSec 150 uSec
23.11.15 © 2015 Cisco and/or its affiliates. All rights reserved.30
Лучшие результаты - Вендор 2 и Вендор 1
Худшие результаты – Вендор 3 и Вендор 4

31. Результаты - L4 and L7 – TCP and HTTP
Test Scenario Vendor 1 Vendor 2 Vendor 3 Vendor 4
TCP RATE 40,000 750,000 90,000 250,000
TCP OPEN 2,000,000 5,000,000 3,983,786 6,000,000
TCP
BANDWIDTH
6.5 Gbps 10 Gbps 5.5 Gbps 6 Gbps
HTTP RATE 25,000 140,135 18,000 75,000
HTTP OPEN 800,000 3,000,000 1,790,000 4,200,000
HTTP
BANDWIDTH
3.1 Gbps 10 Gbps 5.1 Gbps 6.35 Gbps
23.11.15 © 2015 Cisco and/or its affiliates. All rights reserved.31
Лучшие результаты - Вендор 2 и Вендор 4
Худшие результаты – Вендор 1 и Вендор 3

32. Результаты L7 – Mix of Application Protocols
Test Scenario Vendor 1 Vendor 2 Vendor 3 Vendor 4
SESSION RATE 7376 53594 24924 30,000
SESSIONS
OPEN
16469 21251 18877 108,000
BANDWIDTH 0.58 Gbps 3.8 Gbps 1.3 Gbps 2.6 Gbps
23.11.15 © 2015 Cisco and/or its affiliates. All rights reserved.32
Лучшие результаты - Вендор 2 и Вендор 4
Худшие результаты – Вендор 1 и Вендор 3

33. Результаты - Security test for Malicious traffic
Test Scenario Vendor 1 Vendor 2 Vendor 3 Vendor 4
444 ATTACKS
SEED 1
99 225 46 309
444 ATTACKS
SEED 1000
99 228 68 311
23.11.15 © 2015 Cisco and/or its affiliates. All rights reserved.33
Лучшие результаты – Вендор 1 и Вендор 3
Худшие результаты – Вендор 2 и Вендор 4

34. L7 – Mix of Good and Malicious Traffic
Test Scenario Vendor 1 Vendor 2 Vendor 3 Vendor 4
SESSION RATE 4,300 50,000 16,500 30,000
SESSIONS
OPEN
110,000 40,000 108,000 88,000
BANDWIDTH 0.35 Gbps 4.1 Gbps 1.3 Gbps 2.6 Gbps
444 SEND
ATTACKS SEED 1
20 208 42 192
PRICE, $ J J J J
23.11.15 © 2015 Cisco and/or its affiliates. All rights reserved.34
Вендор 2 лучший по производительности, но худший по безопасности
Вендор 1 лучший по безопасности, но худший по производительности

35. Как надо проводить тестирование оператору
связи
Или на что надо равняться
23.11.15 © 2015 Cisco and/or its affiliates. All rights reserved.35

36. Совмещение преимуществ поставщиков
23.11.15 © 2015 Cisco and/or its affiliates. All rights reserved.36
Преимущества High End:
• Эмуляция протоколов маршрутизации
• Использование производительности L4-L7
• Не тратим деньги на ненужные порты
Преимущества Low End:
• Генерация L2-L3 трафика
• Эффективно генерирует трафик
• Подмешиваем к high-end трафику

37. Подход к созданию методики
Прозрачность
Использование
стандартов где
возможно
Консультации и
согласование с
вендорами
Система
мониторинга
как "3 сторона"
Польза
Учитываем
сервисную
модель
Учитываем
конфигурации
узлов
Учитываем
региональную
специфику
23.11.15 © 2015 Cisco and/or its affiliates. All rights reserved.37

38. Результаты
• Снижение рисков:
• Доверяем реальным данным, а не даташитам
• Все темные лошадки проверяются на ходу
• Эффективность закупок:
• Лаборатория дает более быстрый результат, чем пилоты
• Получаем более ясную картинку
• Тестируем большее число поставщиков
• Инновации:
• Не боимся новых технологий, так как проверяем их в лаборатории
• Можем внедрить новых ( в т.ч.) вендоров без страха
23.11.15 © 2015 Cisco and/or its affiliates. All rights reserved.38

39. CiscoRu Cisco CiscoRussia
Ждем ваших сообщений с хештегом
#CiscoConnectRu
CiscoRu
Приглашаем вас на стенд Treatface
(Около Конгресс Зала 1)
Спасибо
Нарек Татевосян
Treatface
Ведущий Инженер
nrk@treatface.ru
© 2015 Cisco and/or its affiliates. All rights reserved.