Денис Коденцев Системный инженер-консультант

1. Cisco
Connect
Москва, 2017
Цифровизация:
здесь и сейчас

2. Маршрутизаторы Cisco - от
чего зависит
производительность или
как получить максимум от
вашего маршрутизатора
Денис Коденцев
Системный инженер-консультант, CCIE
© 2017 Cisco and/or its affiliates. All rights reserved.

3. Cisco Connect 2017 © 2017 Cisco and/or its affiliates. All rights reserved. 03
• Неочевидные основы
• Отчеты о производительности – на что обращать внимание
• Как архитектура влияет на производительность
• Влияние ресурсов памяти на производительность
• ISR 4k Performance License – как в действительности работает
О чем пойдет речь?

4. Cisco Connect 2017 © 2017 Cisco and/or its affiliates. All rights reserved. 04
Вывод #1
Некоторые основы очень легко не
заметить или «за деревьями леса не
видно»

5. Основы
вопросы, которые нужно себе задать в первую очередь при выборе
платформы
5
Какие интерфейсы мне нужны?
Можно ли дополнительно использовать виртуализацию?
Требования к пропускной способности
Как на самом деле передается трафик в моей сети?
Как выглядит трафик в моей сети?
Какие сетевые сервисы я планирую использовать на маршрутизаторе?
Как влияют на производительность?
Как влияют на использование памяти?
Производительность маршрутизаторов
Правильно ли я понимаю данные производителя и сопроводительных документов?

6. Cisco Connect 2017 © 2017 Cisco and/or its affiliates. All rights reserved. 06
Вывод #2
Разбираемся с данными
Сравниваем то, что можно сравнить

7. RFC2544 – «нейтральный» метод измерения
производительности маршрутизаторов
7
Методология RFC 2544 NDR
Автоматизированное последовательное определение пределов общей
производительности платформы
Определение возможностей платформы для конкретного сетевого
сервиса
Результаты показывают максимально достижимые (без потерь пакетов)
значения производительности
Преимущества
Полностью автоматизируемый и воспроизводимый процесс
Одинаковый подход к тестирования всех платформ
Потеря пакетов – однозначный признак того, что предел достигнут
Не зависит от производителя или платформы

8. 200Mbps UP
100Mbps UP
100Mbps DOWN
200Mbps DOWN
Избегайте заблуждений!
8
Это 200Mbps?
...или это 200Mbps?
+
+

9. Почему мы используем термин «агрегированная»
производительность
9
• Агрегированные значения показывают производительность независимо от
направления
• Процесс обработки не отличает «входящий» или «исходящий» трафик
Именно поэтому оценивается общая (агрегированная) производительность
”Указанную производительность нужно делить пополам, чтобы понять реальную”
BQS
0/0
0/1
1/2
2/0
PPE1
Crypto
assist
PPE1
Crypto
assist
Packet scheduler Ext interface queues

10. Cisco 4451
• FW + NAT: 2000 Mbps
Отчет о
производительн
ости # X
Cisco 4451
• FW + NAT: 1009 Mbps
Отчет о
производительно
сти # Y
Хмм….??? Какой же верен?
Избегайте заблуждений!
10

11. Оба!
Потому что зависит от профиля трафика....
11
Stateless
1000+1000
Cloud Based HTTP
1000+9
1000Mbps
1000Mbps
1000Mbps
9Mbps

12. Рекомендовано 25-40Mbps
Cisco 1941
Максимально
2.8Gbps +
Cisco 3945E
Максимально
8Gbps +
Верьте или нет: Все это абсолютно достоверные результаты
• Без дополнительных сервисов
• Одинаковый IP назначения для всех пакетов
• Stateless UDP с максимальным размером L2 фреймов
Рекомендовано 350-500Mbps
Избегайте заблуждений – методы испытаний
«Светофорные гонки»
12

13. Рекомендовано 25-40Mbps
Cisco 1941
Максимально
2.8Gbps +
Cisco 3945E
Максимально
8Gbps +
Верьте или нет: Все это абсолютно достоверные результаты
• Без дополнительных сервисов
• Одинаковый IP назначения для всех пакетов
• Stateless UDP с максимальным размером L2 фреймов
Рекомендовано 350-500Mbps
13
Избегайте заблуждений – методы испытаний
«Светофорные гонки»

14. ...почти никогда!!
14

15. 64
1500 Bytes
 Один цикл обработки = Один обслуженный пакет
 Производительность = Кол-во обслуженных пакетов в
секунду для выбранного сервиса
 Большие пакеты
 Много байтов за один цикл обработки
 = Высокая пропускная способность (Мбит/с)
 Маленькие пакеты
 Небольшое кол-во байт в каждом цикле
 = низкая пропускная способность (Мбит/с)
Routing cycle #1
Routing cycle...
..#1 ..#3
512 64 64
..#5..#2 ..#4 ..#6
Избегайте заблуждений – размеры пакетов
15

16. Избегайте заблуждений – размеры пакетов
16
Отчет #1
19Mbps
Отчет #2
108Mbps
Отчет #3
450Mbps
Уже запутались?
Stateless FW Мбит/с Пакетов в секунду
Платформа 64 IMIX 1518 64 IMIX 1518
1941 19.0 108.5 450.8 37,201 37,493 37,120
Пакеты в секунду = Истинная производительность платформы
Сценарий: Zonebased Firewall, Stateless traffic

17. Cisco Connect 2017 © 2017 Cisco and/or its affiliates. All rights reserved. 017
Вывод #3
Новые услуги

18. Internet в качестве WAN
Новые требования для офисного маршрутизатора
18
DIA

19. …что приводит к новым требованиям к оборудованию
19
Расширенные
возможности
защиты
 Старые подходы к
обеспечению
«периметра» не
актуальны
 Внутренние угрозы не
менее важны
 Мгновенное обнаружение
и подавление угроз
Простая
миграция
 Минимум оборудования
 Простота внедрения
 Простота эксплуатации
 Интеграция в NMS
Оптимизация
использования
ресурсов
 Больше полосы за
меньшие деньги
 Маршрутизация с учетом
контекста
 Гранулярность отчетов
использования
Маршрутизация
с учетом
бизнес-
потребностей
 Заглянуть в HTTP
заголовок
 Соответствовать
политикам
безопасности
DMVPN
PfRv3
WAAS /
Akamai
ZBFW
Stealthw
atch
AVC /
NBAR2
В таких условиях требования к
производительности ужесточаются

20. Cisco Connect 2017 © 2017 Cisco and/or its affiliates. All rights reserved. 020
Вывод #4
Распределенная архитектура для
обеспечения предсказуемой
производительности

21. • Route Processor (RP)
• Там, где «живет» IOS XE
• Сообщает QFP какие услуги
применять к пакетам
Crypto
(Nitrox-II CN2430)
IOS-XE
Флагман маршрутизации Cisco: ASR1K
упрощенное описание архитектуры
21
Dispatcher
Packet Buffer
Packet Processor Engine
…
PPE1 PPE2 PPE3 PPE4 PPE5
PPE6 PPE7 PPE8 PPE64
BQSCPP code
RP
Interconnect Interconnect
• Embedded Service Processor (ESP)
• Получает команды от RP
• Сверхскоростная параллельная обработка
пакетов на QFP
RP и ESP функционируют
независимо друг от друга
ESP

22. Архитектура ISR4400
22
Data Plane
(10 core)
PPE1 PPE2 PPE3 PPE4 PPE5
PPE6 PPE7 PPE8 PPE10PPE9
Control Plane
(4 cores)
IOSd SVCSVC SVC
DRAM
DDR3
BQS
DRAM
DDR3
Linux
CPP code
• Физическое разделение обработки – также, как и на
ASR1K
• Выделенные физические ядра для обработки
Плоскостей управления и данных
• Плоскость управления - 4 ядра X86
• Плоскость данных – управляется микро-кодом на 6 или 10
ядрах
• Архитектура, несмотря на меньшую производительность,
идентична ASR1K

23. Архитектура ISR4300 & ISR4200 architecture
23
4331 / 4351
PPE1 PPE2
PPE3
I/O
Crypto
DRAM
IOS
SVC2 SVC3
SVC
Linux
• Унифицированная архитектура – один физический CPU
• Несколько CPU ядер осуществляют распределенную
обработку Плоскости управления
• Плоскости управления и данных функционируют на
основе Linux 3.10
• Те же базовые функции, что и у ASR1K
Control Plane
(4 cores)
Data Plane
(4 cores)
4321 / 4221
PPE I/O
Crypto
DRAM
IOS SVC
Linux
Control Plane
(2 cores)
Data Plane
(2 cores)

24. Cisco Connect 2017 © 2017 Cisco and/or its affiliates. All rights reserved. 024
Вывод #5
Помните о влиянии использования памяти
на сетевые сервисы

25. Память DP и CP – какая для чего?
25
Память плоскости управления:
Используется для IOS процесса
Этот процесс содержит IOS и таблицы плоскости управления (например Routing
Information Base)
Используется для Linux
Обеспечивает общую работоспособность платформы 4300 и выделяет память для
сервисных контейнеров
Использование памяти, относящейся к Linux растет по мере роста использования
самим IOS в следствие репликации данных между процессами
Память плоскости данных:
Исключительно для обработки трафика
Буферизация пакетов
Внутренний микро-код плоскости данных
EX Memory (EXMEM) используется для обработки – формируется плоскостью
управления
Растет при использования масштабируемых сервисов (Forwarding Information Base, таблица NAT и
т.п.)
Максимальный размер EXMEM фиксирован

26. Что влияет на производительность
сервисов?
Как выбрать подходящую платформу?
26
Процессы относятся к Плоскости управления – минимальное влияние на
производительность
В основном использует DRAM
Обычно не является проблемой запуск множества таких сервисов
Основное ограничение – память. Сколько памяти будет использовано?
Процессы относятся к Плоскости данных – значительное влияние на
производительность
Функционируют в плоскости данных
Обычно влияют на проходящий через систему трафик
Масштабирование влияет на использование памяти DP
Результат комбинации нескольких сервисов – Зависит от архитектуры платформы
Архитектура с одним CPU, общие CP&DP : сильное влияние
Много-ядерная архитектура CPU, распределенные CP&DP: низкое или минимальное
влияние

27. Сервисы плоскости управления
27
Минимальное влияние на производительность, в основном
использует память
Протоколы маршрутизации
Таблицы маршрутизации
Голосовые сервисы
Сервисы, использующие DSP( CUBE, SIP trunking )
Большое количество MPLS vrf
Большое количество VLAN

28. Сервисы плоскости данных
28
Любой сервис, который влияет на проходящий трафик
Значительное влияние на производительность и/или утилизацию
памяти DP
NBAR2
FNF
NAT
Firewall
Большие ACL
QoS
Шифрование
Туннелирование любого вида
IPS/IDS

29. 750 MB Linux
OS
used
750 MB
Linux Cache
free
1000 MB
IOS dHeap
free
750 MB free
Linux
IOSd
CP: Плавающее распределение памяти: Linux & IOSd
Control Plane
(4 cores)
Ctrl SVC1
SVC2 SVC3
1.5 GB
Зарезервировано
CPP
512 MB
EXMEM
Allocated
Как распределяется память – ISR 4400
750 MB IOSd
750 MB packet
buffer
40 MB
EXMEM
used
750 MB
system
472 MB
EXMEM
free
3.25 GB зарезервировано
Data Plane
(10 core)
PPE1 PPE2 PPE3 PPE4 PPE5
PPE6 PPE7 PPE8 PPE10PPE9 BQS
CPP code
DP: Фиксированное распределение памяти: CPP, Packet buffer, EXMEM
29

30. Контроль использования DRAM – 4400, 4GB
30
IPv4 BGP
Routes
show platform resources show memory
show platform software
status control-processor brief
show platform hardware qfp
active infrastructure
exmem statistics
Reserved CP Reserved DP
Total
used
Total
Free
Heap
Used Committed InUse Free
0 3233MB(83%) 1591MB(75%) 290MB 1411MB 0MB 1506MB (38%) 1648MB 499MB
100000 3523MB(90%) 1617MB(77%) 431MB 1296MB 0MB 1661MB (42%) 1656MB 490MB
200000 3819MB(98%) 1627MB(77%) 569MB 1158MB 0MB 1813MB (46%) 1667MB 480MB
300000 3854MB(99%) 1636MB(78%) 707MB 1020MB 48MB 1998MB (50%) 1675MB 472MB
400000 3779MB(97%) 1646MB(78%) 845MB 882MB 160MB 2282MB (57%) 1685MB 461MB
500000 3851MB(99%) 1654MB(78%) 984MB 744MB 304MB 2580MB (65%) 1694MB 453MB
600000 3853MB(99%) 1664MB(79%) 1122MB 606MB 448MB 2882MB (73%) 1704MB 442MB
700000 3851MB(99%) 1674MB(79%) 1260MB 467MB 576MB 3165MB (80%) 1713MB 434MB
800000 3850MB(99%) 1683MB(80%) 1398MB 330MB 688MB 3430MB (86%) 1723MB 423MB
Committed: IOS + Heap + Linux Memory
Самый главный параметр для мониторинга!

31. Как оценить утилизацию DP памяти – 4400 2GB
выделенные
31
ISR4451#show platform hardware qfp active infrastructure exmem statistics
QFP exmem statistics
Type: Name: DRAM, QFP: 0
Total: 2147483648
InUse: 1648148480
Free: 499335168
Lowest free water mark: 432488448
<snip>
• Судя по всему, 76% памяти уже использовано = 76% от 2GB DP памяти на 4400
• Включает также память, выделенную под пакетные буферы
• EX часть (которая увеличивается вместе с сервисами) - 499 MB из 512 MB
свободно, следовательно использование всего 2%
Всего DP памяти
DP памяти использовано системой (750 MB), Буфер (756MB) и EX (~20MB)
Свободная DP память (используется только EX!)
ISR4k#sh plat resources
**State Acronym: H - Healthy, W - Warning, C - Critical
Resource Usage Max Warning Critical State
----------------------------------------------------------------------------------------------------
RP0 (ok, active) H
Control Processor 2.60% 100% 90% 95% H
DRAM 3979MB(24%) 15956MB 90% 95% H
ESP0(ok, active) H
QFP H
DRAM 1596757KB(76%) 2097152KB 80% 90% H

32. Как используется память – 4300
32
950 MB
Linux OS
used
750 MB
Linux Cache
free
750 MB
IOSd
1000 MB
IOS dHeap
free
220 MB
IOSd
used
530 MB
IOSd
free
20 MB
EXMEM
used
236 MB
EXMEM
free
300MB
PacketBuffer
100MB
free
256 MB
EXMEM
Allocated
Общее распределение памяти для CP & DP
CP: Плавающее распределение памяти Linux & IOSd
DP: Фиксированное распределение

33. Контроль использования памяти – 4300, 4GB
33
IPv4 BGP
Routes
show platform resources show memory
show platform software
status control-processor brief
show platform hardware qfp
active infrastructure
exmem statistics
Reserved CP Reserved DP
Total
used
Total
Free
Heap
Used committed InUse Free
0 3773MB(97%) 22MB(8%) 229MB 1498MB 0MB 2302MB (58%) 23MB 244MB
100000 3830MB(99%) 49MB(18%) 366MB 1362MB 0MB 2457MB (62%) 50MB 218MB
200000 3830MB(99%) 59MB(22%) 507MB 1220MB 0MB 2609MB (66%) 60MB 207MB
300000 3830MB(99%) 67MB(25%) 641MB 1087MB 0MB 2762MB (70%) 69MB 199MB
400000 3829MB(99%) 77MB(29%) 782MB 946MB 112MB 3030MB (77%) 79MB 188MB
500000 3828MB(99%) 86MB(33%) 919MB 808MB 240MB 3313MB (84%) 88MB 179MB
600000 3828MB(99%) 96MB(36%) 1056MB 671MB 368MB 3598604 (91%) 98MB 170MB
Выводы:
Одна полная Интернет-таблица (500k+ префиксов) = 8GB DRAM
Две полных интернет таблицы (1M префиксов) = 16GB DRAM

34. Контроль использования DP памяти – 4300, 4GB
CP+DP
34
ISR4351#show platform hardware qfp active infrastructure exmem statistics
QFP exmem statistics
Type: Name: DRAM, QFP: 0
Total: 268435456
InUse: 23439360
Free: 244996096
Lowest free water mark: 244996096
<snip>
Зарезервировано для EX
Использовано EX
Свободная DP память
ISR4351#sh platf resources
**State Acronym: H - Healthy, W - Warning, C - Critical
Resource Usage Max Warning Critical State
----------------------------------------------------------------------------------------------------
RP0 (ok, active) H
Control Processor 2.50% 100% 90% 95% H
DRAM 2781MB(35%) 7820MB 90% 95% H
ESP0(ok, active) H
QFP H
DRAM 88846KB(33%) 262144KB 80% 90% H
Только раздел EXMEM берется в расчет

35. Оценка требований к памяти
(IOS-XE 3.13.1/ IOS 15.4.3M1)
35
Feature Scale
Linux
memory
IOSd
memory
EXMEM
IOS classic
memory
Base Line 4400* 1 750 MB 280 MB 40 MB -
Base Line 4300* 1 750 MB 220 MB 20 MB -
IPv4 BGP routes Per 100.000 150 MB 140 MB 10 MB 82 MB
IPv4 NAT Translations Per 100.000 0 MB 0 MB 22 MB 80 MB
* Базовая утилизация памяти должна быть суммирована с утилизацией памяти
сервисами
IOS-XE
IOS Classic
(ISRG2)

36. Выводы
36
Существует 3 потенциально ”узких мест” с точки зрения памяти:
1. IOSd память
Даже включая dHeap, есть ограничения насколько может расти раздел IOSd
2. Общая память Linux
Использование памяти Linux растет пропорционально росту памяти дл IOSd (примерно)
В (очень) редких случаях потребность в кэше может быть превышена
3. EXMEM (память Data Plane)
Может быть ограничением, так как не может быть увеличена
Помните о сервисах, которые сильно утилизируют EXMEM, например IWAN
Рассмотрите варианты на основе 4400 с двойным размером EXMEM в сравнении с 4300

37. Cisco Connect 2017 © 2017 Cisco and/or its affiliates. All rights reserved. 037
Вывод #6
Предсказуемая производительность – ключ
к успеху

38. ISR4k – предсказуемая производительность
38
Состоит из двух частей
Глобальный шейпер на основе bit-счетчика
Все ISR4K используют одинаковый шейпер
Полоса зависит от платформы
Bursts зависят от платформы
Наиболее точный контроль burst на 4400 =
Очень точное выравнивание, минимальный
джиттер
Ядра DP
Количество используемых ядер линейно
влияет на производительность
Не применимо для 4221 & 4321
PPE Cores Without
Performance License
PPE Cores With
Performance License
4221 1 x PPE + 1 x I/O No change
4321 1 x PPE + 1 x I/O No change
4331 2 x PPE + 1 x I/O 3 x PPE + 1 x I/O
4351 2 x PPE + 1 x I/O 3 x PPE + 1 x I/O
4431 3 x PPE + 1 x I/O 5 x PPE + 1 x I/O
4451 5 x PPE + 1 x I/O 9 x PPE + 1 x I/O

39. Трафик, на который влияет
лицензия.
39
Весь исходящий трафик через любой
интерфейс видимый в CLI
Трафик в направлении UCS-E – «внешнее»
устройство
ARPs, keepalives, Hello пакеты, сообщения
протоколов маршрутизации, telnet
Трафик, на который не влияет
лицензия
• Весь входящий трафик
• Трафик направленный на CP
или виртуальные интерфейсы
• Трафик интерфейса управления
• Трафик не обрабатываемый DP
• Модуль-модуль трафик через
MGF
• Трафик внутри модуля

40. BQS – Там где живет шейпер
Buffering Queueing Scheduling
40
Data Plane
4451
PPE1 PPE2 PPE3 PPE4 PPE5
PPE6 PPE7 PPE8 PPE9
Crypto
assist
Crypto
assist
Crypto
assist
Crypto
assist
Crypto
assist
Crypto
assist
Crypto
assist
Crypto
assist
Crypto
assist
BQS
Interface queues
0/0
0/1
1/2
2/0
Incoming Outgoing

41. Механизм шейпера для Performance лицензии
41
Шейпер начинает действовать в
тот момент, когда количество
небходимых для передачи битов
превышает лицензию
Packets to be sent
Compliant packet
Tokens
Bucket refill rate msec
Conformity check
Используется Token Bucket System
Пакеты отправляются пока есть токены
• Нет токенов – буферизируем пакет
• Новые токены появились –
отправляем буфферизированный
пакет
• Токенов меньше, чем размер пакета – отправляем пакетов, фиксируем кредит

42. PPE1
Crypto
assist
BQS
С точки зрения счетчика битов…
42
Что фиксирует счетчик битов
• Пакеты приходящие от PPE
• Пакеты в сторону внешних
интерфейсов
• Счетчику без разницы LAN или
WAN интерфейсов – он не может
их отличить
Queue
GigE 0/0/0
Queue GigE
0/0/1
Queue
GigE 0/0/2
PPE1
Crypto
assist

43. Как управлять Performance лицензией?
43

44. Когда начинает работать шейпер весь трафик буферизируется
• Пакеты направляющиеся в сторону заполненных очередей отбрасываются самим PPE
• PAK PRI (keepalives, LSA и т.п.) буферизируются, но никогда не отбрасываются
• Приоритетный трафик при наличии токенов передается в первую очередь
• DSCP или любая другая маркировка ничего не значит для шейпера
• Все очереди кроме приоритетной обрабатываются одинаково шейпером
Механизм приоритезации
44

45. Int GigE 0/0/2
Class Class-
default
Class VIDEO
Class VOICE
Policy-map MANAGE_MY_TRAFFIC
Class VOICE
Priority level 1
Class VIDEO
Priority level 2
Class class-default
bandwidth percent 10
policy-map MANAGE_AGGREGATE
class class_default
shape average [300Mbps]
service-policy MANAGE_MY_TRAFFIC
interface GigabitEthernet0/0/2
service-policy out MANAGE_AGGREGATE
Draining queues
1st
2nd
Last
• Каждый из приоритетных классов создает отдельную очередь на интерфейса
• Очереди с более высоким приоритетом обслуживаются первыми
Как влиять на Performance Шейпер?
45

46. Int GigE 0/0/2
Class Class-
default
Class VIDEO
Class VOICE
Policy-map MANAGE_MY_TRAFFIC
Class VOICE
Priority level 1
Class VIDEO
Priority level 2
Class class-default
bandwidth percent 10
policy-map MANAGE_AGGREGATE
class class_default
shape average [300Mbps]
service-policy MANAGE_MY_TRAFFIC
interface GigabitEthernet0/0/1
service-policy out MANAGE_AGGREGATE
interface GigabitEthernet0/0/2
service-policy out MANAGE_AGGREGATE
Draining queues
1st
3rd
5th
• Несколько интерфейсов
Int GigE 0/0/1
Class Class-
default
Class VIDEO
Class VOICE
Last
2nd
4th
Пакеты приоритетных очередей с точки
зрения Шейпера
46

47. Как определить сработал ли Шейпер?
47
set platform hardware throughput-monitor threshold 90 interval 300
show platform hardware throughput-monitor parameters
• Сообщение в лог, когд на протежении 5 минут более 90% полосы
Stefs_Dagger#
*Oct 16 18:59:07.734: %BW_LICENSE-4-THROUGHPUT_MAX_LEVEL: F0: cpp_ha: Average throughput rate
approached the licensed bandwidth of 10000000 bps during 1 sampling periods in the last 24
hours, sampling period is 30 seconds
Stefs_Dagger#show platform hardware throughput-monitor parameters
Throughput monitor parameters
Throughput monitor threshold: 90 percent
Throughput monitor interval: 300 seconds
Throughput monitor status: enabled

48. Как понять, что превышен порог лицензии?
48
CSR - отображение интерфейсов в состоянии перегрузки
Look for signs of evenly
distributed congestion of
interfaces
Look for drops on busy interfaces
Drops are not necessarily due to
perf. shaper, but serves as an
indication

49. Ключевые выводы
49
• Не стоит недооценивать базовые принципы
• Данные о производительности
Только корректные сравнения!
• Распределенная архитектура
Позволяет обеспечить производительностью «тяжелые» и новые
сервисы
• Память
Убедитесь, что возможности платформы соответствуют Вашим
требованиям
• Предсказуемая производительность
Избавляет от необходимости гадать о реальной производительности

50. #CiscoConnectRu#CiscoConnectRu
Спасибо за внимание! Вопросы?
Оцените данную сессию в мобильном приложении конференции
© 2017 Cisco and/or its affiliates. All rights reserved.
Контакты:
Тел.: +7 495 9611410
www.cisco.com
www.facebook.com/CiscoRu
www.vk.com/cisco
www.instagram.com/ciscoru
www.youtube.com/user/CiscoRussiaMedia