Виртуализация сетевой инфраструктуры на примере использования IOS-XRv 9000 и CSR 1000v

1. Виртуализация сетевой инфраструктуры на
примере использования IOS-XRv 9000 и
CSR 1000v
Андрей Вишняков
avishnya@cisco.com
23.11.15 © 2015 Cisco and/or its affiliates. All rights reserved.

2. Содержание
Обзор Smart Licensing и схемы лицензирования XRv 9000
Напомню о CSR 1000v
Несколько слов проASAv
Рассказ про IOS XRv 9000

3. IOS-XRv 9000: Позиционирование
Расширение XR Edge портфолио
2
8
32
128
512
2048
8192
32768
Не удается
отобразить
рисунок.
Возможно,
рисунок
Не удается
отобразить
рисунок.
Возможно,
рисунок
поврежден или
недостаточно
памяти для его
открытия.
Перезагрузите
компьютер, а
затем снова
откройте файл.
Если вместо
рисунка все еще
отображается
красный
крестик,
попробуйте
удалить рисунок
и вставить его
заново.
Gbps
IOS XRv 9000 ASR 9001
ASR 9006
ASR 9904
ASR 9010
ASR 9912
ASR 9922

4. • Отдельный LXC контейнер, содержащий
средства администрирования IOS XRv
• Управление инфраструктурой VM
• Установка SMU
• Управление жизненным циклом CP и DP
LXC
o Install
o Start/Stop/Restart
o Upgrade/Downgrade
o Проверка доступности (Heartbeat)
Hypervisor
LXC
VF DP
LXC
XR
CP
Data Plane
Controller
LINUX
VM
TenGigE0/0/0
GigE0/0/1
GigE0/0/2
MgmtEth0/0/1
vswitch
Плоскость коммутации данных
Virtual Forwarder (VF)
XR комбинированная RP + LC
функциональность
DPA
Номенклатура
• Data Plane Controller – DPC
• Data Plane Agent – DPA
• Virtual Forwarder - UVF
IOS XRv 9000 – виртуальный маршрутизатор
Сервер
LXC
Admin

5. IOS-XRv 9000: Плоскость управления
IOS-XRv Control Plane
RX &
Interface
Classification
Traffic
Manager
& TX
Forwarding
& Features
TCAM PLU
TM
Pkt. replication
IOS-XRv 9000
IOS-XRv Virtual Forwarder
CP/DP разделение
DPC PD уровень абстракции
DPA для физических и
виртуальных платформ
64 bit Linux ядро
Гибкое распределение CPU/
Memory ресурсов
LXC для изоляции процессов
Отдельный LXC контейнер
средств администрирования
SW based HW Assists
Полноценный IOS-XR стек
• RPL
• HA (Process restart, NSR)
• BGP-LS
• BGP-FS
• Multi-instance, multi-AS Support
• ISIS, OSPF, Segment routing, …

6. Гибко масштабируемый
коммутационный уровень
• ACLs
• uRPF
• Marking, Policing
• IPv4, IPv6, MPLS
• Segment routing
• BFD
IOS-XRv 9000: Эффективная коммутация данных
Полнофункциональная коммутация на базе x86
IOS-XRv Control Plane
RX &
Interface
Classification
Traffic
Manager
& TX
Forwarding
& Features
TCAM PLU
TM
Pkt. replication
• Инновационный виртуальный коммутатор
• X86 программная реализация:
• Иерархический трафик менеджер с 3
уровнями HQoS, 512,000 очередей
• Программные полисеры, что в 4-е раза
быстрее чем DPDK эталонные
реализации
• Программная реализация TCAM с
постоянной характеристикой поиска
• Плоскость передачи данных оптимизирована
для быстрой перемашрутизации данных, а
также для передачи IMIX трафика без потерь
на скорости порта
• Портируемый 64bit C-code (для ARM
платформ)
• Часть кода идентична Cisco nPower X
семейству
IOS-XRv 9000
IOS-XRv Virtual Forwarder
Иерархический QOS
планировщик
• На одном CPU ядре
• ½ миллиона очередей
• 3-уровневый H-QOS
Классификация пакетов и
балансировка
SW based HW Assists

7. IOS-XRv 9000: Программный трафик менеджер
512,000 очередей
Иерархический QOS планировщик
• Strict priority queuing
• Weighted fair queuing
• WRED
• Policing
• ½ million queues
• 128,000 policers
• 5000 policy-maps
Child:
Classes & Queues
Parent:
Subscriber Shapers
GrandParent:
Virtual Port
GreatGrandParent:
Port
Q1
Q2
QN
Q1
Q2
QN
Q1
Q2
QN

8. IOS-XRv 9000: Гибкость и масштабируемость
Одно/Несколько CPU ядер, сокетов либо серверов
XRv CP
2015 2016+
Single Core Multi-Core Multi-Socket Multi-Server
2015
XRv CP XRv CP XRv CP
Разделение плоскостей управления и коммутации позволяет гибко масштабировать систему за счет включения в
работу нескольких ядер, сокетов, а также серверов, утилизируя распределенную XR архитектуру

9. XRv CP
2015 2016+
Single Core Multi-Core Multi-Socket Multi-Server
2015
XRv CP XRv CP XRv CP
Цифры на графике соответствуют
Half-duplex показателю
производительности
Производительность указана для IMIX
трафика с включенным функционалом
(ACL, HQoS, policing)
Поддержка нескольких сокетов и/или
серверов подразумевает четыре сокета
и/или четыре сервера
8
GBPS
160
GBPS
640
GBPS
40
GBPS
IOS-XRv 9000: Гибкость и масштабируемость
Одно/Несколько CPU ядер, сокетов либо серверов

10. IOS XRv 9000 Требования к аппаратному и
программному обеспечению
Hardware
§ Любой x86 сервер с поддержкой виртуализации
— Т.е. Intel® CPU с VT-x
Hypervisor
§ VMWare ESXi 5.5 , QEMU/KVM 1.0
Параметр Значение
vCPU (Cores) 4 - 12
Memory (RAM) 12GB min, 16GB оптимально
Hard Disk 55GB виртуальный диск, ~3GB реальное
использование
Serial Port XR, XR aux, Admin, Admin Aux
NIC Port (E1000/VirtIO/Niantic 10G) От 4-ех до 11-и интерфейсов; 1-ый - XR Mgmt,
2-ой и 3-ий зарезервированы, 4-11-ый -
трафик интерфейсы
10

11. Обзор NUMA архитектуры
Современные x86 сервера имеют несколько CPU
§ Типична конфигурация с двумя сокетами
У каждого CPU собственный банк памяти
§ Возможно использовать память другого CPU с дополнительной задержкой
CPU терминирует PCIe шины, к которым подключены высокоскоростные NIC
карты

12. IOS XRv 9000 VM
Admin
Присваивание интерфейсов виртуальной машине
Guest Kernel
IOS XR DataPlane
MgmtEth
reserved
Gig0/0/0/0
Gig0/0/0/01
Gig0/0/0/2
...
reserved
Hypervisor
eth3
eth4
eth5
eht0
eth1
eth2
Future: Ctrl Ethernet
подключение для
Active/Standby Control
Plane
Internal: Доступ к Linux
для разработчиков Важем порядок присвоения интерфейсов виртуальной машине
• Первые 3 интерфейса для XR Mgmt Eth и 2-ух зарезервированных
интерфейсов/неиспользуемых
• Остальные интерфейсы (до 8-ми) аллоцируются в качестве трафик
интерфейсов и нумеруются согласно приведенному выше алгоритму
Нумерация XR дата интерфейсов
• Скоростные интерфейсы поднимаются первыми (т.е.
10GE перед 1GE)
• Затем в пределах одной скорости
• Физические интерфейсы имеют преимущество
перед виртуальными (т.е. 1GE перед virtio)
• Затем в пределах одного типа
• Преимущество у наименьшего PCI адреса
(т.е. 04:00.0 перед 04.00.1)

13. Модели I/O и производительность CSR 1000v
NIC Driver
Virtual NIC
(VMXNET3)
Аппаратная NIC
RX Ring TX Ring
Virtual NIC
(VMXNET3)
Аппаратная
NIC
RX Ring TX Ring
Аппаратная
NIC
RX Ring TX Ring
NIC driver NIC driver
NIC Driver
Virtual NIC
(VMXNET3)
Аппаратная
NIC
RX Ring TX Ring
Virtual NIC
(VMXNET3)
Sereno ASIC
HW Queues
Paravirtualized Direct I/O VM-FEX || SR-IOV
9 Gbps 11.2 Gbps 13.2 Gbps
** Результаты тестирования CEF 1500 байт коммутации на сервере 4 vCPU, ESXi 5.5
Hypervisor Virtual Switch
Справка

14. vMotion для VM-FEX с включенным DirectPath I/O
14
Временный переход
от DirectPath к
стандартному I/O
• VM передает TCP поток (1500MTU)
• UCS B200 M2 шасси с UCS VIC картой
0
2500
5000
7500
10000
19:06:19
19:06:23
19:06:27
19:06:31
19:06:35
19:06:39
19:06:43
19:06:47
19:06:52
Mbps
Time (secs)
vMotion на
второй хост
1 сек перерыв трафика
Справка

15. IOS XRv 9000: Варианты внедрения
HV
Linux
IOS-XRv 9000
VR VM
Linux
pNIC
pNIC
Сервер
IOS-XRv 9000
VR VM
HV/OVS/
Overlay…
Linux
IOS-XRv 9000
VR VM
Linux
pNIC
Сервер
IOS-XRv 9000
VR VM
Высокопроизводительный NFV
режим
(PCI pass-through & SR-IOV)
Режим Облачных вычислений
(Para-virtualized или Fully Emulated)
Driver Driver e1000
vNIC
virtIO
SR-IOV
VF
vNIC
pNIC

16. Transmit
Thread
TX
Receive
Thread
RX
Eth
Worker
Thread
Worker
Thread
Worker
Thread
Worker
Thread
Load
Balance
L2
Classify
If
Output
Traffic
Mgr
NIC
DPDK
Driver
Eth
DPDK
Driver
Eth
NIC
Eth
DPDK
Driver
Eth
DPDK
Driver
DPA
Stats
Collector
Interval
Timers
Детальная схема Data Plane
IOS-XRv 9000
Control
Core

17. Сценарий работы – 2 либо 3 ядра процессу
коммутации
Core 0
Main Super Worker
Core 1
RX FWD TM TX
• В случае выделения 2-ух ядер вся коммутация пакетов происходит на одном ядре внутри “super
worker” потока
• При резервирования 3-ех ядер, одно не используется
DPA

18. Сценарий работы – 4+ ядра
Ядро 0 Ядро2
TM
TM TX
Worker
Ядро 3 – (N-1)
FWD
Ядро 1
IO
RX
• При резервировании 4+ ядер, Rx функционал на отдельном ядре в рамках “IO”
процесса
• Функционал Tx и TM на отдельном ядре, “TM” процесс
• Обработка пакетов сосредоточена внутри “worker” процесса, который
реплицируется на 1+ CPU ядер
• Максимально можем масштабироваться на 16 ядер
Main
DPA

19. • Внутри каждого из этих блоков находится множество VPP узлов, соединённых в функциональный
граф
• Такой VPP узел обрабатывает фрейм пакетов, до 256-ти в одном фрейме, небольшим размеров
кода, содержащимся в кеше процессора
§ Пакетная обработка – все данные уже загружены в D-Cache процессора
§ Небольшой размер кода – инструкции уже содержатся в I-Cache процессора
Virtual Packet Processing (VPP) для ускорения
обработки данных
RX FWD TM TX DPA

20. Производительность IOS XRv 9000
обработки данных (инженерные данные)
4 Cores
(1Rx + TM +
worker, 2
CP)
6 Cores
(1Rx, 1TM, 1
DPA, 1
Worker, 2
CP)
7 Cores
(1Rx, 1TM, 1
DPA, 2
Worker, 2
CP)
8 Cores
(1Rx, 1TM, 1
DPA, 3
Worker, 2
CP)
10 Cores
(1Rx, 1TM, 1
DPA, 5
Worker, 2
CP)
12 Cores
(2Rx, 2TM, 1
DPA, 5
Worker, 2
CP)
46B V4 2.6Mpps
2.68 Gbps
3.8 Mpps
3.96 Gbps
7.5 Mpps
7.7 Gbps
9.5 Mpps
9.7 Gbps
9.4 Mpps
9.6 Gbps
10.8 Mpps
11.1 Gbps
344B V4 2.4Mpps
14.0 Gbps
3.76 Mpps
21.6 Gbps
7.5Mpps
43.5Gbps
7.7 Mpps
44.9 Gbps
8.2Mpps
47.6 Gbps
10Mpps
57.8 Gbps
344B V4 HQoS
input policing
+ Marking
+ACL+RPF+
HQoS output
1.5 Mpps
8.7Gbps
1.81 Mpps
10.5Gbps
3.5 Mpps
20.4 Gbps
4.8 Mpps
27.8 Gbps
7.0 Mpps
40.6 Gbps
7.1 Mpps
41.4 Gbps

21. Cisco IOS XRv 9000 Производительность
• Полноценная тестовая конфигурация : ACL на вход, QoS, HQoS, Reverse Path
Forwarding и т.д.
• Подается смесь IPv4 и IPv6 трафика с 250,000 потоками
• Протестировано на базе Cisco
UCS C240 M4 сервера
• 14 CPU ядер (из 16) были
зарезервированы за
виртуальным роутером
• Четыре 10GE интерфейса
подключены в режиме PCI
Passthrough
Part 1: http://www.lightreading.com/lg_redirect.asp?piddl_lgid_docid=718760&piddl_lg_pcode=wprightcolumn
Part 2 : http://www.lightreading.com/nfv/nfv-tests-and-trials/validating-ciscos-nfv-infrastructure-pt-2/d/d-id/718898
Подтверждено!

22. Высокопроизводительный BGP Route Reflector
vRR1 vRR2 vRR3
CPE
SP Агрегация SP Ядро Дата Центр
Cloud
Провайдера
VM’s
IOS-XRv
9000
Тысячи BGP пиров, десятки миллионов маршрутов
Add-Path BGP FlowSpec QoS BGP ORR** BFDLPTS (CoPP)

23. • 5000 пиров
• 16M v4 Single Path
• 8M v6 Single Path
• До 40M paths
IOS XRv 9000 vRR Масштабируемость
UCS E5-2667 v3 @ 3.2Ghz
Using E1000, 8 core, 6 CP, 2
DP
vRR convergence
(after clear bgp *)
Time
IPv4 20M Paths
(2M Prefix, 500 Peers)
Last session up 0:00:51
BGP converged 0:02:33
IPv4 20M Paths
(2M Prefix, 5000 Peers)
Last session up 0:03:41
BGP converged 0:07:37
IPv6 20M Paths
(2M Prefix, 5000 Peers)
Last session up 0:06:40
BGP converged 0:18:34
IPv4+IPv6 40M Paths
(4M prefix, 5000 peers)
IPv4 AF Converged 0:18:40
IPv6 AF Converged 0:21:55
Internet IPv4 524k, IPv6 22k
500 peers
IPv4 AF Converged 0:01:22
IPv6 AF Converged 0:01:09

24. Бизнес Интернет сервисы (vPE)
vRR1 vRR2 vRR3
Customer Site
SP Агрегация SP Ядро Дата Центр
Cloud
провайдера
VM’s
DCI
vPE для
Интернет
доступа
Интернет
IOS-XRv 9000
HQoS ACL NetFlow** E-BGP BFD

25. Пример использования (Internet vPE)
TOR-1 TOR-2
vPE
OSPF/LDP
MP-iBGP
CPE
CPE
CPE
CPE
Q-in-QP-
Router
TOR – Top of Rack Switch
RR
• 35Gbps || 30Gbps трафика V4 || V6, 50K потоков данных, обрабатываемых набором -
policing, marking, shaping, HQoS
• Используется HP сервер 9-ого поколения, 2 ядра под CP и 10 ядер - DP (1 DPA, 2 Rx, 5 WT,
2 Tx/TM)
• На vPE запущен OSPF/LDP с P-router, 25K OSPF маршрутов, 16K LDP меток
• Также vPE получает 750K IPv4 и 60K IPv6 маршрутов от RR
P-
Router

26. Бизнес VPN (L3VPN)
vRR1 vRR2 vRR3
SP Агрегация SP Ядро Дата Центр
Cloud
провайдера
VM’s
IOS-XRv
9000
VRF VRF
XRv-9000
vPE для
L3 VPN

27. TOR-1 TOR-2
L3 VPN vPE
OSPF/LDP
VPN-RR
MP-iBGP
CPE
CPE
CPE
CPE
Q-in-QP-
Router
P-
Router
TOR – Top of Rack Switch
• 200 VRF, 500 v4 и v6 маршрутов на каждый VRF
• 200 v4 и 200 v6 eBGP сессий с BFD (3X3 сек. интервал)
• 2 QoS очереди на интерфейс
• Всего в IGP 25K маршрутов
• Достигается 30G || 30G для v4 || v6 с 50K потоками @ 374 байт с
включенным полисингом, маркировкой и HQoS
Сервер
• C240-M4 сервер с 16G памяти
• 2 CPU с 12 ядрами
• 2 CP, 10 DP (2 Rx, 5WT, 2 Tx/TM, 1
DPA)
• 4 порта 10GE к одному сокету
Пример использования (L3VPN vPE)

28. CD5 CD6 CD7 CD8 Radar
Sep ‘15 Oct ‘15 Nov ‘15 Dec ‘15 Jan ‘16 Feb ‘16 Mar ‘16 Apr ‘16 May ‘16
XR 6.0.0
XR6.0.1
XR6.1.1
IOS XR 5.4
• Basic IPv4 L3 Forwarding
• L3 Interfaces over VLAN
• QinQ VLAN L3 interfaces
• IPv4 Global/MPLS/MPLS-
VPN
• IPv6 Global/MPLS/MPLS-
VPN
• IPv4/IPv6/MPLS Policing/
Marking
• IPv4/6 ACLs (chained)
• Strict uRPF
• Hierarchical Policers
(conform aware):
• Egress TM (H-QoS ph1: 2L )
• BFD v4/6 Single Hop
• LPTS based CoPP
• EFD DOS protection
• 20G IMIX forwarder (20G
Bidir per socket)
• BGP vRR 64bit (16M+
Routes)
• KVM, Openstack, VMWare
ESXI
• PCI pass-through, virtIO
• BFD
• BGP FS (slow path
implementation)
• Licensing
• LAG
• NSH
• TWAMP
• Multi-Socket vRR
• Multi-TM
• QOS-ph2: 3L
• Sunstone-CP co-dev
• XR app hosting
• BGP FS
• GRE
• BGP 3107
• Multi-socket vPE
• Hyper-V
• BLB
• HSRP, VRRP
• BGP ORR
• MVPNv4 Rosen Draft
• SR TE
• ACL Logging
• L2VPN: VPLS, IRB
• BGP FS
• Hyper-V
• GRE
• BGP 3107 (5.4 conten
• SR 2Lbl
• Netflow
• RESTCONF
• AWS support
• 6MVPN IR
• Docker
• BFD Offload
• CGN
• vLMA
• 4VPE IR
• HA support
• IPSLA
• vHost
• SR-IOV
• GRE SlowPath
• VIRL support
• Licensing
• IPSLA
• GRE SlowPath
• Weight Watchers (mem)
• Licensing (gaps coverage)
• XR packaging + Yocto distro
• XR M2M, Telemetry
• TWAMP
• Multi-Socket vRR
• Multi-TM
• H-QOS ph2: 3L
• SR-IOV
• Weight Watchers (CPU, disk)
• VIRL support (internal)
• LAG
• NSH
• BLB
• Multi-socket vPE
• HSRP, VRRP
• BGP ORR
• NetconfYang
Schema catch up
• XR app hosting
IOS XRv 9000 Roadmap

29. Содержание
Обзор Smart Licensing и схемы лицензирования XRv 9000
Напомню о CSR 1000v
Несколько слов проASAv
Рассказ про IOS XRv 9000

30. Smart Software Licensing
Smart Call Home
Transport Gateway
Или Smart Licensing
Satellite
Развернутаясеть
Cisco Commerce
Workspace
Cisco
Smart
Software
Manager
Создать заказ
Управление
лицензиями
Статистика использования
Cisco
Smart
Software
Manager
Cisco.com
Портал
ASR 9000
И vRR/vPE
устройства
Как это работает …
1
Активировать
функционал
Cisco Software Usage
Лицензия Использование
L2VPN
L3VPN
nV Satellite
Optical
VidMon
Сколько использую?
Сколько в наличии?
Превышение
использования L3VPN
лицензий!
• Зарегистрировать “Smart” акаунт на
Cisco.com портале
• При активизации учетной записи есть
возможность портировать все ASR 9000
лицензии в Smart акаунт
2
• Затем установить VM – либо Smart Call Home
transport gateway или Smart Licensing Satellite
• Проверить доступность Cisco.com и
зарегистрировать систему
3
• Финальным шагом портировать все
существующие лицензии в Smart акаунт
• Получать ежемесячные отчеты по
использованию

31. Cisco Smart Software Manager
Глобальный аккаунт
Доступность/Нехватка
лицензий
Перенос
лицензий
Виртуальные
аккаунты
Отслеживание
событий
• Видимость всех лицензий/ купленных продуктов
• Понимание доступных лицензий, картины в целом
• Своевременная нотификация
• Легкость изменений и переноса лицензий
Возможность управлять приобретенными лицензиями через Web-портал

32. Smart Licensing, баланс удобства и
конфиденциальности
Прямой доступ к cisco.com
Cisco продукты посылают информацию об использовании
непосредственно через Интернет
Options
Доступ к cisco.com через HTTPs proxy
Cisco продукты посылают информацию об использовании
через Интернет с использование прокси сервера – Smart
Call Home Transport Gateway или Apache
Сбор статистики локальным коллектором
подключенным к Интернет
Cisco продукты взаимодействуют с Медиатором, который в
свою очередь периодически обменивается информацией с
Cisco бэкендом
Сбор статистики локальным коллектором без
Интернет подключения
Cisco продукты обмениваются информацией с выделенным
коллектором, отвязанным от Интернет. Раз в месяц
оператор вручную переносит информацию в базу данных
Cisco
Безопасностьиспользования
Простотаиспользования
1
2
3
4
Cisco
Product HTTPs
Cisco
Product
Transport
Gateway or
HTTPs
Proxy
Cisco
Product
HTTPs
Cisco
Product
HTTPs
Your
Cisco
Software
Usage
Your
Cisco
Software
Usage
Your
Cisco
Software
Usage
Your
Cisco
Software
Usage
Cisco.com
Cisco.com
Cisco.com
Smart
Software
Satellite
Cisco.com
File
Transfer
Smart
Software
Satellite

33. Лицензирование XRv 9000
IP/MPLS
Transport
IP/MPLS
Transport +
L2VPN
IP/MPLS
Transport +
L2/L3VPN
FoundationAdvanced
LI
IP/MPLS
Transport +
L3VPN
H-QoS
vRouter RTU – Per VM
Часть лицензий применяется к виртуальной машине, некоторые
требуются на каждый Gbps обработанного трафика

34. Детали Foundation лицензий
IP/MPLS
IP/MPLS
+ L2 VPN
IP/MPLS
+L3VPN
IP/MPLS +
L2/L3 VPN Basic Premium
✔ ✔ ↕ L3 FIB (IPv4+IPv6+VRF) ≤ 5k >5k
✔ ✔ MPLS TE (Head+Tail) ≤ 10 >10
Bridge Domains
Layer 2 Int
MAC Scale
✔ VRF ≤ 8 >8
✔ L3 intf ≤10 >10
✔ ✔ RIB
Тип лицензии Емкость
Выбери функционал Выбери скейлинг

35. Содержание
Обзор Smart Licensing и схемы лицензирования XRv 9000
Напомню о CSR 1000v
Несколько слов проASAv
Рассказ про IOS XRv 9000

36. Cisco Cloud Services Router (CSR) 1000V
Cisco IOS XE в виртуальном форм-факторе
IOS XE Cloud Edition
§ Поддержка IOS XE функций на запросу заказчиков
Независимость от инфраструктуры
§ Нет привязки к аппаратным характеристиками серверов,
поддержка ESXi, KVM, Xen и Hyper-V гипервизоров
Гибкая производительность
§ Производительность от 10Mbps до 20 Gbps при
задействовании от 1 до 8 vCPU
Гибкая лицензионная политика
§ Ограниченные по времени действия и постоянные
лицензии
Программируемость
§ Поддержка RESTful API (набор OnePK), Netconf/Yang
Сервер
Гипервизор
Виртуальный коммутатор
OS
App
OS
App
CSR 1000V

37. Функционал и лицензии CSR 1000V
Лицензия IOS-XE функционал Виртуализация
IPBase
§ Basic Networking: BGP, OSPF, EIGRP, RIP, ISIS, IPv6, GRE, VRF-LITE,
NTP, QoS
§ Multicast: IGMP, PIM
§ High Availability: HSRP, VRRP, GLBP
§ Addressing: 802.1Q VLAN, EVC, NAT, DHCP, DNS
§ Basic Security: ACL, AAA, RADIUS, TACACS+
§ Management: IOS-XE CLI, SSH, Flexible NetFlow, SNMP, EEM, NETCONF
ESXi 5.5
XenServer 6.1
KVM (Ubuntu
12.04 LTS, RHEV
3.1, RHEL 6.3)
Hyper-V 2012
R2
SEC
IPBase включая …
§ Advanced Security: Zone Based Firewall, IPSec VPN, EZVPN, DMVPN,
FlexVPN, SSLVPN, GETVPN
AppX
IPBase включая …
§ Advanced Networking: L2TPv3, BFD, MPLS, VRF, VXLAN
§ Application Experience: WCCPv2, AppXNAV, NBAR2, AVC, IP SLA
§ Hybrid Cloud Connectivity: LISP, OTV, VPLS, EoMPLS
§ Subscriber Management: PTA, LNS, ISG
AX Весь доступный функционал

38. CSR 1000V структура лицензирования
Функционал Производительность Тип лицензии
Выберите одну позицию из каждой колонки …
Пример:
IP Base
250 Mbps
1-Year
IP Base
10 Mbps
50 Mbps
100 Mbps
250 Mbps
500 Mbps
1 Gbps
2.5 Gbps
5 Gbps
Постоянная
Подписка
(1-год или 3-и года)
По использованию
(доступно в Amazon Cloud)
10 Gbps
SEC
AppX
AX

39. • Признанная NFV платформа в Сиско
портфолио
• Суммарно более 800 клиентов
• Продано около 55K лицензий!
§ В основном как часть VMDC
• Подавляющее большинство покупателей -
корпоративные заказчики
• 88% проданных лицензий < 250 Mbps
Статистика по продажам CSR 1000v
24.1%&
32.9%&
18.9%&
12.0%&
2.3%& 6.5%&
1.8%&
1.0%&
0.3%&
CSR$1000v$License$Distribu3on$October$2015$
10M&
50M&
100M&
250M&
500M&
1G&
2.5G&
5G&
10G&

40. (Виртуальный) Private Cloud/DC
• CE/PE функционал
Public Cloud
Примеры внедряемых решений на базе CSR 1000v
CSR
1000V
VPC/ vDC
ISR/ASR
WAN
CSR
1000V
Internet
Public Cloud
ISR/ASR
WAN
Internet
VPC1
VPC2CSR
1000V
Плоскость управления
• RR, LISP MS/MR..
Shared Services
WAN
Campus
vWLC vRR
vMS/MR vMC

41. CSR 1000v и Гипервизор
• Пример: 3 CSR VM на базе одного 2-
socket 8-core x86 сервера
• Гипервизор абстрагирует и
распределяет аппаратные ресурсы
среди множества VM
• Алгоритм соответствия vCPU
физическим процессорам влияет на
производительность
• Гипервизор определяет соответствие
vCPU/IRQ/vNIC/VMKernel процессов
pCPU
Process
Queue
HV Scheduler
Core0
pCPU1 pCPU2 pCPU3 pCPU4
pCPU5 pCPU6 pCPU7 pCPU8
vCPU1
2
vCPU0
3
vNICn
2
VM Kernel1
Core1
pCPU1 pCPU2 pCPU3 pCPU4
pCPU5 pCPU6 pCPU7 pCPU8
vSwitch
VM1(4vCPU CSR 1000v)
CSR
IOS
Fman /
CMan
PPE HQF Rx
vCPU0
1 vCPU1
1
vCPU3
1 IRQ1 vNIC1
1 VM Kernel1
PPE
vCPU2
1
vNICn
1
Guest OS Scheduler
Pkt Scheduler
VM2(1vCPU CSR 1000v)
vCPU0
2 IRQ2 vNIC1
2 VM Kernel2vNICn
2
CSR
IOS
Fman /
CMan
PPE HQF Rx
Guest OS Scheduler
Pkt Scheduler
VM3 (2vCPU CSR 1000v)
vCPU0
3 IRQ3 vNIC1
3 VM Kernel3vNICn
3
CSR
IOS
Fman /
CMan
PPE HQF Rx
Guest OS Scheduler
vCPU1
3
Pkt Scheduler

42. Рекомендация Детали / Команды Подсистема
Disable Hyperthreading Can be done in BIOS CPU
Find I/O NUMA Node cat /sys/bus/pci/devices/0000:06:00.0/numa_node
Enable isolcpus run command “numactl -H” CPU
Pin vCPUs ‘sudo virsh vcpupin test 0 6’ CPU
Set CPU in performance Mode run /etc/init.d/ondemand stop. CPU
Set Processor into pass-through virsh edit <vm name>
add this line <cpu mode='host-passthrough' />
CPU
Enable / Disable IRQ Balance run “service irqbalance start” & “service irqbalance stop” NOTE: ONLY IF IRQ
PINNING IS DONE!
CPU
NUMA-aware VM edit vm config by virsh edit <VM name>.
<vcpu placement='static' cpuset='8-15'>1</vcpu>
CPU
IRQ Pinning find specific nic interrupt number from /proc/interrupts. set affinity to other core
than pinned cpu than for CPU and vHost pinning
CPU
42
Рекомендации по тюнингу KVM для увеличения
производительности
• Оптимально использовать Direct path I/O технологию (SR-IOV w/ PCIe pass-through) с
CPU тюнингом!

43. Рекомендация Детали / Команды Подсистема
Pin vHost processes ‘sudo taskset -pc 4 <process Number>’,
Where <process Number> is found using ‘ps -ef | grep vhost’
I/O
Change vnet txqueue length to
4000
Default tx queue length is 500
‘sudo ifconfig vnet1 txqueuelen 4000’
I/O
Turn off TSO, GSO, RSO, ‘ethtool -K vnet1 tso off gso off gro off’ I/O
Physical NIC Configuration Change rx Interrupt coalescing to 100 for the 10G NICs I/O
Disable KSM echo 0 > /s`ys/kernel/mm/ksm/run Linux
Disable Memballoon Edit “virsh edit <VM> , find memballon in vm config file.
Please change as <memballoon model='none'/>
Linux
Disable ARP/IP Filtering sysctl -w net.bridge.bridge-nf-call-arptables=0
sysctl -w net.bridge.bridge-nf-call-iptables=0
sysctl -w net.bridge.bridge-nf-call-ip6tables=0
Linux
Optional Linux Tuning sysctl -w net.core.netdev_max_backlog=20000
sysctl -w net.core.netdev_budget=3000
sysctl -w net.core.wmem_max=12582912
sysctl -w net.core.rmem_max=12582912
service iptables stop ( if you don't want linux firewall)
Linux
43
Рекомендации по тюнингу KVM для увеличения
производительности (продолжение)

44. • Около 3 Gbps для IMIX для некоторых
функций на базе 2 vCPU
• Проведен комплекс работ по оптимизации
решения для 2 vCPU
• С увеличением количества vCPU ядер
проявляется неэффективность
планировщика гипервизора
§ Конфигурации с большим количеством
vCPU сказываются положительно на
CPU интенсивные задачи (например,
IPSec)
CSR 1000v IOS XE 3.16 Одномерная производительность
в Gbps для IMIX (0.01% Loss Rate, ESXi, Single VM)
Hardware: UCS C240 M3 : 2x Intel Xeon 2643 3.5 Ghz
Traffic Generator : Spirent ( RFC-2544)
Hypervisor : Vmware: ESXi 5.5.0,
Traffic Profile : IMIX {64 byes (58.33%), 594 bytes (33.33%), 1518 bytes (8.33%)}
CEF$ ACL$ NAT$ Firewall$ QoS$ HQoS$
IPSec$Single$
AES$
IPSec$Crypto$
Map$
1vCPU$ 2.5$ 2.2$ 1.4$ 1.7$ 2.4$ 1.5$ 0.5$ 0.1$
2vCPU$ 2.9$ 2.8$ 2.4$ 2.7$ 3.0$ 1.8$ 0.8$ 0.2$
4vCPU$ 2.2$ 2.3$ 2.1$ 2.4$ 2.3$ 1.4$ 1.1$ 0.2$
0.0$
0.5$
1.0$
1.5$
2.0$
2.5$
3.0$
3.5$
Throughput)(Gbps))
CSR)1000v)IOS)XE)3.16)Throughput)(Gbps))ESXi:)Single)Feature)
(IMIX,)0.01%)FLR,)C240)M3))I)CISCO)INTERNAL)

45. • Цифры сходны для ESXi и KVM
• Приближается к 3 Gbps для IMIX трафика с 2
vCPU
• Добавление vCPU к конфигурации не приводит
к увеличению одномерной производительности
§ Не всегда сбалансированный
планировщик гипервизора
§ vHost-net имеет фиксированный размер
TX Ring Buffer - ограничивает количество
пакетов, что могут быть переданы в TX
направлении за раз
• 1 vCPU конфигурация наиболее эффективна
CSR 1000v IOS XE 3.16 Одномерная производительность в
Gbps для IMIX (0.01% Loss Rates, KVM, Single VM)
Hardware: UCS C240 M3 : 2x Intel Xeon 2643 3.5 Ghz
Traffic Generator : Spirent ( RFC-2544)
Hypervisor : KVM Redhat
Traffic Profile : IMIX {64 byes (58.33%), 594 bytes (33.33%), 1518 bytes (8.33%)}
CEF$ ACL$ NAT$ Firewall$ QoS$ HQoS$ IPSec$Single$AES$
IPSec$Crypto$
Map$
1vCPU$ 3.0$ 2.7$ 1.9$ 2.2$ 2.6$ 2.1$ 0.7$ 0.2$
2vCPU$ 2.9$ 3.0$ 2.0$ 2.3$ 2.5$ 1.7$ 0.8$ 0.2$
4vCPU$ 2.0$ 2.2$ 1.9$ 1.9$ 2.0$ 1.5$ 1.0$ 0.2$
0.0$
0.5$
1.0$
1.5$
2.0$
2.5$
3.0$
3.5$
Throughput)(Gbps))
CSR)1000v)IOS)XE)3.16)Throughput)(Gbps))KVM:)Single)Feature)
(IMIX,)0.01%)FLR,)C240)M3))K)CISCO)INTERNAL)

46. • Многофункциональные конфигурации
особенно с включением IPsec выигрывают
от добавления vCPU
§ 4 vCPU значительно увеличивают
производительность для IPSec!
• Производительность более 1Gbps для NAT
+Firewall конфигурации
• Криптография значительно влияет на
производительность даже при
задействовании AES-NI
Hardware: UCS C240 M3 : 2x Intel Xeon 2643 3.5 Ghz
Traffic Generator : Spirent ( RFC-2544)
Hypervisor : Vmware: ESXi 5.5.0,
Traffic Profile : IMIX {64 byes (58.33%), 594 bytes (33.33%), 1518 bytes (8.33%)}
CSR 1000v IOS XE 3.16 Многомерная производительность
в Gbps для IMIX (0.01% Loss Rate, ESXi, Single VM)
FW+NAT' FW+NAT+QoS' FW+NAT+HQoS'
IPSec+FW+Basic'
QOS+Nat'
IPSec'+'BasicQoS+'
GRE'
IPSec+'Basic'QoS'
+'NAT+'FW'+'Nbar'
IPSec'+'BasicQoS'
1vCPU' 1.06' 0.85' 0.95' 0.29' 0.18' 0.28' 0.20'
2vCPU' 1.49' 1.32' 1.30' 0.38' 0.21' 0.36' 0.22'
4vCPU' 1.53' 1.40' 1.38' 0.62' 0.95' 0.52' 0.95'
0.00'
0.20'
0.40'
0.60'
0.80'
1.00'
1.20'
1.40'
1.60'
1.80'
Throughput)(Gbps))
CSR)1000v)IOS)XE)3.16)Throughput)(Gbps))ESXi:)Mul@AFeature))
)(IMIX,)0.01%)FLR,)C240)M3))A)CISCO)INTERNAL)

47. • В отличии от ESXi система на базе
KVM не выигрывает от добавления
vCPU для многофункциональных
конфигураций
• Результат сходен с одномерным
случаем
CSR 1000v IOS XE 3.16 Многомерная производительность
в Gbps для IMIX (0.01% Loss Rates, KVM, Single VM)
FW+NAT' FW+NAT+QoS' FW+NAT+HQoS'
IPSec+FW+Basic'QOS
+Nat'
IPSec'+'BasicQoS+'
GRE'
IPSec+'Basic'QoS'+'
NAT+'FW'+'Nbar'
IPSec'+'BasicQoS'
1vCPU' 1.50' 1.16' 0.00' 0.31' 0.20' 0.27' 0.16'
2vCPU' 1.56' 1.18' 0.00' 0.39' 0.24' 0.37' 0.22'
4vCPU' 1.51' 1.34' 0.00' 0.58' 0.36' 0.47' 0.51'
0.00'
0.20'
0.40'
0.60'
0.80'
1.00'
1.20'
1.40'
1.60'
1.80'
Throughput)(Gbps))
CSR)1000v)IOS)XE)3.16)Throughput)(Gbps))KVM:)MulABFeature))
)(IMIX,)0.01%)FLR,)C240)M3))B)CISCO)INTERNAL)
Hardware: UCS C240 M3 : 2x Intel Xeon 2643 3.5 Ghz
Traffic Generator : Spirent ( RFC-2544)
Hypervisor : KVM Redhat

48. • 10Mbps лицензированные CSR 1000v могут быть
переподписаны – до 64-ех VM с использованием
Linux OVS
• Необходимо:
• Достаточно ресурсов Памяти & Дисковой подсистемы &
Интерфейсов
• Общий трафик <= лицензионное ограничение
• KVM/ Redhat c OVS
• Поддерживается для 1vCPU и 2vCPU
• Протестировано и стабильно в том числе и для
IPSec + NAT конфигураций
• Необходим Hyperthreading
• В планах протестировать VM-Fex конфигурацию
CSR 1000v /10Mbps Переподписка
• Hardware: UCS B200 M4 Blade Server, 2x E5-2690 v3 Intel Xeon CPU, 12 cores, 2.6
GHz, 256 GB RAM
• Cisco VIC 1340 adapter
• Host OS/Hypervisor: Red Hat Enterprise Linux 6.6 / KVM
• I/O Model: VirtIO with OVS version 2.3.1
• Hyperthreading turned ON in BIOS
NAT+ACL+QoS* IPSec+ACL+QoS*
#*of*1vCPU*tested*with*stability* 74* 73*
#*of*2vCPU*tested*with*stability* 70* 73*
0*
10*
20*
30*
40*
50*
60*
70*
80*
Number'of'VMs'TESTED'
Feature'Set'
Number'of'1vCPU'and'2vCPU'CSR'1000v'VMs'in'
OversubscripBon'mode'
(KVM+RH'with'OVS,'IOS'XE'3.16,'10Mbps'licenses)'
Рекомендовано
количество VM

49. 62, 10
0
100
200
300
400
500
600
700
800
900
1000
1 3 5 7 9 11 13 15 17 19 21 23 25 27 29 31 33 35 37 39 41 43 45 47 49 51 53 55 57 59 61 63 65
No Tuning
Tuning #1
Tuning #2
Переподписка
Средняя пропускная способность на CSR 1000V
OVS – NAT+ACL+QOS
- CPU: 2x E5-2690 v3, 12 cores, 2.6 GHz
- Config: ACL+QOS+NAT(20k sessions)
- IMIX traffic, 2 vCPU CSR
- OVS 2.3.1. RHEL 6.6
- Tuning #1: DP, vHost and IRQ pinned to
same core.
- Tuning #2: DP and vHost pinned to different
cores. IRQ unpinned.
Количество виртуальным машин VM на сервер
ПроизводительностьоднойVMвMbps

50. 0
500
1000
1500
2000
2500
1 3 5 7 9 11 13 15 17 19 21 23 25 27 29 31 33 35 37 39 41 43 45 47 49 51 53 55 57 59 61 63 65
No Tuning
Tuning #1
Tuning #2
Переподписка
Общая пропускная способность
OVS – NAT+ACL+QOS
- CPU: 2x E5-2690 v3, 12 cores, 2.6 GHz
- Config: ACL+QOS+NAT(20k sessions)
- IMIX traffic, 2 vCPU CSR
- OVS 2.3.1. RHEL 6.6
- Tuning #1: DP, vHost and IRQ pinned to
same core.
- Tuning #2: DP and vHost pinned to different
cores. IRQ unpinned.
Количество виртуальным машин VM на сервер
ОбщаяпроизводительностьсерверавMbps

51. CSR1000v как vBNG – поддерживаемые профили
Профиль vPTA / LAC vLNS vISG
Тип сессии PPPoEoVLAN PPPoVLANoL2TP IPoEoVLAN
Функционал Input/output ACL,
ingress QoS (policing) /
egress QoS (shaping),
vrf-awareness, IPv4/IPv6
dual-stack, AAA, ANCP
IPv4/IPv6, HQoS, Input/
output ACL, dual-stack
service and TC
accounting, CoA Service
Push
DHCP, Unclassified
MAC, HQoS, Input/
output ACL, ISG TC,
L4R, PBHK,
Unauthenticated timeout
vCPU 2 vCPU
Memory 8GB
Sessions 8.000 / 8.000 L2TP Tunnels 8.000
Max Throughput (large
packet)
2.5 Gbps 2.5 Gbps 5 Gbps

52. • Сессионный функционал:
• Idle timeout
• Input ACL
• Accounting
• Input QOS - policing
• Output QOS - 2 level hierarchy QOS
shaping with 4 queues
• ESXi производительность лучше
чем KVM
• При использовании direct I/O
техники добавление VM на каждом
сервере приводит к линейному
увеличению производительности
системы
CSR 1000v IOS XE vBNG Производительность
ESXi & KVM - Single VM (Tire1 SP traffic profile)
3200 2884
4844
4216
6410
8220
0
1000
2000
3000
4000
5000
6000
7000
8000
9000
2x vCPU / 4GB 4x vCPU / 8GB 8x vCPU / 8GB
System Throughput (Mbps)
CSR1000v System Throughput - Single VM (PDR 0.01%)
Profile: 8,000 IPoE Sessions with IMIX - 75% 1430B 16.6% 578B 8.3% 80B
KVM / PCI Passthrough ESXI / Vswitch

53. • Достижимо 40 Gbps с 8 VM, vBRAS
конфигурация (VM-FEX)
• Нагрузка 5Gbps/ 5K IPoE сессий на VM
• Input ACL (1 ACE/ACL)
• 1 QOS Output Shaper with single Queue
• Input Policing
• Accounting (60min interval)
• Наблюдались потери пакетов во входящих
очередях на интерфейсах виртуальных
машин, общее количество потерь не
превышало 0.001 % общего объема
переданных данных
• Загрузка 36-ти ядер сервера была около
24%, по сути на 100% задействованы лишь
8-9 ядер
CSR 1000v IPoE VM-FEX Пропускная способность
1" 2" 3" 4" 5" 6" 7" 8"
System"Throughput"(Gbps)" 5" 10" 15" 20" 25" 30" 35" 40"
System"Throughput"(KPPS)" 676" 1352" 2028" 2704" 3380" 4056" 4732" 5408"
0"
1000"
2000"
3000"
4000"
5000"
6000"
0"
5"
10"
15"
20"
25"
30"
35"
40"
45"
System'Throughput'(KPPS)'
System'Throughput'(Gbps)'
Number'of'VMs'
CSR'1000v'vBRAS'Throughput'with'VMBFEX'for'1B8'VMs'
(FLR'0.001%,'Broadband'traffic'mix,'10%'UP,'90%'DOWN,'IOS'XE'3.16)'
Upstream: 1400B = 6%, 1000B = 4%, 500B = 12%, 200B = 11%, 100B = 13%,
64B = 54% (Avg Pkt Size = 254B)
Downstream: 1400B = 84%, 1000B = 4%, 500B = 5%, 200B = 2%, 100B = 3%,
64B = 2% (Avg Pkt Size = 1250B)

54. CSR 1000V Роадмап – 2015 календарный год
Функционал
&Решения
Виртуали-
зация
Управление
RESTful API
Производи-
тельность
Лицензи-
рование
March 2015
(IOS-XE 3.15)
July 2015
(IOS-XE 3.16)
IOS XE Релиз
vCUBE, vMS 1.0, Boot time improvements, Multicast
over DMVPN/mGRE w/ GDOI, SGT Caching
Cisco COT tool (next-gen BDEO)
NSO (Tail-f) integration
vBNG: 1 Gbps, 4000 sessions. 20% improvement in
overall performance.
Smart Licensing – General Availability (pre-paid).
Usage-based licensing (pilots only)
Licensing packages for Intercloud Fabric
CLNS
VM-FEX for RHEL (enic driver support)
Openstack (Kilo): CSR as neutron router with plugins
for FWaaS, VPNaaS, floating IP
KVM installer, Self diagnosis tool
vBNG: 5 Gbps, 8000 sessions. vCPU linearity, 50%
improvement in Hyper-V
New license pkg. and simplified licensing for VACS
ДоступноДоступно

55. CSR 1000V Роадмап – Будущие релизы
Nov 2015
IOS-XE 3.17
IOS XE Релиз
Snort/IPS, Segment Routing, SGT based QoS,
vCUBE multi-VRF support, FlexVPN double factor
authentication
vSphere 6.0, MSFT Azure Cloud, RHEL OSP 7,
control plane optimization (2 core for control plane)
NETCONF/YANG – basic features
GETVPN, IPv6, L2TP, AVC, AppNav , IP SLA
Доступно
VxLAN EVPN control plane, Cloud UTM for
vMS, ACI Integration (device pkg for APIC),
vCGN
NSH - service chaining
§ SSL VPN scale & perf. – 2 core: 500 Mbps, 500
sessions.
§ DPDK support – ESXi, KVM
§ 20 Gbps, 2 core CSR
March 2016
IOS-XE 3.18/16.2
Запланировано
Функционал
&Решения
Виртуали-
зация
Управление
RESTful API
Производи-
тельность
Лицензи-
рование

56. Содержание
Обзор Smart Licensing и схемы лицензирования XRv 9000
Напомню о CSR 1000v
Несколько слов проASAv
Рассказ про IOS XRv 9000

57. ASAv Доступна с начала 2015
Cisco ASAv qcow2 image
Day-0 configuration
KVM 1.0
Virtio driver
KVM
Поддержка ESXi и KVM гипервизоров
vSphere client & ovf_tool OVF
Day-0 configuration
VMware no-vCenter
vCenter OVF Config Dialog
VMware ESXi 5.x
E1000, VMXNET3
VMware
vSwitch or dvSwitch
Cisco AVS
Nexus® 1000V (no vPath)
Open vSwitch
Any Virtual Switch
Amazon Web Services
AMI in the Marketplace
Public Cloud

58. Hypervisor
Cisco Adaptive Security Virtual Appliance
Cisco® ASAv
(Active)
Cisco ASAv
(Standby) VM VM
VM
VM
VM
VM
VM VM
VM
VM
VM VM
Virtual Switch
VLAN’ы с 802.1q
До 200
сабинтерфейсов
10 “физических”
интерфейсов (vNICs) на
Cisco ASAv

59. Cisco ASAv Производительность и
масштабируемость
Data Sheet Metric Cisco® ASAv5 Cisco ASAv10 Cisco ASAv30
Stateful Inspection Throughput (Maximum) 100 Mbps 1 Gbps 2 Gbps
Stateful Inspection Throughput
(Multi-Protocol)
50 Mbps 500 Mbps 1 Gbps
3DES/AES VPN Throughput 30 Mbps 125 Mbps 300 Mbps
Connections per Second 8,000 20,000 60,000
Concurrent Sessions 50,000 100,000 500,000
VLANS 25 50 200
Bridge Groups (2 VLANs/BVI) 12 25 100
Cisco® Cloud Web Security Users 50 150 500
IPsec VPN Peers 50 250 750
Cisco AnyConnect® or
Clientless User Sessions
50 250 750
vCPU 1 1 4
RAM 2GB* 2GB 8GB
§ Cisco UCS® C260 M2
§ Cisco UCS B200 M3
§ Intel Xeon processor E5-2640
Tested on
Hardware
9.4.1.200
* ASAv5 Changes to 1GB with 9.5.1.200

60. CiscoRu Cisco CiscoRussia
Ждем ваших сообщений с хештегом
#CiscoConnectRu
CiscoRu
Пожалуйста, заполните анкеты!
Ваше мнение очень важно для нас.
Спасибо!
Контакт: Андрей Вишняков
avishnya@cisco.com
© 2015 Cisco and/or its affiliates. All rights reserved.