Запись презентации с партнерского саммита Juniper Networks от 21.04.2015.

1. Управление сервисами дата-
центра
Дмитрий Карякин
Системный инженер
JNCIE #428

2. Виртуальная коммутация
Управление сервисами дата-центра
Акселерация приложений
Аналитика и телеметрия

3. Виртуальная коммутация

4. Варианты реализации VXLAN
EVPN
+
VXLAN
NSX/OVSDB
+
VXLAN
Contrail
+
VXLAN
VXLAN
Overlay

5. Что такое EVPN?
• Ethernet Virtual Private Network
• Мультивендорная поддержка: Juniper, ALU, Cisco, Bloomberg,
Verizon, ATT, Arktan
• План управления интерконнекта L2 доменов основан на
протоколе MP-BGP
• Поддержка инкапсуляций данных: VXLAN, MPLS, PBB
EVPN

6. Где используется EVPN?
• EVPN в качестве плана управления для оверлейной
технологии VXLAN
EVPN
VXLAN

7. Где используется EVPN?
• EVPN в качестве плана управления для оверлейной
технологии VXLAN
Spine
Leaf

8. Где используется EVPN?
• EVPN для интерконнекта VXLAN дата-центров
VXLAN VXLAN
EVPN/
MPLS

9. Multi-home All-active
• Устройство доступа подключается стандартной
агрегацией каналов (LAG)
• Применяется выделенное устройство коммутации для
устранения дублирования BUM трафика
• Все устройства коммутации используются в активном
режиме без применения MC-LAG
Гипервизор
MP-BGP
Spine
Leaf

10. Балансировка нагрузки
• Анонсируемый MAC адрес с PE1 может быть достижим через PE1 и PE2 в
одном сегменте ESI
• Удаленные PE устройства могут балансировать трафик между PE,
которые анонсируют одинаковый идентификатор ESI
Гипервизор
MP-BGP
Spine
LeafPE1 PE2
Гипервизор

11. VM Mobility
Миграция mac-адресов виртуальных машин
• MAC, анонсируемый PE2, перемещается за PE3.
• PE3 анонсирует этот MAC с новым порядковым номером в ext. Community (seq#)
• Маршрут MAC обновляется на всех PE, при этом PE2 старую запись удаляет
ГипервизорГипервизор
MP-BGP
Spine
LeafPE1 PE2 PE3

12. Быстрая сходимость
• PE удаляет AD маршрут для неисправного ESI
• Остальные PE удаляют next-hop неисправной PE для всех
MAC/IP адресов, полученных для данного ESIГипервизор
MP-BGP
Spine
Leaf

13. Proxy ARP
• PE2 обладает ARP записями MAC/IP.
• PE2 детектирует ARP запрос для шлюза по-умолчанию и
напрямую формирует ARP ответ для своих пиров.
Гипервизор
MP-BGP
Spine
LeafPE1 PE2
Гипервизор

14. EVPN vs VPLS
Атрибуты протяженных L2-сервисов дата-центров EVPN VPLS
Гибкая топология физической сети (hub-n-spoke, mesh, ring)  
Масштабируемость 100К+ хостов внутри и между несколькими дата-
центрами  
Active-Active подключение хостов 
VPN - безопасная изоляция, пересекающиеся MAC и IP адреса  
Быстрая мобильность хостов без переназначения L2/L3 адресации 
Охват VLAN между стойками с различным местоположением  
Контролируемый процесс обучение MAC/IP с помощью политик 
Минимизация или устранение неизвестного unicast трафика 
Быстрая сходимость при сбоях на пограничных соединениях,
основанная на локальном восстановлении 
Масштабируемость multicast сервисов  
Дополнительно: Auto-Cfg, Non-ethernet каналы, FRR на транзитных
каналах  

15. VXLAN с VMware NSX
Поддержка OVSDB
Orchestration
NSX manager
REST API
VMware NSX
NSX vSphere Physical
Server
NSX OVS
With KVM
Physical
Server
NSX OVS
With XEN
NSX Edge

16. INTER-VXLAN маршрутизация
Non-VXLAN
IP Network
Hypervisor Hypervisor HypervisorPhysical
Server
Orchestration
NSX manager
REST API
VMware NSX

17. EVPN для VXLAN интерконнекта – BUM
IP Cloud
VLAN 1
MAC1
VLAN 2
MAC 2
VLAN 1
MAC11
VLAN 2
MAC22
BGP signaling on WAN
PE1
PE2
PE3
PE4
TOR
TOR
IP Cloud
MPLS
SMAC Learning
BD Lookup
VXLAN Encap
VNI:1000
MCG – 239.1.1.1
S IP – 10.10.10.1
BD Identification
SMAC Learning
BD Lookup
VXLAN DECAP
VNI:1000
MCG – 239.1.1.1
S IP – 10.10.10.2
BD ID
EVPN/MPLS DECAP
BD Lookup Egress
EVPN/MPLS
ENCAP
VNI:1001
MCG – 239.1.1.2
S IP – 11.10.10.1
VXLAN
ENCAP
VNI:1001
MCG – 239.1.1.2
S IP – 11.10.10.2
BD Identification
SMAC Learning
BD Lookup
VXLAN DECAP
@2
@1
@6
@3
@4 @5 @7
@8
@9
10

18. EVPN для VXLAN интерконнекта – unicast
IP Cloud
VLAN 1
MAC1
VLAN 2
MAC 2
VLAN 1
MAC11
VLAN 2
MAC22
BGP signaling on WAN
PE1
PE2
PE3
PE4
TOR
TOR
IP Cloud
MPLS
SMAC Learning
BD ID
BD Lookup for DMAC
VXLAN ENCAP
BD Identification
SMAC Learning
BD Lookup
VXLAN DECAP
VXLAN Encap
EVPN/MPLS
Encapsulation
EVPN/MPLS DECAP
BD ID
BD Lookup
BD ID
SMAC learning thru S-IP
VXLAN De-encapsulation
BD Lookup for DMAC
11
1213
17
15
16
14

19. Выводы
• NSX OVSDB предоставляет решение VXLAN,
управляемое на основе контроллера
• EVPN+VXLAN – стандартное оверлейное сетевое
решение без контроллера
• Multi-home, multi-way активная коммутация
• Балансировка нагрузки
• MAC мобильность, и многое другое
• Contrail также предоставляет оверлейное решение,
управляемое контроллером

20. Акселерация приложений

21. Решение акселерации приложений
Изменение фундаментальной архитектуры в направлении
встраиваемых приложений в сеть для ухода от латентности
Размещение сетевых приложений в
родной гостевой виртуальной
машине
Перераспределение обработки
интенсивных вычислений и
критически важных приложений
реального времени на FPGA
модуль
Двухуровневая доставка
приложений
Программируемый модуль на
основе FPGA
Широко применяемый 40G
коммутатор для дата-центов с родной
поддержкой гостевых ВМ
Интегрированные вычисления в
сеть

22. Коммутатор QFX5100-AA с QFX-PFA модулем
Единственный в индустрии высокопроизводительный коммутатор с
FPGA в малом форм-факторе
Application Acceleration Switch
QFX5100-AA
Packet Flow Accelerator Module
QFX-PFA
Производительность и
масштабируемость
Интегрированные вычисления в
сеть
Двухуровневая доставка
приложений

23. Энергетическая отрасль
Нефтегазовая промышленность
Государственный сектор
Финансовые службы
Целевые отрасли

24. • Применение для финансовых служб
• Шлюз фондовой биржи и торговой
площадки
• Обработчик рыночных показателей
• Механизмы исполнения тейдинговых
операций
• Отметки времени в сообщениях
транзакций
• Государственный сектор
• DPI
• Шифрование каналов
• СОРМ
Примеры применения
• Запуск сетевых приложений в гостевой
виртуальной машине
• Мониторинг производительности и
приложения аналитики
• Агент Cloud Analytics Engine
• Текстовая версия Wireshark
• Поддержка контейнером запуска Docker
на CentOS
• Hadoop
Коммутатор акселерации приложений Коммутатор акселерации приложений и
FPGA модуль акселерации пакетных
потоков

25. Семейство QFX5100
QFX5100-48S
QFX5100-48T
QFX5100-96S
QFX5100-24Q
48 x 10GbE / 1GbE
+ 6 x 40GbE
1.44 Tbps / 1.08 Bpps
48 x 10GbE / 1GbE
+ 6 x 40GbE
1.44 Tbps / 1.08 Bpps
96 x 10GbE / 1GbE
+ 8 x 40GbE
2.56 Tbps / 1.44 Bpps
24 x 40GbE
+ 2 слота, каждый 4 x 40GbE
2.56 Tbps / 1.44 Bpps
QFX5100-24Q-AA
24 x 40GbE
+ слот для одного FPGA модуля
или 2 QIC модулей
2.56 Tbps / 1.44 Bpps

26. Сравнение QFX5100 и QFX5100-AA
Характеристика QFX5100 QFX5100-AA
CPU Dual Core 1.5 Ghz Quad Core 2.5 Ghz
Memory 8GB 32 Gb
Storage 32GB 128GB
Guest VM I/O Bandwidth 1 Gbps 20 Gbps
MPLS Да Да
L3VPN Да Да
ISSU Да Да (без PFA модуля)
BGP Да Да
VxLAN Да Да
IS-IS Да Да
Virtual Chassis Да Нет
Virtual Chassis fabric Да Нет
IPCLOS fabric Да Нет

27. QFX5100-24Q-AA
Коммутатор акселерации приложений
• Архитектура оптимизирована для FPGA
модуля
• Улучшенная подсистема центрального
процессора
• Intel IvyBridge X86 CPU
• 32GB DDR3 памяти
• 2 Micro SATA 64GB MLC hard drives
• Broadcom Trident2 PFE
• 24 QSFP+ порта
• 2.56T производительность
• Оптимизированное двойное 10Gb NIC
подключение между CPU и PFE
• Поддержка обхода ядра
Коммутация 2.56 Tbps L2/L3
производительность
~500 ns задержка
Cut through & store-
forward
Порты 24 x 40GbE QSFP+ ports
2 expansion slots
Интерфейсы 10GbE SFP+: 96/104 with
breakout cable
40GbE QSFP+: 24/32
Размеры и
мощность
1U, 161 W
Front-to-back или back-to-
front airflow
Ресурсы для
гостевой ВМ
Память: 4G
Диск: 50GB
Формат: qcow2 или raw
24x40GbE QSFP+ 4x40GbE FPGA

28. QFX-PFA-4Q
Акселератор пакетных потоков
• Форм-фактор двойного QIC модуля
• FPGA большой емкости Altera Stratix-V
AB
• 48GB DDR3 DRAM для пакетной
буферизации
• 4x QSFP+ порта на передней панели
• Вход и выход интерфейсов передачи
точного времени для поддержки
приложений PTP
Порты • 4x 40GbE QSFP+ interfaces
(data ports)
• QSFP+ LEDs for the link and
status indications
PTP
интерфейсы
• 1PPS In/Out: 2-SMB
• 10MHz In/Out: 2-SMB
• 10/100/1000BASE-T: RJ-45
port
• ToD Interface: RJ-45
Размеры • 17.02 см x 16.51 см
Память • 48GB DDR3 DRAM
• 72MB QDR2+ память для
операций с низкой
задержкой

29. Точное время и синхронизация
• Поддержка PTP End-to-End Transparent Clock
• Поддержка приема синхронизации от GPS через SMB
разъемы на передней панели
• Аппаратная поддержка SyncE
• Наличие высокоточного генератора и синхронизация
с Trident2/CPU

30. Аппаратная архитектура
Host OS: Juniper Linux
Guest VM
Hardware
User space
Kernel
KVM
VM: Juniper Device Mgr
Junos kernel (BSD)
Junos daemons
Broadcom
mgmt. 1x1GbE
SR-IOV + VTd
Direct Mapped to VMs
Juniper Abstraction Layer
Platform Forwarding
40GbE Ports
2x10G
NIC
CPU
Intel IvyBridge
4 core
RAM
32 GB
SSD
128 GB
QFX-PFA
4X40GbE
Ports
PTP Ports

31. Модель интерфейсов
QFX5100-24Q-AA
Host OS (Linux)
PFE QFX-PFA-4Q FPGA
Junos VM
Control Plane
Guest VM
10GE Nic
PCIeJunos Host
Path
GuestVM Host Path
F-ports
D-ports
C-ports
B-ports
A-ports

32. Модель интерфейсов: F-ports
QFX5100-24Q-AA
Host OS (Linux)
PFE QFX-PFA-4Q FPGA
Junos VM
Control Plane
Guest VM
10GE Nic
PCIeJunos
Host
Path
GuestVM Host Path
F-ports
D-ports
C-ports
B-ports
A-ports
• 24 x40GbE QSFP + порты на передней панели коммутатора
• 40GbE могут быть разделены на 4x10G (channelized)
• Обозначение: 40GbE – “et-*”, 10G – “xe-*”
• Junos VM владеет и управляет F-портами

33. Модель интерфейсов: A-ports
QFX5100-24Q-AA
Host OS (Linux)
PFE QFX-PFA-4Q FPGA
Junos VM
Control Plane
Guest VM
10GE Nic
PCIeJunos
Host
Path
GuestVM Host Path
F-ports
D-ports
C-ports
B-ports
A-ports
• Внутренние интерфейсы на PFE, которые подключаются к B-портам на
FPGA модуле QFX-PFA-4Q
• Порты конфигурируются как 10G интерфейсы (в будущем планируется
40G).
• Junos VM владеет и управляет A-портами
• Передача данных между PFE и
FPGA осуществляется по
стандартному Ethernet протоколу
• Порты не представлены на
внешней панели коммутатора
• Общее количество портов – 16 x
10G

34. Модель интерфейсов: B-ports
QFX5100-24Q-AA
Host OS (Linux)
PFE QFX-PFA-4Q FPGA
Junos VM
Control Plane
Guest VM
10GE Nic
PCIeJunos
Host
Path
GuestVM Host Path
F-ports
D-ports
C-ports
B-ports
A-ports
• Внутренние интерфейсы на FPGA модуле QFX-PFA-4Q, которые
подключаются к A-портам PFE
• Именование B-портов определяется гостевой ВМ
• Гостевая ВМ владеет и управляет A-портами
• Junos VM не обладает информацией об A-портах
• Передача данных между PFE и
FPGA осуществляется по
стандартному Ethernet протоколу
• Порты не представлены на
внешней панели коммутатора
• Общее количество портов – 16 x
10G

35. Модель интерфейсов: C-ports
QFX5100-24Q-AA
Host OS (Linux)
PFE QFX-PFA-4Q FPGA
Junos VM
Control Plane
Guest VM
10GE Nic
PCIeJunos
Host
Path
GuestVM Host Path
F-ports
D-ports
C-ports
B-ports
A-ports
• 4 x 40GbE QSFP + порты на передней панели модуля QFX-PFA-4Q
• Гостевая ВМ владеет и управляет C-портами
• Гостевая ВМ может использовать порты в любом режиме (Ethernet,
Infiniband и т.п.)
• Junos VM не обладает информацией о C-портах

36. Модель интерфейсов: D-ports
QFX5100-24Q-AA
Host OS (Linux)
PFE QFX-PFA-4Q FPGA
Junos VM
Control Plane
Guest VM
10GE Nic
PCIeJunos
Host
Path
GuestVM Host Path
F-ports
D-ports
C-ports
B-ports
A-ports
• Соединения выполнены внутри устройства на аппаратном уровне
• Порты конфигурируются из JunOS CLI, их именование является
продолжением фронтальных интерфейсов
• Junos VM владеет и управляет D-портами
• 2 x 10GbE порты на PFE
используются для подключения
двухпортового сетевого
интерфейса гостевой
виртуальной машины

37. Коммутация пакетов через FPGA
QFX5100-24Q-AA
Host OS (Linux)
PFE QFX-PFA-4Q FPGA
Junos VM
Control Plane
Guest VM
10GE Nic
PCIeJunos
Host
Path
GuestVM Host Path
F-ports
D-ports
C-ports
B-ports
A-ports
• Трафик перенаправить на QFX-PFA-4Q можно стандартными правилами
ACL
• Критерии ACL и действия могут быть различными в зависимости от типа
трафика: L2, L3, IPv4/v6
• ARP пакеты могут использоваться как критерий для ACL

38. Инструменты разработки QFX-PFA-4Q
• Технологический партнер: Maxeler
Technologies
• Среда разработки – MaxCompiler
• Поддержка языка программирования
Java
• Преднастроенный образ гостевой ВМ
доступен для загрузки

39. Аналитика и телеметрия

40. Увеличение сложности сети
Взгляд с точки зрения сети
S S S S
L L L L L L L L L L L LL L L L
Layer 3 IP Fabric
Сетевые устройства, ToR, агрегация и доступ
Коммутаторы + интерконнект порты + Порты доступа + Наложенные туннели

41. Увеличение сложности сети
Взгляд с точки зрения приложений
Критически важные сети
Web servers
Active Directory
SQL
VMware ESX
ZDC
License Server
Profile Server
Enterprise
Apps
vCenterOracle
Client
SAN
Switch
Что является первопричиной проблемы с сервисом? Сеть?
VM? AD? SQL? Storage? Profile Server?

42. Когда возникают проблемы…
Почему
приложение
работает
медленно?
Как измерить
производительность
приложения до его
внедрения?
Как получить события
перегрузки очередей и
отчеты о задержках?
Как эффективно
осуществить поиск
неисправностей?
CLOUD ANALYTICS: ЗНАНИЕ – ЭТО СИЛА!

43. Аналитика в виртуализированной сетевой
среде
Коррелированный обзор по слоям
Расширенные возможности поиска и
устранения неисправностей
Трассировка сетевых путей и анализ
потоков
NSX-MH
Tunnel end points &
Statistics
Logical port statistcs
Overlay path tracing
Track Host &
VM
Bandwidth
utilization
ОверлейОснова
Cloud Analytics
Engine
IP Fabric
Virtual Network
L3
Network Director

44. Junos Space Network Director
ВИЗУАЛИЗАЦИЯ
АНАЛИЗ
КОНТРОЛЬ
Целостный и коррелированный обзор
 Кампусные и ЦОД технологии
 Визуализация корреляций между основным и
наложенным уровнями
 Связность физической и виртуальной среды
Интеллектуальные и проактивные сети
 Встроенный механизм сбора и корреляции данных
 Анализ первопричины проблемы
 Сетевая телеметрия для наложенного и основного
сетевых уровней
Жизненный цикл и автоматизация рабочих
процессов
 Автоматизация и управление фабрикой
 Масштабируемое и гибкое управление множеством
площадок
 Управление фабрикой дата-центра

45. Open API Open Schema
REST API
Сетевая инфраструктура дата-центра
ORCHESTRATION (ND)
Data Learning Engine
QFX / EX
JUNOS NDA Физический хост с
гипервизором
CA
Физический хост с
гипервизором
CA
QFX / EX
JUNOS NDA
QFX / EX
JUNOS NDA
Компоненты Cloud Analytics Engine

46. Механизм аналитики в PFE
• Микровсплески трафика (micro-burst)
• Перегрузка очередей
• Корреляция перегрузки сети
• Высокочастотное профилирование трафика
Встроенный AE (Analytic Engine) в PFE
• Выделенная процессорная мощность
• Выделенная память
• Время обработки - наносекунды
AE

47. Визуализация и анализ пути приложения
Уровень аналитики и управления
Вычислительный
узел A
Вычислительный
узел B
S
1
S2
S3
S4
Путь потока
Red App: S1 S2 S4
Green App: S1 S3 S4
Blue App: S1
S2
S3
S4
REST вызов
к
Compute
Agent

48.  Отображение пути для выбранного потока
 Сквозная задержка и по каждому узлу
 Информация об устройствах
 Тип и загрузка ресурсов
 Статистика по трафику
 Воспроизведение трассировки потока
 Детектирование и визуализация изменения пути
 Сбор статистики по приложениям и интерфейсам
 ERSPAN зеркалирование для оффлайн анализа
Визуализация и анализ пути приложения

49. Атрибуты пути приложения
Уровень аналитики и управления
Вычислительный
узел A
Вычислительный
узел B
S
1
S2
S3
S4
Путь потока
Red App: S1 S2 S4
Green App: S1 S3 S4
Blue App: S1
S2
S3
S4
• Временная метка пробников
• Задержка на каждом узле
• Входящий интерфейс
• Исходящий интерфейс на основе хэш-суммы
• Статистика по буферу и очереди
• Статистика по ошибкам на интерфейсе
• Загрузка полосы для входящего и исходящего трафика
• Утилизация ECMP
• Загрузка процессора
• Загрузка памяти
Сетевая
статистика
Статистика по
хосту

50. Сетевая телеметрия
Загрузка полосы по каждой виртуальной машине

51. Сетевая телеметрия
Статистика загрузки за период времени

52. Сетевая телеметрия
Загрузка полосы по сетевым интерфейсам хост-систем

53. Поиск неисправностей на оверлейном
сетевом уровне
Ping & Traceroute на
оверлейном уровне
• Детектирование сбоев и
изоляция на
виртуализированном
наложенном уровне
• OAM пакеты проходят тот же
путь, что и пакеты данных
приложений
• Проверка синхронизации
между планом управления и
передачей данных
L3
L2

54. Вопросы?
Материал презентации и
обратная связь:
http://goo.gl/JQxr8K
Дмитрий Карякин
dkaryakin@juniper.net