Развитие сетевой архитектуры для ЦОД Cisco ACI

1. Скороходов Александр
Системный инженер-консультант
Развитие сетевой архитектуры
для ЦОД Cisco ACI

2. Cisco ACI
Самое полное решение для сети ЦОД
Application Centric
Infrastructure
Автоматизация на основе политик
Физические серверы,
виртуальные машины и
контейнеры
“SDN из коробки”
Открытость, опора на
стандарты, встроенная
безопасность
Более 1800 заказчиков!

3. Cisco ACI
новое поколение инфраструктуры ЦОД
ACI фабрика
Программируемость, масштабируемость,
открытость
App DBWeb
Внешняя
сеть
передачи
данных
QoS
ACL
QoS
LB
QoS
МСЭ,
LB
Application Policy
Infrastructure
Controller
APIC

4. 4
Сетевая фабрика ACI
• Наиболее эффективная фабрика в индустрии:
• 1/10/25/40G на границе сети, высокая
плотность 40/100GE на Spine
• Низкая стоимость за порт / коммутатор
• Интеграция с существующей
инфраструктурой (Cisco или других
производителей)
• Высокая масштабируемость
• Полная прозрачность – физические или
виртуальные серверы, контейнеры
• Маршрутизируемая фабрика – оптимальная
передача IP трафика
• Распределённая коммутация (L2) и
маршрутизация (L3)
• Не требуются программные шлюзы
• Гибкость развертывания приложений и
сервисов – нет ограничений в выборе точки
их размещения
• Улучшенная балансировка трафика (ECMP)
• Передача метаданных вместе с трафиком
• Детальное управление по политикам без
необходимости программировать потоки
Spine: модульные (Nexus 9500) или
фиксированные (9336)
Аппаратная база отображения адресов
До 576 x 40/100 G портов на устройство
Высокая плотность за умеренную стоимость
Оптимизация фабрики
Оптимальная балансировка
ECMP
Быстрая сходимость
Атомарные счётчики
Leaf (доступ): Nexus 9300
Применение политик
Интеллектуальное кеширование
Поддержка оверлеев
Улучшенная аналитика

5. Application Policy Infrastructure Controller
Централизованная автоматизация и управление фабрикой
• Единая точка управления сетью
ЦОД на основе политик:
• Профили приложений
• Политики безопасности
• Инициализация фабрики
• Управление конфигурациями
• Управление ПО коммутаторов
• Накопление и экспорт
статистики/телеметрии
• Мониторинг приложений
• Поиск и устранение неисправностей
• Открытая модель данных для внешних
средств оркестрации
• Не принимает непосредственное
участие в передаче данных
• Единое управление наложенным
транспортом и фабрикой
• Кластеризация для
масштабирования и доступности
(от 3 до 5 и более узлов)
Сервисы 4..7
Управление
системами
Безопасность Оркестрация
Storage SME Server SME Network SME
Security SME App. SME OS SME
Открытый
RESTful API
Управление при
помощи политик

6. Сетевой профиль приложения
Application Network Profile (ANP)
Входящие/
Исходящие
политики
Сетевой профиль приложения
Сетевой профиль - логическое объединение групп EPG и
политик, определяющих правила взаимодействия между EPG
=
Входящие/
Исходящие
политики

7. Модель политик ACI
End-Point Group (EPG)
HTTPS
Service
HTTPS
Service
HTTPS
Service
HTTPS
Service
HTTP
Service
HTTP
Service
HTTP
Service
HTTP
Service
EPG - Web
EPG – логическая группа конечных хостов представляющих
приложение целиком или компоненты приложения,
(в общем случае) не зависящая от сетевых атрибутов

8. Внедрение традиционных приложений с Cisco ACI
На примере Microsoft Exchange
EPG
CAS
EPG
Mail_Box
EP
G
AD
EPG
Outside
Сервисное
устройство
SLB

9. Использование ACI в цикле разработки и
внедрения
«Инфраструктура как код»
Prod-Web
BD1
10.0.0.254/24
20.0.0.254/24
No f ooding
etc …
Prod-App PreProd-Web
10.0.0.254/24
No f ooding
etc …
PreProd-App
20.0.0.254/24
No f ooding
etc …
BD2 BD3
Private Network
“Production
Private Network
“PreProduction
Tenant
“Tenant1”
ACI
…
Разработка и
тестирование
Продуктив
Модификация
Клонирование
Prod-Web
BD1
10.0.0.254/24
20.0.0.254/24
No f ooding
etc …
Prod-App PreProd-Web
10.0.0.254/24
No f ooding
etc …
PreProd-App
20.0.0.254/24
No f ooding
etc …
BD2 BD3
Private Network
“Production
Private Network
“PreProduction
Tenant
“Tenant2”
Разработка и
тестирование
Продуктив
Prod-Web
BD1
10.0.0.254/24
20.0.0.254/24
No f ooding
etc …
Prod-App PreProd-Web
10.0.0.254/24
No f ooding
etc …
PreProd-App
20.0.0.254/24
No f ooding
etc …
BD2 BD3
Private Network
“Production
Private Network
“PreProduction
Tenant
“Tenant100”
Разработка и
тестирование
Продуктив
Клонирование

10. 11
Фабрика с поддержкой нескольких
гипервизоров
• Заказчик не ограничен в выборе
платформы виртуализации:
VMWare, Microsoft, KVM/OpenStack
или невиртуализированных
серверов
• Возможность использования
нескольких VMM в одной группе
EPG
• Интегрированный шлюз для VLAN
и VxLAN сетей
• Не требуется дополнительное
лицензирование
• Поддержка контейнеров – проект
Contiv
Интеграция с
физическим
и виртуальным миром
Сетевой
администратор
Администратор
приложения
ФИЗИЧЕСКИЙ
СЕРВЕР
VLAN
VXLAN
VLAN
NVGRE*
VLAN
VXLAN
VLAN
ESX Hyper-
V
KVM
Управление
гипервизором
ACI фабрика
APIC

11. Изоляция контекстов/организаций
«Тенанты»
• Логические контейнеры с набором
изолированных ресурсов – приложений,
сетевых элементов, политик, сбора и
экспорта статистики и т.д.
• Управление доступом администраторов
• Возможность контролируемого
взаимодействия между тенантами и
совместного доступа к разделяемым
ресурсам
• Сценарии использования
• Разные заказчики оператора
• Среды разработки/тестирования/продуктива
• Слияние/разделение организаций
• Резервирование многих ЦОД
Pepsi-Tenant Coke-Tenant
VRF 1
VRF 2
VRF 1
VRF 2
Bridge Domain 1
Bridge Domain 2
Bridge Domain 3
Bridge Domain 4
Bridge Domain 1
Bridge Domain 2
Bridge Domain 3
Bridge Domain 4
EPG
EPG
EPGEPG
EPG
EPG
EPG
EPG EPG
EPG

12. Аудит действий администраторов
• Все действия
администратора
фиксируются
• На уровне системы в целом
• На любом уровне иерархии
(логическом/физическом)
• Независимо от пути выполения
(GUI/CLI/API)
• Разные виды доступа к
журналу действий
• Через GUI – для задач
устранения проблем
• Через API – для аналитики и
контроля соответствия
требованиям
• Экспорт событий на внешние
серверы

13. Управление конфигурациями:
на уровне системы и отдельных тенантов
• Хранение истории конфигураций
• На уровне всей фабрики или
отдельных тенантов
• Настройки физических (порты
коммутаторы) и логическх
(приложения, группы, BD, VRF…)
объектов
• Сохранение по команде
администратора или по расписанию
• Возможность сравнения версий
конфигуций и отката изменений
• Сохранение на контроллерах APIC
или экспорт на внешний сервер

14. Диагностика проблем
Управление отказами и показатели «здоровья»
• Идентификация проблем
• На любом уровне иерархии ACI
• Классификация по степени
серьёзности
• Текущие отказы и хранение истории
• Возможность настройки
• Показатель «здоровья»
• На любом уровне иерархии
• От 0 до 100
• Возможность поиска причин
деградации – анализ первопричины
• Работа с отказами на
контроллерах APIC или отправка
на внешние системы

15. Статистика на уровне сети и приложений
Сбор, накопление, экспорт
• Сбор статистики на уровне
физических и логических объектов:
• Порты
• Ресурсы оборудования
• Группы подключений
• ...
• Накопление и хранение статистики
• Обобщение за интервал времени
• 5/15 мин, час/день/неделя/месяц/год
• Визуализация в GUI
• Автоматический экспорт на
внешний сервер

16. Cisco ACI для нужд разных
подразделений

17. Application Centric Infrastructure
…для сетевых администраторов
• Эффективная система центрального
управления
• Инициализация фабрики и построение
топологии
• Управление конфигурациями и
прошивками
• Сбор, накопление и экспорт статистики
• Информация об отказах и «здоровье»
• Высокая производительность и
масштабируемость
• Доступ 1/10G/25G, 40G
• Внутренний транспорт 40/100G с
эффективной балансировкой нагрузки и
приоритезацией транзакций
• До миллиона IPv4/IPv6 узлов
• Оптимизированный транспорт L2+L3
• Распределённая маршрутизация
• Единая среда коммутации для физических
и виртуальных серверов
• Сквозной транспорт P+V
• Поддержка многих гипервизоров
• Детальная телеметрия и диагностика
• Атомарные счётчики
• Инструменты диагностики
Spine: модульные (Nexus 9500) или
фиксированные (9336)
Аппаратная база отображения адресов
До 576 x 40/100 G портов на устройство
Высокая плотность за умеренную стоимость
Оптимизация фабрики
Оптимальная балансировка
ECMP
Быстрая сходимость
Атомарные счётчики
Leaf (доступ): Nexus 9300
Применение политик
Интеллектуальное
кеширование
Поддержка оверлеев
Улучшенная аналитика

18. Application Centric Infrastructure
…для администраторов виртуализации и «облаков»
• Открытый REST интерфейс для
управления/оркестрации
• «Сеть как сервис»
• Декларативная модель
• Поддержка разных сред виртуализации,
невиртуализированных серверов,
контейнеров
• Интеграция с многими гипервизорами
• Возможность развёртывания
невиртуализированных и смешанных
ландшафтов (Big Data и т.д.)
• Поддержка изоляции организаций
• Тысячи заказчиков (tenants)
• Автоматизация сервисных цепочек
• Поддержка коммерческих оркестраторов
• VMWare vRealize, Microsoft Azure Pack, Cisco
UCS Director…
• Поддержка OpenStack
• Neutron ML2 плагин
• Групповые политики (Group-based policy)
ФИЗИЧЕСКИЙ
СЕРВЕР
VLAN
VXLAN
VLAN
NVGRE
VLAN
VXLAN
VLAN
ESX Hyper-V KVM
ACI фабрика

19. Application Centric Infrastructure
…для администраторов безопасности
• Управление правилами доступа
• Единая точка контроля политик
взаимодействия
• Структура правил/контрактов увязана с
сервисами, а не с адресами
• Нет «накопления» неиспользуемых
правил МСЭ
• Модель «белого списка»
• Всё, что не разрешено, по умолчанию
запрещено
• «Распределённый МСЭ»
• Микросегментация и контроль сессий
• Встраивание средств безопасности
• Физические или виртуальные
• Cisco или другие разработчики
• Полная изоляция организаций (tenants)
• Интегрированные возможности аудита
• Протоколирований действий
администраторов
• API для внешнего анализа соответствия
политикам
• Безопасность управления ACI
• Контроль доступа и ролевое управление
ПРИЛОЖЕНИЯ
Web
Tier
App
Tier
DB
Tier
БЕЗОПАСНОСТЬ
Trusted
Zone
DB
Tier
DMZ
Внешний мир
ИНФРАСТРУКТУРА

20. Application Centric Infrastructure
…для администраторов приложений
• Описание логики приложения в терминах приложения, а не
сети
• Не нужен перевод политик «на сетевой язык»: VLAN,
адреса и т.д.
• Переносимость политик между ЦОД
• Возможность расширения среды, миграции P2V и т.д.
• Поддержка полностью или частично виртуализированных
приложений или физических серверов
• Корпоративные приложения
• Web-сервисы
• Big Data
• Мониторинг
• Сетевое «здоровье» конкретного приложения
• Точный учёт трафика каждого из компонентов
• Учёт требований различных классов приложений
• “Mode 1” – традиционные корпоративные системы
• “Mode 2” – распределённая обработка,
программируемость, «инфраструктура как код»

21. Развитие архитектуры
Cisco ACI

22. 23
Новые возможности ACI
Безопасность
Port Security
Интеграция с ISE 2.1
Firepower Rapid Threat Containment
ASA “Fabric Insertion” DP
Масштабирование
Много ACI модулей в одном
домене политик
Видимость и аналитика
Copy Service
Permit Logging
Облачная автоматизация
vRealize 7.0
OpenStack: VMware
Масштабируемая
WAN интеграция
ASR 9K
Nexus 7K
Гибкость
Policy Based Redirect
Маршрутизация multicast
FCoE NPV
vCenter plugin
Новые платформы
Nexus 9300-EX (Cloud Scale)

23. 24
Новое поколение Nexus 9000
Переход 10G->25G, 40G->100G
• QSFP28: новый формат 100G
трансивера:
• Высокая плотность
• Низкое энергопотребление
• Обратная совместимость с 40G QSFP
трансиверами
• Возможность «разбить» на 4*10G/4*25G
• 25G Ethernet (SFP28)
• Производительность x2.5 при близкой цене
• Обратная совместимость с 1/10G SFP
• Пример реализации: Cisco Nexus
93180YC-EX
• 48 портов 1/10/25G + 6*40/100G в том же
формате, что и 48*1/10G+6*40G по той же
цене, что и модель предыдущего поколения!
• Поддержка 10/25/40/50/100G
Nexus 9372PX-E
Nexus 93180YC-EX

24. 25
Коммутаторы Nexus 9000 для ACI фабрики
9504 9508 9516
Nexus 9500
32 40/100G QSFP Line card
• break-out to 10/25/50G
NX-OS и ACI
+ или
Nexus 9336
(“mini-spine”)
Nexus 9300-EX
48p 100M/1/10GT + 6p 40/100G QSFP
Nexus 93108TC-EX
48p 1/10/25G SFP + 6p 40/100G QSFP
Nexus 93180YC-EX
Leaf
Spine
Nexus 9300
36p 40G QSFP

25. 26
Модульная фабрика ACI
ACI Multi-Pod
Pod
‘A’
MP-BGP - EVPN
Single APIC Cluster
 Несколько модулей (ACI Pod)
связанных IP сетью (Inter-Pod network),
каждый состоит из набора leaf и spine
 Управлением единым кластером APIC
 Единый домен управления и политик
 Изоляция доменов отказов протоколов
control plane (IS-IS, COOP)
 Инкапсуляция VXLAN между модулями
 Сквозное применение политик
Pod
‘n’
Inter-Pod Network
…
ACI 2.1: до 6 модулей, до 300 leaf суммарно, до 200 leaf на модуль
IS-IS, COOP, MP-BGP

26. 27
Масштабируемая интеграция ACI с WAN роутерами
WAN
VRF-1 VRF-2
IP Network
Web/App
MP-BGP
EVPN
‘GOLF’
Devices  Масштабирование уровня передачи
данных и управления
VXLAN инкапсуляция между ACI spines и
WAN роутерами
BGP-EVPN control plane между ACI spines и
WAN роутерами
OpFlex для обмена настройками (имена
VRF, BGP Route-Targets и т.д.)
 Применение политик на ACI
коммутаторах (в обоих направлениях)
 Поддержка маршрутизаторов
Nexus 7000, ASR9000
ASR1000 – рассматривается
 Может сочетаться с ACI MultiPod

27. Cisco ACI 2.0/2.1: рост масштабируемости
Service Chains
Up to 1,000
Leafs
Up to 200 Per Pod
Up to 300 Across 6 Pods
Multicast Groups
Up to 8,000
Bridge Domains
Up to 21,000 (L2)
Up to 15,000 (L3)
EPGs
Up to 21,000
Max 500 Per Tenant
Other
Up to 5 APICs
Up to 50 vCenters
Up to 1,000 Contracts
Tenants
Up to 3000

28. Cisco ACI vCenter Plugin
vCenter Plugin
vSphere Web Client
vCenter
VMM Domain
• GUI интегрированный в vSphere
Web Client для управления ACI
фабрикой
• Позволяет администратору
настраивать или контролировать
ACI фабрику через знакомый
интерфейс
• Фокус на простоте: не требуется
детального знания ACI

29. Cisco ACI vCenter Plugin
Возможности
Настройка Внешние подключения, диагностика
• Может создавать, настраивать
удалять:
• Tenant
• Application Profile
• EPG / MicroEPG
• Contract
• Filter
• VRF
• Bridge Domain
• Ограниченные операции с
L2/L3Out
• Может использовать
существующие внешние EPG
• Не может модифицировать
• L4-7 Service Graphs
• Может использовать
существующие Service Graph
• Не может создавать шаблоны
Service Graph
• Может менять параметры
функуионального профиля
• Средства диагностики

30. 34
FCoE NPV в ACI фабрике
Host - CNA
VFVF
VF
VNP
VNP
FCOE
NPV
N5K
N7K
MDS
FCF
FC
Storage
Supported
Hardware
N93180YC-EX
N93108TC-EX
Physical Port
carrying both LAN &
SAN Traffic
VF
FCoE
• Единый уровень доступа для LAN и SAN
• FCOE трафик от CNA адаптера сервера к
SAN коммутатору через ACI Leaf
• Хост подключается к Virtual F (VF) портам
на ACI Leaf
• FCOE трафик отправляется на Fiber
Channel Forwarder (FCF) через Virtual Node
Proxy (VNP) функцию
• Требует 9300–EX в качестве leaf
• В качеcтве FCF – Cisco MDS или Nexus
5K/7K

31. Принятие Cisco ACI заказчиками

32. 36
Принятие ACI заказчиками
• Поставляется с 2014 года
• Более 1800 заказчиков ACI в мире (данные на 2
квартал 2016 г)
• Заказчики ACI в России и СНГ:
• Операторы
• Промышленность/энергетика
• Интернет сервисы
• Финансовые услуги
• ....

33. 37
Развитие успеха ACI/9K
$2 млрд продаж в годовом выражении
8500+ 50+1800+
заказчиков Nexus 9K
и ACI по всему миру
Экосистемных
партнёров
Заказчиков ACI
Новые! Экосистема