Cisco DFA - развитие архитектуры сети современного ЦОД. Возможности и принципы функционирования.

Cisco DFA – развитие архитектуры современного ЦОД
Возможности и принципы функционирования
Хаванкин Максим
системный архитектор, CCIE
mkhavank@cisco.com
20 марта 2014 г.

© 2014 Cisco and/or its affiliates. All rights reserved. Cisco Public
Содержание
  DFA требования и основные строительные блоки
  Управление фабрикой
  Автоматизация
  Оптимизация управления передачей данных
  Виртуальные фабрики
  Требуемое аппаратное и программное обеспечение
2

Ручные процессы
Статическое выделение
ресурсов
Разобщенность
специалистов
Несовершенные
программные оверлеи
Взрывной рост
ОПЕРАЦИОННАЯ
СЛОЖНОСТЬ
АРХИТЕКТУРНАЯ
ЖЕСТКОСТЬ
ИНФРАСТРУКТУРНАЯ
НЕЭФФЕКТИВНОСТЬ
Вызовы
ПРИВОДЯТ
к…
Проблемы современных ЦОД

Ручные процессы
Разобщенность
специалистов
Несовершенные
программные оверлеи
Взрывной рост
Статическое выделение
ресурсов
Эволюционный
подход
Оптимизация
Автоматизация
Упрощение
Проблемы современных ЦОД

Лидерство в
масштаби-
руемости
Open
Networking
FabricPath
10/40/100
GbE Support
Управление
облаком
Cisco IAC
Cisco Prime
Network
Services
Controller
Cisco
ONE
Конвергенция
Фабрика, с
поддержкой
виртуали-
зации
Nexus 1000V
vPath
VXLAN
OTV
LISP
Вычислит.
фабрика
Cisco UCS
FEX
Cisco UCS
Director
(Cloupia)
FCoE
Unified
Ports
Multi-
Protocol
Фабрика:
•  Упрощение
•  Оптимизация
•  Автоматизация
Cisco Dynamic
Fabric Automation
(DFA)
Унифицированная фабрика Cisco
Лидерство посредством инноваций

фабрикой
передачи данных
Виртуальные фабрикиАвтоматизацияУправление
фабрикой
Автоматизация Виртуальные фабрикиОптимизация
6
Архитектура Dynamic Fabric Automation
Основные компоненты
Простой модульный набор функций упрощающий развертывание

АВТОМАТИЗАЦИЯ
РАЗВЕРТЫВАНИЕ СЕТИ “С НУЛЯ”
ПРОСТОТА
ЕДИНАЯ ТОЧКА УПРАВЛЕНИЯ
ХОСТ, СЕТЬ И TENANT
РАСПОЗНАВАНИЕ ФАБРИКОЙ
Cisco Prime
Data Center Network Manager (DCNM)
MAN/
WAN
Архитектура DFA

ОТКРЫТАЯ
ИНТЕГРАЦИЯ ОКРЕКСТРАЦИИ
АВТОМАТИЗАЦИЯ
МАСШТАБНЫЕ РАЗВЕРТЫВАНИЯ
ЛЮБАЯ НАГРУЗКА
В ЛЮБОМ МЕСТЕ, В ЛЮБОЕ ВРЕМЯ
REST API’s
Cisco Prime
Data Center Network
Manager (DCNM)
MAN/
WAN
Cisco Prime
Network Services
Controller (NSC)
UCS Director
Автоматизация

Улучшенная
передача
данных
Enhanced
Forwarding
Distributed
Control Plane
Интеграция
физического и
виртуального
мира
ЛЮБАЯ СЕТЬ
ГДЕ УГОДНО
ОТКАЗОУСТОЙЧИВОСТЬ
МАЛЫЙ РАЗМЕР ДОМЕНА СБОЯ
СОГЛАСОВАННОСТЬ
КОНФИГУРАЦИЯ НА БАЗЕ ПРОФИЛЕЙ
MAN/WAN
Оптимизация передачи данных

МАСШТАБИРУЕМОСТЬ
БЕЗОПАСНЫЕ ВИРТУАЛЬНЫЕ ФАБРИКИ
ЛЮБАЯ НАГРУЗКА
ЛЮБАЯ ВИРТУАЛЬНАЯ ФАБРИКА
МАСШАТИРУЕМОСТЬ
+10K TENANTS/NETWORKS
ПродажиПроизводство
ФинансыHR
Виртуальные фабрики

 DCNM – простое централизованное управление
 POAP
 Cable Management
 XMPP
 Возможности распознавания
11

Управление фабрикой при помощи DCNM
Основные компоненты
  Централизованное
управление DFA - Centralized
Point of Management (CPOM)
–  DCNM Fuji Release (7.0)
–  DHCP-Server
–  TFTP
–  XMPP
–  LDAP
–  Message Broker
  Вирт. машина для vSphere
  Все функции собраны и пред-
настроены в одном OVA
контейнере!

Детальная информация
доступна при наведении мышью
на элемент фабрики
DFA Dashboard – отображает топологию
Leaf/Spine включая статус устройств и
каналов связи между ними
При выборе элемента
фабрики отображаются все
каналы, которыми он
подключен
Поиск коммутатора или
сервера (виртуального*
или физического)
Выбор виртуальной фабрики
для управления
*требуется VDP

Поддержка фабрик больших размеров

Подключение к сетевым сегментам
  Сегмент доступа к DCNM обеспечивает
доступ пользователей к Web-интерфейсу
DCNM (CPOM) или работу толстого-
клиента DCNM
–  Требуется настроить:
  IP адрес
  Маску
  Шлюз
  DNS-сервер
  Сегмент управления фабрикой
обеспечивает доступ к интерфейсам
управления коммутаторами Out-of-Band
Management (mgmt0)
–  Требуется настроить:
  IP адрес
  Маску
  DNS-сервер
Управление фабрикой
DCNM (CPOM)Сегмент доступа к
DCNM
Доступ пользователей к DCNM (CPOM)
Сегмент
управления
фабрикой
Доступ CPOM/DCNM к интерфейсам
управления устройствами фабрики
DCNM

Использование выделенной сети управления
Консольные подключения рекомендуются, но не являются обязательными
con0
Управление фабрикой – выделенная сеть управления -
Out-of-Band (OOB) Network
mgmt0
con0
Сегмент доступа к
DCNM
DCNM (CPOM)
mgmt0
DCNM

Протоколы, используемые в выделенной сети управления
con0
mgmt0
con0
DCNM
DCNM (CPOM)
mgmt0DHCP,TFTP,SCP,LDAP,XMPP,SNMP,SSH,TELNET
DHCP,TFTP,SCP,LDAP,XMPP,SNMP,SSH,TELNET
DCNM

 POAP
 XMPP
18

Device Auto-Configuration (POAP)
Автоматическая настройка коммутаторов фабрики
  POAP Engine полностью
интегрирован в DCNM
(CPOM)
  DHCP Scope-Definition
–  собственный DHCP-Daemon
  Репозиторий образов и
конфигураций
–  Встроенные TFTP- и SCP-
серверы
  Предопределенные шаблоны
конфигурации с
возможностью кастомизации
  Простой алгоритм настройки
POAP

Подключение коммутатора к фабрике
при помощи POAP 1/3
mgmt0
DCNM
Доступ пользователей
к DCNM (CPOM)
DCNM (CPOM)
mgmt0
Коммутатор загружается без
конфигурации
1
Коммутатор запрашивает IP адрес
при помощи DHCP2
DCNM (CPOM) отвечает на DHCP
запрос передавая IP адрес и
специфические параметры POAP –
адрес скрипта автоконфигурации
(TFTP)
3
IP: 192.168.12.142 / 24
tftp://dcnm/tftpboot/boot.py
DCNM

mgmt0
DCNM
к DCNM (CPOM)
DCNM (CPOM)
mgmt0
Коммутатор запрашивает NX-OS
образ и конфигурационный файл
1
DCNM (CPOM) сообщает ссылку на NX-OS
образ и конфигурационный файл (SCP)
2
Boot with image: 6.0(2)
Use Configuration: Spine
Hostname: Spine-4
IP: 192.168.12.4 / 24
…
DCNM

mgmt0
DCNM
к DCNM (CPOM)
DCNM (CPOM)
mgmt0
Коммутатор загружается с
определенным образом NX-OS и
первоначальной конфигурацией
из шаблона
1
DCNM (CPOM) обнаруживает новый
коммутатор и добавляет его в свою
базу данных
2
DCNM

Настройка POAP в DCNM 1/3
Cоздается новая POAP
конфигурация для одного или
нескольких коммутаторов
В систему загружается
существующая конфигурация
Шаг Workflow - POAP-Definitions

Вводится серийный номер
устройства или нескольких
устройств
Определяется тип коммутатора
(N5k, N6k, N7k etc.)
Определяется репозиторий для
образов (по умолчанию локальный
SCP репозиторий (var/lib/dcnm)
Выбираются Kickstart- и System-
образы для коммутатора
Определяется
репозиторий для
конфигураций POAP
Username и Password для доступа к
коммутатору через CLI, SNMP, и т.д.

Выбирается предопределенный
шаблон DFA
Параметры могут быть
сохранены как шаблон для
последующего повторного
использования
Форма, автоматически
создается из шаблона; можно
указывать диапазоны значений
для одновременной настройки
нескольких коммутаторов

DFA настройка POAP шаблонов
Возможность редактирования
Выбор шаблона для последующих
операций Открыть, Редактировать,
Сохранить как

DFA настройка POAP шаблонов
Возможность кастомизации
Редактор шаблона,
который позволяет
определить свои
переменные и команды
Проверка синтаксиса
шаблона

 POAP
 XMPP
28

Cabling Plan
Проверка подключений в фабрике на соответствие
  Детектирование кабельных
аномалий
–  Incorrect Connectivity (ErrC)
–  Link Not present (Unkn)
–  Unexpected Connections (Enp)
  Гибкость
–  поддержка DFA и не-DFA
платформ
–  возможность глобального
развертывания или с учетом
специфики конкретного устройства
  Автоматическое создание,
импорт, экспорт
  Гранулярность – с точностью до
порта

Зачем контролировать соответствие кабельных
подключений плану?
= DFA-Spine
(Tier 2)
= DFA-Leaf
(Tier1)
✓
1 1 1 1 ✗ ✗1 1 1 1
Кабельные соединения в
порядке!
Кабельные соединения не
соответствуют плану!

Cable Plan и проверка соответствия
Настройка
nexus# dir bootflash:/// | include cableplan.xml
906 May 28 06:43:52 2011 cableplan.xml
nexus#
Индивидуальный кабельный план создан и
загружен при помощи DCNM (CPOM)
В POAP шаблоне необходимая настройка
уже присутствует; выбор за Вами –
контролировать исполнение плана или
нет
1 1 1 1
= DFA-Spine
(Tier 2)
= DFA-Leaf
(Tier1)
feature cable-management
feature lldp
!
fabric connectivity tier 2
fabric connectivity cable-plan enforce
feature cable-management
feature lldp
!
fabric connectivity tier 1
fabric connectivity cable-plan enforce
errdisable recovery interval 300
errdisable detect cause miscabling
no errdisable recovery cause miscabling
По умолчанию порт переводится в
состояние Error Disable в случае
несоответствия кабельному плану
По умолчанию автоматическое
восстановление выключено

✗ ✗1 1 1 1
Cable Plan и проверка соответствия
Show команды, Log сообщения
2011 May 31 02:37:40 n6k-leaf-2018 %$ VDC-1 %$ %CMM-2-MISCBL_TIERERR: Miscabling: Port
Ethernet1/47 Error detected on peer tier check. Local: Tier 1 System n6k-leaf-2018
Chassis 002a.6a27.27d6 Port Eth1/47 Neighbor: Tier 1 System n6k-leaf-2017 Chassis
002a.6a22.a416 Port Eth1/47
Сообщение, которое помещается в лог в случае обнаружения
несоответствия плану кабельных подключений
Error detected on peer tier check
n6k-leaf-2018# show fabric connectivity neighbors
-------------------------------------------------------------------------------
Local System:
Device Tier Config: Enabled Device Tier Level: 1
Mismatch Delay Config: Disabled Mismatch Delay Timeout: 0
Cable-Plan Enforce: Enabled
DeviceID: n6k-leaf-2018 ChassisID: 002a.6a27.27d6
-------------------------------------------------------------------------------
Codes: (Ok) Normal, (ErrT) Tier error , (ErrC) Cable-Plan error,
(V) VPC Peer connection, (S) Stale entry, (Unkn) Unknown,
(Enp) Entry not present in Cable-Plan, (Tl) Tier level
Neighbor Table:
-------------------------------------------------------------------------------
Local DeviceID PortID Tl Cable-Plan Status
Intf Entry
Eth1/37 n6k-spine-2016 Eth1/37 2 n6k-spine-201,Eth1/37 Ok
Eth1/38 n6k-spine-2015 Eth1/38 2 n6k-spine-201,Eth1/38 Ok
Eth1/47 n6k-leaf-2017 Eth1/47 1 Enp ErrT,S
Total entries displayed: 3
n6k-leaf-2018# show interface
eth1/47
Ethernet1/47 is down (Miscabled)

Возможности DCNM по контролю кабельных
подключений
DCNM (CPOM) отображает ту же самую
информацию, что и CLI в более
наглядном виде:
-  Неисправные узлы фабрики
-  Неправильная кабельная коммутация
-  Статус интерфейсов

 POAP
 XMPP
34

Switch# show vlan
Vlan
-------------------------------
-------------------------------
------------------
Ethernet VLAN
Type Mode Status D)
--
XMPP
Управление сетью с помощью XMPP
XMPP
Единая точка управления элементами
фабрики.
•  Все узлы соединены через логическую
XMPP шину
•  Возможность создавать группы для
различных типов устройств
•  Устройства аутентифицируются один раз
при включении в фабрику.
DCNM (CPOM)

Управление сетью с помощью XMPP
  После загрузки коммутатора происходит автоматическая аутентификация на XMMP
сервере, о чем свидетельствует сообщение системного логгирования.
  Вывод команды проверки XMPP соединения

Использование XMPP клиента для управления
коммутатором
  Коммутаторы присутствуют как друзья в списке контактов
  Клиент IM отображает статус коммутаторов
  После логина возможен обмен короткими сообщениями
с коммутатором в формате NX-OS CLI команд

Групповой XMPP-чат
  Необходимо создать комнату для
группового чата - Chat-Room
–  комната должна быть настроена на
коммутаторах и на IM клиенте
–  fabric access group group1 group2
  После настройки комнаты в клиенте и
на коммутаторах можно начать
«общение» при помощи NX-OS CLI
команд
–  Перед отправкой сообщения необходимо
дождаться пока все участники «войдут» в
комнату “join the room”

Как DCNM использует XMPP?
  Необходимо настроить служебную группу для нужд DFA
–  Admin -> Dynamic Fabric Automation (DFA) -> Settings
Эта группа используется для отправки
служебных запросов на поиск информации,
а так же на внесение изменений в
параметры auto-config коммутаторов.
  DCNM отправляет следующие запросы в эту служебную группу:
–  поиск хоста, который подключен к фабрике
–  выяснение принадлежности коммутатора к виртуальной фабрике (vrf)
–  уведомление коммутаторов об изменениях в параметрах auto-config

 POAP
 XMPP
40

Возможности распознавания DFA
Фабрика идентифицирует конечные хосты
В строке поиска можно ввести
название виртуальной
машины
Коммутатор, к которому
подключена виртуальная
машина подсвечивается
(только для хостов, которые
поддерживают VDP)
n6k-leaf-2018# show evb host
EVB Host table
No. of Hosts: 1
No. of VSIs: 1
Flags: + - Multiple addresses
Host Name VNI Vlan BD Mac-address IP-Address Interface
------------------- -------- ----- ----- -------------- ----------------- ------------
Linux.131.103-223 31000 3000 3000 0050.56ac.1f71 192.168.131.103 Eth1/2

Возможности распознавания DFA
Идентификация участников виртуальных фабрик
Можно выбрать
Организацию/Партицию для
отображения коммутаторов
принадлежащих виртуальной
фабрике
Подсвечиваются
коммутаторы уровня доступа
(leaf), которые принадлежат
выбранной фабрике
Замечание: Коммутаторы
уровня ядра (Spine)
принадлежат всем фабрикам.
n6k-leaf-2018# show vrf all
VRF-Name VRF-ID State Reason
OrgA:PartA 4 Up --
default 1 Up --
management 2 Up --
n6k-leaf-2018#

43

Автоматическая конфигурация
сетевой фабрики
Вирт. машины
N1K
Auto-config триггеры
VDP
DHCP/ARP-ND
Пакеты данных
Programmatic
Оркестрационный стек
Сетевая и сервисная
оркестрация
Вычислительная и СХД
оркестрация
Cisco Prime DCNM
Физ.
хосты

DCNM (CPoM)
Профиль
Создание
логического
сегмента
Оркестратор
N1KV/OVS
Создание логической сети
1
Информирование фабрики о новой организации
Автоматизация развертывания приложения
Использование VDP для автоматической настройки коммутатора доступа (leaf)
Segment-ID, IP
информация (GWY, Mask,
Org, etc)
Загрузка
профиля для
сегмента
Поддерживаются на
момент начала продаж
  Cisco UCS Director
(Cloupia)
  OpenStack
  vCloud Director
46

DCNM (CPoM)
N1KV/OVS
1
Новая виртуальная машина создается в красном сегменте сети
Создание красного сегмента на коммутаторе
2
VDP Control
Plane
Segment-ID
получается от
vSwitch
Запрос в БД DCNM
(Segment-ID как
ключ запроса)
47
Создание
сегмента
Профиль
Использование VDP для автоматической настройки коммутатора доступа (leaf) (2)

DCNM (CPoM)
Профиль
N1KV/OVS
SVI, VRF
создание
1
2
VDP Control
Plane
*VDP (VSI Discovery and Configuration Protocol is part of 802.1Qbg Draft
Загрузка
VLAN ID to
the vSwitch
48
Создание
сегмента

DCNM (CPoM)
Профиль
N1KV/OVS
1
2
Leaf получает тегированные
фреймы 802.1q и
ассоциирует их с segment-ID
ВМ подключена к фабрике
49
Создание
сегмента

UCS
Director
Каталог приложений
Compute
Web 2 VMs, High IO
Appl. 8 VMs, 10 GB
DB 2 VMs, 50 GB
StorageNetwork
Требуемые
ресурсы:
•  Количество
•  Размер
•  Качество
Контроллеры UCS Manager
Web
FW & LB вирт.
контейнера
Appl.
L4-L7 сервисы
вирт. контейнера
DB
Настройка портов
фабрики
Web Лок. кеш
Appl.
Осн. СХД
•  IOPS
•  Зеркало
DB
•  2 High IOPS
•  Data Mirroring
vCenter/SCVMM
APP DBWEB
Приложение
Compute
Network
Storage
L/B
APP DBF/W
L/B
WEB
DCNM
VNMC
Контейнер приложения в UCS Director

UCS Director
Гипервизор СХДСеть
Контроллеры vCenter/
SCVMM
APP DBWEB
DCNM
VNMC
Compute
Network
Storage
L/B
APP DBF/W
L/B
WEB
На примере UCS Director

UCS Director
Гипервизор СХДСеть
Контроллеры vCenter/
SCVMM
APP DBWEB
DCNM
VNMC
Compute
Network
Storage
L/B
APP DBF/W
L/B
WEB
автоматически
На примере UCS Director

Необходимы два шага, чтобы
обеспечить подключение к
фабрике физического хоста
1.  Создать профиль конфигурации в
базе данных DCNM (CPOM)
2.  После обнаружения начала передачи
данных хостом коммутатор делает
запрос в базу данных DCNM и
выполняет окончательную настройку
порта, к которому подключен
физический сервер
Автоматизация развертывания приложений
Как реализовать авто-конфигурацию для физических хостов?
DCNM (CPoM)
Профиль
1
Порт мапируется в
правильную сеть
(VLAN to segment-ID
mapping)
Хост начинает
передавать данные
(DHCP, ARP, …)
2
Запрос к CPoM
(Segment-ID как ключ)
Загрузка
Эти же правила используются при развертывании виртуальной машины на vSwitch-е,
который не поддерживает VDP
SVI, VRF
создание
54

Применение REST API для управления
фабрикой
  DCNM дает возможность использования REST API 3-им приложениям
для управления фабрикой DFA
  REST API поддерживает
–  POAP(Power On Auto Provision)
–  Автоматическую конфигурацию (auto-config)
–  Управление кабельными подключениями (сable plan)
  DCNM REST API поддерживают объекты “application/json” для обмена
информацией между 3-им приложением и DCNM
  DCNM REST API поддерживает HTTP и HTTPs для обеспечения
безопасного управления элементами фабрики
  Графический интерфейс DCNM так же использует REST API для
управления
55

Свойства фабрики
Управление передачей (Control Plane)
Передача данных (Forwarding Plane)
56

N1KV/OVS
WAN/CoreServices
Spine - агрегация
Leaf - доступ
Border Leaf – граница
Services Leaf - сервис
Virtual Leaf* - виртуальный N1KV/OVS
Виртуальные машины
Физические сервера
FEX-ы
Коммутаторы 3-х производителей
UCS FI
Блейд сервера
СХД
МСЭ
Балансировщики
Устройства 3х производителей
Маршрутизаторы
Коммутаторы
Устройства 3х производителей
*Virtual Leaf: N1KV/OVS принимает “частичное” участие в процессе управления передачей данных (поддержка VDP)
Замечание: роли на уровне доступа (leaf) - логические. Один и тот же
коммутатор доступа (leaf) может быть одновременно обычным коммутатором,
сервисным и пограничным.
58
Архитектура Dynamic Fabric Automation
Роли устройств
N1KV/OVS

© 2014 Cisco and/or its affiliates. All rights reserved. Cisco Public 59
Cisco Dynamic Fabric Automation
Поддержка различных топологий
Compute and Storage
L3 Cloud
Традиционный Доступ/Агрегация
L3 CloudCompute and Storage
Folded CLOS
L3 CloudCompute and Storage Compute and Storage
Трех-уровневая топология (Fat Tree)
Полная связанность
L3 Cloud

Compute and Storage L3 Cloud
  Высокая производительность
  Применение ECMP: Unicast или Multicast трафик
  Постоянный радиус (равномерная достижимость)
  Предсказуемая задержка
  Высокая отказоустойчивость:
сбой узла/канала имеет незначительное
влияние
  Низкая задержка, передача всего трафика
на скорости интерфейса
§§ Свойства фабрики актуальны для всех топологий §§
60

  Размеры фабрики: от сотен до
десятков тысяч 10G портов
  Разнообразие строительных блоков:
  Различные размеры
  Различная мощность
  Необходимый уровень переподписки
  Модульные или фиксированные
устройства
  Scale Out архитектура
  Вычислительные мощности, сервисы,
внешние подключения добавляются по
мере роста потребностей
Размеры фабрики могут быть различными
61
Compute and Storage L3 Cloud

Фабрика DFA
UCS FI
Блейд
коммутатор
  Гибкие возможности подключения
к фабрике – уровень доступа (leaf)
  FEX в режимах straight-through или
dual-active (eVPC)
  UCS Fabric Interconnect
  Гипервизоры или физические
серверы, подключенные в режиме
vPC
  FEX работает как “удаленная
линейная карта” и самостоятельно
не принимает участия в
управлении процессами передачи,
характерными для DFA
Гипервизор
62
Разнообразие вариантов подключения к фабрике

63

ISIS - распространение информации о
состоянии фабрики
  Контроль достижимости узлов фабрики
  Создание multi-destination trees для
мультикаст и широковещательного
трафика
  Быстрое реагирование на сбои каналов/
узлов фабрики
  Поддержка частично-связанных топологий
(mesh topologies)
ISIS – не распространяет
  Информацию о достижимости хостов фабрики
  Служебный трафик хостов фабрики
  Информацию о серверных подсетях
Control Plane
1 – управление фабрикой при помощи IS-IS
Протокол IS-IS
Соседские отношения IS-IS
64
L3 Core

L3 Cloud
  Трафик протоколов ARP, LLDP, LACP, IGMP, DHCP, который
инициируется серверами терминируется на коммутаторах доступа (leaf)
  Ограничение флуда, размера домена сбоя, распространения пакетов
служебных протоколов
  На пограничных коммутаторах (border leaf) терминируются протоколы
PIM, OSPF, eBGP
инжектированием
информации о
внешних префиксах
Control Plane
2 – сдерживание служебного трафика хостов
PIM, IGP, eBGP в сторону
внешнего L3 домена
ARP, LLDP, LACP,
IGMP, DHCP
65

  Распространение информации о хостах отделено от управления
состоянием каналов фабрики
  Протокол MP-BGP распространяет информацию о достижимости
внутренних хостов и внешних сетей
  Протокол MP-BGP был оптимизирован для переноса информации о
сотнях тысяч маршрутов, время сходимости уменьшено
L3 Cloud
Control Plane
3 – распространение маршрутной информации о хостах и подсетях
Внешние сети
Route Injection
Соседские отношения iBGP
Хосты/сети фабрики
Route Injection
66
Route-Reflector-ы разворачиваются для обеспечения масштабирования
RR RR
Протокол MP-BGP

  Детектирование удаленных
хостов
На основе апдейтов от протокола
MP-BGP
Control Plane
Детектирование хостов
  Чтобы распространить информацию о
хосте коммутатор доступа (leaf) должен
сначала обнаружить устройство/хост/
виртуальную машину
  Детектирование локальных
хостов
На основе VDP или ARP/DHCP
67
N1KV/OVS vSwitch
VDP
ARP
DHCP
ARP
DHCP

68

  Любая подсеть где угодно => Любой коммутатор доступа может терминировать любую подсеть
Все коммутаторы доступа разделяют один и тот же IP-адрес и MAC шлюза по умолчанию для подсети
(без использования HSRP)
ARP терминируется на коммутаторе доступа, широковещательный трафик не покидает пределы
коммутатора доступа (leaf)
  Поддерживаются – мобильность виртуальных машин, распределение нагрузки, технологии
кластеризации
  Бесшовный обмен данными на 2-м и 3-м уровне между физическими и виртуальными хостами
GW IP: 11.11.11.1
GW MAC:
0011:2222:3333
GW IP: 10.10.10.1
GW MAC:
0011:2222:3333
L3
L2
Anycast Gateway
Распределенный шлюз по умолчанию на уровне доступа (leaf)

Режимы работы
70
  Для VLAN, которые растягиваются между несколькими коммутаторами доступа доступны два
режима
  proxy-gateway
  anycast-gateway
  Proxy-Gateway
  используется Proxy-ARP
  пакеты всегда маршрутизируются и в случае передачи данных внутри подсети и в
случае передачи данных между подсетями
  коммутатор доступа всегда делает L3 lookup
  Anycast-Gateway
  требуется присутствие шлюза по умолчанию на каждом коммутаторе доступа
  При передаче данных используется FabricPath (ARP не подавляется, внутри сегмента
происходит L2 коммутация, выучиваются реальные MAC-адреса конечных хостов, а не
MAC-адреса шлюзов
  Оба режима требуют распространения хостовых /32 маршрутов между коммутаторами доступа
  Важно: L2 не-IP пакеты всегда коммутируются внутри фабрики независимо от настроенного
режима передачи данных

© 2013 Cisco and/or its affiliates. All rights reserved.BRKDCT-2385 Cisco Public
L1 L4
1.  H1 посылает ARP запрос H2 –
10.10.10.20
2.  ARP запрос перехватывается
коммутатором L1 и обрабатывается
процессором Sup
3.  Предполагая, что в таблице
маршрутизации существует запись
вида
/32 для H2, коммутатор L1 отправляет
ARP reply который содержит его
собственный адрес G_MAC, для того
чтобы H1 поместил эту информацию в
свой ARP кэш
Важно: ARP запрос не распространяется
ни по коммутаторам фабрики, ни через
локальные интерфейсы, которые
принадлежат тому же L2 домену
71
H1
10.10.10.10
L1 RIB
10.10.10.20/32  NH L4_IP
L1 ARP Table
L4_IP  L4_MAC
H2
10.10.10.20
vSwitch
S3
H1 ARP Cache
10.10.10.20  G_MAC
2 CPU
1
3
Оптимизация передачи данных – режим proxy-gateway
Передача IP пакетов внутри одной подсети

L1 L4
72
4.  H1 создает фрейм данных, у
которого в качестве MAC адреса
назначения используется G_MAC
5.  L1 получает кадр, удаляет L2
заголовок и производит Layer 3
lookup узла назначения
6.  L1 добавляет заголовок 2-го уровня а
так же FP заголовок и передает FP
фрейм для доставки в фабрику,
выбирая один из 3-х доступных
путей передачи трафика через
коммутаторы S1, S2 и S3
7.  L4 получает фрейм, отбрасывает
заголовки FP и L2 и производит L3
lookup, а затем передает фрейм в
сторону H2
H1
10.10.10.10
e1/1
H2
10.10.10.20
vSwitch
H1 ARP Cache
10.10.10.20  G_MAC
SMAC→ H1_MAC
DMAC→ G_MAC
SIP→ 10.10.10.10
DIP→ 10.10.10.204
L1 RIB
10.10.10.20/32  NH L4_IP
L1 ARP Table
L4_IP  L4_MAC
5
SMAC→ L1_MAC
DMAC→ L4_MAC
SIP→ 10.10.10.10
DIP→ 10.10.10.20
SSID→ L1
DSID→ L4
6
SMAC→ G_MAC
DMAC→ H2_MAC
SIP→ 10.10.10.10
DIP→ 10.10.10.20
L4 RIB
10.10.10.20/32  e1/1
7
Оптимизация передачи данных – режим proxy-gateway
Передача IP пакетов внутри одной подсети (2)
S1 S2 S3

L1 L4
73
H1
10.10.10.10 H2
11.11.11.11
vSwitch
H1 ARP Cache
10.10.10.1  G_MAC
1
3
2 CPU
1.  H1 посылает ARP запрос на шлюз
по умолчанию – 10.10.10.1
2.  ARP запрос перехватывается
коммутатором L1 и
обрабатывается процессором
Sup
3.  L1 выступает как обычный шлюз
по умолчанию и посылает ARP
reply со своим адресом G_MAC
Передача IP пакетов между подсетями - оба режима

L1 L4
74
4.  H1 посылает пакет данных
предназначенный H2 с
использованием G_MAC как MAC
адреса узла назначения
5.  L1 получает кадр, удаляет L2
заголовок и производит Layer 3
lookup узла назначения
6.  Если в таблице маршрутизации
присутствует маршрут для H2, то L1
добавляет заголовок 2-го уровня и
заголовок FP и затем передает
фрейм для доставки фабрике,
выбирая один из 3-х доступных
эквивалентных маршрутов через
коммутаторы S1, S2 и S3
7.  L4 получает пакет, отбрасывает FP
и L2 заголовки, выполняет L3 lookup
и передает фрейм H2
e1/1
H2
11.11.11.11
vSwitch
H1
10.10.10.10
H1 ARP Cache
10.10.10.1  G_MAC
SMAC→ H1_MAC
DMAC→ G_MAC
SIP→ 10.10.10.10
DIP→ 11.11.11.11
4
L1 RIB
11.11.11.11/32  NH L4_IP
L1 ARP Table
L4_IP  L4_MAC
5
SMAC→ L1_MAC
DMAC→ L4_MAC
SIP→ 10.10.10.10
DIP→ 11.11.11.11
SSID→ L1
DSID→ L4
6
SMAC→ G_MAC
DMAC→ H2_MAC
SIP→ 10.10.10.10
DIP→ 11.11.11.11
L4 RIB
11.11.11.11/32  e1/1
7
S1 S2 S3
Передача IP пакетов между подсетями - оба режима (2)

Передача L2 фреймов, не IP маршрутизация – оба режима
H1 H2
vSwitch
1.  H1 посылает пакет предназначенный MAC
адресу узла H2
2.  Коммутатор L1 выполняет L2 lookup в
таблице MAC адресов производя поиск FP
Switch ID коммутатора назначения
3.  L1 добавляет FP заголовок прежде чем
отправить пакет на доставку фабрике
4.  L4 получает фрейм, производит
отбрасывание FP заголовка, выполняет L2
lookup и затем пересылает его H2
vSwitch
L1 L4
e1/1
SMAC→ H1_MAC
DMAC→ H2_MAC
SSID→ L1
DSID→ L4
Payload
3
SMAC→ H1_MAC
DMAC→ H2_MAC
Payload
1
L1 MAC Table
H2_MAC  L4 SW_ID
2
SMAC→ H1_MAC
DMAC→ H2_MAC
Payload
L4 MAC Table
H2_MAC  e1/1
4
75

Распределенный шлюз по умолчанию
Proxy-Gateway
  Proxy-Gateway (enhanced
Forwarding)
WAN
RR RR
= DFA-Spine RR = DFA Route-Reflector= DFA-Leaf = Fabric Interface= DFA-BorderLeaf = Distributed Gateway
interface vlan 123
vrf member Coke
fabric forwarding mode proxy-gateway
ip address 10.1.1.1/24
ip dhcp relay address 200.200.200.100
no shutdown
vlan 123
mode fabricpath
vn-segment 30000

Распределенный шлюз по умолчанию
Anycast-Gateway*
  Anycast-Gateway* (Traditional
Forwarding)
WAN
RR RR
= DFA-Spine RR = DFA Route-Reflector= DFA-Leaf = Fabric Interface= DFA-BorderLeaf = Distributed Gateway
interface vlan 123
vrf member Coke
fabric forwarding mode anycast-gateway
ip address 10.1.1.1/24
ip dhcp relay address 200.200.200.100
no shutdown
vlan 123
mode fabricpath
vn-segment 30000
*Функции “Anycast-Gateway” и функция “Anycast-HSRP для FabricPath” – не одно и тоже

Сравнение режимов передачи данных в DFA
Proxy-Gateway Anycast-Gateway Non DFA Mode*
VLAN/Subnets stretched
between leaves ✓ ✓ ✓

(requires anchor Leaf)
Common Anycast GW IP
across leaves ✓ ✓ ✗
Common Anycast GW
MAC across leaves ✓ ✓ ✗
Use Proxy-ARP/ND
✓

(respond to ARP/ND only if the
destination is available in the
RIB)
✗ ✗
ARP Flooding in Layer-2
Domain ✗ ✓

(floods also across DFA Fabric)
✓

(local flood only)
Intra-Subnet forwarding
Always routed
(TTL decrement)
Bridged Bridged
Silent Host Discovery ✗ ✓

✓

Представляем L3 Conversational Learning
  Использование /32 маршрутов может оказывать влияние на масштабирование
если все маршруты будут запрограммированы во всех аппаратных таблицах
маршрутизации и коммутации на всех коммутаторах доступа
Функция L3 conversational learning может смягчить последствия этой проблемы
По умолчанию этот режим выключен  все маршруты сразу программируются в
аппаратную таблицу FIB
  При включении этого режима хостовые маршруты для удаленных хостов будут
программироваться в FIB только после обнаружения активного сеанса передачи
79
vSwitch
H1
10.1.1.10
H3
10.1.2.10
L2 L3
H2
10.1.1.20
L1 RIB
10.1.1.20/32  NH L2_IP
10.1.2.10/32  NH L3_IP
L1 FIB
10.1.1.20/32  NH L2_IP
10.1.2.10/32  NH L3_IP
Поведение по умолчанию (No L3 Conversational Learning)
L3L1 L2
vSwitch
H1
10.1.1.10
H3
10.1.2.10
L2 L3
H2
10.1.1.20
L1 RIB
10.1.1.20/32  NH L2_IP
10.1.2.10/32  NH L3_IP
L1 FIB
10.1.1.20/32  NH L2_IP
После включения L3 Conversational Learning
L3L1 L2

Передача мультикаст трафика
WAN/Core
  Фабрика вычисляет несколько
distribution trees при помощи IS-IS
Используются для широковещательного и
мультикаст трафика
Использование протоколов
маршрутизации мультикаст (PIM и тд)
внутри фабрики не требуется (только на
границе)
  Multi Destination Trees (MDTs)
всегда используют уровень spine
как точку маршрутизации трафика
  Коммутатор доступа (leaf)
балансирует нагрузку
Эффективное использование каналов
80

Передача мультикаст трафика (2)
WAN/Core
  Двухуровневая репликация
мультикаст трафика в фабрике
Коммутатор доступа всегда выполняет
функцию маршрутизации мультикаст
трафика и отправляет одну копию трафик
в фабрику на уровень spine
Узел Spine реплицирует трафик на узлы
доступа (leaf)
Коммутатор назначения (Leaf) локально
выполняет репликацию в сторону
серверных портов в случае наличия
подписчиковs
  Планируется оптимизировать
текущий режим и разрешить
pruning на уровне spine
MC Src Rcv
VLAN 30
Rcv
VLAN 40
Rcv
VLAN 10
Rcv
VLAN 20
Rcv
VLAN 10
81

82

3-х уровневая иерархия объектов
Сетевое оборудование DCNM (CPOM)
VRF
Segment/
VLAN
Сегмент/
VLAN
Сегмент/
VLAN
VRF Partition
Network Network Сеть Сеть
Партиция
Организация …
… …
Пример показывает, что DCNM поддерживает сложные сценарии, когда для одной
организации требуется организовать несколько сетевых партиций
VRF
Org:Part
Segment/
VLAN

3-х уровневая иерархия объектов
Зачем все таки она нужна?
Оркестратор DCNM (CPOM)
Virtual
DataCenter
Виртуальный
ЦОД Partition
Партиция
Организация …
… …
Tenant …
… …
Иерархия объектов DCNM полностью
соответствует иерархии объектов, которую
используют большинство оркестраторов!

Определение понятия Segment-ID
  Традиционное пространство номеров
VLAN определяется 12 битами
заголовка 802.1Q tag
Максимальное число сегментов ограничено
цифрой 4096 VLAN
Формат фрейма FabricPath
Integrated Fabric Frame Format
Segment-ID =
86
802.1Q 802.1Q

Определение понятия Segment-ID
  Традиционное пространство номеров
VLAN определяется 12 битами
заголовка 802.1Q tag
Максимальное число сегментов ограничено
цифрой 4096 VLAN
  DFA удваивает пространство номеров
VLAN которое использует 802.1Q до 24
бит
Поддержка ~16M L2 сегментов (50K
сегментов на момент начала продаж- FCS)*
  Segment-ID это инновация, которая
поддерживается коммутаторами доступа
(leaf) и ядра (spine) фабрики DFA
Формат фрейма FabricPath
Формат фрейма интегрированной фабрики
Segment-ID =
87
802.1Q 802.1Q
DFA Frame
*http://www.cisco.com/c/en/us/td/docs/switches/datacenter/dfa/verified-scalability/guide/b-dfa-verified-scalability-guide/b-dfa-verified-scalability_chapter_01.html

Отображение трафика тегированного 802.1Q в трафик тегированный Segment-ID
  Заголовок Segment-ID используется
для обеспечения изоляции L2 и L3
потоков данных внутри
интегрированной фабрики
  Тегированные 802.1Q фреймы после
получения коммутатором доступа
(leaf) должны быть отображены в
определенные сегменты
  Отображение VLAN-Segment
происходит на уровне устройства*
VLAN-ы имеют локальное значение когда
отображаются 1:1 в Segment-ID
  Segment-ID имеют глобальное
значение, а VLAN ID – локальное
88
WAN
802.1q транк 802.1q транк
VLANs VLANs
Segment-IDs (Глобальное значение)
Segment-ID
3000
vlan 10
mode fabricpath
vn-segment 5000
vlan 20
mode fabricpath
vn-segment 5000
* Отображение на уровне порта планируется

Передача L2 фреймов, не IP маршрутизация
H1 H2
vSwitch
1.  H1 пересылает пакеты H2  трафик
между vSwitch коммутатором доступа
(leaf) тегируется VLAN-ID=10 имеющим
локальное значение
2.  Коммутатор L1 выполняет L2 lookup в
таблице MAC адресов и ассоциирует
полученный фрейм с сегментом, который
имеет идентификатор Segment-ID=5000
3.  L1 добавляет L2 и FP заголовки перед тем
как отправить фрейм в фабрику. Segment-
ID который был ассоциирован с VLAN 10
добавляется внутри L2 заголовка
4.  L4 получает фрейм и выполнят L2 lookup в
том числе принимая во внимание
значение Segment-ID. Затем фрейм
пересылается хосту H2 с использование
локального номер VLAN-ID=20
vSwitch
L1 L4
e1/1
SMAC→ H1_MAC
DMAC→ H2_MAC
SSID→ L1
DSID→ L4
[Segment-ID = 5000]
3
SMAC→ H1_MAC
DMAC→ H2_MAC
[VLAN = 10]
1
VLAN 10 <-> Segment-ID 5000
H2_MAC  L4 SW_ID
2
SMAC→ H1_MAC
DMAC→ H2_MAC
[VLAN = 20]
VLAN 20 <-> Segment-ID 5000
H2_MAC  e1/1
4
89

Как используют Segment-ID?
  Каждая IP подсеть определяемая на
границе DFA фабрики ассоциируется
с доменом 2-го уровня, который
отображается в Segment-ID
  Несколько сегментов могут быть
привязаны к сети заказчика (tenant) и
обычно отображаются в L3 VRF,
который закрепляется за
потребителем сервиса (tenant-ом)
  Уникальный выделенный номер
Segment-ID идентифицирует VRF в
DFA фабрике
90
Blue Tenant
VRF: Blue
Segment-ID 6000
Green Tenant
VRF: Green
Segment-ID 6001
Segment-ID 5000
10.10.10.0/24
Segment-ID 5001
11.11.11.0/24
Segment-ID 5002
192.168.12.0/24
Segment-ID 5020
11.11.11.0/24

Передача маршрутизируемых IP-потоков внутри фабрики
91
H1
10.10.10.10
H2
10.10.10.20
vSwitch
1.  H1 пересылает пакет H2  трафик между
коммутатором vSwitch и коммутатором
доступа (leaf) тегируется локальным
VLAN-ID=10
2.  L3 lookup выполняется коммутатором L1 в
контексте “Красный VRF”
3.  L1 добавляет L2 и FP заголовки перед тем
как отправить фрейм в фабрику.
Идентификатор Segment-ID=6000,
обозначающий “Красный VRF” добавляется
к L2 заголовку
4.  L4 получает фрейм и ассоциирует его с
“Красным VRF” используя полученный
идентификатор Segment-ID=6000. Далее
фрейм пересылается H2 с использованием
локального идентификатора VLAN-ID=20
Замечание: так передается весь маршрутизируемый
трафик внутри подсети и между подсетями
vSwitch
L1 L4
e1/1
SMAC→ L1_MAC
DMAC→ L4_MAC
SIP→ 10.1.1.10
DIP→ 10.1.1.20
SSID→ L1
DSID→ L4
[Segment-ID = 6000]
3
SMAC→ H1_MAC
DMAC→ G_MAC
SIP→ 10.1.1.10
DIP→ 10.1.1.20
[VLAN = 10]
1
RED_VRF <-> Segment-ID 6000
10.10.10.20  NH L4_IP
2
SMAC→ G_MAC
DMAC→ H2_MAC
SIP→ 10.1.1.10
DIP→ 10.1.1.20
[VLAN = 20]
RED_VRF <-> Segment-ID 6000
10.10.10.20  e1/1
4

92

Требования к аппаратному и программному
обеспечению
Продукт Функция Версия ПО
Nexus 5500 Leaf (Layer-2 only)
(Поддержка функцией Управление Фабрикой; нет поддержки Segment-ID)
7.0(0)N1(1)
Nexus 5600 Leaf, Border-Leaf, Spine, Route-Reflector 7.0(1)N1(1)
Nexus 6000 Leaf, Border-Leaf, Spine, Route-Reflector 7.0(0)N1(1)
Nexus 7x00
Leaf: F3**, Border-Leaf: F3**
Spine: F2, F2e, F3*
Route-Reflector*
6.2(6)
DCNM (CPOM) Управление фабрикой DHCP, TFTP, XMPP 7.0(1)
Nexus 1000v
Virtual Switch с поддержкой протокола VDP
(FCS: VMWare vSphere, другие гипервизоры будут поддерживаться
позднее)
4.2(1)SV2(2.2)
*требуется NX-OS 6.2(6a) / **требуется NX-OS 7.1(x) планируется на Q3 CY’14

© 2013 Cisco and/or its affiliates. All rights reserved.TECDCT-2001 Cisco Public
Требуемые лицензии
  Nexus 7000 / 7700
–  Enhanced Layer-2 (ENHANCED_LAYER2_PKG )
–  Enterprise Services (LAN_ENTERPRISE_SERVICES_PKG)
  Nexus 6000 / Nexus 5600
–  Enhanced Layer-2 (ENHANCED_LAYER2_PKG)
–  Layer-3 Base (LAN_BASE_SERVICES_PKG)
–  Layer-3 Enterprise (LAN_ENTERPRISE_SERVICES_PKG)
  Nexus 5500
–  Enhanced Layer-2 (ENHANCED_LAYER2_PKG)
  DCNM 7.0(1)
–  Base License для DFA CPOM
  Nexus 1000v
–  Essentials License для
поддержки VDP
n6k# show license usage
Feature Ins Lic Status Expiry Date Comments
Count
--------------------------------------------------------------------------------
FCOE_NPV_PKG No - Unused -
FM_SERVER_PKG No - Unused -
ENTERPRISE_PKG No - Unused -
FC_FEATURES_PKG No - Unused -
VMFEX_FEATURE_PKG No - Unused -
ENHANCED_LAYER2_PKG Yes - In use Never -
LAN_BASE_SERVICES_PKG Yes - In use Never -
LAN_ENTERPRISE_SERVICES_PKG Yes - In use Never -
--------------------------------------------------------------------------------
n6k#

© 2014 Cisco and/or its affiliates. All rights reserved. Cisco Public 95
Архитектура Cisco Dynamic Fabric Automation
Где получить дополнительную информацию
www.cisco.com/go/dfa
фабрикой
Виртуальные фабрики АвтоматизацияУправление
фабрикой
Автоматизация Виртуальные фабрикиОптимизация

Cisco DFA - развитие архитектуры сети современного ЦОД. Возможности и принципы функционирования.

Cisco DFA - развитие архитектуры сети современного ЦОД. Возможности и принципы функционирования.

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Similar to Cisco DFA - развитие архитектуры сети современного ЦОД. Возможности и принципы функционирования.

Similar to Cisco DFA - развитие архитектуры сети современного ЦОД. Возможности и принципы функционирования. (20)

More from Cisco Russia

More from Cisco Russia (20)

Cisco DFA - развитие архитектуры сети современного ЦОД. Возможности и принципы функционирования.