FCoE - проектирование, настройка и 
эксплуатация 
Эльдар Женсыкбаев 
Системный инженер-консультант 
ezhensyk@cisco.com 
© 2014 Cisco and/or its affiliates. 11/14/14 All rights reserved.
Содержание 
• Что такое FCoE 
• Data Center Bridging 
• Структура FCoE 
• FIP (Reference) 
• Начальная настройка FCoE (UCS и N5K) 
• Демо сценарий #1 (VF_Port) 
• Демо сценарий #2 (VE_Port) 
11/14/14 © 2014 Cisco and/or its affiliates. All rights reserved.
Fibre Channel over Ethernet 
11/14/14 © 2014 Cisco and/or its affiliates. All rights reserved. 3
FCoE 
FCoE 
1, 2, 4, (8), 10 Gbps 1, 10 . . . Gbps 10, 20 Gbps
Что такое FCoE? 
5 
FCoE 
Ethernet 
Fibre 
Channel 
Traffic 
Легко Понять Построен на Модели FC 
Операцонная 
Модель 
Технологии 
Управления 
Трафиком 
Модели 
Управления и 
Безопасности 
Такое же поведение 
Host-to-Switch и 
Switch-to-Switch как FC 
Функции In-Order Delivery 
и FSPF Load Balancing 
WWN, FC-ID, Zoning, 
Nameserver, RSCN 
Стандарт 
FC-BB-5 
• Инкапсуляция FC 
фреймов в Ethernet 
• Позволяет передавать 
FC поверх Lossless 
Ethernet 
Нормальный фрейм Ethernet, Ethertype = FCoE 
Тот же фрейм Fibre Channel 
FCoE Frame Format 
Bit 0 
Ethernet 
Header 
FCoE 
Header 
FC 
Header 
FC Payload 
CRC 
EOF 
FCS 
Служебная информация: Version, ordered sets (SOF, EOF)
Что такое FCoE? 
Что такое FCoE? 
Это Fibre Channel 
6 
FCoE 
Ethernet 
Fibre 
Channel 
Traffic 
Легко Понять Построен на Модели FC 
Операцонная 
Модель 
Технологии 
Управления 
Трафиком 
Модели 
Управления и 
Безопасности 
Такое же поведение 
Host-to-Switch и 
Switch-to-Switch как FC 
Функции In-Order Delivery 
и FSPF Load Balancing 
WWN, FC-ID, Zoning, 
Nameserver, RSCN 
Стандарт 
FC-BB-5 
• Инкапсуляция FC 
фреймов в Ethernet 
• Позволяет передавать 
FC поверх Lossless 
Ethernet 
Нормальный фрейм Ethernet, Ethertype = FCoE 
Тот же фрейм Fibre Channel 
FCoE Frame Format 
Bit 0 
Ethernet 
Header 
FCoE 
Header 
FC 
Header 
FC Payload 
CRC 
EOF 
FCS 
Служебная информация: Version, ordered sets (SOF, EOF)
Нормальный фрейм Ethernet, Ethertype = FCoE 
FCoE Frame Format 
Bit 0 
Ethernet 
Header 
FCoE 
Header 
FC 
Header 
FC Payload 
CRC 
EOF 
FCS 
Тот же фрейм Fibre Channel 
Служебная информация: Version, ordered sets (SOF, EOF) 
Destination MAC Address 
Source MAC Address 
IEEE 802.1Q Tag 
ET = FCoE Ver Reserved 
Reserved 
Reserved 
Reserved SOF 
Encapsulated Fibre Channel Frame 
(Including FC-CRC) 
EOF Reserved 
FCS 
Стандарт FCoE 
10Gbps Ethernet 
Lossless Ethernet 
§ Соответствует поведению, 
обеспечиваемому в FC с 
использованием B2B credits 
Jumbo фреймы Ethernet 
§ Максимальный размер FC 
фрейма = 2112 байт 
Bit 31 
Byte 0 Byte 2197 
Ethernet 
Header 
FCoE 
Header 
FC 
Header 
Fibre Channel Payload 
CRC 
EOF 
FCS 
Bit 0
Data Center Bridging 
Priority-Based Flow Control (PFC) 
• Возможность транпорта без потерь для каждого класса трафика 
• Отправка PAUSE для данной виртуальной полосы (virtual lane) 
• Выделение ресурсов для каждой VL 
• Дифференцированное поведение для каждой VL
Data Center Bridging 
Enhanced Transmission Selection (ETS) 
• Гарантированная полоса передачи и разделение 
полосы между VL 
• Стандартизуется в комитете IEEE 802.1Qaz (Priority 
Grouping)
Data Center Bridging eXchange 
Data Center Ethernet 
Data Center Ethernet 
Согласование настроек для: 
• Управления полосой по классам 
• Управления потоком по классам 
• Управления перегрузками(BCN/QCN) 
• Логического состояния интерфейса 
Data Center Bridging
Fibre Channel over Ethernet (FCoE) 
Метод прямого отображения фреймов FC на Ethernet 
§ Бесшовно подключается к сетям FC à Расширяет FC через 
Ethernet 
— FCoE выглядит как FC для серверов и 
сети 
— Сохраняет текущую инфраструктуру 
и управление FC 
— Фрейм FC остается неизменным 
§ Может работать на стандартных 
коммутаторах (с jumbo фреймами) 
§ Priority Flow Control обеспечивает отсутствие потерь 
— Имитирует систему буферных кредитов FC, избегая TCP 
§ Не требует дорогих off-load технологий 
Ethernet 
Fibre 
Channel
Что такое Fibre Channel over Ethernet? 
С точки зрения Fibre Channel: 
§ Сеть FC используя новый тип кабеля… облако Ethernet 
С точки зрения Ethernet: 
§ Еще один транспортируемый протокол верхнего уровня (ULP) 
– хотя и требовательный! 
С точки зрения технологии: 
FCoE – расширение Fibre Channel для 
транспорта через Ethernet без потерь
Типы портов FC 
• N_Port – Node Port 
• Порт сервера или СХД 
13 
Reference 
N_Port Node 
N_Port Node 
N_Port Node
Типы портов FC 
• N_Port – Node Port 
• Порт сервера или СХД 
• F_Port – Fabric 
• Порт коммутатора в сторону 
Node 
14 
F_Port 
F_Port 
F_Port 
Reference 
N_Port Node 
N_Port Node 
N_Port Node
Типы портов FC 
• N_Port – Node Port 
• Порт сервера или СХД 
• F_Port – Fabric 
• Порт коммутатора в сторону 
Node 
• E_Port – "Extender" 
• Порт коммутатора в сторону 
другого коммутатора 
15 
E_Port 
F_Port 
F_Port 
E_Port F_Port 
Reference 
N_Port Node 
N_Port Node 
N_Port Node FC 
Switch
Структура Fibre Channel 
FC-4 (Mapping) 
FC-3 (Common Services) 
FC-2V (FC-2 – Virtual) 
FC-2M (FC-2 – Multiplexer) 
FC-2P (FC-2 – Physical) 
FC-1 (Transmission Protocol) 
FC-0 (Physical) 
FC-2 
(Framing) 
Протоколы Верхнего Уровня 
Reference
Fibre Channel Node 
FC-4 … FC-4 … FC-4 
FC-3 
… 
VN_Port 
FC-2V 
VN_Port … 
FC-2V 
Multiplexer 
PN_Port 
FC-2P 
FC-1 
FC-0 
PN_Port 
FC-2P 
FC-1 
FC-0 
… 
VN_Port 
FC-2V 
VN_Port … 
FC-2V 
Multiplexer 
PN_Port 
FC-2P 
FC-1 
FC-0 
PN_Port 
FC-2P 
FC-1 
FC-0 
… 
FC-2M 
FC-2M 
Reference
Коммутатор Fibre Channel 
FC Switching Element 
VF_Port 
Multiplexer 
FC-2M 
PF_Port 
FC-2P 
FC-1 
FC-0 
VF_Port 
FC-2V 
Multiplexer 
FC-2M 
… 
PF_Port 
FC-2P 
FC-1 
FC-0 
PF_Port 
FC-2P 
FC-1 
FC-0 
VE_Port 
FC-2V 
Multiplexer 
FC-2M 
… 
PE_Port 
FC-2P 
FC-1 
FC-0 
PE_Port 
FC-2P 
FC-1 
FC-0 
Reference 
VE_Port 
Multiplexer 
FC-2M 
PE_Port 
FC-2P 
FC-1 
FC-0 
FC-2V 
FC-2V 
F_Port E_Port
Fibre Channel Link Reference 
VF_Port 
FC-2V 
Multiplexer 
FC-2M 
PF_Port 
FC-2P 
FC-1 
FC-0 
FC-2V 
FC Node 
FC-3/FC-4 
FC-3/FC-4 FC-3/FC-4 FC Switching Element 
FC Switch 
VN_Port 
FC Link 
VN_Port 
FC-2V 
VN_Port 
FC-2V 
Multiplexer 
FC-2M 
PN_Port 
FC-2P 
FC-1 
FC-0 
FC-2V
Структура FCoE 
Уровни FC 
(не изменены) 
Уровни 
IEEE 802.3 
FC-4 
FC-3 
FC-2V 
FC-2M 
FC-2P 
FC-1 
FC-0 
FC-4 
FC-3 
FC-2V 
FCoE Mapping 
MAC 
PHY 
FC-2 
Reference
FCoE Node (ENode) 
… 
FC-3 / FC-4 
… FC-2V 
FCoE 
Controller 
VN_Port 
FCoE_LEP FCoE 
Entity 
FC-3 / FC-4 
FC-2V 
VN_Port 
FCoE_LEP 
FCoE 
Entity 
Lossless Ethernet MAC Ethernet_Port 
Reference 
FC-3 / FC-4 
… FC-2V 
FCoE 
Controller 
VN_Port 
FCoE_LEP FCoE 
Entity 
FC-3 / FC-4 
FC-2V 
VN_Port 
FCoE_LEP 
FCoE 
Entity 
Lossless Ethernet MAC Ethernet_Port
FCoE Forwarder (FCF) 
FC Fabric Interface E_Port … E_Port F_Port … F_Port 
FC Switching Element 
… 
FC-2V VE_Port or 
FCoE_LEP FCoE 
Entity 
FCoE 
Controller 
FC-2V VF_Port 
FFCCooEE__LLEEPP FCoE_LEP 
Lossless Ethernet MAC Ethernet_Port 
Ethernet_Port 
Ethernet_Port 
Lossless Ethernet 
Bridging Element 
FCoE 
Entity 
Ethernet_Port Ethernet_Port … Ethernet_Port 
FC-2V VE_Port or 
FCoE_LEP FCoE 
Entity 
FCoE 
Controller 
Reference 
FC-2V VF_Port 
FFCCooEE__LLEEPP FCoE_LEP 
Lossless Ethernet MAC Ethernet_Port 
Ethernet_Port 
Ethernet_Port 
Lossless Ethernet 
Bridging Element 
FCoE 
Entity 
Ethernet_Port Ethernet_Port … Ethernet_Port
FCoE Link Reference 
ENode FCF 
FC Switching Element 
VF_Port 
FC-2V 
FCoE_LEP FCoE_LEP FCoE_LEP 
FCoE 
Controller 
FCoE 
Controller 
FC-3/FC-4 
VN_Port(2) 
VN_Port(3) 
FCoE_LEP FCoE_LEP 
FC-2V 
FCoE 
Ethernet 
FC-3/FC-4 FC-3/FC-4 
VN_Port(1) 
FC-2V 
MAC MAC MAC Virtual Links FCF-MAC 
FCF-MAC 
FCF-MAC 
VN_Port(1) 
VN_Port(2) 
VN_Port(3) 
Lossless 
Ethernet 
network 
FCoE_LEP 
FC-2V 
FC-2V 
Lossless Ethernet MAC Ethernet_Port Lossless Ethernet MAC Ethernet_Port
Структура протокола 
FCoE 
• Протокол передачи данных 
• Передает большинство фреймов 
FC и весь трафик SCSI 
FIP (FCoE Initialization 
Protocol) 
• Управляющий протокол 
• Используется для поиска 
элементов FC подключенных к 
облаку Ethernet 
• Также используется для 
процессов login и logout в сеть 
Fibre Channel 
Два протокола: 
• Два разных Ethertype 
• Два разных формата фреймов 
Reference
FCoE Initialization Protocol (FIP) 
ENode FCoE Switch 
VLAN 
Discovery 
FLOGI/FDISC FLOGI/FDISC Accept 
FC Command FC Command 
responses 
FIP: 
FCoE 
Initialization 
Protocol 
FCOE 
Protocol 
VLAN 
Discovery 
FCF 
Discovery 
Solicitation FCF 
Discovery Advertisement 
Reference
FCF A 
FCF B 
FIP: VLAN Discovery 
MAC (H1) 
All-FCF-MACs 
MAC(H2) 
VLAN Request 
[MAC(H2)] 
FCF-MAC (A) 
Lossless 
Ethernet 
Bridge 
FC 
Fabric 
FCF-MAC (B) 
Запрос доступных FCF по default VLAN: Какие VLAN 
доступны для FCoE 
H1 
H2 
MAC (H2) 
Reference
FCF A 
FCF B 
FIP: VLAN Discovery 
Lossless 
Ethernet 
Bridge 
FC 
Fabric 
FCF-MAC (A) 
FCF-MAC (B) 
H1 
H2 
MAC (H1) 
MAC (H2) 
MAC(H2) 
FCF-MAC(A) 
VLAN Notification 
[F=1, FCF-MAC(A), 
FCoE VLAN List] 
MAC(H2) 
FCF-MAC(B) 
VLAN Notification 
[F=1, FCF-MAC(B), 
FCoE VLAN List] 
Reference
FCF A 
FCF B 
FIP: FCF Discovery 
MAC (H1) 
All-FCF-MACs 
MAC(H2) 
Solicitation 
[F=0, MAC(H2), 
Capabilities, Other] 
FCF-MAC (A) 
Lossless 
Ethernet 
Bridge 
FC 
Fabric 
FCF-MAC (B) 
Идентификация VF_Port, поддерживающие FCF-MAC 
с совместимой адресацией 
H1 
H2 
MAC (H2) 
Reference
FCF A 
FCF B 
FIP: FCF Discovery 
Lossless 
Ethernet 
Bridge 
FC 
Fabric 
FCF-MAC (A) 
FCF-MAC (B) 
H1 
H2 
MAC (H1) 
MAC (H2) 
Список FCF для H2: 
FCF-MAC(A) [J] 
FCF-MAC(B) [J] 
MAC(H2) 
FCF-MAC(A) 
Mini-jumbo 
Advertisement 
[S=1, F=1, Priority, Fabric, 
FCF-MAC(A), Switch_Name, 
Capabilities, Other] 
MAC(H2) 
FCF-MAC(B) 
Mini-jumbo 
Advertisement 
[S=1, F=1, Priority, Fabric, 
FCF-MAC(B), Switch_Name, 
Capabilities, Other] 
Reference
FCF A 
FCF B 
Lossless 
Ethernet 
Bridge 
FC 
Fabric 
FCF-MAC (A) 
FCF-MAC (B) 
FIP: FLOGI 
H1 
H2 
MAC (H1) 
MAC (H2) 
FCF-MAC(A) 
MAC (H2) 
FIP FLOGI Request 
[FC Header, FLOGI data, 
Proposed MAC’(H2)] 
FCF-MAC(B) 
MAC(H2) 
FIP FLOGI Request 
[FC Header, FLOGI data, 
Proposed MAC’’(H2)] 
Reference
FCF A 
FCF B 
Lossless 
Ethernet 
Bridge 
FC 
Fabric 
FCF-MAC (A) 
FCF-MAC (B) 
FIP: FLOGI 
H1 
H2 
MAC (H1) 
MAC (H2) 
MAC (H2) 
FCF-MAC(A) 
FIP FLOGI LS_ACC 
[FC Header, LS_ACC data, 
Approved MAC(H2)’] 
MAC(H2) 
FCF-MAC(B) 
FIP FLOGI LS_ACC 
[FC Header, LS_ACC data, 
Approved MAC(H2)’’] 
Reference
FCF A 
FCF B 
Виртуальные Каналы FCoE 
Lossless 
Ethernet 
Bridge 
FC 
Fabric 
FCF-MAC (A) 
FCF-MAC (B) 
H1 
H2 
MAC (H1) 
MAC (H2) 
MAC (H2)’ 
MAC (H2)’’ 
FCF-MAC(A) 
MAC(H2)’ 
Fibre Channel Frame 
(FCoE) 
[FC SOF, FC Header, FC 
Data, FC CRC FC EOF] 
FCF-MAC(B) 
MAC(H2)’’ 
Fibre Channel Frame 
(FCoE) 
[FC SOF, FC Header, FC 
Data, FC CRC, FC EOF] 
Reference
Начальная Настройка Коммутаторов для FCoE 
11/14/14 © 2014 Cisco and/or its affiliates. All rights reserved. 33
Начальная Настройка 
Nexus 5K 
1. Установить лицензию Storage Services (FC_FEATURES_PKG) 
n5k-A(config)# install license LICENSEFILE.lic! 
n5k-A(config)# show license usage! 
Feature Ins Lic Status Expiry Date Comments! 
2. Включить функционал LLDP 
3. Включить функционал FCoE 
34 
Count! 
--------------------------------------------------------------------------------! 
...! 
FC_FEATURES_PKG Yes - In use Never -! 
n5k-A(config)# feature lldp! 
n5k-A(config)# show feature! 
Feature Name Instance State ! 
-------------------- -------- --------! 
...! 
lldp 1 enabled ! 
! 
n5k-A(config)# feature fcoe! 
n5k-A(config)# show feature! 
Feature Name Instance State ! 
-------------------- -------- --------! 
...! 
fcoe 1 enabled ! 
! 
Рекомендация: 
Также включить функцию LACP 
для агрегации линков
Начальная Настройка 
4. Настроить system QoS и policy для FCoE: 
Этот шаг необходим только для 
платформы Nexus 55xx до релиза 
5.1(3)N1(1) 
n5k-A(config)# system qos! 
n5k-A(config-sys-qos)# service-policy type qos input fcoe-default-in-policy! 
n5k-A(config-sys-qos)# service-policy type queuing input fcoe-default-in-policy! 
n5k-A(config-sys-qos)# service-policy type queuing output fcoe-default-out-policy! 
n5k-A(config-sys-qos)# service-policy type network-qos fcoe-default-nq-policy! 
5. (RBAC) Создать пользователя с ролью администратора SAN 
n5k-A(config)# username sanadmin role san-admin password PASSWORD! 
n5k-A(config)# show role name san-admin! 
! 
Role: san-admin! 
Description: Predefined system role for san administrators. This role! 
cannot be modified.! 
vsan policy: permit(default)! 
Vlan policy: permit(default)! 
Interface policy: permit(default)! 
Vrf policy: permit(default)! 
-------------------------------------------------------------------! 
Rule Perm Type Scope Entity ! 
-------------------------------------------------------------------! 
27 permit read ! 
26 permit read-write feature fcdomain ! 
25 permit read-write feature rdl ! 
...! 
35 
Nexus 5K
Топология Demo-POD 
11/14/14 © 2014 Cisco and/or its affiliates. All rights reserved. 36
Топология (FC & FCoE). VF_Port 
MDS 9148 
Nexus 5548UP 
Fabric Interconnect 
6248UP 
FC-Attached Storage 
11/14/14 © 2014 Cisco and/or its affiliates. All rights reserved. 
UCS B420-M3
Сценарий #1 (VF_Port) 
FC Storage 
fc1/45 
TE_Port 
TE_Port 
NPIV NPIV 
F_ Port Trunk 
FI-A FI-B 
Server 1 
11/14/14 © 2014 Cisco and/or its affiliates. All rights reserved. 38 
B420-M3 
vfc 1491 
TN_Proxy 
F_Port 
N_Port 
TF_Port 
vfc 1492 
fc1 
VSAN 8 
fc0 
VSAN 7 
fc1/45 
VSAN 8 
VLAN 8 
VSAN 7 
VLAN 7 
e1/27 e1/28 
N5K-A 
e1/27 e1/28 
VSAN 7 
VLAN 7 
N5K-B 
e1/27 e1/28 
e1/27 e1/28 
po8 
F_ Port 
Channel & Trunk 
MDS-A MDS-B 
fc1/29 
fc1/29 
fc1/1 
h0 h1 
fc1/1 
SAN A 
SAN B 
VSAN 7 VSAN 8 
NPV NPV
1. Настроить FCoE Uplink с Fabric Interconnect A: 
Server 1 
B420-M3 
fc1/45 
vfc 1491 
TN_Proxy 
F_Port 
N_Port 
FI-A 
TF_Port 
fc0 
VSAN 7 
VSAN 7 
VLAN 7 
N5K-A 
e1/27 e1/28 
VSAN 7 
VLAN 7 
MDS-A 
FC Storage 
fc1/29 
fc1/1 
h0 
VSAN 7 
TE_Port 
TE_Port 
Настройка UCS 
39 
FCoE Uplink & VSAN 
Interface e1/27! 
Interface e1/28! 
e1/27 e1/28 
po8
Настройка UCS 
40 
FCoE Uplink & VSAN 
Interface e1/27! 
Interface e1/28! 
Interface e1/27! 
Interface e1/28! 
LACP port-channel 8! 
VSAN fcoe-demo! 
Fabric A: VSAN 7 / FCoE VLAN 7! 
Fabric B: VSAN 8 / FCoE VLAN 8! 
fc0: Fabric A, VSAN fcoe-demo! 
fc1: Fabric B, VSAN fcoe-demo! 
Server 1 
B420-M3 
MDS-B 
TE_Port 
TE_Port 
N5K-B 
TF_Port 
TN_Proxy 
N_Port 
FI-B 
vfc 1492 
fc1 
VSAN 8 
fc1/45 
VSAN 8 
VSAN 8 
VLAN 8 
NPIV 
e1/27 e1/28 
e1/27 po8 
FC Storage 
fc1/29 
h1 
fc1/1 
NPV 
1. Настроить FCoE Uplink с Fabric Interconnect A: 
2. Настроить FCoE Uplink с Fabric Interconnect B: 
3. Включить FC Uplink Trunking 
4. Создать VSAN 
5. Настроить Сервисный Профиль 
e1/28
Настройка Nexus 5000 
1. Создать VSAN: 
2. Создать FCoE VLAN и привязать к нему VSAN 
MDS-A 
41 
VLAN & VSAN 
n5k-A(config)# vsan database! 
n5k-A(config-vsan-db)# vsan 7! 
! 
n5k-B(config)# vsan database! 
n5k-B(config-vsan-db)# vsan 8! 
n5k-A(config)# vlan 7! 
n5k-A(config-vlan)# fcoe vsan 7! 
! 
n5k-B(config)# vlan 8! 
n5k-B(config-vlan)# fcoe vsan 8! 
FI-A 
MDS-B 
FI-B 
N5K-A 
N5K-B
Настройка Nexus 5000 1/2 
3. Настроить интерфейсы N5K-A 
4. Настроить интерфейсы N5K-B 
42 
Ethernet интерфейсы для FCoE 
n5k-A(config)# interface ethernet 1/27-28! 
n5k-A(config-if-range)# switchport mode trunk ! 
n5k-A(config-if-range)# switchport trunk allowed vlan 7! 
n5k-A(config-if-range)# no shutdown ! 
n5k-B(config)# interface ethernet 1/27-28! 
n5k-B(config-if-range)# switchport mode trunk ! 
n5k-B(config-if-range)# switchport trunk allowed vlan 8! 
n5k-B(config-if-range)# no shutdown ! 
n5k-B(config-if-range)# channel-group 8 mode active ! 
FC Fabric Interface 
FC-2V VF_Port 
FCoE 
Entity 
FFCCooEE__LLEEPP FCoE_LEP 
F_Port 
FC Switching Element 
Ethernet_Port 
FCoE 
Controller 
Lossless Ethernet MAC 
FI-A 
TF_Port 
VSAN 7 
VLAN 7 
e1/27 e1/28 
N5K-A 
e1/27 e1/28 
VSAN 7 
VLAN 7 
FI-B 
VSAN 8 
VLAN 8 
N5K-B 
e1/27 e1/28 
e1/27 e1/28 
po8
Настройка Nexus 5000 2/2 
5. Создать FCoE интерфейсы и привязать к 
Ethernet интерфейсам N5K-A 
43 
FCoE интерфейсы 
n5k-A(config)# interface vfc27! 
n5k-A(config-if)# switchport mode F ! 
n5k-A(config-if)# switchport trunk allowed vsan 7! 
n5k-A(config-if)# bind interface ethernet 1/27! 
n5k-A(config-if)# no shutdown ! 
n5k-A(config)# interface vfc28! 
n5k-A(config-if)# switchport mode F! 
n5k-A(config-if)# switchport trunk allowed vsan 7! 
n5k-A(config-if)# bind interface ethernet 1/28! 
n5k-A(config-if)# no shutdown ! 
FC Fabric Interface 
FC-2V VF_Port 
FCoE 
Entity 
FFCCooEE__LLEEPP FCoE_LEP 
F_Port 
FC Switching Element 
Ethernet_Port 
FCoE 
Controller 
Lossless Ethernet MAC 
FI-A 
vfc27 vfc28 
VSAN 7 
VLAN 7 
e1/27 e1/28 
N5K-A 
e1/27 e1/28 
VSAN 7 
VLAN 7
Настройка Nexus 5000 2/2 
5. Создать FCoE интерфейсы и привязать к 
Ethernet интерфейсам N5K-A 
6. Создать FCoE интерфейсы и привязать к 
Ethernet интерфейсам N5K-B 
7. (optional) Проверить FCoE 
44 
FCoE интерфейсы 
n5k-A(config)# interface vfc27! 
n5k-A(config-if)# switchport mode F ! 
n5k-A(config-if)# switchport trunk allowed vsan 7! 
n5k-A(config-if)# bind interface ethernet 1/27! 
n5k-A(config-if)# no shutdown ! 
n5k-A(config)# interface vfc28! 
n5k-A(config-if)# switchport mode F! 
n5k-A(config-if)# switchport trunk allowed vsan 7! 
n5k-A(config-if)# bind interface ethernet 1/28! 
n5k-A(config-if)# no shutdown ! 
n5k-B(config)# interface vfc8! 
n5k-B(config-if)# switchport mode F! 
n5k-B(config-if)# switchport trunk allowed vsan 8! 
n5k-B(config-if)# bind interface port-channel 8! 
n5k-B(config-if)# no shutdown! 
n5k-A# show fcoe database! 
n5k-A# show interface fcoe! 
n5k-A# show fcs database vsan 7! 
n5k-A# show fcns database [detail] vsan 7! 
n5k-A# show fcns database npv [detail]! 
FC Fabric Interface 
FC-2V VF_Port 
FCoE 
Entity 
FFCCooEE__LLEEPP FCoE_LEP 
F_Port 
FC Switching Element 
Ethernet_Port 
FCoE 
Controller 
Lossless Ethernet MAC 
FI-B 
VSAN 8 
VLAN 8 
N5K-B 
e1/27 e1/28 
e1/27 e1/28 
po8 
vfc8
Настройка Zoning 
8. Создать зоны в Fabric A 
9. Создать зоны в Fabric B 
vHBA из фабрики B нам 
потребуется в следующем 
сценарии 
45 
MDS или Nexus 
n5k-A(config)# zone name ZONE-A vsan 7! 
n5k-A(config-zone)# member device-alias STORAGE-PORT-0! 
n5k-A(config-zone)# member device-alias UCS-SP-FC0! 
n5k-A(config-zone)# member device-alias UCS-SP-FC1! 
n5k-A(config-zone)# zoneset name FCoE-A vsan 7! 
n5k-A(config-zoneset)# member ZONE-A! 
n5k-A(config-zoneset)# zoneset activate name FCoE-A vsan 7! 
n5k-B(config)# zone name ZONE-B vsan 8! 
n5k-B(config-zone)# member device-alias STORAGE-PORT-1! 
n5k-B(config-zone)# member device-alias UCS-SP-FC0! 
n5k-B(config-zone)# member device-alias UCS-SP-FC1! 
n5k-B(config-zone)# zoneset name FCoE-A vsan 8! 
n5k-B(config-zoneset)# member ZONE-B! 
n5k-B(config-zoneset)# zoneset activate name FCoE-B vsan 8! 
FC Fabric Interface 
FC-2V VF_Port 
FCoE 
Entity 
FFCCooEE__LLEEPP FCoE_LEP 
F_Port 
FC Switching Element 
Для простоты используем 
basic Ethernet_zone, Port 
поэтому commit 
не требуется 
FCoE 
Controller 
Lossless Ethernet MAC
Запускаем сервер 
11/14/14 © 2014 Cisco and/or its affiliates. All rights reserved. 46
Топология (FC & FCoE). VE_Port 
MDS-A 
N5K-A 
FI-A 
11/14/14 © 2014 Cisco and/or its affiliates. All rights reserved. 
MDS-B 
N5K-B 
FI-B
Сценарий #2 (VE_Port) 
FC Storage 
fc1/45 
TE_Port 
TE_Port 
e1/5 
e1/6 
e1/5 
e1/6 
VSAN 7,8 
VLAN 7,8 
NPIV NPIV 
F_ Port Trunk 
FI-A FI-B 
Server 1 
11/14/14 © 2014 Cisco and/or its affiliates. All rights reserved. 48 
B420-M3 
vfc 1491 
TN_Proxy 
F_Port 
N_Port 
TF_Port 
vfc 1492 
8 
fc0 
VSAN 7 
fc1/45 
VSAN 8 
VLAN 8 
VSAN 7 
VLAN 7 
e1/27 e1/28 
N5K-A 
e1/27 e1/28 
VSAN 7 
VLAN 7 
N5K-B 
e1/27 e1/28 
e1/27 e1/28 
po8 
F_ Port 
Channel & Trunk 
MDS-A MDS-B 
fc1/29 
fc1/29 
fc1/1 
h0 h1 
fc1/1 
SAN A 
SAN B 
VSAN 7 VSAN 8 
NPV NPV 
8 
fc1 
VSAN 7 
8 
8 
8 
8 
7 
7 
po5
Перенастройка VSAN в UCS и Nexus 5000 
VSAN & Сервисный профиль 
1. Поменять местами номера VSAN в UCSM 
2. Создать VSAN: 
N5K-A N5K-B 
VSAN 8 
VSAN 7 
VLAN 8 
VLAN 7 
3. Создать FCoE VLAN и привязать к нему VSAN 
FI-A FI-B 
49 
VSAN fcoe-demo! 
Fabric A: VSAN 8 / FCoE VLAN 8! 
Fabric B: VSAN 7 / FCoE VLAN 7! 
n5k-A(config)# vsan database! 
n5k-A(config-vsan-db)# vsan 8! 
! 
n5k-B(config)# vsan database! 
n5k-B(config-vsan-db)# vsan 7! 
n5k-A(config)# vlan 8! 
n5k-A(config-vlan)# fcoe vsan 8! 
! 
n5k-B(config)# vlan 7! 
n5k-B(config-vlan)# fcoe vsan 7! 
Server 1 
B420-M3 
vfc 1491 
vfc 1492 
8 
fc0 
VSAN 7 
8 
fc1 
VSAN 7
Настройка Nexus 5000 1/2 
4. Настроить интерфейсы N5K-A 
5. Настроить интерфейсы N5K-B 
50 
Ethernet интерфейсы для FCoE (VE_Port) 
n5k-A(config)# interface ethernet 1/27-28! 
n5k-A(config-if-range)# switchport trunk allowed vlan add 8! 
n5k-A(config-if-range)# interface ethernet 1/5-6! 
n5k-A(config-if-range)# switchport mode trunk ! 
n5k-A(config-if-range)# switchport trunk allowed vlan 7-8! 
n5k-A(config-if-range)# no shutdown! 
n5k-A(config-if-range)# channel-group 5 mode!active! 
n5k-B(config)# interface port-channel 8! 
n5k-B(config-if)# switchport trunk allowed vlan add 7! 
n5k-B(config-if)# interface ethernet 1/5-6! 
n5k-B(config-if-range)# switchport mode trunk ! 
n5k-B(config-if-range)# switchport trunk allowed vlan 7-8! 
n5k-B(config-if-range)# no shutdown ! 
n5k-B(config-if-range)# channel-group 5 mode active ! 
FC Fabric Interface 
E_Port 
FC Switching Element 
FC-2V VE_Port 
FCoE_LEP FCoE 
Entity 
Ethernet_Port 
FCoE 
Controller 
Lossless Ethernet MAC 
FI-A 
TF_Port 
VSAN 7 
VLAN 7 
e1/27 e1/28 
N5K-A 
e1/27 e1/28 
VLAN 7 
FI-B 
VSAN 8 
VLAN 8 
N5K-B 
e1/27 e1/28 
e1/27 e1/28 
po8 
VLAN 7,8 
VSAN 7 
VLAN 7,8 
VLAN 7,8 
e1/5 
e1/6 
e1/5 
e1/6 
po5 
VLAN 7,8
Настройка Nexus 5000 2/2 
6. Создать FCoE интерфейсы и привязать к 
Ethernet интерфейсам N5K-A 
7. Создать FCoE интерфейсы и привязать к 
Ethernet интерфейсам N5K-B 
Тип порта E_Port (Expansion Port) 
51 
FCoE интерфейсы (VE_Port) 
n5k-A(config)# interface vfc5! 
n5k-A(config-if)# switchport mode E ! 
n5k-A(config-if)# switchport trunk allowed vsan 7-8! 
n5k-A(config-if)# bind interface port-channel 5! 
n5k-A(config-if)# no shutdown ! 
n5k-B(config)# interface vfc5! 
n5k-B(config-if)# switchport mode E! 
n5k-B(config-if)# switchport trunk allowed vsan 7-8! 
n5k-B(config-if)# bind interface port-channel 5! 
n5k-B(config-if)# no shutdown! 
FC Fabric Interface 
E_Port 
FC Switching Element 
FC-2V VE_Port 
FCoE_LEP FCoE 
Entity 
Ethernet_Port 
FCoE 
Controller 
Lossless Ethernet MAC 
po5 
N5K-A e1/5 N5K-B 
vfc5 VSAN 7,8 vfc5 
e1/6 
e1/5 
e1/6 
VLAN 7,8
Настройка Nexus 5000 2/2 
6. Создать FCoE интерфейсы и привязать к 
Ethernet интерфейсам N5K-A 
7. Создать FCoE интерфейсы и привязать к 
Ethernet интерфейсам N5K-B 
8. (optional) Проверить FCoE 
Тип порта E_Port (Expansion Port) 
52 
FCoE интерфейсы (VE_Port) 
n5k-A(config)# interface vfc5! 
n5k-A(config-if)# switchport mode E ! 
n5k-A(config-if)# switchport trunk allowed vsan 7-8! 
n5k-A(config-if)# bind interface port-channel 5! 
n5k-A(config-if)# no shutdown ! 
n5k-B(config)# interface vfc5! 
n5k-B(config-if)# switchport mode E! 
n5k-B(config-if)# switchport trunk allowed vsan 7-8! 
n5k-B(config-if)# bind interface port-channel 5! 
n5k-B(config-if)# no shutdown! 
n5k-A# show interface vfc5! 
n5k-A# show fcdomain vsan 7! 
n5k-A# show fcdomain vsan 8! 
n5k-A# show fcoe database! 
n5k-A# show interface fcoe! 
n5k-A# show fcs database vsan 7-8! 
n5k-A# show fcs ie vsan 7-8! 
n5k-A# show fcns database [detail] vsan 7! 
n5k-A(config)# interface vfc5! 
n5k-A(config-if)# shutdown lan! 
FC Fabric Interface 
E_Port 
FC Switching Element 
FC-2V VE_Port 
FCoE_LEP FCoE 
Entity 
Ethernet_Port 
FCoE 
Controller 
Lossless Ethernet MAC 
Можем отключить только LAN функционал на 
интерфейсе, не затрагивая FCoE
Запускаем сервер 
11/14/14 © 2014 Cisco and/or its affiliates. All rights reserved. 53
Заключение 
• FCoE это Fibre Channel! 
• С точки зрения сервисов Fibre Channel нет отличий 
между Native FC и FCoE 
• Настройка FCoE добавляет лишь несколько шагов 
• Ролевой доступ (RBAC) позволяет разделить права и 
зоны ответственности 
11/14/14 © 2014 Cisco and/or its affiliates. All rights reserved. 54
Ждем ваших сообщений с хештегом 
#CiscoConnectRu 
Спасибо 
Пожалуйста, используйте код для оценки доклада 
4495 
Ваше мнение очень важно для нас. 
Эльдар Женсыкбаев 
ezhensyk@cisco.com 
CiscoRu Cisco CiscoRussia 
11/14/14 © 2014 Cisco and/or its affiliates. All rights reserved.

FCoE - проектирование, настройка и эксплуатация

  • 1.
    FCoE - проектирование,настройка и эксплуатация Эльдар Женсыкбаев Системный инженер-консультант ezhensyk@cisco.com © 2014 Cisco and/or its affiliates. 11/14/14 All rights reserved.
  • 2.
    Содержание • Чтотакое FCoE • Data Center Bridging • Структура FCoE • FIP (Reference) • Начальная настройка FCoE (UCS и N5K) • Демо сценарий #1 (VF_Port) • Демо сценарий #2 (VE_Port) 11/14/14 © 2014 Cisco and/or its affiliates. All rights reserved.
  • 3.
    Fibre Channel overEthernet 11/14/14 © 2014 Cisco and/or its affiliates. All rights reserved. 3
  • 4.
    FCoE FCoE 1,2, 4, (8), 10 Gbps 1, 10 . . . Gbps 10, 20 Gbps
  • 5.
    Что такое FCoE? 5 FCoE Ethernet Fibre Channel Traffic Легко Понять Построен на Модели FC Операцонная Модель Технологии Управления Трафиком Модели Управления и Безопасности Такое же поведение Host-to-Switch и Switch-to-Switch как FC Функции In-Order Delivery и FSPF Load Balancing WWN, FC-ID, Zoning, Nameserver, RSCN Стандарт FC-BB-5 • Инкапсуляция FC фреймов в Ethernet • Позволяет передавать FC поверх Lossless Ethernet Нормальный фрейм Ethernet, Ethertype = FCoE Тот же фрейм Fibre Channel FCoE Frame Format Bit 0 Ethernet Header FCoE Header FC Header FC Payload CRC EOF FCS Служебная информация: Version, ordered sets (SOF, EOF)
  • 6.
    Что такое FCoE? Что такое FCoE? Это Fibre Channel 6 FCoE Ethernet Fibre Channel Traffic Легко Понять Построен на Модели FC Операцонная Модель Технологии Управления Трафиком Модели Управления и Безопасности Такое же поведение Host-to-Switch и Switch-to-Switch как FC Функции In-Order Delivery и FSPF Load Balancing WWN, FC-ID, Zoning, Nameserver, RSCN Стандарт FC-BB-5 • Инкапсуляция FC фреймов в Ethernet • Позволяет передавать FC поверх Lossless Ethernet Нормальный фрейм Ethernet, Ethertype = FCoE Тот же фрейм Fibre Channel FCoE Frame Format Bit 0 Ethernet Header FCoE Header FC Header FC Payload CRC EOF FCS Служебная информация: Version, ordered sets (SOF, EOF)
  • 7.
    Нормальный фрейм Ethernet,Ethertype = FCoE FCoE Frame Format Bit 0 Ethernet Header FCoE Header FC Header FC Payload CRC EOF FCS Тот же фрейм Fibre Channel Служебная информация: Version, ordered sets (SOF, EOF) Destination MAC Address Source MAC Address IEEE 802.1Q Tag ET = FCoE Ver Reserved Reserved Reserved Reserved SOF Encapsulated Fibre Channel Frame (Including FC-CRC) EOF Reserved FCS Стандарт FCoE 10Gbps Ethernet Lossless Ethernet § Соответствует поведению, обеспечиваемому в FC с использованием B2B credits Jumbo фреймы Ethernet § Максимальный размер FC фрейма = 2112 байт Bit 31 Byte 0 Byte 2197 Ethernet Header FCoE Header FC Header Fibre Channel Payload CRC EOF FCS Bit 0
  • 8.
    Data Center Bridging Priority-Based Flow Control (PFC) • Возможность транпорта без потерь для каждого класса трафика • Отправка PAUSE для данной виртуальной полосы (virtual lane) • Выделение ресурсов для каждой VL • Дифференцированное поведение для каждой VL
  • 9.
    Data Center Bridging Enhanced Transmission Selection (ETS) • Гарантированная полоса передачи и разделение полосы между VL • Стандартизуется в комитете IEEE 802.1Qaz (Priority Grouping)
  • 10.
    Data Center BridgingeXchange Data Center Ethernet Data Center Ethernet Согласование настроек для: • Управления полосой по классам • Управления потоком по классам • Управления перегрузками(BCN/QCN) • Логического состояния интерфейса Data Center Bridging
  • 11.
    Fibre Channel overEthernet (FCoE) Метод прямого отображения фреймов FC на Ethernet § Бесшовно подключается к сетям FC à Расширяет FC через Ethernet — FCoE выглядит как FC для серверов и сети — Сохраняет текущую инфраструктуру и управление FC — Фрейм FC остается неизменным § Может работать на стандартных коммутаторах (с jumbo фреймами) § Priority Flow Control обеспечивает отсутствие потерь — Имитирует систему буферных кредитов FC, избегая TCP § Не требует дорогих off-load технологий Ethernet Fibre Channel
  • 12.
    Что такое FibreChannel over Ethernet? С точки зрения Fibre Channel: § Сеть FC используя новый тип кабеля… облако Ethernet С точки зрения Ethernet: § Еще один транспортируемый протокол верхнего уровня (ULP) – хотя и требовательный! С точки зрения технологии: FCoE – расширение Fibre Channel для транспорта через Ethernet без потерь
  • 13.
    Типы портов FC • N_Port – Node Port • Порт сервера или СХД 13 Reference N_Port Node N_Port Node N_Port Node
  • 14.
    Типы портов FC • N_Port – Node Port • Порт сервера или СХД • F_Port – Fabric • Порт коммутатора в сторону Node 14 F_Port F_Port F_Port Reference N_Port Node N_Port Node N_Port Node
  • 15.
    Типы портов FC • N_Port – Node Port • Порт сервера или СХД • F_Port – Fabric • Порт коммутатора в сторону Node • E_Port – "Extender" • Порт коммутатора в сторону другого коммутатора 15 E_Port F_Port F_Port E_Port F_Port Reference N_Port Node N_Port Node N_Port Node FC Switch
  • 16.
    Структура Fibre Channel FC-4 (Mapping) FC-3 (Common Services) FC-2V (FC-2 – Virtual) FC-2M (FC-2 – Multiplexer) FC-2P (FC-2 – Physical) FC-1 (Transmission Protocol) FC-0 (Physical) FC-2 (Framing) Протоколы Верхнего Уровня Reference
  • 17.
    Fibre Channel Node FC-4 … FC-4 … FC-4 FC-3 … VN_Port FC-2V VN_Port … FC-2V Multiplexer PN_Port FC-2P FC-1 FC-0 PN_Port FC-2P FC-1 FC-0 … VN_Port FC-2V VN_Port … FC-2V Multiplexer PN_Port FC-2P FC-1 FC-0 PN_Port FC-2P FC-1 FC-0 … FC-2M FC-2M Reference
  • 18.
    Коммутатор Fibre Channel FC Switching Element VF_Port Multiplexer FC-2M PF_Port FC-2P FC-1 FC-0 VF_Port FC-2V Multiplexer FC-2M … PF_Port FC-2P FC-1 FC-0 PF_Port FC-2P FC-1 FC-0 VE_Port FC-2V Multiplexer FC-2M … PE_Port FC-2P FC-1 FC-0 PE_Port FC-2P FC-1 FC-0 Reference VE_Port Multiplexer FC-2M PE_Port FC-2P FC-1 FC-0 FC-2V FC-2V F_Port E_Port
  • 19.
    Fibre Channel LinkReference VF_Port FC-2V Multiplexer FC-2M PF_Port FC-2P FC-1 FC-0 FC-2V FC Node FC-3/FC-4 FC-3/FC-4 FC-3/FC-4 FC Switching Element FC Switch VN_Port FC Link VN_Port FC-2V VN_Port FC-2V Multiplexer FC-2M PN_Port FC-2P FC-1 FC-0 FC-2V
  • 20.
    Структура FCoE УровниFC (не изменены) Уровни IEEE 802.3 FC-4 FC-3 FC-2V FC-2M FC-2P FC-1 FC-0 FC-4 FC-3 FC-2V FCoE Mapping MAC PHY FC-2 Reference
  • 21.
    FCoE Node (ENode) … FC-3 / FC-4 … FC-2V FCoE Controller VN_Port FCoE_LEP FCoE Entity FC-3 / FC-4 FC-2V VN_Port FCoE_LEP FCoE Entity Lossless Ethernet MAC Ethernet_Port Reference FC-3 / FC-4 … FC-2V FCoE Controller VN_Port FCoE_LEP FCoE Entity FC-3 / FC-4 FC-2V VN_Port FCoE_LEP FCoE Entity Lossless Ethernet MAC Ethernet_Port
  • 22.
    FCoE Forwarder (FCF) FC Fabric Interface E_Port … E_Port F_Port … F_Port FC Switching Element … FC-2V VE_Port or FCoE_LEP FCoE Entity FCoE Controller FC-2V VF_Port FFCCooEE__LLEEPP FCoE_LEP Lossless Ethernet MAC Ethernet_Port Ethernet_Port Ethernet_Port Lossless Ethernet Bridging Element FCoE Entity Ethernet_Port Ethernet_Port … Ethernet_Port FC-2V VE_Port or FCoE_LEP FCoE Entity FCoE Controller Reference FC-2V VF_Port FFCCooEE__LLEEPP FCoE_LEP Lossless Ethernet MAC Ethernet_Port Ethernet_Port Ethernet_Port Lossless Ethernet Bridging Element FCoE Entity Ethernet_Port Ethernet_Port … Ethernet_Port
  • 23.
    FCoE Link Reference ENode FCF FC Switching Element VF_Port FC-2V FCoE_LEP FCoE_LEP FCoE_LEP FCoE Controller FCoE Controller FC-3/FC-4 VN_Port(2) VN_Port(3) FCoE_LEP FCoE_LEP FC-2V FCoE Ethernet FC-3/FC-4 FC-3/FC-4 VN_Port(1) FC-2V MAC MAC MAC Virtual Links FCF-MAC FCF-MAC FCF-MAC VN_Port(1) VN_Port(2) VN_Port(3) Lossless Ethernet network FCoE_LEP FC-2V FC-2V Lossless Ethernet MAC Ethernet_Port Lossless Ethernet MAC Ethernet_Port
  • 24.
    Структура протокола FCoE • Протокол передачи данных • Передает большинство фреймов FC и весь трафик SCSI FIP (FCoE Initialization Protocol) • Управляющий протокол • Используется для поиска элементов FC подключенных к облаку Ethernet • Также используется для процессов login и logout в сеть Fibre Channel Два протокола: • Два разных Ethertype • Два разных формата фреймов Reference
  • 25.
    FCoE Initialization Protocol(FIP) ENode FCoE Switch VLAN Discovery FLOGI/FDISC FLOGI/FDISC Accept FC Command FC Command responses FIP: FCoE Initialization Protocol FCOE Protocol VLAN Discovery FCF Discovery Solicitation FCF Discovery Advertisement Reference
  • 26.
    FCF A FCFB FIP: VLAN Discovery MAC (H1) All-FCF-MACs MAC(H2) VLAN Request [MAC(H2)] FCF-MAC (A) Lossless Ethernet Bridge FC Fabric FCF-MAC (B) Запрос доступных FCF по default VLAN: Какие VLAN доступны для FCoE H1 H2 MAC (H2) Reference
  • 27.
    FCF A FCFB FIP: VLAN Discovery Lossless Ethernet Bridge FC Fabric FCF-MAC (A) FCF-MAC (B) H1 H2 MAC (H1) MAC (H2) MAC(H2) FCF-MAC(A) VLAN Notification [F=1, FCF-MAC(A), FCoE VLAN List] MAC(H2) FCF-MAC(B) VLAN Notification [F=1, FCF-MAC(B), FCoE VLAN List] Reference
  • 28.
    FCF A FCFB FIP: FCF Discovery MAC (H1) All-FCF-MACs MAC(H2) Solicitation [F=0, MAC(H2), Capabilities, Other] FCF-MAC (A) Lossless Ethernet Bridge FC Fabric FCF-MAC (B) Идентификация VF_Port, поддерживающие FCF-MAC с совместимой адресацией H1 H2 MAC (H2) Reference
  • 29.
    FCF A FCFB FIP: FCF Discovery Lossless Ethernet Bridge FC Fabric FCF-MAC (A) FCF-MAC (B) H1 H2 MAC (H1) MAC (H2) Список FCF для H2: FCF-MAC(A) [J] FCF-MAC(B) [J] MAC(H2) FCF-MAC(A) Mini-jumbo Advertisement [S=1, F=1, Priority, Fabric, FCF-MAC(A), Switch_Name, Capabilities, Other] MAC(H2) FCF-MAC(B) Mini-jumbo Advertisement [S=1, F=1, Priority, Fabric, FCF-MAC(B), Switch_Name, Capabilities, Other] Reference
  • 30.
    FCF A FCFB Lossless Ethernet Bridge FC Fabric FCF-MAC (A) FCF-MAC (B) FIP: FLOGI H1 H2 MAC (H1) MAC (H2) FCF-MAC(A) MAC (H2) FIP FLOGI Request [FC Header, FLOGI data, Proposed MAC’(H2)] FCF-MAC(B) MAC(H2) FIP FLOGI Request [FC Header, FLOGI data, Proposed MAC’’(H2)] Reference
  • 31.
    FCF A FCFB Lossless Ethernet Bridge FC Fabric FCF-MAC (A) FCF-MAC (B) FIP: FLOGI H1 H2 MAC (H1) MAC (H2) MAC (H2) FCF-MAC(A) FIP FLOGI LS_ACC [FC Header, LS_ACC data, Approved MAC(H2)’] MAC(H2) FCF-MAC(B) FIP FLOGI LS_ACC [FC Header, LS_ACC data, Approved MAC(H2)’’] Reference
  • 32.
    FCF A FCFB Виртуальные Каналы FCoE Lossless Ethernet Bridge FC Fabric FCF-MAC (A) FCF-MAC (B) H1 H2 MAC (H1) MAC (H2) MAC (H2)’ MAC (H2)’’ FCF-MAC(A) MAC(H2)’ Fibre Channel Frame (FCoE) [FC SOF, FC Header, FC Data, FC CRC FC EOF] FCF-MAC(B) MAC(H2)’’ Fibre Channel Frame (FCoE) [FC SOF, FC Header, FC Data, FC CRC, FC EOF] Reference
  • 33.
    Начальная Настройка Коммутаторовдля FCoE 11/14/14 © 2014 Cisco and/or its affiliates. All rights reserved. 33
  • 34.
    Начальная Настройка Nexus5K 1. Установить лицензию Storage Services (FC_FEATURES_PKG) n5k-A(config)# install license LICENSEFILE.lic! n5k-A(config)# show license usage! Feature Ins Lic Status Expiry Date Comments! 2. Включить функционал LLDP 3. Включить функционал FCoE 34 Count! --------------------------------------------------------------------------------! ...! FC_FEATURES_PKG Yes - In use Never -! n5k-A(config)# feature lldp! n5k-A(config)# show feature! Feature Name Instance State ! -------------------- -------- --------! ...! lldp 1 enabled ! ! n5k-A(config)# feature fcoe! n5k-A(config)# show feature! Feature Name Instance State ! -------------------- -------- --------! ...! fcoe 1 enabled ! ! Рекомендация: Также включить функцию LACP для агрегации линков
  • 35.
    Начальная Настройка 4.Настроить system QoS и policy для FCoE: Этот шаг необходим только для платформы Nexus 55xx до релиза 5.1(3)N1(1) n5k-A(config)# system qos! n5k-A(config-sys-qos)# service-policy type qos input fcoe-default-in-policy! n5k-A(config-sys-qos)# service-policy type queuing input fcoe-default-in-policy! n5k-A(config-sys-qos)# service-policy type queuing output fcoe-default-out-policy! n5k-A(config-sys-qos)# service-policy type network-qos fcoe-default-nq-policy! 5. (RBAC) Создать пользователя с ролью администратора SAN n5k-A(config)# username sanadmin role san-admin password PASSWORD! n5k-A(config)# show role name san-admin! ! Role: san-admin! Description: Predefined system role for san administrators. This role! cannot be modified.! vsan policy: permit(default)! Vlan policy: permit(default)! Interface policy: permit(default)! Vrf policy: permit(default)! -------------------------------------------------------------------! Rule Perm Type Scope Entity ! -------------------------------------------------------------------! 27 permit read ! 26 permit read-write feature fcdomain ! 25 permit read-write feature rdl ! ...! 35 Nexus 5K
  • 36.
    Топология Demo-POD 11/14/14© 2014 Cisco and/or its affiliates. All rights reserved. 36
  • 37.
    Топология (FC &FCoE). VF_Port MDS 9148 Nexus 5548UP Fabric Interconnect 6248UP FC-Attached Storage 11/14/14 © 2014 Cisco and/or its affiliates. All rights reserved. UCS B420-M3
  • 38.
    Сценарий #1 (VF_Port) FC Storage fc1/45 TE_Port TE_Port NPIV NPIV F_ Port Trunk FI-A FI-B Server 1 11/14/14 © 2014 Cisco and/or its affiliates. All rights reserved. 38 B420-M3 vfc 1491 TN_Proxy F_Port N_Port TF_Port vfc 1492 fc1 VSAN 8 fc0 VSAN 7 fc1/45 VSAN 8 VLAN 8 VSAN 7 VLAN 7 e1/27 e1/28 N5K-A e1/27 e1/28 VSAN 7 VLAN 7 N5K-B e1/27 e1/28 e1/27 e1/28 po8 F_ Port Channel & Trunk MDS-A MDS-B fc1/29 fc1/29 fc1/1 h0 h1 fc1/1 SAN A SAN B VSAN 7 VSAN 8 NPV NPV
  • 39.
    1. Настроить FCoEUplink с Fabric Interconnect A: Server 1 B420-M3 fc1/45 vfc 1491 TN_Proxy F_Port N_Port FI-A TF_Port fc0 VSAN 7 VSAN 7 VLAN 7 N5K-A e1/27 e1/28 VSAN 7 VLAN 7 MDS-A FC Storage fc1/29 fc1/1 h0 VSAN 7 TE_Port TE_Port Настройка UCS 39 FCoE Uplink & VSAN Interface e1/27! Interface e1/28! e1/27 e1/28 po8
  • 40.
    Настройка UCS 40 FCoE Uplink & VSAN Interface e1/27! Interface e1/28! Interface e1/27! Interface e1/28! LACP port-channel 8! VSAN fcoe-demo! Fabric A: VSAN 7 / FCoE VLAN 7! Fabric B: VSAN 8 / FCoE VLAN 8! fc0: Fabric A, VSAN fcoe-demo! fc1: Fabric B, VSAN fcoe-demo! Server 1 B420-M3 MDS-B TE_Port TE_Port N5K-B TF_Port TN_Proxy N_Port FI-B vfc 1492 fc1 VSAN 8 fc1/45 VSAN 8 VSAN 8 VLAN 8 NPIV e1/27 e1/28 e1/27 po8 FC Storage fc1/29 h1 fc1/1 NPV 1. Настроить FCoE Uplink с Fabric Interconnect A: 2. Настроить FCoE Uplink с Fabric Interconnect B: 3. Включить FC Uplink Trunking 4. Создать VSAN 5. Настроить Сервисный Профиль e1/28
  • 41.
    Настройка Nexus 5000 1. Создать VSAN: 2. Создать FCoE VLAN и привязать к нему VSAN MDS-A 41 VLAN & VSAN n5k-A(config)# vsan database! n5k-A(config-vsan-db)# vsan 7! ! n5k-B(config)# vsan database! n5k-B(config-vsan-db)# vsan 8! n5k-A(config)# vlan 7! n5k-A(config-vlan)# fcoe vsan 7! ! n5k-B(config)# vlan 8! n5k-B(config-vlan)# fcoe vsan 8! FI-A MDS-B FI-B N5K-A N5K-B
  • 42.
    Настройка Nexus 50001/2 3. Настроить интерфейсы N5K-A 4. Настроить интерфейсы N5K-B 42 Ethernet интерфейсы для FCoE n5k-A(config)# interface ethernet 1/27-28! n5k-A(config-if-range)# switchport mode trunk ! n5k-A(config-if-range)# switchport trunk allowed vlan 7! n5k-A(config-if-range)# no shutdown ! n5k-B(config)# interface ethernet 1/27-28! n5k-B(config-if-range)# switchport mode trunk ! n5k-B(config-if-range)# switchport trunk allowed vlan 8! n5k-B(config-if-range)# no shutdown ! n5k-B(config-if-range)# channel-group 8 mode active ! FC Fabric Interface FC-2V VF_Port FCoE Entity FFCCooEE__LLEEPP FCoE_LEP F_Port FC Switching Element Ethernet_Port FCoE Controller Lossless Ethernet MAC FI-A TF_Port VSAN 7 VLAN 7 e1/27 e1/28 N5K-A e1/27 e1/28 VSAN 7 VLAN 7 FI-B VSAN 8 VLAN 8 N5K-B e1/27 e1/28 e1/27 e1/28 po8
  • 43.
    Настройка Nexus 50002/2 5. Создать FCoE интерфейсы и привязать к Ethernet интерфейсам N5K-A 43 FCoE интерфейсы n5k-A(config)# interface vfc27! n5k-A(config-if)# switchport mode F ! n5k-A(config-if)# switchport trunk allowed vsan 7! n5k-A(config-if)# bind interface ethernet 1/27! n5k-A(config-if)# no shutdown ! n5k-A(config)# interface vfc28! n5k-A(config-if)# switchport mode F! n5k-A(config-if)# switchport trunk allowed vsan 7! n5k-A(config-if)# bind interface ethernet 1/28! n5k-A(config-if)# no shutdown ! FC Fabric Interface FC-2V VF_Port FCoE Entity FFCCooEE__LLEEPP FCoE_LEP F_Port FC Switching Element Ethernet_Port FCoE Controller Lossless Ethernet MAC FI-A vfc27 vfc28 VSAN 7 VLAN 7 e1/27 e1/28 N5K-A e1/27 e1/28 VSAN 7 VLAN 7
  • 44.
    Настройка Nexus 50002/2 5. Создать FCoE интерфейсы и привязать к Ethernet интерфейсам N5K-A 6. Создать FCoE интерфейсы и привязать к Ethernet интерфейсам N5K-B 7. (optional) Проверить FCoE 44 FCoE интерфейсы n5k-A(config)# interface vfc27! n5k-A(config-if)# switchport mode F ! n5k-A(config-if)# switchport trunk allowed vsan 7! n5k-A(config-if)# bind interface ethernet 1/27! n5k-A(config-if)# no shutdown ! n5k-A(config)# interface vfc28! n5k-A(config-if)# switchport mode F! n5k-A(config-if)# switchport trunk allowed vsan 7! n5k-A(config-if)# bind interface ethernet 1/28! n5k-A(config-if)# no shutdown ! n5k-B(config)# interface vfc8! n5k-B(config-if)# switchport mode F! n5k-B(config-if)# switchport trunk allowed vsan 8! n5k-B(config-if)# bind interface port-channel 8! n5k-B(config-if)# no shutdown! n5k-A# show fcoe database! n5k-A# show interface fcoe! n5k-A# show fcs database vsan 7! n5k-A# show fcns database [detail] vsan 7! n5k-A# show fcns database npv [detail]! FC Fabric Interface FC-2V VF_Port FCoE Entity FFCCooEE__LLEEPP FCoE_LEP F_Port FC Switching Element Ethernet_Port FCoE Controller Lossless Ethernet MAC FI-B VSAN 8 VLAN 8 N5K-B e1/27 e1/28 e1/27 e1/28 po8 vfc8
  • 45.
    Настройка Zoning 8.Создать зоны в Fabric A 9. Создать зоны в Fabric B vHBA из фабрики B нам потребуется в следующем сценарии 45 MDS или Nexus n5k-A(config)# zone name ZONE-A vsan 7! n5k-A(config-zone)# member device-alias STORAGE-PORT-0! n5k-A(config-zone)# member device-alias UCS-SP-FC0! n5k-A(config-zone)# member device-alias UCS-SP-FC1! n5k-A(config-zone)# zoneset name FCoE-A vsan 7! n5k-A(config-zoneset)# member ZONE-A! n5k-A(config-zoneset)# zoneset activate name FCoE-A vsan 7! n5k-B(config)# zone name ZONE-B vsan 8! n5k-B(config-zone)# member device-alias STORAGE-PORT-1! n5k-B(config-zone)# member device-alias UCS-SP-FC0! n5k-B(config-zone)# member device-alias UCS-SP-FC1! n5k-B(config-zone)# zoneset name FCoE-A vsan 8! n5k-B(config-zoneset)# member ZONE-B! n5k-B(config-zoneset)# zoneset activate name FCoE-B vsan 8! FC Fabric Interface FC-2V VF_Port FCoE Entity FFCCooEE__LLEEPP FCoE_LEP F_Port FC Switching Element Для простоты используем basic Ethernet_zone, Port поэтому commit не требуется FCoE Controller Lossless Ethernet MAC
  • 46.
    Запускаем сервер 11/14/14© 2014 Cisco and/or its affiliates. All rights reserved. 46
  • 47.
    Топология (FC &FCoE). VE_Port MDS-A N5K-A FI-A 11/14/14 © 2014 Cisco and/or its affiliates. All rights reserved. MDS-B N5K-B FI-B
  • 48.
    Сценарий #2 (VE_Port) FC Storage fc1/45 TE_Port TE_Port e1/5 e1/6 e1/5 e1/6 VSAN 7,8 VLAN 7,8 NPIV NPIV F_ Port Trunk FI-A FI-B Server 1 11/14/14 © 2014 Cisco and/or its affiliates. All rights reserved. 48 B420-M3 vfc 1491 TN_Proxy F_Port N_Port TF_Port vfc 1492 8 fc0 VSAN 7 fc1/45 VSAN 8 VLAN 8 VSAN 7 VLAN 7 e1/27 e1/28 N5K-A e1/27 e1/28 VSAN 7 VLAN 7 N5K-B e1/27 e1/28 e1/27 e1/28 po8 F_ Port Channel & Trunk MDS-A MDS-B fc1/29 fc1/29 fc1/1 h0 h1 fc1/1 SAN A SAN B VSAN 7 VSAN 8 NPV NPV 8 fc1 VSAN 7 8 8 8 8 7 7 po5
  • 49.
    Перенастройка VSAN вUCS и Nexus 5000 VSAN & Сервисный профиль 1. Поменять местами номера VSAN в UCSM 2. Создать VSAN: N5K-A N5K-B VSAN 8 VSAN 7 VLAN 8 VLAN 7 3. Создать FCoE VLAN и привязать к нему VSAN FI-A FI-B 49 VSAN fcoe-demo! Fabric A: VSAN 8 / FCoE VLAN 8! Fabric B: VSAN 7 / FCoE VLAN 7! n5k-A(config)# vsan database! n5k-A(config-vsan-db)# vsan 8! ! n5k-B(config)# vsan database! n5k-B(config-vsan-db)# vsan 7! n5k-A(config)# vlan 8! n5k-A(config-vlan)# fcoe vsan 8! ! n5k-B(config)# vlan 7! n5k-B(config-vlan)# fcoe vsan 7! Server 1 B420-M3 vfc 1491 vfc 1492 8 fc0 VSAN 7 8 fc1 VSAN 7
  • 50.
    Настройка Nexus 50001/2 4. Настроить интерфейсы N5K-A 5. Настроить интерфейсы N5K-B 50 Ethernet интерфейсы для FCoE (VE_Port) n5k-A(config)# interface ethernet 1/27-28! n5k-A(config-if-range)# switchport trunk allowed vlan add 8! n5k-A(config-if-range)# interface ethernet 1/5-6! n5k-A(config-if-range)# switchport mode trunk ! n5k-A(config-if-range)# switchport trunk allowed vlan 7-8! n5k-A(config-if-range)# no shutdown! n5k-A(config-if-range)# channel-group 5 mode!active! n5k-B(config)# interface port-channel 8! n5k-B(config-if)# switchport trunk allowed vlan add 7! n5k-B(config-if)# interface ethernet 1/5-6! n5k-B(config-if-range)# switchport mode trunk ! n5k-B(config-if-range)# switchport trunk allowed vlan 7-8! n5k-B(config-if-range)# no shutdown ! n5k-B(config-if-range)# channel-group 5 mode active ! FC Fabric Interface E_Port FC Switching Element FC-2V VE_Port FCoE_LEP FCoE Entity Ethernet_Port FCoE Controller Lossless Ethernet MAC FI-A TF_Port VSAN 7 VLAN 7 e1/27 e1/28 N5K-A e1/27 e1/28 VLAN 7 FI-B VSAN 8 VLAN 8 N5K-B e1/27 e1/28 e1/27 e1/28 po8 VLAN 7,8 VSAN 7 VLAN 7,8 VLAN 7,8 e1/5 e1/6 e1/5 e1/6 po5 VLAN 7,8
  • 51.
    Настройка Nexus 50002/2 6. Создать FCoE интерфейсы и привязать к Ethernet интерфейсам N5K-A 7. Создать FCoE интерфейсы и привязать к Ethernet интерфейсам N5K-B Тип порта E_Port (Expansion Port) 51 FCoE интерфейсы (VE_Port) n5k-A(config)# interface vfc5! n5k-A(config-if)# switchport mode E ! n5k-A(config-if)# switchport trunk allowed vsan 7-8! n5k-A(config-if)# bind interface port-channel 5! n5k-A(config-if)# no shutdown ! n5k-B(config)# interface vfc5! n5k-B(config-if)# switchport mode E! n5k-B(config-if)# switchport trunk allowed vsan 7-8! n5k-B(config-if)# bind interface port-channel 5! n5k-B(config-if)# no shutdown! FC Fabric Interface E_Port FC Switching Element FC-2V VE_Port FCoE_LEP FCoE Entity Ethernet_Port FCoE Controller Lossless Ethernet MAC po5 N5K-A e1/5 N5K-B vfc5 VSAN 7,8 vfc5 e1/6 e1/5 e1/6 VLAN 7,8
  • 52.
    Настройка Nexus 50002/2 6. Создать FCoE интерфейсы и привязать к Ethernet интерфейсам N5K-A 7. Создать FCoE интерфейсы и привязать к Ethernet интерфейсам N5K-B 8. (optional) Проверить FCoE Тип порта E_Port (Expansion Port) 52 FCoE интерфейсы (VE_Port) n5k-A(config)# interface vfc5! n5k-A(config-if)# switchport mode E ! n5k-A(config-if)# switchport trunk allowed vsan 7-8! n5k-A(config-if)# bind interface port-channel 5! n5k-A(config-if)# no shutdown ! n5k-B(config)# interface vfc5! n5k-B(config-if)# switchport mode E! n5k-B(config-if)# switchport trunk allowed vsan 7-8! n5k-B(config-if)# bind interface port-channel 5! n5k-B(config-if)# no shutdown! n5k-A# show interface vfc5! n5k-A# show fcdomain vsan 7! n5k-A# show fcdomain vsan 8! n5k-A# show fcoe database! n5k-A# show interface fcoe! n5k-A# show fcs database vsan 7-8! n5k-A# show fcs ie vsan 7-8! n5k-A# show fcns database [detail] vsan 7! n5k-A(config)# interface vfc5! n5k-A(config-if)# shutdown lan! FC Fabric Interface E_Port FC Switching Element FC-2V VE_Port FCoE_LEP FCoE Entity Ethernet_Port FCoE Controller Lossless Ethernet MAC Можем отключить только LAN функционал на интерфейсе, не затрагивая FCoE
  • 53.
    Запускаем сервер 11/14/14© 2014 Cisco and/or its affiliates. All rights reserved. 53
  • 54.
    Заключение • FCoEэто Fibre Channel! • С точки зрения сервисов Fibre Channel нет отличий между Native FC и FCoE • Настройка FCoE добавляет лишь несколько шагов • Ролевой доступ (RBAC) позволяет разделить права и зоны ответственности 11/14/14 © 2014 Cisco and/or its affiliates. All rights reserved. 54
  • 55.
    Ждем ваших сообщенийс хештегом #CiscoConnectRu Спасибо Пожалуйста, используйте код для оценки доклада 4495 Ваше мнение очень важно для нас. Эльдар Женсыкбаев ezhensyk@cisco.com CiscoRu Cisco CiscoRussia 11/14/14 © 2014 Cisco and/or its affiliates. All rights reserved.