Что такое FCoE • Data Center Bridging • Структура FCoE • FIP (Reference) Начальная настройка FCoE (UCS и N5K) Демо сценарий #1 (VF_Port) Демо сценарий #2 (VE_Port)

1. FCoE - проектирование, настройка и
эксплуатация
Эльдар Женсыкбаев
Системный инженер-консультант
ezhensyk@cisco.com
© 2014 Cisco and/or its affiliates. 11/14/14 All rights reserved.

2. Содержание
• Что такое FCoE
• Data Center Bridging
• Структура FCoE
• FIP (Reference)
• Начальная настройка FCoE (UCS и N5K)
• Демо сценарий #1 (VF_Port)
• Демо сценарий #2 (VE_Port)
11/14/14 © 2014 Cisco and/or its affiliates. All rights reserved.

3. Fibre Channel over Ethernet
11/14/14 © 2014 Cisco and/or its affiliates. All rights reserved. 3

4. FCoE
FCoE
1, 2, 4, (8), 10 Gbps 1, 10 . . . Gbps 10, 20 Gbps

5. Что такое FCoE?
5
FCoE
Ethernet
Fibre
Channel
Traffic
Легко Понять Построен на Модели FC
Операцонная
Модель
Технологии
Управления
Трафиком
Модели
Управления и
Безопасности
Такое же поведение
Host-to-Switch и
Switch-to-Switch как FC
Функции In-Order Delivery
и FSPF Load Balancing
WWN, FC-ID, Zoning,
Nameserver, RSCN
Стандарт
FC-BB-5
• Инкапсуляция FC
фреймов в Ethernet
• Позволяет передавать
FC поверх Lossless
Ethernet
Нормальный фрейм Ethernet, Ethertype = FCoE
Тот же фрейм Fibre Channel
FCoE Frame Format
Bit 0
Ethernet
Header
FCoE
Header
FC
Header
FC Payload
CRC
EOF
FCS
Служебная информация: Version, ordered sets (SOF, EOF)

6. Что такое FCoE?
Что такое FCoE?
Это Fibre Channel
6
FCoE
Ethernet
Fibre
Channel
Traffic
Легко Понять Построен на Модели FC
Операцонная
Модель
Технологии
Управления
Трафиком
Модели
Управления и
Безопасности
Такое же поведение
Host-to-Switch и
Switch-to-Switch как FC
Функции In-Order Delivery
и FSPF Load Balancing
WWN, FC-ID, Zoning,
Nameserver, RSCN
Стандарт
FC-BB-5
• Инкапсуляция FC
фреймов в Ethernet
• Позволяет передавать
FC поверх Lossless
Ethernet
Нормальный фрейм Ethernet, Ethertype = FCoE
Тот же фрейм Fibre Channel
FCoE Frame Format
Bit 0
Ethernet
Header
FCoE
Header
FC
Header
FC Payload
CRC
EOF
FCS
Служебная информация: Version, ordered sets (SOF, EOF)

7. Нормальный фрейм Ethernet, Ethertype = FCoE
FCoE Frame Format
Bit 0
Ethernet
Header
FCoE
Header
FC
Header
FC Payload
CRC
EOF
FCS
Тот же фрейм Fibre Channel
Служебная информация: Version, ordered sets (SOF, EOF)
Destination MAC Address
Source MAC Address
IEEE 802.1Q Tag
ET = FCoE Ver Reserved
Reserved
Reserved
Reserved SOF
Encapsulated Fibre Channel Frame
(Including FC-CRC)
EOF Reserved
FCS
Стандарт FCoE
10Gbps Ethernet
Lossless Ethernet
§ Соответствует поведению,
обеспечиваемому в FC с
использованием B2B credits
Jumbo фреймы Ethernet
§ Максимальный размер FC
фрейма = 2112 байт
Bit 31
Byte 0 Byte 2197
Ethernet
Header
FCoE
Header
FC
Header
Fibre Channel Payload
CRC
EOF
FCS
Bit 0

8. Data Center Bridging
Priority-Based Flow Control (PFC)
• Возможность транпорта без потерь для каждого класса трафика
• Отправка PAUSE для данной виртуальной полосы (virtual lane)
• Выделение ресурсов для каждой VL
• Дифференцированное поведение для каждой VL

9. Data Center Bridging
Enhanced Transmission Selection (ETS)
• Гарантированная полоса передачи и разделение
полосы между VL
• Стандартизуется в комитете IEEE 802.1Qaz (Priority
Grouping)

10. Data Center Bridging eXchange
Data Center Ethernet
Data Center Ethernet
Согласование настроек для:
• Управления полосой по классам
• Управления потоком по классам
• Управления перегрузками(BCN/QCN)
• Логического состояния интерфейса
Data Center Bridging

11. Fibre Channel over Ethernet (FCoE)
Метод прямого отображения фреймов FC на Ethernet
§ Бесшовно подключается к сетям FC à Расширяет FC через
Ethernet
— FCoE выглядит как FC для серверов и
сети
— Сохраняет текущую инфраструктуру
и управление FC
— Фрейм FC остается неизменным
§ Может работать на стандартных
коммутаторах (с jumbo фреймами)
§ Priority Flow Control обеспечивает отсутствие потерь
— Имитирует систему буферных кредитов FC, избегая TCP
§ Не требует дорогих off-load технологий
Ethernet
Fibre
Channel

12. Что такое Fibre Channel over Ethernet?
С точки зрения Fibre Channel:
§ Сеть FC используя новый тип кабеля… облако Ethernet
С точки зрения Ethernet:
§ Еще один транспортируемый протокол верхнего уровня (ULP)
– хотя и требовательный!
С точки зрения технологии:
FCoE – расширение Fibre Channel для
транспорта через Ethernet без потерь

13. Типы портов FC
• N_Port – Node Port
• Порт сервера или СХД
13
Reference
N_Port Node
N_Port Node
N_Port Node

14. Типы портов FC
• N_Port – Node Port
• Порт сервера или СХД
• F_Port – Fabric
• Порт коммутатора в сторону
Node
14
F_Port
F_Port
F_Port
Reference
N_Port Node
N_Port Node
N_Port Node

15. Типы портов FC
• N_Port – Node Port
• Порт сервера или СХД
• F_Port – Fabric
• Порт коммутатора в сторону
Node
• E_Port – "Extender"
• Порт коммутатора в сторону
другого коммутатора
15
E_Port
F_Port
F_Port
E_Port F_Port
Reference
N_Port Node
N_Port Node
N_Port Node FC
Switch

16. Структура Fibre Channel
FC-4 (Mapping)
FC-3 (Common Services)
FC-2V (FC-2 – Virtual)
FC-2M (FC-2 – Multiplexer)
FC-2P (FC-2 – Physical)
FC-1 (Transmission Protocol)
FC-0 (Physical)
FC-2
(Framing)
Протоколы Верхнего Уровня
Reference

17. Fibre Channel Node
FC-4 … FC-4 … FC-4
FC-3
…
VN_Port
FC-2V
VN_Port …
FC-2V
Multiplexer
PN_Port
FC-2P
FC-1
FC-0
PN_Port
FC-2P
FC-1
FC-0
…
VN_Port
FC-2V
VN_Port …
FC-2V
Multiplexer
PN_Port
FC-2P
FC-1
FC-0
PN_Port
FC-2P
FC-1
FC-0
…
FC-2M
FC-2M
Reference

18. Коммутатор Fibre Channel
FC Switching Element
VF_Port
Multiplexer
FC-2M
PF_Port
FC-2P
FC-1
FC-0
VF_Port
FC-2V
Multiplexer
FC-2M
…
PF_Port
FC-2P
FC-1
FC-0
PF_Port
FC-2P
FC-1
FC-0
VE_Port
FC-2V
Multiplexer
FC-2M
…
PE_Port
FC-2P
FC-1
FC-0
PE_Port
FC-2P
FC-1
FC-0
Reference
VE_Port
Multiplexer
FC-2M
PE_Port
FC-2P
FC-1
FC-0
FC-2V
FC-2V
F_Port E_Port

19. Fibre Channel Link Reference
VF_Port
FC-2V
Multiplexer
FC-2M
PF_Port
FC-2P
FC-1
FC-0
FC-2V
FC Node
FC-3/FC-4
FC-3/FC-4 FC-3/FC-4 FC Switching Element
FC Switch
VN_Port
FC Link
VN_Port
FC-2V
VN_Port
FC-2V
Multiplexer
FC-2M
PN_Port
FC-2P
FC-1
FC-0
FC-2V

20. Структура FCoE
Уровни FC
(не изменены)
Уровни
IEEE 802.3
FC-4
FC-3
FC-2V
FC-2M
FC-2P
FC-1
FC-0
FC-4
FC-3
FC-2V
FCoE Mapping
MAC
PHY
FC-2
Reference

21. FCoE Node (ENode)
…
FC-3 / FC-4
… FC-2V
FCoE
Controller
VN_Port
FCoE_LEP FCoE
Entity
FC-3 / FC-4
FC-2V
VN_Port
FCoE_LEP
FCoE
Entity
Lossless Ethernet MAC Ethernet_Port
Reference
FC-3 / FC-4
… FC-2V
FCoE
Controller
VN_Port
FCoE_LEP FCoE
Entity
FC-3 / FC-4
FC-2V
VN_Port
FCoE_LEP
FCoE
Entity
Lossless Ethernet MAC Ethernet_Port

22. FCoE Forwarder (FCF)
FC Fabric Interface E_Port … E_Port F_Port … F_Port
FC Switching Element
…
FC-2V VE_Port or
FCoE_LEP FCoE
Entity
FCoE
Controller
FC-2V VF_Port
FFCCooEE__LLEEPP FCoE_LEP
Lossless Ethernet MAC Ethernet_Port
Ethernet_Port
Ethernet_Port
Lossless Ethernet
Bridging Element
FCoE
Entity
Ethernet_Port Ethernet_Port … Ethernet_Port
FC-2V VE_Port or
FCoE_LEP FCoE
Entity
FCoE
Controller
Reference
FC-2V VF_Port
FFCCooEE__LLEEPP FCoE_LEP
Lossless Ethernet MAC Ethernet_Port
Ethernet_Port
Ethernet_Port
Lossless Ethernet
Bridging Element
FCoE
Entity
Ethernet_Port Ethernet_Port … Ethernet_Port

23. FCoE Link Reference
ENode FCF
FC Switching Element
VF_Port
FC-2V
FCoE_LEP FCoE_LEP FCoE_LEP
FCoE
Controller
FCoE
Controller
FC-3/FC-4
VN_Port(2)
VN_Port(3)
FCoE_LEP FCoE_LEP
FC-2V
FCoE
Ethernet
FC-3/FC-4 FC-3/FC-4
VN_Port(1)
FC-2V
MAC MAC MAC Virtual Links FCF-MAC
FCF-MAC
FCF-MAC
VN_Port(1)
VN_Port(2)
VN_Port(3)
Lossless
Ethernet
network
FCoE_LEP
FC-2V
FC-2V
Lossless Ethernet MAC Ethernet_Port Lossless Ethernet MAC Ethernet_Port

24. Структура протокола
FCoE
• Протокол передачи данных
• Передает большинство фреймов
FC и весь трафик SCSI
FIP (FCoE Initialization
Protocol)
• Управляющий протокол
• Используется для поиска
элементов FC подключенных к
облаку Ethernet
• Также используется для
процессов login и logout в сеть
Fibre Channel
Два протокола:
• Два разных Ethertype
• Два разных формата фреймов
Reference

25. FCoE Initialization Protocol (FIP)
ENode FCoE Switch
VLAN
Discovery
FLOGI/FDISC FLOGI/FDISC Accept
FC Command FC Command
responses
FIP:
FCoE
Initialization
Protocol
FCOE
Protocol
VLAN
Discovery
FCF
Discovery
Solicitation FCF
Discovery Advertisement
Reference

26. FCF A
FCF B
FIP: VLAN Discovery
MAC (H1)
All-FCF-MACs
MAC(H2)
VLAN Request
[MAC(H2)]
FCF-MAC (A)
Lossless
Ethernet
Bridge
FC
Fabric
FCF-MAC (B)
Запрос доступных FCF по default VLAN: Какие VLAN
доступны для FCoE
H1
H2
MAC (H2)
Reference

27. FCF A
FCF B
FIP: VLAN Discovery
Lossless
Ethernet
Bridge
FC
Fabric
FCF-MAC (A)
FCF-MAC (B)
H1
H2
MAC (H1)
MAC (H2)
MAC(H2)
FCF-MAC(A)
VLAN Notification
[F=1, FCF-MAC(A),
FCoE VLAN List]
MAC(H2)
FCF-MAC(B)
VLAN Notification
[F=1, FCF-MAC(B),
FCoE VLAN List]
Reference

28. FCF A
FCF B
FIP: FCF Discovery
MAC (H1)
All-FCF-MACs
MAC(H2)
Solicitation
[F=0, MAC(H2),
Capabilities, Other]
FCF-MAC (A)
Lossless
Ethernet
Bridge
FC
Fabric
FCF-MAC (B)
Идентификация VF_Port, поддерживающие FCF-MAC
с совместимой адресацией
H1
H2
MAC (H2)
Reference

29. FCF A
FCF B
FIP: FCF Discovery
Lossless
Ethernet
Bridge
FC
Fabric
FCF-MAC (A)
FCF-MAC (B)
H1
H2
MAC (H1)
MAC (H2)
Список FCF для H2:
FCF-MAC(A) [J]
FCF-MAC(B) [J]
MAC(H2)
FCF-MAC(A)
Mini-jumbo
Advertisement
[S=1, F=1, Priority, Fabric,
FCF-MAC(A), Switch_Name,
Capabilities, Other]
MAC(H2)
FCF-MAC(B)
Mini-jumbo
Advertisement
[S=1, F=1, Priority, Fabric,
FCF-MAC(B), Switch_Name,
Capabilities, Other]
Reference

30. FCF A
FCF B
Lossless
Ethernet
Bridge
FC
Fabric
FCF-MAC (A)
FCF-MAC (B)
FIP: FLOGI
H1
H2
MAC (H1)
MAC (H2)
FCF-MAC(A)
MAC (H2)
FIP FLOGI Request
[FC Header, FLOGI data,
Proposed MAC’(H2)]
FCF-MAC(B)
MAC(H2)
FIP FLOGI Request
[FC Header, FLOGI data,
Proposed MAC’’(H2)]
Reference

31. FCF A
FCF B
Lossless
Ethernet
Bridge
FC
Fabric
FCF-MAC (A)
FCF-MAC (B)
FIP: FLOGI
H1
H2
MAC (H1)
MAC (H2)
MAC (H2)
FCF-MAC(A)
FIP FLOGI LS_ACC
[FC Header, LS_ACC data,
Approved MAC(H2)’]
MAC(H2)
FCF-MAC(B)
FIP FLOGI LS_ACC
[FC Header, LS_ACC data,
Approved MAC(H2)’’]
Reference

32. FCF A
FCF B
Виртуальные Каналы FCoE
Lossless
Ethernet
Bridge
FC
Fabric
FCF-MAC (A)
FCF-MAC (B)
H1
H2
MAC (H1)
MAC (H2)
MAC (H2)’
MAC (H2)’’
FCF-MAC(A)
MAC(H2)’
Fibre Channel Frame
(FCoE)
[FC SOF, FC Header, FC
Data, FC CRC FC EOF]
FCF-MAC(B)
MAC(H2)’’
Fibre Channel Frame
(FCoE)
[FC SOF, FC Header, FC
Data, FC CRC, FC EOF]
Reference

33. Начальная Настройка Коммутаторов для FCoE
11/14/14 © 2014 Cisco and/or its affiliates. All rights reserved. 33

34. Начальная Настройка
Nexus 5K
1. Установить лицензию Storage Services (FC_FEATURES_PKG)
n5k-A(config)# install license LICENSEFILE.lic!
n5k-A(config)# show license usage!
Feature Ins Lic Status Expiry Date Comments!
2. Включить функционал LLDP
3. Включить функционал FCoE
34
Count!
--------------------------------------------------------------------------------!
...!
FC_FEATURES_PKG Yes - In use Never -!
n5k-A(config)# feature lldp!
n5k-A(config)# show feature!
Feature Name Instance State !
-------------------- -------- --------!
...!
lldp 1 enabled !
!
n5k-A(config)# feature fcoe!
n5k-A(config)# show feature!
Feature Name Instance State !
-------------------- -------- --------!
...!
fcoe 1 enabled !
!
Рекомендация:
Также включить функцию LACP
для агрегации линков

35. Начальная Настройка
4. Настроить system QoS и policy для FCoE:
Этот шаг необходим только для
платформы Nexus 55xx до релиза
5.1(3)N1(1)
n5k-A(config)# system qos!
n5k-A(config-sys-qos)# service-policy type qos input fcoe-default-in-policy!
n5k-A(config-sys-qos)# service-policy type queuing input fcoe-default-in-policy!
n5k-A(config-sys-qos)# service-policy type queuing output fcoe-default-out-policy!
n5k-A(config-sys-qos)# service-policy type network-qos fcoe-default-nq-policy!
5. (RBAC) Создать пользователя с ролью администратора SAN
n5k-A(config)# username sanadmin role san-admin password PASSWORD!
n5k-A(config)# show role name san-admin!
!
Role: san-admin!
Description: Predefined system role for san administrators. This role!
cannot be modified.!
vsan policy: permit(default)!
Vlan policy: permit(default)!
Interface policy: permit(default)!
Vrf policy: permit(default)!
-------------------------------------------------------------------!
Rule Perm Type Scope Entity !
-------------------------------------------------------------------!
27 permit read !
26 permit read-write feature fcdomain !
25 permit read-write feature rdl !
...!
35
Nexus 5K

36. Топология Demo-POD
11/14/14 © 2014 Cisco and/or its affiliates. All rights reserved. 36

37. Топология (FC & FCoE). VF_Port
MDS 9148
Nexus 5548UP
Fabric Interconnect
6248UP
FC-Attached Storage
11/14/14 © 2014 Cisco and/or its affiliates. All rights reserved.
UCS B420-M3

38. Сценарий #1 (VF_Port)
FC Storage
fc1/45
TE_Port
TE_Port
NPIV NPIV
F_ Port Trunk
FI-A FI-B
Server 1
11/14/14 © 2014 Cisco and/or its affiliates. All rights reserved. 38
B420-M3
vfc 1491
TN_Proxy
F_Port
N_Port
TF_Port
vfc 1492
fc1
VSAN 8
fc0
VSAN 7
fc1/45
VSAN 8
VLAN 8
VSAN 7
VLAN 7
e1/27 e1/28
N5K-A
e1/27 e1/28
VSAN 7
VLAN 7
N5K-B
e1/27 e1/28
e1/27 e1/28
po8
F_ Port
Channel & Trunk
MDS-A MDS-B
fc1/29
fc1/29
fc1/1
h0 h1
fc1/1
SAN A
SAN B
VSAN 7 VSAN 8
NPV NPV

39. 1. Настроить FCoE Uplink с Fabric Interconnect A:
Server 1
B420-M3
fc1/45
vfc 1491
TN_Proxy
F_Port
N_Port
FI-A
TF_Port
fc0
VSAN 7
VSAN 7
VLAN 7
N5K-A
e1/27 e1/28
VSAN 7
VLAN 7
MDS-A
FC Storage
fc1/29
fc1/1
h0
VSAN 7
TE_Port
TE_Port
Настройка UCS
39
FCoE Uplink & VSAN
Interface e1/27!
Interface e1/28!
e1/27 e1/28
po8

40. Настройка UCS
40
FCoE Uplink & VSAN
Interface e1/27!
Interface e1/28!
Interface e1/27!
Interface e1/28!
LACP port-channel 8!
VSAN fcoe-demo!
Fabric A: VSAN 7 / FCoE VLAN 7!
Fabric B: VSAN 8 / FCoE VLAN 8!
fc0: Fabric A, VSAN fcoe-demo!
fc1: Fabric B, VSAN fcoe-demo!
Server 1
B420-M3
MDS-B
TE_Port
TE_Port
N5K-B
TF_Port
TN_Proxy
N_Port
FI-B
vfc 1492
fc1
VSAN 8
fc1/45
VSAN 8
VSAN 8
VLAN 8
NPIV
e1/27 e1/28
e1/27 po8
FC Storage
fc1/29
h1
fc1/1
NPV
1. Настроить FCoE Uplink с Fabric Interconnect A:
2. Настроить FCoE Uplink с Fabric Interconnect B:
3. Включить FC Uplink Trunking
4. Создать VSAN
5. Настроить Сервисный Профиль
e1/28

41. Настройка Nexus 5000
1. Создать VSAN:
2. Создать FCoE VLAN и привязать к нему VSAN
MDS-A
41
VLAN & VSAN
n5k-A(config)# vsan database!
n5k-A(config-vsan-db)# vsan 7!
!
n5k-B(config)# vsan database!
n5k-B(config-vsan-db)# vsan 8!
n5k-A(config)# vlan 7!
n5k-A(config-vlan)# fcoe vsan 7!
!
n5k-B(config)# vlan 8!
n5k-B(config-vlan)# fcoe vsan 8!
FI-A
MDS-B
FI-B
N5K-A
N5K-B

42. Настройка Nexus 5000 1/2
3. Настроить интерфейсы N5K-A
4. Настроить интерфейсы N5K-B
42
Ethernet интерфейсы для FCoE
n5k-A(config)# interface ethernet 1/27-28!
n5k-A(config-if-range)# switchport mode trunk !
n5k-A(config-if-range)# switchport trunk allowed vlan 7!
n5k-A(config-if-range)# no shutdown !
n5k-B(config)# interface ethernet 1/27-28!
n5k-B(config-if-range)# switchport mode trunk !
n5k-B(config-if-range)# switchport trunk allowed vlan 8!
n5k-B(config-if-range)# no shutdown !
n5k-B(config-if-range)# channel-group 8 mode active !
FC Fabric Interface
FC-2V VF_Port
FCoE
Entity
FFCCooEE__LLEEPP FCoE_LEP
F_Port
FC Switching Element
Ethernet_Port
FCoE
Controller
Lossless Ethernet MAC
FI-A
TF_Port
VSAN 7
VLAN 7
e1/27 e1/28
N5K-A
e1/27 e1/28
VSAN 7
VLAN 7
FI-B
VSAN 8
VLAN 8
N5K-B
e1/27 e1/28
e1/27 e1/28
po8

43. Настройка Nexus 5000 2/2
5. Создать FCoE интерфейсы и привязать к
Ethernet интерфейсам N5K-A
43
FCoE интерфейсы
n5k-A(config)# interface vfc27!
n5k-A(config-if)# switchport mode F !
n5k-A(config-if)# switchport trunk allowed vsan 7!
n5k-A(config-if)# bind interface ethernet 1/27!
n5k-A(config-if)# no shutdown !
n5k-A(config)# interface vfc28!
n5k-A(config-if)# switchport mode F!
n5k-A(config-if)# switchport trunk allowed vsan 7!
n5k-A(config-if)# bind interface ethernet 1/28!
n5k-A(config-if)# no shutdown !
FC Fabric Interface
FC-2V VF_Port
FCoE
Entity
FFCCooEE__LLEEPP FCoE_LEP
F_Port
FC Switching Element
Ethernet_Port
FCoE
Controller
Lossless Ethernet MAC
FI-A
vfc27 vfc28
VSAN 7
VLAN 7
e1/27 e1/28
N5K-A
e1/27 e1/28
VSAN 7
VLAN 7

44. Настройка Nexus 5000 2/2
5. Создать FCoE интерфейсы и привязать к
Ethernet интерфейсам N5K-A
6. Создать FCoE интерфейсы и привязать к
Ethernet интерфейсам N5K-B
7. (optional) Проверить FCoE
44
FCoE интерфейсы
n5k-A(config)# interface vfc27!
n5k-A(config-if)# switchport mode F !
n5k-A(config-if)# switchport trunk allowed vsan 7!
n5k-A(config-if)# bind interface ethernet 1/27!
n5k-A(config-if)# no shutdown !
n5k-A(config)# interface vfc28!
n5k-A(config-if)# switchport mode F!
n5k-A(config-if)# switchport trunk allowed vsan 7!
n5k-A(config-if)# bind interface ethernet 1/28!
n5k-A(config-if)# no shutdown !
n5k-B(config)# interface vfc8!
n5k-B(config-if)# switchport mode F!
n5k-B(config-if)# switchport trunk allowed vsan 8!
n5k-B(config-if)# bind interface port-channel 8!
n5k-B(config-if)# no shutdown!
n5k-A# show fcoe database!
n5k-A# show interface fcoe!
n5k-A# show fcs database vsan 7!
n5k-A# show fcns database [detail] vsan 7!
n5k-A# show fcns database npv [detail]!
FC Fabric Interface
FC-2V VF_Port
FCoE
Entity
FFCCooEE__LLEEPP FCoE_LEP
F_Port
FC Switching Element
Ethernet_Port
FCoE
Controller
Lossless Ethernet MAC
FI-B
VSAN 8
VLAN 8
N5K-B
e1/27 e1/28
e1/27 e1/28
po8
vfc8

45. Настройка Zoning
8. Создать зоны в Fabric A
9. Создать зоны в Fabric B
vHBA из фабрики B нам
потребуется в следующем
сценарии
45
MDS или Nexus
n5k-A(config)# zone name ZONE-A vsan 7!
n5k-A(config-zone)# member device-alias STORAGE-PORT-0!
n5k-A(config-zone)# member device-alias UCS-SP-FC0!
n5k-A(config-zone)# member device-alias UCS-SP-FC1!
n5k-A(config-zone)# zoneset name FCoE-A vsan 7!
n5k-A(config-zoneset)# member ZONE-A!
n5k-A(config-zoneset)# zoneset activate name FCoE-A vsan 7!
n5k-B(config)# zone name ZONE-B vsan 8!
n5k-B(config-zone)# member device-alias STORAGE-PORT-1!
n5k-B(config-zone)# member device-alias UCS-SP-FC0!
n5k-B(config-zone)# member device-alias UCS-SP-FC1!
n5k-B(config-zone)# zoneset name FCoE-A vsan 8!
n5k-B(config-zoneset)# member ZONE-B!
n5k-B(config-zoneset)# zoneset activate name FCoE-B vsan 8!
FC Fabric Interface
FC-2V VF_Port
FCoE
Entity
FFCCooEE__LLEEPP FCoE_LEP
F_Port
FC Switching Element
Для простоты используем
basic Ethernet_zone, Port
поэтому commit
не требуется
FCoE
Controller
Lossless Ethernet MAC

46. Запускаем сервер
11/14/14 © 2014 Cisco and/or its affiliates. All rights reserved. 46

47. Топология (FC & FCoE). VE_Port
MDS-A
N5K-A
FI-A
11/14/14 © 2014 Cisco and/or its affiliates. All rights reserved.
MDS-B
N5K-B
FI-B

48. Сценарий #2 (VE_Port)
FC Storage
fc1/45
TE_Port
TE_Port
e1/5
e1/6
e1/5
e1/6
VSAN 7,8
VLAN 7,8
NPIV NPIV
F_ Port Trunk
FI-A FI-B
Server 1
11/14/14 © 2014 Cisco and/or its affiliates. All rights reserved. 48
B420-M3
vfc 1491
TN_Proxy
F_Port
N_Port
TF_Port
vfc 1492
8
fc0
VSAN 7
fc1/45
VSAN 8
VLAN 8
VSAN 7
VLAN 7
e1/27 e1/28
N5K-A
e1/27 e1/28
VSAN 7
VLAN 7
N5K-B
e1/27 e1/28
e1/27 e1/28
po8
F_ Port
Channel & Trunk
MDS-A MDS-B
fc1/29
fc1/29
fc1/1
h0 h1
fc1/1
SAN A
SAN B
VSAN 7 VSAN 8
NPV NPV
8
fc1
VSAN 7
8
8
8
8
7
7
po5

49. Перенастройка VSAN в UCS и Nexus 5000
VSAN & Сервисный профиль
1. Поменять местами номера VSAN в UCSM
2. Создать VSAN:
N5K-A N5K-B
VSAN 8
VSAN 7
VLAN 8
VLAN 7
3. Создать FCoE VLAN и привязать к нему VSAN
FI-A FI-B
49
VSAN fcoe-demo!
Fabric A: VSAN 8 / FCoE VLAN 8!
Fabric B: VSAN 7 / FCoE VLAN 7!
n5k-A(config)# vsan database!
n5k-A(config-vsan-db)# vsan 8!
!
n5k-B(config)# vsan database!
n5k-B(config-vsan-db)# vsan 7!
n5k-A(config)# vlan 8!
n5k-A(config-vlan)# fcoe vsan 8!
!
n5k-B(config)# vlan 7!
n5k-B(config-vlan)# fcoe vsan 7!
Server 1
B420-M3
vfc 1491
vfc 1492
8
fc0
VSAN 7
8
fc1
VSAN 7

50. Настройка Nexus 5000 1/2
4. Настроить интерфейсы N5K-A
5. Настроить интерфейсы N5K-B
50
Ethernet интерфейсы для FCoE (VE_Port)
n5k-A(config)# interface ethernet 1/27-28!
n5k-A(config-if-range)# switchport trunk allowed vlan add 8!
n5k-A(config-if-range)# interface ethernet 1/5-6!
n5k-A(config-if-range)# switchport mode trunk !
n5k-A(config-if-range)# switchport trunk allowed vlan 7-8!
n5k-A(config-if-range)# no shutdown!
n5k-A(config-if-range)# channel-group 5 mode!active!
n5k-B(config)# interface port-channel 8!
n5k-B(config-if)# switchport trunk allowed vlan add 7!
n5k-B(config-if)# interface ethernet 1/5-6!
n5k-B(config-if-range)# switchport mode trunk !
n5k-B(config-if-range)# switchport trunk allowed vlan 7-8!
n5k-B(config-if-range)# no shutdown !
n5k-B(config-if-range)# channel-group 5 mode active !
FC Fabric Interface
E_Port
FC Switching Element
FC-2V VE_Port
FCoE_LEP FCoE
Entity
Ethernet_Port
FCoE
Controller
Lossless Ethernet MAC
FI-A
TF_Port
VSAN 7
VLAN 7
e1/27 e1/28
N5K-A
e1/27 e1/28
VLAN 7
FI-B
VSAN 8
VLAN 8
N5K-B
e1/27 e1/28
e1/27 e1/28
po8
VLAN 7,8
VSAN 7
VLAN 7,8
VLAN 7,8
e1/5
e1/6
e1/5
e1/6
po5
VLAN 7,8

51. Настройка Nexus 5000 2/2
6. Создать FCoE интерфейсы и привязать к
Ethernet интерфейсам N5K-A
7. Создать FCoE интерфейсы и привязать к
Ethernet интерфейсам N5K-B
Тип порта E_Port (Expansion Port)
51
FCoE интерфейсы (VE_Port)
n5k-A(config)# interface vfc5!
n5k-A(config-if)# switchport mode E !
n5k-A(config-if)# switchport trunk allowed vsan 7-8!
n5k-A(config-if)# bind interface port-channel 5!
n5k-A(config-if)# no shutdown !
n5k-B(config)# interface vfc5!
n5k-B(config-if)# switchport mode E!
n5k-B(config-if)# switchport trunk allowed vsan 7-8!
n5k-B(config-if)# bind interface port-channel 5!
n5k-B(config-if)# no shutdown!
FC Fabric Interface
E_Port
FC Switching Element
FC-2V VE_Port
FCoE_LEP FCoE
Entity
Ethernet_Port
FCoE
Controller
Lossless Ethernet MAC
po5
N5K-A e1/5 N5K-B
vfc5 VSAN 7,8 vfc5
e1/6
e1/5
e1/6
VLAN 7,8

52. Настройка Nexus 5000 2/2
6. Создать FCoE интерфейсы и привязать к
Ethernet интерфейсам N5K-A
7. Создать FCoE интерфейсы и привязать к
Ethernet интерфейсам N5K-B
8. (optional) Проверить FCoE
Тип порта E_Port (Expansion Port)
52
FCoE интерфейсы (VE_Port)
n5k-A(config)# interface vfc5!
n5k-A(config-if)# switchport mode E !
n5k-A(config-if)# switchport trunk allowed vsan 7-8!
n5k-A(config-if)# bind interface port-channel 5!
n5k-A(config-if)# no shutdown !
n5k-B(config)# interface vfc5!
n5k-B(config-if)# switchport mode E!
n5k-B(config-if)# switchport trunk allowed vsan 7-8!
n5k-B(config-if)# bind interface port-channel 5!
n5k-B(config-if)# no shutdown!
n5k-A# show interface vfc5!
n5k-A# show fcdomain vsan 7!
n5k-A# show fcdomain vsan 8!
n5k-A# show fcoe database!
n5k-A# show interface fcoe!
n5k-A# show fcs database vsan 7-8!
n5k-A# show fcs ie vsan 7-8!
n5k-A# show fcns database [detail] vsan 7!
n5k-A(config)# interface vfc5!
n5k-A(config-if)# shutdown lan!
FC Fabric Interface
E_Port
FC Switching Element
FC-2V VE_Port
FCoE_LEP FCoE
Entity
Ethernet_Port
FCoE
Controller
Lossless Ethernet MAC
Можем отключить только LAN функционал на
интерфейсе, не затрагивая FCoE

53. Запускаем сервер
11/14/14 © 2014 Cisco and/or its affiliates. All rights reserved. 53

54. Заключение
• FCoE это Fibre Channel!
• С точки зрения сервисов Fibre Channel нет отличий
между Native FC и FCoE
• Настройка FCoE добавляет лишь несколько шагов
• Ролевой доступ (RBAC) позволяет разделить права и
зоны ответственности
11/14/14 © 2014 Cisco and/or its affiliates. All rights reserved. 54

55. Ждем ваших сообщений с хештегом
#CiscoConnectRu
Спасибо
Пожалуйста, используйте код для оценки доклада
4495
Ваше мнение очень важно для нас.
Эльдар Женсыкбаев
ezhensyk@cisco.com
CiscoRu Cisco CiscoRussia
11/14/14 © 2014 Cisco and/or its affiliates. All rights reserved.