Документ описывает диагностику и настройку конвергентных подключений, включая стандарт FCoE и поддержку конвергентного транспорта на оборудовании Cisco. Он также охватывает ключевые аспекты сетевого дизайна, включая управление QOS и важные настройки для виртуальных и физических интерфейсов. Основное внимание уделяется интеграции технологий Ethernet и Fibre Channel для повышения производительности и надежности сетевых решений.

1. Cisco Confidential© 2013 Cisco and/or its affiliates. All rights reserved. 1
Диагностика проблем
настройки конвергентных
подключений
Игорь Гиркин
системный инженер-консультант
25 апреля 2013 года

2. © 2013 Cisco and/or its affiliates. All rights reserved. Cisco Confidential 2
• Стандарт FCoE
• Поддержка конвергентного транспорта в оборудовании Cisco
• Сетевые дизайны с использованием конвергентного
транспорта
• Настройка FCoE
• Диагностика проблем настройки

3. Cisco Confidential 3© 2013 Cisco and/or its affiliates. All rights reserved.

4. © 2013 Cisco and/or its affiliates. All rights reserved. Cisco Confidential 4
• Метод передачи фреймов FC по Ethernet
Выглядит как FC для серверов и сети
Сохраняет текущую инфраструктуру
и управление FC
Фрейм FC остается неизменным
• Стандарт утвержден 3 июня 2009 года (ANSI T11 FC-BB-5)
• Семейство стандартов IEEE DCB для «улучшенного» Ethernet
Priority Flow Control: отсутствие потерь (аналог BB_Credits в FC)
Enhanced Transmission Selection: выделение полосы
DCB Exchange: согласование настроек и логическое состояние
Fibre
Channel
Ethernet
Cisco первой представила основанный на стандартах
коммутатор FCoE Cisco Nexus 5000

5. © 2013 Cisco and/or its affiliates. All rights reserved. Cisco Confidential 5
• Канал 10GE с поддержкой DCB
• Виртуальные каналы FC поверх сети с DCB
• Инкапсуляция фрейма FC в Jumbo-фрейм ethernet без изменений
• Гарантированная доставка фреймов FCoE
• Соответствие между FC pWWN и Ethernet MAC
• QoS
• FCoE Initialization Protocol (FIP)
10 Gigabit DCB
Ethernet Link
FCoE
IP
IP
Стандартный фрейм Fibre Channel - 2148 байт
Ethernet
(14)
FC (24) CRC (4)SCSI PayloadFCoE (20) CRC (4) EOF

6. © 2013 Cisco and/or its affiliates. All rights reserved. Cisco Confidential 6
• IEEE 802.1Qbb Priority Flow Control (PFC):
Механизм управления потоками данных, использующий PAUSE-фреймы и
биты приоритета CoS для селективного управления передачей трафика
определенного класса
• IEEE 802.1Qaz Enhanced Transmission Selection (ETS):
Управление полосой пропускания для виртуальных каналов на основе
битов приоритета CoS
• IEEE 802.1Qaz Data Center Bridging Exchange (DCBX):
Обмен информацией между DCB-устройствами
• IEEE 802.1AB Link Layer Discovery Protocol (LLDP):
Используется для работы DCBX
• IEEE 802.1Qau Quantized Congestion Notification (QCN):
Сквозное управление перегрузками в сети (опция)

7. © 2013 Cisco and/or its affiliates. All rights reserved. Cisco Confidential 7
• Новые сущности
ENode – FC Node
FCoE Forwarder (FCF) – FC switch
• Виртуальные каналы
Порты VN, VF, VE
• Знакомые механизмы
Zoning, FSPF
• Выделенные каналы для ISL
Нет зависимости от STP, L2, L3
• Дизайны сети
Разделение фабрик SAN A / SAN B
• Схожая масштабируемость
FC
E
E
FCoE
VE
VE
F
N
VF
VN
N
F
VN
VF

8. © 2013 Cisco and/or its affiliates. All rights reserved. Cisco Confidential 9
VLAN
Discovery
FLOGI/FDISC FLOGI/FDISC
Accept
FC command
FC command
responses
FIP
FCOE
VLAN Discovery
FCF Discovery FCF Discovery
CNA
10 Gigabit DCB
Ethernet Link
FIP
VN_Port VF_Port

9. © 2013 Cisco and/or its affiliates. All rights reserved. Cisco Confidential 10
• MAC-адрес
• CNA не использует «вшитый» MAC для передачи фреймов FC
Адрес для передачи FCoE должен быть увязан с адресом pWWN
Fabric Provided MAC Address – FPMA
Server Provided MAC Address – SPMA
• В коммутаторах Cisco реализован метод FPMA
Консистентность с традиционной моделью FC: адреса раздает фабрика
• По умолчанию FC-MAP = 0e:fc:00
N5548-3(config)# fcoe fcmap ?
<0xefc00-0xefcff> Enter FCMAP
24 bit OUI 24 bit device ID
3 byte FC-MAP
(from FIP solicitation)
3 byte FC-ID
(from FIP FLOGI)
48 bit FCoE MAC Address

10. Cisco Confidential 11© 2013 Cisco and/or its affiliates. All rights reserved.

11. © 2013 Cisco and/or its affiliates. All rights reserved. Cisco Confidential 12
NX-OS 4.1 NX-OS 4.2
1KCisco Nexus 1000V
2008
x86
Nexus 2000
Fabric
Extender
Nexus 4000
Nexus 5500
Nexus 7000
Nexus 1000V
Virtual Switch
Nexus 3000
Nexus 6000
• На рынке с 2008 года
• Единая операционная система NX-OS для всего семейства Nexus и MDS:
модульность и высокая доступность
• Безусловный лидер рынка коммутации в ЦОД
• Более 11 000 000 10GE портов семейства Nexus
• Более 40 000 заказчиков используют NX-OS
• 30% портов на Nexus 5000 поставляются с лицензиями FCoE

12. © 2013 Cisco and/or its affiliates. All rights reserved. Cisco Confidential 13
Nexus 4000
Nexus 2232
FCoE
Nexus 5548
Nexus 5596
MDS 9500
Nexus 7000
F1 32-port
F2 48-port
FCoE 8-port
Директорный класс
Фиксированная
конфигурация
Nexus 6004
Nexus B22
Nexus 6001

13. © 2013 Cisco and/or its affiliates. All rights reserved. Cisco Confidential 14
• Однократная кроссировка
• Настройка логический подключений
• Необходимое количество нужных типов адаптера
20G на шасси 40G на шасси 80G на шасси 160G на шасси

14. © 2013 Cisco and/or its affiliates. All rights reserved. Cisco Confidential 15
• Сервер с конвергентным адаптером, например:
Cisco UCS B-series – VIC 1240/1280, Emulex, Qlogic
Cisco UCS C-series – VIC 1225 (SFP+/UTP), Emulex, Qlogic, Broadcom
• Коммутатор и лицензия FCoE
Nexus 5500 – 8 портов или все порты
Nexus 6004 – 16x10G или 4x40G, 48x10G или 12x40G портов
Nexus 7000 – интерфейсный модуль F1/F2/F2E, лицензия на каждый
модуль
MDS 9500 – интерфейсный модуль 8xFCoE
Nexus 2232/B22 – лицензируются только магистральные порты

15. Cisco Confidential 16© 2013 Cisco and/or its affiliates. All rights reserved.

16. © 2013 Cisco and/or its affiliates. All rights reserved. Cisco Confidential 17
Выделенные LAN и SAN
• Полное разделение сетей
Отдельные домены эксплуатации
Неэффективное масштабирование
• Ethernet – основная технология
передачи данных
Допускает потери
• Fibre Channel – стандарт для
корпоративных SAN
Отсутствие потерь
Высокая доступность благодаря изоляции
фабрик
• Увеличение числа интерфейсов
сервера
Минимум 2xHBAs + 2xNICs
Native
Ethernet
LAN
FibreChannel
SAN
L3
AGGREGATION
CORE
L3
L2
FC
Ethernet
A B
iSCSI FC FC

17. © 2013 Cisco and/or its affiliates. All rights reserved. Cisco Confidential 18
Ethernet and Storage traffic
EVERYWHERE
Нежелательная крайность
• Единая сеть ЦОД
• Все соединения несут все виды
трафика
Протоколы передачи и хранения данных
• Максимальное сокращение числа
устройств и соединений
• Уход от фабрик A/B
Единая фабрика с резервированием
сервисов
L2
L3
Core
Aggregation
Access
Virtual Port-
Channel (VPC)

18. © 2013 Cisco and/or its affiliates. All rights reserved. Cisco Confidential 19
Консолидация технологий
• LAN и SAN используют те же элементы: коммутаторы, кабели, адаптеры,
трансиверы...
• Полная изоляция построения и эксплуатации
• Использование эволюции Ethernet (10G40G100G)
L2
L3
Core
Aggregation
Access
Core
Edge
Fabric ‘A’ Fabric ‘B’
Ether-channel Multi-pathing
Virtual Port-
Channel (VPC)
CNA
CNA
Fibre Channel over Ethernet
SAN
Native Ethernet LAN
FCoE

19. © 2013 Cisco and/or its affiliates. All rights reserved. Cisco Confidential 20
• Единая СКС и топология доступа
• Подключение к существующим SAN
К FC сети или к FCoE по VE портам
• Плавная миграция к конвергентной
сети
• Сохранение изоляции SAN фабрик
• Обеспечение совместимости с
использованием NPV режима
Shared
Access
AGG
CORE
L3
L2
FC
FCoE
Ethernet
DCB
Nexus5000
FCoE FC
iSCSI

20. © 2013 Cisco and/or its affiliates. All rights reserved. Cisco Confidential 21
• Транспорт сети хранения через
высокопроизводительный конвергентный
коммутатор высокой доступности
• Аналог традиционных SAN
топологий «Edge-Core-Edge»
• Повышение производительности
на уровне агрегирования
Построение крупных FCoE сетей с сохранением
доступа к СХД с подключением по Fibre Channel
• Сохранение изоляции для трафика
хранения
Выделенные FCoE соединения
Выделенные Storage VDC на Nexus 7000
Shared
Access
AGG
CORE
L3
L2
FC
FCoE
Ethernet
DCB
FCoE FC
iSCSI

21. © 2013 Cisco and/or its affiliates. All rights reserved. Cisco Confidential 22
Storage
VDC
LAN
VDC
FCoE &
FIP
Ethernet
Процессы, связанные с FC
Только один VDC на N7k
Модель для ISL
*FCoE на F2 требует SUP2
SANLAN
LAN
VDC
Storage
VDC
Nexus7000
Nexus7000
LAN
VDC
Storage
VDC
Выделенный
Storage VDC,
выделенный
интерфейс
Модель для подключений CNA
Входящий трафик рапределяется по
VDC на основе EtherType
Трафик СХД обрабатывается в Storage
VDC
LAN
VDC
Storage
VDC
Converged I/O
FCoE &
FIP
Ethernet
Выделенный
Storage VDC,
разделяемый
интерфейс

22. © 2013 Cisco and/or its affiliates. All rights reserved. Cisco Confidential 23
• Nexus 5500+2232 в
режиме EVPC
• Nexus 5500+2232 в
режиме straigh-through
• Nexus 5500
Enhanced vPC vPC vPC
FCoE + Ethernet traffic FCoE + Ethernet traffic Ethernet only traffic

23. © 2013 Cisco and/or its affiliates. All rights reserved. Cisco Confidential 24
• Администратор указывает какой из FEX-ов, подключенных к конкретному N5k, будет
обрабатывать FCoE
• Используется только для режима подключения Active-Active
Enhanced vPC
N5548-3(config)# fex 101
N5548-3(config-fex)# fcoe
N5548-4(config)# fex 102
N5548-4(config-fex)# fcoe
SAN-A SAN-B

24. Cisco Confidential 25© 2013 Cisco and/or its affiliates. All rights reserved.

25. © 2013 Cisco and/or its affiliates. All rights reserved. Cisco Confidential 26
• Убедиться в наличии лицензии на FCoE
• Включить функциональность FCoE
N5548-4# sh license usage
Feature Ins Lic Status Expiry Date Comments
Count
--------------------------------------------------------------------------------
FC_FEATURES_PKG Yes - In use Never -
N5548-4(config)# feature fcoe
N5548-4(config)# show feature
Feature Name Instance State
-------------------- -------- --------
fcoe 1 enabled

26. © 2013 Cisco and/or its affiliates. All rights reserved. Cisco Confidential 27
• Включить политику QoS с поддержкой FCoE
• Создать необходимый FCoE VSAN
• Создать FCoE VLAN и связать его с FCoE VSAN
system qos
service-policy type queuing input fcoe-default-in-policy
service-policy type queuing output fcoe-default-out-policy
service-policy type network-qos fcoe-default-nq-policy
service-policy type qos input fcoe-default-in-policy
N5548-4(config)# vsan database
N5548-4(config-vsan-db)# vsan 78
N5548-4(config)# vlan 78
N5548-4(config-vlan)# fcoe vsan 78

27. © 2013 Cisco and/or its affiliates. All rights reserved. Cisco Confidential 28
• Настроить физический интерфейс ethernet
• Настроить виртуальный интерфейс VFC
• Дальнейшая настройка не отличается от настройки FC
vsan 78 interface vfc130
device-alias database
zone
zoneset
interface Ethernet1/30
switchport mode trunk
spanning-tree port type edge trunk
interface vfc130
bind interface Ethernet1/30
switchport trunk allowed vsan 78
no shutdown

28. Cisco Confidential 29© 2013 Cisco and/or its affiliates. All rights reserved.

29. © 2013 Cisco and/or its affiliates. All rights reserved. Cisco Confidential 30
• Необходимо использовать уникальный VLAN для каждого VSAN
• Для разделения фабрик SAN A/B нужно использовать разные
номера VLAN
• Порты FCoE должны быть транковыми с включенным режимом STP
Edge Port
• Рекомендуется фильтровать номера VSAN, неиспользуемых на
интерфейсе vfc
• FCoE VLAN не должен быть Native VLAN
• Рекомендуется исключать FCoE VLAN из традиционных ethernet-
транков
• Для FCoE VLAN необходимо использовать выделенный MSTP
Instance, если используется протокол MSTP

30. © 2013 Cisco and/or its affiliates. All rights reserved. Cisco Confidential 31
• feature lldp
• feature fcoe
Опционально:
• feature lacp

31. © 2013 Cisco and/or its affiliates. All rights reserved. Cisco Confidential 32
N5548-4# sh fcoe database
-------------------------------------------------------------------------------
INTERFACE FCID PORT NAME MAC ADDRESS
-------------------------------------------------------------------------------
vfc130 0x8b0000 24:ea:00:0d:ec:e2:8f:bf 00:0d:ec:e2:8f:81
vfc130 0x8b0001 20:00:00:25:b5:0b:01:05 00:0d:ec:e2:8f:81
Total number of flogi count from FCoE devices = 2.
N5548-4# sh zoneset active vsan 78
zoneset name VSAN78 vsan 78
zone name UCS-FCOE vsan 78
* fcid 0x8b00ef [pwwn 50:06:01:6e:46:e0:0f:13] [NS120_PortB-6]
* fcid 0x8b0001 [pwwn 20:00:00:25:b5:0b:01:05] [UCS-B]

32. © 2013 Cisco and/or its affiliates. All rights reserved. Cisco Confidential 33
N5548-4# show vlan fcoe
Original VLAN ID Translated VSAN ID Association State
---------------- ------------------ -----------------
78 78 Operational
N5548-4# show vsan 78 membership
vsan 78 interfaces:
fc1/47 vfc130

33. © 2013 Cisco and/or its affiliates. All rights reserved. Cisco Confidential 34
N5548-4# sh int vfc130
vfc130 is trunking
Bound interface is Ethernet1/30
Hardware is Ethernet
Port WWN is 20:81:54:7f:ee:31:f4:3f
Admin port mode is F, trunk mode is on
snmp link state traps are enabled
Port mode is TF
Port vsan is 78
Trunk vsans (admin allowed and active) (78)
Trunk vsans (up) (78)
Trunk vsans (isolated) ()
Trunk vsans (initializing) ()
…

34. © 2013 Cisco and/or its affiliates. All rights reserved. Cisco Confidential 35
• Пропущена команда no shutdown
sh int vfc 114
vfc114 is down (Administratively down)
Bound interface is Ethernet1/14
• FCoE VLAN в режиме Native или требуется принудить сервер
залогиниться в фабрику
sh int vfc 110
vfc110 is trunking
Bound interface is Ethernet1/10
Hardware is Ethernet
Port WWN is 20:6d:00:05:73:e2:fd:3f
Admin port mode is E, trunk mode is on
snmp link state traps are enabled
Port mode is TE
Port vsan is 78
Trunk vsans (admin allowed and active) (78)
Trunk vsans (up) ()
Trunk vsans (isolated) ()
Trunk vsans (initializing) (78)

35. © 2013 Cisco and/or its affiliates. All rights reserved. Cisco Confidential 36
• Используйте политику QoS с классом class-fcoe
show run ipqos
…
system qos
service-policy type queuing input fcoe-default-in-policy
service-policy type queuing output fcoe-default-out-policy
service-policy type qos input fcoe-default-in-policy
service-policy type network-qos fcoe-default-nq-policy
sh policy-map system
Type network-qos policy-maps
===============================
policy-map type network-qos fcoe-default-nq-policy
class type network-qos class-fcoe
match qos-group 1
pause no-drop
mtu 2158
class type network-qos class-default
match qos-group 0
mtu 1500
multicast-optimize
Service-policy (qos) input: fcoe-default-in-policy
policy statistics status: disabled

36. © 2013 Cisco and/or its affiliates. All rights reserved. Cisco Confidential 37
• Priority flow control (PFC) включен по умолчанию в режиме auto
• CNA может не поддерживать DCBX
show interface ethernet 1/4 priority-flow-control
============================================================
Port Mode Oper(VL bmap) RxPPP TxPPP
============================================================
Ethernet1/4 Auto On (8) 0 0
show running-config interface ethernet 1/4 all | include flow
priority-flow-control mode auto
flowcontrol receive off
flowcontrol send off
N5K-1(config)# interface ethernet 1/4
N5K-1(config-if)# priority-flow-control mode on
N5K-1(config-if)# end
N5K-1#

37. © 2013 Cisco and/or its affiliates. All rights reserved. Cisco Confidential 38
• EMC FCoE book
http://www.emc.com/collateral/hardware/technical-documentation/h6290-fibre-
channel-over-ethernet-techbook.pdf
• NetApp FCoE SAN Solutions
http://www.netapp.com/us/products/protocols/fcoe/
• IBM Redbook
http://www.redbooks.ibm.com/Redbooks.nsf/RedbookAbstracts/sg247986.html
• Стандарт FC-BB-5
http://www.fcoe.com/09-056v5.pdf
• Cisco FCoE site
http://www.cisco.com/go/fcoe