Введение в технологии FC и FCoE для сетевых инженеров.

Сергей Лобов
Инженер службы технической поддержки
26 октября 2012

© 2011 Cisco and/or its affiliates. All rights reserved. 1

• Технический комитет T11
Занимается стандартизацией протоколов Fibre Channel
Входит в состав Международного комитета по стандартам в сфере ИТ
(International Committee for Information Technology Standards - INCITS)
Ссылка: www.t11.org/index.html

• Основные стандарты
FC-BB-6 - Fibre Channel Backbone
FC-FS-4 - Fibre Channel Framing and Signaling
FC-LS-3 - Fibre Channel Link Services
FC-PI-6 - Fibre Channel Physical Interfaces
FC-SP-2 - Fibre Channel Security Protocols
FC-SW-6 - Fibre Channel Switch Fabric
Ссылка: www.t11.org/t11/docreg.nsf/draftlr


VIA SCSI IPv4 IPv6 SBCCS
FC-4
FC-VI FCP-4 RFC4338 FC-SB-5 others

FC-3 Common Services FC-LS-3

FC-2 Signaling Protocol FC-FS-4

FC-1 Transmission Protocol

Transmitters and Receivers
FC-0 FC-PI-6
Media


• FC-4 Отображения протоколов
Предоставляет возможность инкапсуляции протоколов верхнего уровня
(Upper Level Protocols - ULP).

• FC-3 Общих служб
Определяет базовые и расширенные службы для транспортного уровня.

• FC-2 Кадрирование и сигнализация
На этом уровне происходит разбиение данных на кадры. Определяет
правила передачи данных. Описывает управление потоком.

• FC-1 Кодирования
Описывает процесс кодирования, контроль ошибок, определяет
специальные символы.

• FC-0 Физический
Описывает среду передачи, передатчики и приемники сигнала.


• Point-to-point (точка-точка)
Порты устройства соединены напрямую
Передатчик одного устройства соединён с приемником второго и
наоборот
Для построения не требуется коммутатор

TX RX
RX TX


• Arbitrated Loop (управляемая петля)
Передатчик каждого устройства соединён с приемником следующего
Добавление устройства в петлю приводит к приостановке передачи
данных между уже подключенными устройствами
Выход из строя одного устройства может привести к отказу всей петли

RX TX
TX RX

RX TX
TX RX


• Fabric (коммутируемая связная архитектура)
Позволяет объединять большое количество устройств
Добавление устройств не влияет на передачу данных между уже
подключенными устройствами
Для построения требуется коммутатор

Fabric


• N_Port (Node port)
Порт устройства с поддержкой топологии Point-to-point (точка-точка) или
топологии Fabric (коммутируемая связная архитектура)

• NL_Port (Node Loop port)
Порт устройства с поддержкой топологии Arbitrated Loop (управляемая
петля)

• F_Port (Fabric port)
Порт коммутатора который используется для подключения портов типа
N_Port

• FL_Port (Fabric Loop port)
Порт коммутатора который используется для подключения портов типа
NL_Port


• E_Port
Порт коммутатора который используется для соединения коммутаторов

• B_Port
Порт устройства выполняющего функцию преобразования трафика (Fibre
Channel Bridge)

• G_Port (Generic port)
Порт коммутатора который может автоматически определять тип порта
E_Port или F_Port

• GL_Port (Generic Loop port)
Порт коммутатора который может автоматически определять тип порта
E_Port, F_Port и FL_Port


• TE port (Trunking E port)
Это расширенный E_Port который поддерживает возможность передачи
кадров Fibre Channel с дополнительным тегом содержащим информацию
о VSAN (Virtual SAN)

• NP port (proxy N port)
Порт устройства работающего в режиме NPV. Используется для
подключения к портам коммутаторов типа F_Port.

• TF port (Trunking F port)
Это расширенный F_Port который c возможностью передачи информации
о VSAN . Используется для подключения устройств работающих в режиме
NPV.

• TNP port (Trunking NP port)
Это расширенный NP_Port c возможностью передачи информации о
VSAN


F_Port TE_Port TE_Port E_Port E_Port

FL_Port F_Port

F_Port
NL_Port N_Port
NP_Port
N_Port


• Позволяет передавать через порт трафик нескольких VSAN
кадры Fibre Channel дополняются тегом содержащим информацию о
VSAN (Virtual SAN)
поддерживается на портах типа E_Port и F_Port

• Cisco Port Trunking Protocol (PTP)
Используется при создании соединения между коммутаторами для
согласования списка разрешенных VSAN и обнаружения ошибок в
конфигурации портов

VSAN 11 VSAN 11

11
VSAN 21 VSAN 21
21


• Увеличение пропускной способности
Объединение нескольких физических соединений в один логический
канал с большей пропускной способностью

• Возможно объединение следующих типов портов
E_Port и E_Port
F_Port и NP_Port
TE_Port и TE_Port
TF_Port и TNP_Port

TE_Port TE_Port


• Повышение отказоустойчивости
Отказ одного из физических соединений не приводит к отказу логического
канала
Рекомендуется использовать порты расположенные на разных модулях

• Аппаратная балансировка
Поддерживаются два режима балансировки - Flow based (src-id/dst-id) и
Exchange based (src-id/dst-id/oxid). Режим балансировки определяется на
уровне VSAN.

MDS-9513# show vsan 10
vsan 10 information
name:VSAN10 state:active
interoperability mode:default
loadbalancing:src-id/dst-id/oxid
operational state:up


• Уровень FC-2 определяет правила передачи данных
На этом уровне определены кадр (Frame), пакет (Sequence) и обмен
(Exchange)
Пакет (sequence) состоит из одного или нескольких кадров
Кадры бывают двух типов:
передачи данных (Data frames)
управления (Link Control frames)
Набор пакетов которыми обмениваются узлы называется обменом

Exchange OX_ID RX_ID

sequence sequence sequence SEQ_ID

frame frame frame SEQ_CNT


• World Wide Name (WWN) - уникальный идентификатор
Встраиваются в устройство на этапе изготовления

• Оригинальный формат World Wide Name (WWN)
Первые 2 байта шестнадцатеричные 10:00 или 2x:xx
где значение x:xx - определяется производителем
Следующие 3 байта - идентификатор производителя
Следующие 3 байта - определяются производителем

• WWN адаптеров узлов регистрируются во время FLOGI

4 бита 12 бит 24 бита 24 бита

2 Port Identifier IEEE Organizational Unique ID (OUI) Locally Assigned Identifier


• Switch WWN - уникальный идентификатор коммутатора

MDS-9513# show wwn switch
Switch WWN is 20:00:00:0d:ec:24:f4:c0

• Port WWN - уникальный идентификатор порта

MDS-9513# show interface fc4/1
fc4/1 is up
Hardware is Fibre Channel, SFP is 10GBASE-LR
Port WWN is 20:c1:00:0d:ec:24:f4:c0
<…>


• FC ID - 24 битный идентификатор узла который состоит из
идентификатора домена (Domain_ID)
идентификатора области (Area_ID)
идентификатора порта (Port_ID)
8 бит 8 бит 8 бит

Domain Area Port

• FC ID назначается коммутатором во время FLOGI
MDS_9513# show flogi database interface fc 3/38
----------------------------------------------------------------------------------------------------------------------
INTERFACE VSAN FCID PORT NAME NODE NAME
----------------------------------------------------------------------------------------------------------------------
fc3/38 100 0x010423 21:00:00:04:cf:db:3e:a7 20:00:00:04:cf:db:3e:a7


• На основании Domain_ID производится доставка кадров
Domain_ID 0x01 (1) Domain_ID 0x8d (141)
VSAN 11 VSAN 11

FC ID 0x010423 Domain_ID 0x6f (111) Domain_ID 0x47 (71) FC ID 0x8d0100
VSAN 11 VSAN 11 VSAN 11 VSAN 11


• FSPF - протокол маршрутизации в сетях Fibre Channel.
Стандартизирован техническим комитетом T11 (FC-SW6 раздел 8 )

• FSPF протокол обладает следующими свойствами
- доставка кадров осуществляется по нескольким маршрутам с
одинаковой стоимостью (multipath routing)
- маршрутизация производиться на основании Domain_ID
- основан на технологии отслеживания состояния канала (link-state)
- обеспечивает построение топологии без петель
- в каждом VSAN исполняется свой независимый протокол FSPF
- исполняется только на портах типа E_Port и TE_Port
- быстрое время схождения в случае изменения топологии
- использует стоимость (cost) в качестве метрики при выборе маршрута


• Узел определяет наличие или отсутствие коммутатора

• Происходит обмен параметров между узлом и коммутатором
количество B2B_Credit
поддерживаемые классы обслуживания (classes of service)
размер кадра
значения таймаут (E_D_TOV и R_A_TOV)

• Коммутатор назначает Fibre Channel ID (FCID)

N_Port F_Port F_Port N_Port

FLOGI FLOGI
0xFFFFFE 0xFFFFFE


• Выполняется между узлами, которые хотят установить
соединение
• Процесс похож на FLOGI

• В топологии точка-точка (point-to-point) во время процесса
PLOGI определяется количество буферов BB_Credit

N_Port F_Port F_Port N_Port

PLOGI


• NPV позволяет уменьшить количество идентификаторов
домена (Domain_ID)
Коммутатор работающий в режиме NPV выполняет FLOGI
FLOGI серверов конвертируются коммутатором NPV в FDISC (Discover
F_Port Service Parameters)
FC ID назначаются серверам вышестоящим (upstream) коммутатором

N_Port F_Port NP_Port F_Port F_Port

Сервер приложений
N_Port
FLOGI
NPV NPIV

FLOGI FDISC


• NPIV позволяет назначать несколько FC ID устройствам
подключенным к одному порту N_Port
Первый FC ID назначается в ответ на FLOGI запрос отправленный N_Port
Последующие FC ID назначается в ответ на запросы FDISC (Discover
F_Port Service Parameters)
NPIV позволяет использование одного порта Fibre Channel несколькими
приложениями
Повышается уровень безопасности за счет разграничения доступа (Zone)

Web сервер N_Port 1 N_Port F_Port

Mail сервер N_Port 2

DB сервер N_Port 3 FLOGI NPIV
FDISC


• Зонирование позволяет контролировать доступ к устройствам
хранения данных
• Контроль обеспечивается путем проверки полей FC ID в
заголовке кадра
• Только пользователи входящие в зону
могут общаться друг с другом
zone name BLD_SRV-01-STR-01 vsan 10
pwwn 20:12:00:0d:ec:9e:e5:40 FC Fabric
pwwn 21:01:00:e0:8b:bb:91:97
FC Zone
• Зоны входят в состав наборов зон (zoneset) FC

zoneset name UCS vsan 10
member BLD_SRV-01-STR-01
member BLD_SRV-02-STR-01

Initiator Target


• BB_Credit (buffer-to-buffer credit) - механизм управления
потоком передачи данных
Служит для предотвращения потери кадров
Значение BB_Credit определяется в момент инициализации порта
Передача кадра разрешена только при наличии BB_Credit у порта
После передачи кадра значение BB_Credit уменьшается на единицу
После получения подтверждение передачи отправленного кадра (R_RDY)
значение BB_Credit увеличивается на единицу

кадр кадр кадр

R_RDY R_RDY R_RDY


FC
FC

SAN Extension
FICON VSAN
FC
Security
Zoning
iSCSI FICON
QoS

FCIP
FCoE
Сеть хранения данных (SAN)


• T11 - FCoE определен в стандарте FC-BB-5

• IEEE – разработка стандартов направленных на предотвращение
потерь (lossless Ethernet) в сетях Data Center Bridging (DCB)

T11 IEEE
FCoE

DCB

FC on
FC on Other
other
Network
network PFC ETS DCBX
Media
media

Lossless Priority Configuration
Ethernet Grouping Verification

FC-BB-5 802.1Qbb 802.1Qaz 802.1Qaz


• PFC расширяет функционал IEEE 802.3x PAUSE
Class of Service (CoS) позволяет определить до 8 приоритетов трафика
PFC позволяет управлять потоком в зависимости от приоритета

Transmit Queues Ethernet Link Receive Buffers

One One

Two Two

Three STOP
PAUSE Three

Four Four

Five Five

Six Six

Seven Seven

Eight Eight


• PFC расширяет функционал IEEE 802.3x PAUSE
Различия между кадрами IEEE 802.3x PAUSE и PFC


Позволяет создавать классы для трафика с различным приоритетом
Обеспечивает гарантированную полосу при передаче трафика
Классам разрешается использование доступной пропускной способности
канала других классов

Offered Traffic 10 GE Link Realized Traffic Utilization Guaranteed
Bandwidth
3G/s HPC Traffic 2G/s
3G/s 3G/s 2G/s
3G/s
30%

3G/s Storage Traffic 3G/s
3G/s 3G/s 3G/s 3G/s
30%

3G/s 4G/s 6G/s 3G/s LAN Traffic 5G/s 40%
4G/s

t1 t2 t3 t1 t2 t3


• Протокол DCBX используется для согласования
конфигурационных параметров
Использует Link-Layer Discovery протокол (LLDP)
Возможно согласование следующих параметров:
- FCoE CoS (значение 802.1p используемое для кадров FCoE)
- QoS (per-priority-pause, scheduling, MTU)
- состояние логического соединения
Протокол точка-точка


• С точки зрения Fibre Channel:
Передача FC использует новый тип среды - Ethernet

• С точки зрения Ethernet:
Новый протокол верхнего уровня ULP (Upper Layer Protocol)

FC-4 Отображения протоколов Отображения протоколов FC-4
FC-3 Общих служб Общих служб FC-3
FC-2 Кадрирование и сигнализация Кадрирование и сигнализация FC-2
FC-1 Кодирования FCoE Logical End Point

FC-0 Физический Доступ к среде (MAC)

Физический уровень (PHY)


FCoE использует два различных протокола

• Fibre Channel over Ethernet
Протокол передачи данных (data plane protocol)
Используется для передачи кадров Fibre Channel и трафика SCSI
Ether Type 0x8906 в заголовке Ethernet кадра

• FCoE Initialization Protocol (FIP)
Протокол управления (control plane protocol)
Используется для обнаружения узлов FC в сети
Установления (login) и разрыва (logout) соединений
Ether Type 0x8914 в заголовке Ethernet кадра


Header
Ethernet

Header
FC Payload 2112 байт
Header

CRC
FCoE

EOF
FC

FCS
Максимальный размер кадра 2180 байт

Определен в стандарте FC-BB-5

FCoE требуется поддержка
передачи кадров большого размера
(“baby jumbo”- 2500 байт)


• Типы портов
VN_Port - виртуальный N_Port
SAN 1
VF_Port - виртуальный F_Port SAN 2
VE_Port - виртуальный E_Port
F_Port N_Port
FCF

VE_Port

E_Port
VE_Port
E_Port

FCF
FCF VF_Port

VN_Port
FC
Enode Enode
FCoE


• FCoE Link End-Point (FCoE_LEP)
Отвечает за инкапсуляцию и декапсуляцию кадров Fibre Channel
Производит прием и передачу инкапсулированных кадров через
виртуальный канал

• FCoE Controller
Элемент в котором реализованы функции протокола FCoE Initialization
Protocol (FIP)

• FIP Snooping Bridge
Коммутатор способный просматривать содержимое FIP пакетов в момент
обнаружения узлов и установления соединения


• Функциональная модель узла (Enode)


• Функциональная модель FCoE Forwarder (FCF)


• Представляет собой логический коммутатор FC внутри
коммутатора FCoE
Требует идентификатор домена (Domain_ID)
FLOGI происходит в FCF
Содержит FCF-MAC адрес

• Выполняет инкапсуляция и декапсуляцию кадров FCoE

• Коммутатор работающий в режиме NPV не может выполнять
функцию FCF в виду отсутствия идентификатор домена
(Domain_ID)


FC
port

FC
Коммутатор FC port

FCG FC
port

FC
Lossless Ethernet Bridge port

Eth Eth Eth Eth Eth Eth Eth Eth
port port port port port port port port
FCG (Fibre Channel Gateway)

• FCoE виртуальное соединение (Virtual Link)


• FIP протокол используется для
обнаружение FCoE VLAN (FIP VLAN discovery)
поиска FCoE FCF (FIP FCF discovery)
создание виртуального канала FCoE (FCoE Virtual Link instantiation)
поддержание работоспособности виртуального канала (FCoE Virtual Link
maintenance)

• FIP протокол работает на уровне VLAN-ов.

• Рекомендуется использовать VLAN по умолчанию во время
процесса FIP VLAN Discovery.


Enode FCoE forwarder (FCF)

VLAN Discovery

FCF Discovery FIP

FLOGI/FDISC

FC commands FCoE


• CNA может обнаружить несколько FCF одновременно

• FCF с меньшим приоритетом предпочтителен

• Значение приоритета по умолчанию 128

FCF# show fcoe
Global FCF details
FCF-MAC is 00:0d:ec:a3:9d:80
FC-MAP is 0e:fc:00
FCF Priority is 128
FKA Advertisement period for FCF is 8 seconds

• Если значение приоритета совпадает - CNA выбирает FCF
случайным образом


• При доставке кадров FCoE
MAC изменяется с каждым переходом (hop-by-hop)
FC ID остается неизменным (end-to-end)

MAC A MAC B MAC C
FC Domain 7 FC Domain 3 FC Domain 1 FCID 1.1.1
FCID 7.1.1
Ethernet Fabric Ethernet Fabric
FC Fabric FC Fabric

FC Storage

Dst. = MAC B Dst. = MAC C
D_ID = FC ID 1.1.1 D_ID = FC ID 1.1.1 Src. = MAC A Src. = MAC B
S_ID = FC ID 7.1.1 S_ID = FC ID 7.1.1
D_ID = FC ID 1.1.1 D_ID = FC ID 1.1.1
S_ID = FC ID 7.1.1 S_ID = FC ID 7.1.1
FC кадр FC кадр
FCoE кадр FCoE кадр


• Портам VE_Port и VF_Port MAC адреса назначаются из пула
адресов коммутатора
• MAC адреса портам VN_Port могут быть назначены сервером
или коммутатором:
SPMA - Server Provided MAC Address
FPMA - Fabric Provided MAC Address

• В настоящее время Cisco использует только FPMA механизм
назначения MAC адресов портам VN_Port
• FIP протокол используется для определения MAC адреса
портов VN_Port


• MAC адрес выделяется для каждого FC ID

• MAC адреса состоит из двух частей - FC-MAP и FC ID
FC-MAP - старшие 24 бита MAC адреса
FC ID - младшие 24 бита MAC адреса

• Доставка кадров FCoE осуществляется по нескольким
маршрутам на основании Domain_ID в FC ID

FC-MAP FC-ID
0E-FC-00 02.00.04

FC-MAP FC-ID
FC-MAC адрес (0E-FC-xx) 02.00.04


• Priority Flow Control (PFC)

http://www.cisco.com/en/US/prod/collateral/switches/ps9441/ps9670/white_paper_
c11-542809.pdf

• Enhanced Transmission Selection (ETS)

http://www.ieee802.org/1/pages/802.1az.html

• Data Center Bridging Exchange (DCBX)

http://www.ieee802.org/1/files/public/docs2008/az-wadekar-dcbcxp-overview-
rev0.2.pdf

• Data Center Bridging (DCB)

http://www.cisco.com/en/US/solutions/collateral/ns340/ns517/ns224/ns783/at_a_gl
ance_c45-460907.pdf


Введение в технологии FC и FCoE для сетевых инженеров.

More Related Content

What's hot

Viewers also liked

Similar to Введение в технологии FC и FCoE для сетевых инженеров.

More from Cisco Russia

Введение в технологии FC и FCoE для сетевых инженеров.