• Решения Cisco для Сетей Хранения Данных • Семейство Cisco MDS 9000 • Дизайн SAN с использованием Cisco MDS 9000 • Семейство Cisco Nexus • Дизайн Конвергентных SAN • Dynamic FCoE • FCoE и DCI

1. Развитие технологий и продуктов для
традиционных и конвергентных сетей
хранения
Эльдар Женсыкбаев
Системный инженер-консультант
CCIE #36340 Storage Networking
ezhensyk@cisco.com
11/18/14 © 2014 Cisco and/or its affiliates. All rights reserved.

2. Содержание
• Решения Cisco для Сетей Хранения Данных
• Семейство Cisco MDS 9000
• Дизайн SAN с использованием Cisco MDS 9000
• Семейство Cisco Nexus
• Дизайн Конвергентных SAN
• Dynamic FCoE
• FCoE и DCI
11/18/14 © 2014 Cisco and/or its affiliates. All rights reserved. 2

3. Факторы Влияющие на Сети Хранения
Значительный Мега ЦОДы
Рост Данных
16X
Увеличение
Информации к 2020*
10X
Увеличение Количества
Серверов к 2020*
SSD
4X
Увеличение SSD
к 2015**
Виртуализация /
Облака
Высокая Полоса Пропускания
Нулевое Время Простоя
25%
Рост в Крупнейших
ЦОД к 2016***
Поддержка Мультипротокольных СХД, Управляемость, Быстрое DR, Низкие Задержки
*: IDC: “The digital universe in 2020: Big Data, Bigger Digital Shadows, and Biggest Growth in the Far East”, Dec. 2012
**: Gartner: “Marketing Essentials: Three Growth Opportunities in Storage Up to 2015”, Aug. 2012
***: Gartner: “High-Tech Tuesday Webinar: The Shifting Face of the Data Center”, Feb. 2013

4. Решения Cisco для Сетей Хранения Данных
11/18/14 © 2014 Cisco and/or its affiliates. All rights reserved. 4

5. Инновации в Индустрии за Последнее Десятилетие
Cisco Unified Fabric. Сеть Хранения — Fibre Channel и за его пределами
FCoE
Множество Протоколов:
FC, FICON, iSCSI и FCIP
Inter-VSAN Routing
Диагностика и Поиск
Неисправностей
Встроенное
Расширение SAN
Комплексная
Virtual Безопасность
SAN
(VSAN)
для BC/DR
Ethernet
Network
Storage
Network
Производительность
и Плотность
Единое
Управление
SAN и LAN
Cisco®
Unified Fabric
Универсальные
Порты

6. Cisco
Nexus 6000
Cisco
Nexus 5000 Cisco
Nexus 7000
Архитектура Cisco для LAN и SAN
Самое Широкое Портфолио Коммутаторов
Cisco
Nexus 3000
Cisco
Nexus 1000V
Cisco® MDS
9500 Series
Cisco MDS
9100 Series
Cisco
Nexus 2000
Cisco
Nexus 9000
Cisco MDS 9700
Series
Cisco MDS 9200
Series
Проверенная Операционная Система NX-OS: 10+ Лет
от Гипервизора до Ядра
Cisco Prime Data Center Network Manager (DCNM)
Единая Точка Управления

7. ЛЮБОГО 3X ДРУГОГО ДИРЕКТОРА
ДИРЕКТОР СЕТЕЙ
ХРАНЕНИЯ ДАННЫХ
САМЫЙ
Cisco MDS 9700
НАДЕЖНЫЙ
НЕПРЕВЗОЙДЕННАЯ
ГИБКОСТЬ

8. СОХРАНЕНИЕ
ПРОЦЕССОВ IT
и ЗНАНИЙ
Легкость Миграции
с NX-OS и DCNM
ПРОИЗВОДИТЕЛЬНОСТЬ
ЛЮБОГО 3X ДРУГОГО ДИРЕКТОРА
РОСТ
БЕЗ ЗАМЕНЫ
Коммутация
1.5 Тбит/с на Слот
С СОХРАНЕНИЕМ
ПРОЦЕССОВ IT
МАСШТАБ
ДЛЯ ЛЮБОЙ SAN
До 384 Портов (Line Rate)
48x16G FC или
48x10G FCoE
Cisco MDS 9700

9. Надежность Cisco MDS 9000
Логи Консоли с MDS у Заказчиков из Fortune 100
8.07 5.10 5.26
Страховая Компания A
MDS 9500 Series Director
System Start Up Time:
System Uptime:
2945
Большой Банк
MDS 9500 Series Director
System Start Up Time:
System Uptime:
1861
Страховая Компания B
MDS 9100 Fabric Switch
System Start Up Time:
System Uptime:
1919
UPTIME В ГОДАХ*
*По состоянию на 2012 год

10. Директор MDS 9710 Reference
14 RU
MDS 9710 Стандартная
Конфигурация
Максимальная
Конфигурация
Линейные Карт 8
Супервизор 2
Модули Фабрики 3 6
Блоки Питания 6 8
Блоки Вентиляторов 3
Высота Шасси 24.35” (14 RU)
Ширина Шасси 17.3”
Глубина Шасси 34"
Line-Rate Портов 16G 384
Охлаждение Front-to-Back 17.3”

11. Директор MDS 9706 Reference
9 RU
MDS 9710 Стандартная
Конфигурация
Максимальная
Конфигурация
Линейные Карт 4
Супервизор 2
Модули Фабрики 3 6
Блоки Питания 4
Блоки Вентиляторов 3
Высота Шасси 15.6” (9 RU)
Ширина Шасси 17.3”
Глубина Шасси 32"
Line-Rate Портов 16G 192
Охлаждение Front-to-Back
17.3”

12. Линейная Карта 48 Портов 16G Fibre Channel
Линейная Карта 16G Fibre Channel
Производительность 48 портов 16 Гбит/с, 768 Гбит/с на модуль
Скорость Портов 2, 4, 8, 10 и 16 Гбит/с Fibre Channel
Трансиверы (SFP+) 2/4/8G FC, 4/8/16G FC, 10G FC, 10GE (FC с тактировкой
10GE)
Типы Портов F, FL, E, TE, SD, ST
Группы Портов 12 групп портов по 4 порта
Интеллектуальные
Функции VSAN, IVR, FC Redirect
Буферные Кредиты До 500 на порт
До 4095 с Лицензией Enterprise (510km @ 16G)

13. Линейная Карта 48 Портов 10G FCoE
Линейная Карта 16G Fibre Channel
Производительность 48 портов 10 Гбит/с, 480 Гбит/с на модуль
Скорость Портов 10 Гбит/с FCoE
Трансиверы (SFP+) 10GE
Типы Портов VF, VE
Интеллектуальные
Функции VSAN, IVR, FC Redirect

14. Скорость Интерфейсов
Реальные скорости отличаются от
“кажущихся” скоростей
Пропускная способность зависит от
тактирования (как быстро
интерфейс передает) и
эффективности передачи
(насколько эффективно
кодирование)
Протокол Тактирование
Гбит/с Кодировка Скорость
Гбит/с
Скорость
МБ/с
8G FC 8.500 8b/10b 6.8 850
10G FC 10.51875 64b/66b 10.2 1,275
10G FCoE 10.3125 64b/66b 10.0 1,250
16G FC 14.025 64b/66b 13.6 1,700
32G FC 28.050 64b/66b 27.2 3,400
40G FCoE 41.250 64b/66b 40.0 5,000
14
Reference

15. FCIP
Расширение SAN через
MAN/WAN с высокой
полосой пропускания
СЕРВИСОВ ХРАНЕНИЯ
Разрастание Сервисных
Устройств
I/O ACCELERATOR
Ускорение Резервного
Копирования и
Репликации
DATA MOBILITY
MANAGER
Миграция Данных между
Системами Хранения
Разных Производителей
Cisco MDS 9250i

16. Коммутатор MDS 9250i
2 RU MDS 9250i Стандартная
Конфигурация
Максимальная
Конфигурация
Портов FC 16G 20 40
Портов FCoE 10G 8
Портов FCIP 10G 2
Высота Шасси 3.84” (2 RU)
Ширина Шасси 17.22”
Глубина Шасси 21.4"
Охлаждение Front-to-Back
17.22”
21.4”
Reference

17. MDS 9250i Мультисервисный Коммутатор
Непрерывность Бизнеса /
Восстановление после Катастроф
Основной ЦОД DR ЦОД
IP WAN
SAN
FC FCoE
SAN
FC FCoE
Миграция Данных
SAN SAN
FC FCoE
Шлюз FC/FCoE
FC
Converged
Fabric
FCoE
SAN
FC Коммутатор
FC
FC
SAN
Миграция данных между
Гетерогенными СХД

18. Cisco MDS 9148S
Универсальность и
Производительность
Простота
Использования
• FC Порты 16/8/4/2G
• 12, 24 или 48 Портов
• Расширение по 12
портов
• Автоматическая
Настройка (POAP)
• Мастер Быстрой
Настройки
• Единые ОС и Система
Управления
Технологии Уровня
Предприятия
• ISSU
• До 32 Виртуальных SAN (VSAN)
• Inter-VSAN Routing (IVR), QoS
• Объединение до 16 портов в
PortChannel
• N-Port ID Virtualization (NPIV)
• N-Port Virtualization (NPV)
• Безопасность

19. Объединение Технологий для Сетей Хранения
Серверы
Перенос Больших Объемов
Данных на Высокой
Скорости
1.5 Тбит/с на Слот
Из Разных ЦОД в Центральное
Хранилище с Небольшим
Окном для Копирования
Используя
10G FCIP
Репликация Данных для
Приложений с Низкой
Задержкой между ЦОД
Используя I/O Acceleration
(IOA)
Недорогая Замена СХД
Разных Производителей
Используя
Data Mobility Manager
MDS 9250i
MDS 9700
MDS 9250i
MDS 9700
MAN/WAN
Business Continuity/
Disaster Recovery
Ленточные
Библиотеки
или VTL
FC
FCoE
FC
FCoE
Nexus
7000
6000
5000

20. Дизайн SAN с использованием Cisco MDS 9000
11/18/14 © 2014 Cisco and/or its affiliates. All rights reserved. 20

21. Collapsed Core Edge со Временем
FC
FC
Collapsed
Core-Edge
Collapsed
Core-Edge
Collapsed
Core-Edge
Дизайн SAN
Collapsed Core-Edge
Collapsed Core Edge
Fibre Channel
FC
Collapsed
Core-Edge
Fabric A
Fabric B
Collapsed Core-Edge
Consolidation
Performance
Security
Connectivity
Reliability
Manageability
Scalability
Capacity

22. Дизайн SAN
Core-Edge
FC FC
Core
Edge
Fabric A
Fabric B
Fibre Channel
Core-Edge
Consolidation
Performance
Security
Connectivity
Reliability
Manageability
Scalability
Capacity
Core Edge

23. Дизайн SAN
Edge Core Edge
FC
Storage
Edge
Core
Host
Edge
Fibre Channel
FC
Edge-Core-Edge
Consolidation
Performance
Security
Connectivity
Reliability
Manageability
Scalability
Capacity
FC
Fabric A
Fabric B
Edge Core Edge

24. Дизайн SAN
Использование Top of Rack (ToR) Коммутаторов
ToR
FC
Fabric A Fabric B
Core
ToR
Edge
Blade SW MDS 9148 Nexus 5000 Nexus 5000 MDS 9148 Blade SW
NPV Edge NPV Edge
Core-Edge + ToR (NPV)
Consolidation
Performance
Security
Connectivity
Reliability
Manageability
Scalability
Capacity
Fabric A
Fabric B
Fibre Channel

25. Семейство Cisco Nexus
11/18/14 © 2014 Cisco and/or its affiliates. All rights reserved.

26. Cisco
Nexus 6000
Cisco
Nexus 5000 Cisco
Nexus 7000
Архитектура Cisco для LAN и SAN
Самое Широкое Портфолио Коммутаторов
Cisco
Nexus 3000
Cisco
Nexus 1000V
Cisco® MDS
9500 Series
Cisco MDS
9100 Series
Cisco
Nexus 2000
Cisco
Nexus 9000
Cisco MDS 9700
Series
Cisco MDS 9200
Series
Проверенная Операционная Система NX-OS: 10+ Лет
от Гипервизора до Ядра
Cisco Prime Data Center Network Manager (DCNM)
Единая Точка Управления

27. Семейство Cisco Nexus 7000
Nexus 7700 100G
Nexus 7700
F3 12-port 100G Module
N77-F312CK-26
Nexus 7700 40G
Nexus 7700
F3 24-port 40G Module
N77-F324FQ-25
Nexus 7000 100G
Nexus 7000 40G
Nexus 7000
F3 12-port 40G Module
N7K-F312FQ-25
Nexus 7000 10G
Nexus 7000
F2Е 48-port 10G Module
N7K-F248ХP-25Е
Nexus 7000
F3 6-port 100G Module
N7K-F306CK-25
Nexus 7700 10G
Nexus 7700
F3 48-port 10G Module
N77-F348XP-23
Nexus 7700
F2Е 48-port 10G Module
N77-F248ХP-23Е

28. LEM 12p 40G QSFP+
Nexus 5672UP
LEM 20p 10G SFP+ UP
Nexus 56128P
Nexus 6004
Nexus 6004EF
Nexus 5696Q
Семейство Cisco Nexus 5000
Nexus 5548P/UP
Nexus 5596UP
Модули Расширения
16x10GE / 8x10GE+8x8GFC, 16x8GFC
Модуль Расширения
24x10GE/8GFC, 2x40GE

29. Семейство Cisco Nexus 2000
Nexus 2232PP
32 x 1/10GE FCoE
8 x 10G uplink (4:1)
Nexus 2248PQ
48 x 1/10GE FCoE
4 x 40G uplink (3:1)
Nexus 2348UPQ
48 x 1/10GE FCoE / 16G FC (UP)
6 x 40G uplink (2:1)

30. Дизайн Конвергентных SAN
11/18/14 © 2014 Cisco and/or its affiliates. All rights reserved.

31. Консолидация В/В на Уровне Доступа
• Трафик Ethernet и FC передается по
одному физическому линку от
сервера
• Серверы используют Converged
Network Adapters (CNA) для
объединения трафиков (Eth & FC)
• Значительно уменьшается
количество кабелей
• Уменьшается количество портов
• Уровень доступа служит
разделителем протоколов
Ядро
Уровень
Агрегации
Уровень
Доступа
L3
L2
N5K/N6K
MDS 9000
N5K/N6K
MDS 9000
FC FCoE
Fabric A Fabric B
Ethernet
Fibre Channel
Выделенный FCoE Линк
Конвергентный Линк

32. Консолидация В/В на Уровне Доступа с FEX
• FEX можно использовать как ToR
• ToR FEX подключается к EoR
коммутаторам как линейные карты
• EoR коммутаторы разделяют трафик
Ethernet и FC
• FEX используют EVPC для
разделения FCoE VLAN
32
MDS 9000
Nexus 7K
N5K/N6K
N5K/N6K
MDS 9000
Fabric A FC FCoE
Fabric B
Nexus 7K
N2K N2K
Ethernet
Fibre Channel
Выделенный FCoE Линк
Конвергентный Линк

33. Конвергентная Multi-Hop FCoE Сеть
33
Ethernet
Fibre Channel
Выделенный FCoE Линк
Конвергентный Линк
Ядро
Уровень
Агрегации
L3
L2
Fabric A
Fabric B
UCS FI UCS FI
UCS B Series
Nexus 7K
NFS/CIFS iSCSI
Nexus 7K
N5K / N6K N5K / N6K
MDS 9000
MDS 9000
FC FCoE

34. С Топологией Spine / Leaf
Ethernet
Fibre Channel
Выделенный FCoE Линк
Конвергентный Линк
N5K / Leaf
N6K
34
Fabric A
Fabric B
MDS 9000
MDS 9000
FC FCoE
UCS FI UCS FI
UCS B Series
Nexus 7K
NFS/CIFS iSCSI
Nexus 7K
Spine
N5K / N6K N5K / N6K

35. Dynamic FCoE

36. Переосмысление Сети Хранения
SAN A SAN B
Типичная топология Fibre Channel:
• Core/Edge
• Edge/Core/Edge
Двойные SAN для Отказоустойчивости
• Если SAN A отказывает, то весь трафик
переключается на SAN B
• То есть, если коммутатор ядра
отказывает, вся SAN ломается X

37. Логическое разделение SAN A/B
Storage устройства
находятся на коммутаторах
доступа (leaf)
Разделение SAN A/B
осуществляется на самой
уязвимой части сети –
меджу сервером и
коммутатором доступа
(leaf)
Топология
SAN “A” SAN “B” SAN “A” SAN “B”
FCoE Fibre
Channel
Multiprotocol
Server

38. Логическое разделение SAN A/B
Storage устройства видят
топологию эквивалентную
Core/Edge
ISL с балансировкой
нагрузки динамически
создаются между FCF leaf
Что видит Fibre Channel
SAN “A” SAN “B” SAN “A” SAN “B”
FCoE Fibre
Channel
Multiprotocol
Server

39. Логическое разделение SAN A/B
Разделение LAN/SAN
определяется VLAN
Не требуется мульти-
топология FabricPath
SAN “A” SAN “B” SAN “A” SAN “B”
FCoE Fibre
Channel
Multiprotocol
Server
“A” Leafs:
VLAN 10, 100
VSAN 100
“B” Leafs:
VLAN 10, 200
VSAN 200
Spines: VLAN 10, 100, 200

40. Почему Использовать Dynamic FCoE?
• Использует Ethernet ECMP для
балансировки трафика по всей
топологии
• Большая устойчивость и
надежность ядра (spine)
• Динамическая настройка ISLs
iSCSI/
NFS FCoE Fibre
Multiprotocol Channel
Server

41. Переосмысление Сети Хранения
Логическое разделение
вместо физического
Динамически создает
подключения между Fibre
Channel Forwarder (FCF)
Динамически настраивает
порты для ISLs
Увеличивает надежность и
устойчивость
§ Трафик данных балансируется
по всей ECMP топологии
§ Если коммутатор ядра (spine)
отказывает, то SAN A не
отключается!
§ Также как и SAN B!
X
VE_Port VE_Port
SAN “A” SAN “B” SAN “A” SAN “B”
FCoE Fibre
Channel
Multiprotocol
Server
FCF FCF

42. Что такое Dynamic FCoE?
Стандартный протокол Fibre Channel over
Ethernet использует FabricPath для:
§ Большей устойчивости
§ Быстрой сходимости фабрики
§ Большей масштабируемости
Почему “Dynamic?”
§ Линки между коммутаторами (ISL)
создаются динамически между
конечными устройствами
— Меньше ошибок настройки
§ Порты фабрики динамически
настраиваются для создания “virtual Fibre
Channel” интерфейсов

43. Multi-hop FCoE и Dynamic FCoE
VLAN 10
VLAN 300
VLAN 400
VLAN 10, 300 VLAN 10, 400
SAN A SAN B SAN A SAN B
VLAN 10, 200
VLAN 10, 100 VLAN 10, 200
VLAN 10, 100
VLAN 10, 100, 200
VE_Port for
VLAN 100
(SAN A)
VE_Port for
VLAN 300
(SAN A)

44. Multi-hop FCoE и Dynamic FCoE
VLAN 300 VLAN 400
SAN A SAN B SAN A SAN B
VLAN 10, 200
VLAN 10, 100, 300 VLAN 10, 200, 400
VLAN 10, 100
VLAN 10, 100, 200
VE_Port for
VLAN 100
(SAN A)
VE_Port for
VLAN 300
(SAN A)

45. FCoE и DCI

46. Расширение FCoE SAN
MDS или NEXUS
FCoE до 20 км*
VE_Port VE_Port
Nexus 5K Nexus 5K MDS или NEXUS
*20 км для Nexus 5600/6000
Nexus 50x0/5500 поддерживает FCoE до 3 км

47. Расширение FCoE SAN
FC до 50 км
MDS или NEXUS Nexus 5K Nexus 5K
MDS или NEXUS
E_Port E_Port

48. MDS или NEXUS
VE_Port VE_Port
MDS или NEXUS
Расширение FCoE SAN
FCoE до 80 км
Nexus 7K
MDS 9700
Nexus 7K
MDS 9700

49. MDS или NEXUS
E_Port E_Port
MDS или NEXUS
Расширение FCoE SAN
FC до 500 км @ 16GFC
DWDM/SONET
Optical MAN
MDS 9700 MDS 9700

50. Расширение FCoE SAN
MDS или NEXUS
FCIP до 20,000 км
E_Port E_Port
MDS 9200 MDS 9200 MDS или NEXUS
DWDM/SONET
Optical MAN
IP WAN

51. Ждем ваших сообщений с хештегом
#CiscoConnectRu
Спасибо
Пожалуйста, используйте код для оценки доклада
3587
Ваше мнение очень важно для нас.
Эльдар Женсыкбаев
ezhensyk@cisco.com
CiscoRu Cisco CiscoRussia
11/18/14 © 2014 Cisco and/or its affiliates. All rights reserved.