Downloaded 16 times
Uploaded byCisco Russia
Развитие технологий унифицированной сети ЦОД
Документ описывает требования и решения для сетевой инфраструктуры нового поколения для центров обработки данных (ЦОД) на базе технологий Cisco, включая консолидацию трафика и поддержку виртуализации. Основное внимание уделяется использованию Fibre Channel over Ethernet (FCoE) и различным аспектам унифицированной сети, включая преимущества использования Ethernet и Fiber Channel вместе, а также решения для повышения производительности и надежности сети. Также рассматриваются новые технологии, такие как Cisco FabricPath, для оптимизации управления и масштабируемости сетевой архитектуры.
More Related Content
Similar to Развитие технологий унифицированной сети ЦОД
Развитие технологий унифицированной сети ЦОД
- 1. Развитие технологий унифицированной сети ЦОД СкороходовАлександр Системный инженер – консультант askorokh@cisco.com +7(495)789-8615
- 2. Требования к сетиЦОД нового поколения И их реализация в решениях Cisco • Повышение производительности подключения серверов и магистрали 10 Gigabit Ethernet, 40/100GE, TRILL/FabricPath • Консолидация ввода-вывода серверов Fibre Channel over Ethernet (FCoE/DCB), Adapter-FEX • Более простая и «плоская» архитектура сети ЦОД без опоры на STP Virtual Portchannel, FEX, TRILL/FabricPath • Сетевая поддержка виртуализации Nexus 1000V, VM-FEX • Надёжная и производительная связь ЦОД OTV, LISP
- 3. Консолидация транспорта с помощьюFCoE и DCB
- 4. Консолидация ввода-вывода: Объединенныйтранспорт FCoE/IEEE DCB Internet/ Storage RDMA/IPC LAN SAN Intranet Unified LAN SAN IPC Fabric IPC Сегодня • Много портов ввода-вывода Используя FCoE/DCB • Высокие расходы на оборудование и • Общий транспорт эксплуатацию • Обеспечение совместимости
- 5. Fibre Channel overEthernet (FCoE) • Метод передачи фреймов FC по Ethernet – Выглядит как FC для серверов и сети Ethernet – Сохраняет текущую инфраструктуру и управление FC – Фрейм FC остается неизменным • Может работать на стандартных Fibre Channel коммутаторах (с jumbo фреймами) • Priority Flow Control обеспечивает отсутствие потерь – Имитирует систему буферных кредитов FC • Стандарт утвержден 3 июня 2009 года (ANSI T11 FC-BB-5) Cisco первой представила основанный на стандартах Весна 2008 коммутатор FCoE Cisco Nexus 5000
- 6. Требования FCoE кEthernet транспорту • 10Gbps+ Ethernet – FC использует 1/2/4/8G • Jumbo фреймы Ethernet – Максимальный размер FC фрейма = 2112 байт • Lossless Ethernet – Соответствует поведению, обеспечиваемому в FC с использованием B2B credits Обычный Ethernet фрейм, ethertype = FCoE Обычный фрейм FC Header Ethernet Header FC Payload Header CRC FCoE EOF FC FCS Дополнительная информация
- 7. Стандартизация FCoE T11 IEEE 802.1 FCoE DCB FC on FC on Other other Network network PFC ETS DCBX Media media Lossless Priority Configuration Ethernet Grouping Veritifcation FC-BB-5 802.1Qbb 802.1Qaz 802.1Qaz 7
- 8. FCoE: консолидация науровне доступа • Первый шаг – «консолидация доступа» («Unified Wire») • Существенная экономия при сохранении существующего ядра сетей Ethernet и Fibre Channel SAN A SAN B 10GE Backbone VF порты VN порты (CNA)
- 9. Консолидация на уровнедоступа Unified Fabric Converged Network Adapter (CNA) Коммутатор 10 Gigabit Адаптер 10GE с поддержкой Ethernet с поддержкой Fibre Fibre Channel over Ethernet Channel over Ethernet Адаптер 10GE Adapter и программная поддержка FCoE
- 10. Converged Network Adapter • Заменяет несколько адаптеров 10GE/FCoE на сервере • Выглядит для ОС/гипервизора как отдельные адаптеры Ethernet и Fibre Channel • Консолидирует 10GE и FC на едином интерфейсе / паре интерфейсов 10GE/DCB/FCoE • Минимум изменений в существующей среде • Вариант с использованием микросхем от Qlogic или Emulex: 10GE FC – Существующие драйверы – Обеспечение совместимости • Cisco VIC: виртуализация ввода-вывода PCIe Bus
- 11. FCoE: консолидация вмасштабах сети FCoE Enhanced Storage § Расширение консолидации Ethernet Fabric ввода-вывода на магистраль § Поддержка разделения VE SAN фабрик для отказоустойчивости VE § Поддержка систем VF хранения с подключением VN по DCB/FCoE Enhanced Ethernet и FCoE
- 12. Продукты Cisco споддержкой FCoE Директорный класс Фиксированная конфигурация Nexus 5596 MDS 9500 Nexus 7000 Nexus 5020 Nexus 5548 F1 32-port FCoE 8-port Nexus 2232 Nexus 5010 Nexus 4000 NX-OS & DCNM
- 13. Nexus 5596UP &5548UP Весна 2011 Новое поколение уровня доступа ЦОД § Коммутаторы ToR высокой плотности (1RU / 2RU) § 10GE / 1GE / FCoE / 8G FC Инновации § Универсальные порты § Поддержка модуля Преимущества маршрутзации § Защита инвестиций! § Увеличенное число FEX (24/L2) § Продолжение семейства Nexus 5000, § FCoE Multi-hop использование NX-OS § Adapter-FEX (ноябрь 2011) § Низкая предсказуемая задержка коммутации § Cisco FabricPath (ноябрь 2011) § VM-FEX (ноябрь 2011)
- 14. Nexus 7000 FCoE Лето 2011 Конвергентное решение директорного класса § Первый конвергентный коммутатор класса «директора» § Самая выскопроизводительная комутационная платформа для задач хранения 32-Port F1 FCoE- capable Module Преимущества Применение § Соответствует требованиям высокой § Доступ досутпности для критичных SAN § Агрегирование § Использование для iSCSI, NAS и FCoE § Ядро § Масштабируемость более 15Tbps, готовность к 40G и 100G § Подключение СХД по FCoE © 2010 Cisco and/or its affiliates. All rights reserved. Cisco Confidential
- 15. MDS 9000 8-портовыйFCoE модуль Сопряжение FC SAN с конвергентными сетями Лето 2011 § 8-портовый FCoE модуль § Поддержка в любом шасси MDS 9500 Преимущества Применение § Защита инвестиций и продолжение § Интеграция конвергентных сетей с FC SAN эволюции семейства MDS 9000 § Связь конвергентных ЦОД на § Интероперабельность между значительные расстояния с семействами MDS 9000 и Nexus platforms использованием FCIP § Использвание функций MDS 9500 § Доступ к FC SAN для Nexus 7000 © 2010 Cisco and/or its affiliates. All rights reserved. Cisco Confidential
- 16. FCoE на FabricExtender Лето 2010 Nexus 2232 § «Виртуальная интерфейсная карта» § Настройка и управление на центральном коммутаторе § 32 серверных порта 10Gig/FCoE и 8 апинков 10Gig/FCoE к «материнской» системе Nexus § Поддержка DCB/CEE, в том числе PFC § Поддерживается на Nexus 5000/5500 для Ethernet и FCoE § Сейчас поддерживается на Nexus 7k только для Ethernet § Для FCoE необходимо использование подключения к одной «материнской» системе
- 17.
- 18. Традиционные сети Выделенные LANи SAN • Полное разделение сетей – Отдельные домены эксплуатации Native – Неэффективное масштабирование FibreChannel Ethernet SAN • Ethernet – основная технология LAN передачи данных – Допускает потери CORE • Fibre Channel – стандарт для iSCSI FC FC корпоративных SAN L3 A B – Отсутвие потерь L3 L2 – Высокая доступность за счёт AGGREGATION изоляции фабрик • Увеличение числа интерфейсов сервера – Минимум 2xHBAs + 2xNICs !! FC Ethernet
- 19. Полная консолидация транспорта Другаякрайность § Единая сеть ЦОД Ethernet and Storage traffic § Все соединения несут все виды EVERYWHERE трафика Протоколы передачи и Core хранения данных § Максимальное сокращение L3 Aggregation числа устройств и соединений L2 § Уход от фабрик A/B Virtual Port- Channel (VPC) Единая фабрика с Access резервированием сервисов
- 20. Ethernet SAN Консолидация технологий § LAN и SAN используют те же элементы: коммутаторы, кабели, адаптеры, трансиверы... § Полная изоляция построения и эксплуатации § Использование эволюции Ethernet (10Gà40Gà100G) Native Ethernet LAN Fibre Channel over Ethernet SAN Core Fabric ‘A’ Fabric ‘B’ FCoE L3 Aggregation Core L2 Virtual Port- Channel (VPC) Access Edge CNA CNA Ether-channel Multi-pathing
- 21. Консолидация на уровнедоступа • Единая СКС и топология доступа • Подключение к существующим SAN – К FC сети или к FCoE по VE портам CORE • Плавная миграция к FCoE FC конвергентное сети iSCSI • Сохранение изоляции SAN AGG L3 фабрик L3 L2 • Обеспечение совместимости с использованием NPV режима Nexus5000 FC FCoE Shared Ethernet Nexus2000 Access DCB
- 22. Консолидация на уровнеагрегирования • Транспорт сети хранения через высокопроизводительный конвергентный коммутатор высокой доступности FCoE FC • Аналог традиционных SAN топологий CORE «Edge-Core-Edge» • Повышение производительности на iSCSI уровне агрегирования AGG L3 – Построение крупных FCoE сетей с сохранением L2 доступа к СХД с подключением по Fibre Channel Shared • Сохранение изоляции для трафика Access FC FCoE хранения Ethernet DCB – Выделенные FCoE соединения – Выделенные Storage VDC на Nexus 7000
- 23. FCoE Multi-Hop Подключение СХДпо FCoE Целесообразно ли подключение СХД по FCoE targets к CORE конвергентному коммутатору агрегирования ? Multiple VDCs FCoE Target § Различные подходы FCoE SAN В SAN: СХД традиционно LAN Agg подключаается к коммутаторам ядра LAN Core В LAN: оконечное оборудование традиционно не подключается к уровню ядра/агргеирования § Влияющие факторы Плотность портов Разделение ролей устройств и администрирование § Потенциально приемлемо для не очень больших внедрений § В крупных внедрениях понадобятся отдельные FCoE ‘SAN’ коммутаторы для подключения СХД
- 24. Выделенное FCoE SANядро • Унификация платформ для LAN и SAN • SAN ядро на базе выскопроизводительных FCoE iSCSI CORE Ethernet коммутаторов • Использование экономики и L3 AGG производительности Ethernet L3 L2 • Техническая и организационная изоляция FC FCoE Shared Ethernet Access DCB
- 25.
- 26. Развитие архитектуры сNX-OS Spanning-Tree vPC FabricPath 16 Switches Активных Один Два 16 путей Производитель- До 15 Тбит/с До 30 Тбит/с До 240 Тбит/с ность блока Масштабируемость Layer 2 Виртуализация инфраструктуры и производительность
- 27. Потребность в L2MP SpanningTree превращает многосвязную сеть в дерево • Нужно альтернативное решение, позволяющее: – Задействовать все соединения – Наращивать производительность путем увеличения числа связей – Принципиально исключить возможность бесконечных «петель» – Обеспечить быструю и надежную сходимость • ...и всё это – для коммутации на втором уровне!
- 28. TRILL (Transparent Interconnectionof Lots of Links) • Стандарт, разрабатываемый IETF • Свойства – Построение топологии и таблиц коммутации с помощью IS-IS – Оптимальная доставка фреймов – Распределение нагрузки по равноценным путям – Сохранение интероперабельности с существующими протоколами и технологиями • Подход, заменяющий Spanning Tree – Устранение Spanning Tree на магистрали • Масштабирование полосы, когда скорости соединений на разных уровнях одинаковы или близки • Сокращение задержки коммутации • Аппаратная поддержка во всех коммутаторах Cisco с поддержкой FabricPath
- 29. Cisco FabricPath: ключевыевозможности • Продолжение возможностей TRILL Лето 2010 • Маршрутизация на втором уровне с использованием до 16 альтернативных путей (ECMP) • Заголовок FabricPath: иерархическая адресация со встроенным предотвращением «зацикливания» Up to 16Wa L2 ECMP • Выучивание MAC «по диалогам»: Cisco FabricPath эффективное использование аппаратных ресурсов • Совместимость с «классическим» Ethernet • VPC+ обеспечивает VPC в L2MP сеть • STP Boundary Termination • Поддержка множественных топологий – возможность Traffic Engineering
- 30. Преимущества FabricPath Multi-Domain – Silos FabricPath – Any App, Anywhere! Fabric Web Servers App Servers New Apps Web Servers App Servers Silo 1 Silo 2 Silo 3 New Apps • Создаёт сетевую «фабрику», работающую как один коммутатор → разрушает «острова», делает возможной мобильность нагрузки • Упрощение дизайна – меньше коммутаторов, ниже переподписка, выше «горизонтальная» масштабируемость • Опора на открытый протокол с важными усовершенствованями • Упрощения взаимодействия между сетевои и серверной «командами»
- 31. Cisco FabricPath делаетвозможными более быстрые, простые и «плоские» сети ЦОД • “Мы оценивали FabricPath с точки зрения его способности повысить пропукную способность, обходить проблемы в сети и упростить управление сетью. Во всех трёх областях FabricPath достиг желаемого результата” • “Коммутаторы передавали все трафик с нулевыми потерями пакетов, подтверждая способность FabricPath распределять нагрузку по 16 альтернативным соедиениям" • “FabricPath сходится гораздо быстрее,чем Spanning Tree” • “Нет сомнения, что он представляет собой существенный прогресс в области сетевых технологий” http://www.networkworld.com/reviews/2010/102510-cisco-fabricpath-test.html
- 32.
- 33. Интерфейсы FabricPath иClassic Ethernet Интерфейсы Classic Ethernet (CE) § Подключаются к серверам и традиционным сетевым устройствам → FabricPath interface § Получают/отправляют традиционные → CE interface фреймы Ethernet § Участвуют в STP § Коммутация на основании MAC FabricPath Ethernet Ethernet FabricPath Header STP Интерфейсы FabricPath § Подключаются к другому устройству FabricPath § Получают/отправляют фреймы с заголовком FabricPath § Нет Spanning Tree!!! § Нет MAC learning § Обмен топологической информацией с помощью ISIS § Коммутация на основании ‘Switch ID’
- 34. FabricPath и CEVLANы • В FabricPath коммутаторе, VLAN Mode каждый VLAN является либо CE VLAN (default) либо CE FabricPath VLAN VLAN FabricPath VLAN • Только трафик в FabricPath M1 Ports VLANах может передаваться F1 Ports F1 Ports F2 Ports через FabricPath домен CE mode CE mode CE mode • Коммутация между M1 и F1 портами только для CE VLAN FP mode FP mode n7k(config)# vlan 10 n7k(config-vlan)# mode ? ce Classical Ethernet VLAN mode F1 порт в FabricPath VLAN fabricpath FabricPath VLAN mode может работать и в режиме CE, и в режиме FabricPath n7k(config-vlan)# mode
- 35. Принцип коммутации вFabricPath DSID→20 DSID→20 → FabricPath interface SSID→10 SSID→10 DMAC→B → CE interface SMAC→A DMAC→B Payload SMAC→A S10 Payload S20 Ingress FabricPath Egress FabricPath Switch Switch Payload DMAC→B SMAC→A SMAC→A Payload FabricPath Core DMAC→B DMAC→B STP STP Payload SMAC→A SMAC→A Payload DMAC→B MAC A MAC B • Входной FabricPath коммутатор определяет Switch ID выходного и добавляет заголовок FabricPath • Switch ID выходного коммутатора используется для маршрутизации в ядре FabricPath • Не нужно выучивание или простмотр No MAC адресов в ядре • Выходной FabricPath коммутатор снимает заголовок FabricPath и передаёт фрейм в CE порт
- 36. Инкапсуляция FabricPath 16-байтныйзаголовок MAC-in-MAC Classical Ethernet Frame DMAC SMAC 802.1Q Etype Payload CRC Original CE Frame Cisco FabricPath Outer DA Outer SA FP Tag DMAC SMAC 802.1Q Etype Payload CRC (new) Frame (48) (48) (32) 6 bits 1 1 2 bits 1 1 12 bits 8 bits 16 bits 16 bits 10 bits 6 bits OOO/DL RSVD Endnode ID Endnode ID Sub U/L I/G Switch ID Port ID Etype Ftag TTL (5:0) (7:6) Switch ID • Switch ID – уникальный идентификатор FabricPath коммутатора • Sub-Switch ID – идентификатор устройства/хоста подлюченного по VPC+ • Port ID – идентификатор входного или выходного интерфейса • Ftag (Forwarding tag) – идентификатор топологии и/или дерева распространения группового трафика • TTL - уменьшается на каждом шаге для предотвращения зацикливания
- 37. FabricPath ECMP • Приналичии нескольких альтернативных путей, выбор пути обеспечивается хеш-функцией • До 16 next-hop интерфейсов для каждого Switch ID получателя • Масштабирование полосы до 16 логических интерфейсов, до 256 физических (с учётом Port Channel) S1 S100 S16
- 38. Диалоговое выучивание MACадресов (conversational MAC Learning) • Метод выучивания MAC адресов предназначенный для экономии места в таблицах на пограничных коммутаторах FabricPath – Коммутаторы ядра FabricPath вообще не выучивают MAC адреса • Каждый коммутационный блок различает два типа MAC адресов: – Локальный – MAC, подключенный к коммутационному блоку CE портом – Удалённый – MAC, подключенный к другому коммутатору или коммутационному блоку • Коммутационый блок выучивает удалённые MAC только если между ним и локальным MAC возникает «диалог» – Выучивание MAC не вызывается широковещательными пакетам • Диалоговое выучивание разрешено во всех FabricPath VLANах
- 39. Диалоговое выучивание MACадресов (conversational MAC Learning) FabricPath MAC Table on S300 MAC IF/SID B S200 (remote) C e7/10 (local) S300 FabricPath MAC C S100 MAC Table on S100 MAC IF/SID A e1/1 (local) B S200 (remote) FabricPath FabricPath Core MAC Table on S200 MAC IF/SID S200 A S100 (remote) MAC A B e12/1(local) C S300 (remote) MAC B
- 40. Как это работаетвместе – от хоста A к хосту B (1) Broadcast ARP Request Root for Root for Multidestination Tree 1 Tree 2 S10 S20 S30 S40 Trees on Switch 10 Tree IF DSID→FF Ftag → 1 L1,L5,L9 Ftag→1 2 L9 SSID→100 DSID→FF Ftag→1 DMAC→FF L5 L6 L7 L8 SSID→100 SMAC→A Multidestination L1 L2 L3 L4 DMAC→FF Payload L9 L10 L11 L12 Trees on Switch 100 SMAC→A Tree IF Payload Broadcast → 1 L1,L2,L3,L4 S100 S101 FabricPath S200 2 L4 Multidestination Trees on Switch 200 FabricPath Tree IF Payload MAC Table on S100 DMAC→FF SMAC→A Ftag → 1 L9 SMAC→A MAC IF/SID 2 L9,L10,L11,L12 DMAC→FF A e1/1 (local) Payload MAC A MAC B FabricPath MAC Table on S200 MAC IF/SID Don’t learn MACs in flood frames Learn MACs of directly-connected devices unconditionally
- 41. Как это работаетвместе – от хоста A к хосту B (2) Unicast ARP Reply Multidestination S10 S20 S30 S40 Trees on Switch 10 Tree IF Ftag → 1 L1,L5,L9 2 L9 DSID→MC1 DSID→MC1 Ftag→1 Ftag→1 L5 L6 L7 L8 SSID→200 SSID→200 Multidestination DMAC→A DMAC→A L1 L2 L3 L4 L9 L10 L11 L12 Trees on Switch 100 SMAC→B SMAC→B Tree IF Payload Payload Ftag → 1 L1,L2,L3,L4 S100 S101 FabricPath S200 2 L4 Multidestination Trees on Switch 200 FabricPath Tree IF DMAC→A Payload MAC Table on S100 SMAC→B SMAC→B Unknown → 1 L9 MAC IF/SID 2 L9,L10,L11,L12 Payload DMAC→A A→ A e1/1 (local) MAC A MAC B B S200 (remote) FabricPath MAC Table on S200 MAC IF/SID If DMAC is known, then A→ learn remote MAC B e12/2 (local)
- 42. Как это работаетвместе – от хоста A к хосту B (3) Unicast Data FabricPath Routing Table on S30 S10 S20 S30 S40 Switch IF … … S200 → S200 L11 DSID→200 DSID→200 Ftag→1 Ftag→1 SSID→100 L5 L6 L7 L8 SSID→100 DMAC→B DMAC→B FabricPath Routing L1 L2 L3 L4 L9 L10 L11 L12 SMAC→A Table on S100 SMAC→A Payload Switch IF Hash Payload S10 L1 S100 S101 FabricPath S200 S20 L2 FabricPath Routing S30 L3 Table on S30 S40 L4 Switch IF Payload DMAC→B S101 L1, L2, L3, L4 … … SMAC→A SMAC→A … … Payload S200 → S200 – DMAC→B S200 → S200 L1, L2, L3, L4 MAC A MAC B FabricPath FabricPath MAC Table on S200 MAC Table on S100 MAC IF/SID MAC IF/SID A S100 (remote) A e1/1 (local) B→ B e12/2 (local) B→ B S200 (remote)
- 43. S3 FabricPath VPC+ для сопряжения с L1 L2 традиционными сетями F1 VPC+ F1 CE S1 F1 F1 S2 • VPC+ обеспечивает PortChannel подключения active/active к F1 F1 пограничным коммутаторам FabricPath домена внешних не- po3 FabricPath устройст Physical Host A – CE коммутатор, маршрутизатор, сервер и т.д. • VPC+ требует F1 модулей с включенным FabricPath – Peer-link и все подключения VPC Logical S3 Host A→S4→L1,L2 + должнгы быть на F1 портах L1 L2 • VPC+ создаёт «виртуальный F1 F1 VPC+ FabricPath коммутатор» для каждого устройства S1 F1 F1 S2 подключенного по VPC+-чтобы F1 F1 обеспечить балансировку нагрузки в FabricPath домене S4 Виртуальный “Switch 4” становится next-hop коммутатором для хоста A в FabricPath домене po3 Host A
- 44. Cisco FabricPath: примериспользования Масштабирование вычислительных кластеров 16 Chassis 12,288 10GE ports Spine Switch 768 10GE FabricPath ports per system 16-port Etherchannel 16-way ECMP FabricPath 32 Chassis 384 10GE FabricPath Ports Edge Switch Open I/O Slots for connectivity 160 Tbps System Bandwidth Преимущества FabricPath для HPC Требования HPC § FabricPath образует производительное «толстое дерево» (fat tree) • Большое число вычислительных узлов § Неблокируемый транспорт за счёт FabricPath ECMP и агрегирования • Минимальная «переподписка» портов (port-channel) • Низкая задержка между § Сокращение числа транзитных узлов узлами для снижения задержки
- 45. Использование FabricPath вкорпоративном ЦОД Альтернатива традиционной архитектуре с STP • Существенное повышение производительности • Сокращение числа устройств • Повышение надёжности • Упрощение эксплуатции – меньше устройств – проще настройка Традиционная сеть со Spanning Tree Сеть на базе FabricPath Blocked Links Oversubscription 16:1 Fully Non-Blocking 2:1 FabricPath 4 Pods 8:1 64 Access Switches 8 Access Switches 2, 048 Servers 2, 048 Servers
- 46.
- 47. Спасибо! Просим Вас заполнитьанкеты. Ваше мнение очень важно для нас!