Развитие технологий унифицированной сети ЦОД
Upcoming SlideShare
Loading in...5
×
 

Развитие технологий унифицированной сети ЦОД

on

  • 595 views

 

Statistics

Views

Total Views
595
Views on SlideShare
595
Embed Views
0

Actions

Likes
0
Downloads
7
Comments
0

0 Embeds 0

No embeds

Accessibility

Categories

Upload Details

Uploaded via as Adobe PDF

Usage Rights

© All Rights Reserved

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Processing…
Post Comment
Edit your comment

Развитие технологий унифицированной сети ЦОД Развитие технологий унифицированной сети ЦОД Presentation Transcript

  • Развитие технологийунифицированной сетиЦОДСкороходов АлександрСистемный инженер – консультантaskorokh@cisco.com+7(495)789-8615
  • Требования к сети ЦОД нового поколенияИ их реализация в решениях Cisco•  Повышение производительности подключения серверов и магистрали 10 Gigabit Ethernet, 40/100GE, TRILL/FabricPath•  Консолидация ввода-вывода серверов Fibre Channel over Ethernet (FCoE/DCB), Adapter-FEX•  Более простая и «плоская» архитектура сети ЦОД без опоры на STP Virtual Portchannel, FEX, TRILL/FabricPath•  Сетевая поддержка виртуализации Nexus 1000V, VM-FEX•  Надёжная и производительная связь ЦОД OTV, LISP
  • Консолидация транспортас помощью FCoE и DCB
  • Консолидация ввода-вывода: Объединенный транспорт FCoE/IEEE DCBInternet/ Storage RDMA/IPC LAN SANIntranet Unified LAN SAN IPC Fabric IPC Сегодня •  Много портов ввода-вывода Используя FCoE/DCB •  Высокие расходы на оборудование и •  Общий транспорт эксплуатацию •  Обеспечение совместимости
  • Fibre Channel over Ethernet (FCoE)•  Метод передачи фреймов FC по Ethernet –  Выглядит как FC для серверов и сети Ethernet –  Сохраняет текущую инфраструктуру и управление FC –  Фрейм FC остается неизменным•  Может работать на стандартных Fibre Channel коммутаторах (с jumbo фреймами)•  Priority Flow Control обеспечивает отсутствие потерь –  Имитирует систему буферных кредитов FC•  Стандарт утвержден 3 июня 2009 года (ANSI T11 FC-BB-5) Cisco первой представила основанный на стандартах Весна 2008 коммутатор FCoE Cisco Nexus 5000
  • Требования FCoE к Ethernet транспорту•  10Gbps+ Ethernet – FC использует 1/2/4/8G•  Jumbo фреймы Ethernet – Максимальный размер FC фрейма = 2112 байт•  Lossless Ethernet – Соответствует поведению, обеспечиваемому в FC с использованием B2B credits Обычный Ethernet фрейм, ethertype = FCoE Обычный фрейм FC Header Ethernet Header FC Payload Header CRC FCoE EOF FC FCS Дополнительная информация
  • Стандартизация FCoE T11 IEEE 802.1 FCoE DCB FC on FC on Other other Network network PFC ETS DCBX Media media Lossless Priority Configuration Ethernet Grouping Veritifcation FC-BB-5 802.1Qbb 802.1Qaz 802.1Qaz 7
  • FCoE: консолидация на уровне доступа•  Первый шаг – «консолидация доступа» («Unified Wire»)•  Существенная экономия при сохранении существующего ядра сетей Ethernet и Fibre ChannelSAN A SAN B 10GE Backbone VF порты VN порты (CNA)
  • Консолидация на уровне доступа Unified Fabric Converged Network Adapter (CNA)Коммутатор 10 Gigabit Адаптер 10GE с поддержкойEthernet с поддержкой Fibre Fibre Channel over EthernetChannel over Ethernet Адаптер 10GE Adapter и программная поддержка FCoE
  • Converged Network Adapter•  Заменяет несколько адаптеров 10GE/FCoE на сервере•  Выглядит для ОС/гипервизора как отдельные адаптеры Ethernet и Fibre Channel•  Консолидирует 10GE и FC на едином интерфейсе / паре интерфейсов 10GE/DCB/FCoE•  Минимум изменений в существующей среде•  Вариант с использованием микросхем от Qlogic или Emulex: 10GE FC –  Существующие драйверы –  Обеспечение совместимости•  Cisco VIC: виртуализация ввода-вывода PCIe Bus
  • FCoE: консолидация в масштабах сети FCoE Enhanced Storage§  Расширение консолидации Ethernet Fabric ввода-вывода на магистраль§  Поддержка разделения VE SAN фабрик для отказоустойчивости VE§  Поддержка систем VF хранения с подключением VN по DCB/FCoE Enhanced Ethernet и FCoE
  • Продукты Cisco с поддержкой FCoE Директорный класс Фиксированная конфигурация Nexus 5596 MDS 9500 Nexus 7000 Nexus 5020 Nexus 5548 F1 32-port FCoE 8-port Nexus 2232 Nexus 5010Nexus 4000 NX-OS & DCNM
  • Nexus 5596UP & 5548UP Весна 2011 Новое поколение уровня доступа ЦОД§  Коммутаторы ToR высокой плотности (1RU / 2RU)§  10GE / 1GE / FCoE / 8G FC Инновации §  Универсальные порты §  Поддержка модуля Преимущества маршрутзации §  Защита инвестиций! §  Увеличенное число FEX (24/L2) §  Продолжение семейства Nexus 5000, §  FCoE Multi-hop использование NX-OS §  Adapter-FEX (ноябрь 2011) §  Низкая предсказуемая задержка коммутации §  Cisco FabricPath (ноябрь 2011) §  VM-FEX (ноябрь 2011)
  • Nexus 7000 FCoE Лето 2011 Конвергентное решение директорного класса §  Первый конвергентный коммутатор класса «директора» §  Самая выскопроизводительная комутационная платформа для задач хранения 32-Port F1 FCoE- capable Module Преимущества Применение §  Соответствует требованиям высокой §  Доступ досутпности для критичных SAN §  Агрегирование §  Использование для iSCSI, NAS и FCoE §  Ядро §  Масштабируемость более 15Tbps, готовность к 40G и 100G §  Подключение СХД по FCoE© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Confidential
  • MDS 9000 8-портовый FCoE модуль Сопряжение FC SAN с конвергентными сетями Лето 2011§  8-портовый FCoE модуль§  Поддержка в любом шасси MDS 9500 Преимущества Применение §  Защита инвестиций и продолжение §  Интеграция конвергентных сетей с FC SAN эволюции семейства MDS 9000 §  Связь конвергентных ЦОД на §  Интероперабельность между значительные расстояния с семействами MDS 9000 и Nexus platforms использованием FCIP §  Использвание функций MDS 9500 §  Доступ к FC SAN для Nexus 7000© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Confidential
  • FCoE на Fabric Extender Лето 2010 Nexus 2232 §  «Виртуальная интерфейсная карта» §  Настройка и управление на центральном коммутаторе §  32 серверных порта 10Gig/FCoE и 8 апинков 10Gig/FCoE к «материнской» системе Nexus §  Поддержка DCB/CEE, в том числе PFC §  Поддерживается на Nexus 5000/5500 для Ethernet и FCoE §  Сейчас поддерживается на Nexus 7k только для Ethernet §  Для FCoE необходимо использование подключения к одной «материнской» системе
  • Варианты построенияконвергентной сети
  • Традиционные сетиВыделенные LAN и SAN •  Полное разделение сетей – Отдельные домены эксплуатации Native – Неэффективное масштабирование FibreChannel Ethernet SAN •  Ethernet – основная технология LAN передачи данных – Допускает потери CORE •  Fibre Channel – стандарт для iSCSI FC FC корпоративных SAN L3 A B – Отсутвие потерь L3 L2 – Высокая доступность за счёт AGGREGATION изоляции фабрик •  Увеличение числа интерфейсов сервера – Минимум 2xHBAs + 2xNICs !! FC Ethernet
  • Полная консолидация транспортаДругая крайность§  Единая сеть ЦОД Ethernet and Storage traffic§  Все соединения несут все виды EVERYWHERE трафика Протоколы передачи и Core хранения данных§  Максимальное сокращение L3 Aggregation числа устройств и соединений L2§  Уход от фабрик A/B Virtual Port- Channel (VPC) Единая фабрика с Access резервированием сервисов
  • Ethernet SANКонсолидация технологий§  LAN и SAN используют те же элементы: коммутаторы, кабели, адаптеры, трансиверы...§  Полная изоляция построения и эксплуатации§  Использование эволюции Ethernet (10Gà40Gà100G) Native Ethernet LAN Fibre Channel over Ethernet SAN Core Fabric ‘A’ Fabric ‘B’ FCoE L3 Aggregation Core L2 Virtual Port- Channel (VPC) Access Edge CNA CNA Ether-channel Multi-pathing
  • Консолидация на уровне доступа •  Единая СКС и топология доступа •  Подключение к существующим SAN – К FC сети или к FCoE по VE портам CORE •  Плавная миграция к FCoE FC конвергентное сети iSCSI •  Сохранение изоляции SAN AGG L3 фабрик L3 L2 •  Обеспечение совместимости с использованием NPV режима Nexus5000 FC FCoE Shared Ethernet Nexus2000 Access DCB
  • Консолидация на уровне агрегирования•  Транспорт сети хранения через высокопроизводительный конвергентный коммутатор высокой доступности FCoE FC•  Аналог традиционных SAN топологий CORE «Edge-Core-Edge»•  Повышение производительности на iSCSI уровне агрегирования AGG L3 –  Построение крупных FCoE сетей с сохранением L2 доступа к СХД с подключением по Fibre Channel Shared•  Сохранение изоляции для трафика Access FC FCoE хранения Ethernet DCB –  Выделенные FCoE соединения –  Выделенные Storage VDC на Nexus 7000
  • FCoE Multi-HopПодключение СХД по FCoEЦелесообразно ли подключениеСХД по FCoE targets к COREконвергентному коммутаторуагрегирования ? Multiple VDCs FCoE Target§ Различные подходы FCoE SAN В SAN: СХД традиционно LAN Agg подключаается к коммутаторам ядра LAN Core В LAN: оконечное оборудование традиционно не подключается к уровню ядра/агргеирования§ Влияющие факторы Плотность портов Разделение ролей устройств и администрирование§ Потенциально приемлемо для неочень больших внедрений§ В крупных внедрениях понадобятсяотдельные FCoE ‘SAN’ коммутаторыдля подключения СХД
  • Выделенное FCoE SAN ядро•  Унификация платформ для LAN и SAN•  SAN ядро на базе выскопроизводительных FCoE iSCSI CORE Ethernet коммутаторов•  Использование экономики и L3 AGG производительности Ethernet L3 L2•  Техническая и организационная изоляция FC FCoE Shared Ethernet Access DCB
  • Технология FabricPath длямасштабируемой сети ЦОД
  • Развитие архитектуры с NX-OS Spanning-Tree vPC FabricPath 16 SwitchesАктивных Один Два 16путейПроизводитель- До 15 Тбит/с До 30 Тбит/с До 240 Тбит/сность блока Масштабируемость Layer 2 Виртуализация инфраструктуры и производительность
  • Потребность в L2MPSpanning Tree превращает многосвязную сеть в дерево•  Нужно альтернативное решение, позволяющее: –  Задействовать все соединения –  Наращивать производительность путем увеличения числа связей –  Принципиально исключить возможность бесконечных «петель» –  Обеспечить быструю и надежную сходимость•  ...и всё это – для коммутации на втором уровне!
  • TRILL (Transparent Interconnection of Lots ofLinks)•  Стандарт, разрабатываемый IETF•  Свойства –  Построение топологии и таблиц коммутации с помощью IS-IS –  Оптимальная доставка фреймов –  Распределение нагрузки по равноценным путям –  Сохранение интероперабельности с существующими протоколами и технологиями•  Подход, заменяющий Spanning Tree –  Устранение Spanning Tree на магистрали•  Масштабирование полосы, когда скорости соединений на разных уровнях одинаковы или близки•  Сокращение задержки коммутации•  Аппаратная поддержка во всех коммутаторах Cisco с поддержкой FabricPath
  • Cisco FabricPath: ключевые возможности•  Продолжение возможностей TRILL Лето 2010•  Маршрутизация на втором уровне с использованием до 16 альтернативных путей (ECMP)•  Заголовок FabricPath: иерархическая адресация со встроенным предотвращением «зацикливания» Up to 16Wa L2 ECMP•  Выучивание MAC «по диалогам»: Cisco FabricPath эффективное использование аппаратных ресурсов•  Совместимость с «классическим» Ethernet •  VPC+ обеспечивает VPC в L2MP сеть •  STP Boundary Termination•  Поддержка множественных топологий – возможность Traffic Engineering
  • Преимущества FabricPath Multi-Domain – Silos FabricPath – Any App, Anywhere! Fabric Web Servers App Servers New Apps Web Servers App Servers Silo 1 Silo 2 Silo 3 New Apps•  Создаёт сетевую «фабрику», работающую как один коммутатор → разрушает «острова», делает возможной мобильность нагрузки•  Упрощение дизайна – меньше коммутаторов, ниже переподписка, выше «горизонтальная» масштабируемость•  Опора на открытый протокол с важными усовершенствованями•  Упрощения взаимодействия между сетевои и серверной «командами»
  • Cisco FabricPath делает возможными болеебыстрые, простые и «плоские» сети ЦОД •  “Мы оценивали FabricPath с точки зрения его способности повысить пропукную способность, обходить проблемы в сети и упростить управление сетью. Во всех трёх областях FabricPath достиг желаемого результата” •  “Коммутаторы передавали все трафик с нулевыми потерями пакетов, подтверждая способность FabricPath распределять нагрузку по 16 альтернативным соедиениям" •  “FabricPath сходится гораздо быстрее,чем Spanning Tree” •  “Нет сомнения, что он представляет собой существенный прогресс в области сетевых технологий” http://www.networkworld.com/reviews/2010/102510-cisco-fabricpath-test.html
  • Детали технологииFabricPath
  • Интерфейсы FabricPath и Classic Ethernet Интерфейсы Classic Ethernet (CE)§  Подключаются к серверам и традиционным сетевым устройствам → FabricPath interface§  Получают/отправляют традиционные → CE interface фреймы Ethernet§  Участвуют в STP§  Коммутация на основании MAC FabricPath Ethernet Ethernet FabricPath Header STP Интерфейсы FabricPath §  Подключаются к другому устройству FabricPath §  Получают/отправляют фреймы с заголовком FabricPath §  Нет Spanning Tree!!! §  Нет MAC learning §  Обмен топологической информацией с помощью ISIS §  Коммутация на основании ‘Switch ID’
  • FabricPath и CE VLANы•  В FabricPath коммутаторе, VLAN Mode каждый VLAN является либо CE VLAN (default) либо CE FabricPath VLAN VLAN FabricPath VLAN•  Только трафик в FabricPath M1 Ports VLANах может передаваться F1 Ports F1 Ports F2 Ports через FabricPath домен CE mode CE mode CE mode•  Коммутация между M1 и F1 портами только для CE VLAN FP mode FP mode n7k(config)# vlan 10 n7k(config-vlan)# mode ? ce Classical Ethernet VLAN mode F1 порт в FabricPath VLAN fabricpath FabricPath VLAN mode может работать и в режиме CE, и в режиме FabricPath n7k(config-vlan)# mode
  • Принцип коммутации в FabricPath DSID→20 DSID→20 → FabricPath interface SSID→10 SSID→10 DMAC→B → CE interface SMAC→A DMAC→B Payload SMAC→A S10 Payload S20 Ingress FabricPath Egress FabricPath Switch Switch Payload DMAC→B SMAC→A SMAC→A Payload FabricPath Core DMAC→B DMAC→B STP STP Payload SMAC→A SMAC→A Payload DMAC→B MAC A MAC B•  Входной FabricPath коммутатор определяет Switch ID выходного и добавляет заголовок FabricPath•  Switch ID выходного коммутатора используется для маршрутизации в ядре FabricPath•  Не нужно выучивание или простмотр No MAC адресов в ядре•  Выходной FabricPath коммутатор снимает заголовок FabricPath и передаёт фрейм в CE порт
  • Инкапсуляция FabricPath 16-байтный заголовок MAC-in-MAC Classical Ethernet Frame DMAC SMAC 802.1Q Etype Payload CRC Original CE FrameCisco FabricPath Outer DA Outer SA FP Tag DMAC SMAC 802.1Q Etype Payload CRC (new) Frame (48) (48) (32) 6 bits 1 1 2 bits 1 1 12 bits 8 bits 16 bits 16 bits 10 bits 6 bits OOO/DL RSVDEndnode ID Endnode ID Sub U/L I/G Switch ID Port ID Etype Ftag TTL (5:0) (7:6) Switch ID •  Switch ID – уникальный идентификатор FabricPath коммутатора •  Sub-Switch ID – идентификатор устройства/хоста подлюченного по VPC+ •  Port ID – идентификатор входного или выходного интерфейса •  Ftag (Forwarding tag) – идентификатор топологии и/или дерева распространения группового трафика •  TTL - уменьшается на каждом шаге для предотвращения зацикливания
  • FabricPath ECMP•  При наличии нескольких альтернативных путей, выбор пути обеспечивается хеш-функцией•  До 16 next-hop интерфейсов для каждого Switch ID получателя•  Масштабирование полосы до 16 логических интерфейсов, до 256 физических (с учётом Port Channel) S1 S100 S16
  • Диалоговое выучивание MAC адресов(conversational MAC Learning)•  Метод выучивания MAC адресов предназначенный для экономии места в таблицах на пограничных коммутаторах FabricPath –  Коммутаторы ядра FabricPath вообще не выучивают MAC адреса•  Каждый коммутационный блок различает два типа MAC адресов: –  Локальный – MAC, подключенный к коммутационному блоку CE портом –  Удалённый – MAC, подключенный к другому коммутатору или коммутационному блоку•  Коммутационый блок выучивает удалённые MAC только если между ним и локальным MAC возникает «диалог» –  Выучивание MAC не вызывается широковещательными пакетам•  Диалоговое выучивание разрешено во всех FabricPath VLANах
  • Диалоговое выучивание MAC адресов(conversational MAC Learning) FabricPath MAC Table on S300 MAC IF/SID B S200 (remote) C e7/10 (local) S300 FabricPath MAC C S100 MAC Table on S100 MAC IF/SID A e1/1 (local) B S200 (remote) FabricPath FabricPath Core MAC Table on S200 MAC IF/SID S200 A S100 (remote) MAC A B e12/1(local) C S300 (remote) MAC B
  • Как это работает вместе – от хоста A к хосту B (1) Broadcast ARP Request Root for Root for Multidestination Tree 1 Tree 2 S10 S20 S30 S40 Trees on Switch 10 Tree IF DSID→FFFtag → 1 L1,L5,L9 Ftag→1 2 L9 SSID→100 DSID→FF Ftag→1 DMAC→FF L5 L6 L7 L8 SSID→100 SMAC→A Multidestination L1 L2 L3 L4 DMAC→FF Payload L9 L10 L11 L12 Trees on Switch 100 SMAC→A Tree IF PayloadBroadcast → 1 L1,L2,L3,L4 S100 S101 FabricPath S200 2 L4 Multidestination Trees on Switch 200 FabricPath Tree IF Payload MAC Table on S100 DMAC→FF SMAC→A Ftag → 1 L9 SMAC→A MAC IF/SID 2 L9,L10,L11,L12 DMAC→FF A e1/1 (local) Payload MAC A MAC B FabricPath MAC Table on S200 MAC IF/SID Don’t learn MACs in flood frames Learn MACs of directly-connected devices unconditionally
  • Как это работает вместе – от хоста A к хосту B (2) Unicast ARP Reply Multidestination S10 S20 S30 S40 Trees on Switch 10 Tree IFFtag → 1 L1,L5,L9 2 L9 DSID→MC1 DSID→MC1 Ftag→1 Ftag→1 L5 L6 L7 L8 SSID→200 SSID→200 Multidestination DMAC→A DMAC→A L1 L2 L3 L4 L9 L10 L11 L12 Trees on Switch 100 SMAC→B SMAC→B Tree IF Payload PayloadFtag → 1 L1,L2,L3,L4 S100 S101 FabricPath S200 2 L4 Multidestination Trees on Switch 200 FabricPath Tree IF DMAC→A Payload MAC Table on S100 SMAC→B SMAC→B Unknown → 1 L9 MAC IF/SID 2 L9,L10,L11,L12 Payload DMAC→A A→ A e1/1 (local) MAC A MAC B B S200 (remote) FabricPath MAC Table on S200 MAC IF/SID If DMAC is known, then A→ learn remote MAC B e12/2 (local)
  • Как это работает вместе – от хоста A к хосту B (3) Unicast Data FabricPath Routing Table on S30 S10 S20 S30 S40 Switch IF … …S200 → S200 L11 DSID→200 DSID→200 Ftag→1 Ftag→1 SSID→100 L5 L6 L7 L8 SSID→100 DMAC→B DMAC→B FabricPath Routing L1 L2 L3 L4 L9 L10 L11 L12 SMAC→A Table on S100 SMAC→A Payload Switch IF Hash Payload S10 L1 S100 S101 FabricPath S200 S20 L2 FabricPath Routing S30 L3 Table on S30 S40 L4 Switch IF Payload DMAC→B S101 L1, L2, L3, L4 … … SMAC→A SMAC→A … … Payload S200 → S200 – DMAC→BS200 → S200 L1, L2, L3, L4 MAC A MAC B FabricPath FabricPath MAC Table on S200 MAC Table on S100 MAC IF/SID MAC IF/SID A S100 (remote) A e1/1 (local) B→ B e12/2 (local) B→ B S200 (remote)
  • S3 FabricPathVPC+ для сопряжения с L1 L2традиционными сетями F1 VPC+ F1 CE S1 F1 F1 S2•  VPC+ обеспечивает PortChannel подключения active/active к F1 F1 пограничным коммутаторам FabricPath домена внешних не- po3 FabricPath устройст Physical Host A –  CE коммутатор, маршрутизатор, сервер и т.д.•  VPC+ требует F1 модулей с включенным FabricPath –  Peer-link и все подключения VPC Logical S3 Host A→S4→L1,L2 + должнгы быть на F1 портах L1 L2•  VPC+ создаёт «виртуальный F1 F1 VPC+ FabricPath коммутатор» для каждого устройства S1 F1 F1 S2 подключенного по VPC+-чтобы F1 F1 обеспечить балансировку нагрузки в FabricPath домене S4 Виртуальный “Switch 4” становится next-hop коммутатором для хоста A в FabricPath домене po3 Host A
  • Cisco FabricPath: пример использованияМасштабирование вычислительных кластеров 16 Chassis 12,288 10GE ports Spine Switch 768 10GE FabricPath ports per system 16-port Etherchannel 16-way ECMP FabricPath 32 Chassis 384 10GE FabricPath Ports Edge Switch Open I/O Slots for connectivity 160 Tbps System Bandwidth Преимущества FabricPath для HPCТребования HPC §  FabricPath образует производительное «толстое дерево» (fat tree)•  Большое число вычислительных узлов §  Неблокируемый транспорт за счёт FabricPath ECMP и агрегирования•  Минимальная «переподписка» портов (port-channel)•  Низкая задержка между §  Сокращение числа транзитных узлов узлами для снижения задержки
  • Использование FabricPath в корпоративном ЦОДАльтернатива традиционной архитектуре с STP •  Существенное повышение производительности •  Сокращение числа устройств •  Повышение надёжности •  Упрощение эксплуатции –  меньше устройств –  проще настройка Традиционная сеть со Spanning Tree Сеть на базе FabricPath Blocked Links Oversubscription 16:1 Fully Non-Blocking 2:1 FabricPath 4 Pods 8:1 64 Access Switches 8 Access Switches 2, 048 Servers 2, 048 Servers
  • Вопросы и Ответы
  • Спасибо!Просим Вас заполнить анкеты.Ваше мнение очень важно для нас!