Развитие технологий современного ЦОД.
Upcoming SlideShare
Loading in...5
×
 

Развитие технологий современного ЦОД.

on

  • 564 views

 

Statistics

Views

Total Views
564
Views on SlideShare
564
Embed Views
0

Actions

Likes
0
Downloads
7
Comments
0

0 Embeds 0

No embeds

Accessibility

Categories

Upload Details

Uploaded via as Adobe PDF

Usage Rights

© All Rights Reserved

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Processing…
Post Comment
Edit your comment

 Развитие технологий современного ЦОД. Развитие технологий современного ЦОД. Presentation Transcript

  • Развитие технологийсовременного ЦОДСкороходов АлександрСистемный инженер-консультант
  • Поток по центрам обработки данных – 20 ноябряВремя Выступление Докладчик13:40 -14:10 Оптимизация энергозатрат в ЦОД на микро- и Леонид Шишлов, менеджер макроуровнях по развитию ЦОД, Intel.14:15 - 15:15 Развитие технологий современного ЦОД. Часть 1 Александр Скороходов, Cisco15:30 - 16:30 Развитие технологий современного ЦОД. Часть 2 Александр Скороходов, Cisco16:45 - 17:45 Сетевая поддержка виртуальных машин Игорь Гиркин, Cisco18:00 - 19:00 Виртуализированные сервисы Cisco Игорь Гиркин, Cisco 2
  • Поток по центрам обработки данных – 21 ноябряВремя Выступление Докладчик9:30 - 10:00 Конфигурация и соответствие: Dominic Wellington, BMC две половины единого целого10:05 - 11:05 Архитектура и преимущества объединённой Евгений Лагунцов, Cisco вычислительной системы Cisco UCS11:20 - 12:20 Новые продукты и возможности семейства Cisco UCS Евгений Лагунцов, Cisco12:35 - 13:35 Семейство коммутаторов Cisco Nexus 7000: Александр Скороходов, возможности и развитие Cisco14:55 - 15:25 ПО StruxureWare Operations для мониторинга ресурсов Раиль Хайбуллин, APC датацентра by Schneider Electric15:30 - 16:30 Семейство коммутаторов Cisco Nexus 5000/2000: Игорь Гиркин, Cisco возможности и развитие16:45 - 17:45 Задачи создания и варианты связи распределённых ЦОД Эльдар Женсыкбаев, Cisco18:00 - 19:00 Совместная открытая дискуссия Cisco и Intel по тематике ЦОД 3
  • Поток по центрам обработки данных – 22 ноябряВремя Выступление Докладчик9:30 - 10:00 Интегрированные инфраструктурные платформы на Денис Кривенцов, примере VBlock, VSPEX Техносерв10:05 - 11:05 Построение ЦОД небольшой организации Михаил Сафронов, Cisco11:20 - 12:20 Построение и развитие сети крупного ЦОД Андрей Кардаманов, Cisco12:35 - 13:35 Внедрение корпоративных приложений на Cisco UCS Евгений Лагунцов, Cisco14:55 - 15:25 VMware View и VMware Horizon: удобное, безопасное и Владимир Порохов, экономичное рабочее место пользователя VMware15:25 - 16:25 Архитектура Cisco VXI для виртуализации рабочих Максим Хаванкин, Cisco мест пользователей и её внедрение. Введение и базовые элементы16:30 - 17:30 Архитектура Cisco VXI для виртуализации рабочих Максим Хаванкин, Cisco мест пользователей и её внедрение. Сервисные элементы, масштабирование и управление 4
  • Поток по облачным вычислениям – 21 ноябряВремя Выступление Докладчик9:30 - 10:00 Облачная модель предоставления услуг: практика применения в Олег Коверзнев, Cisco России и перспективы на будущее10:05 - 11:05 Public Cloud: основные этапы создания облачного сервис- Дмитрий Хороших, Cisco провайдера11:20 - 12:20 Public Cloud: cоздание платформы оказания услуг, технологии Дмитрий Хороших, Cisco Cisco и интеграция с партнерскими решениями12:35 -13:35 Архитектура виртуализованного ЦОД - Cisco Virtual Multi-Service Виктор Пустошилов, Data Center. Подход Cisco к минимизации рисков при построении Cisco облачной инфраструктуры14:55 - 15:25 Безопасность облачной платформы: теория и практика Михаил Кадер, Cisco15:30 - 16:00 Интегрированные решения Vblock, FlexPod и FastTrack - Евгений Лагунцов, Cisco строительные блоки для облачной инфраструктуры16:00 - 16:30 Практические вопросы внедрения VBlock Павел Миневич, I-teco16:45 - 17:45 Private Cloud: Cisco Intellegent Automation for Cloud (CIAC): Влад Патенко, Cisco комплексное решение от Cisco для построения "облака"18:00 - 19:00 Открытая дикуссия по теме "Cloud Computing" 5
  • Демопоток по тематике ЦОД – 22 ноябряВремя Выступление Докладчик9:30 - 10:00 Intel Data Center Manager® как основа управления Леонид Шишлов, менеджер ресурсами ЦОД по развитию ЦОД, Intel.10:05 - 11:05 Система управления Cisco Unified Computing Евгений Лагунцов, Cisco Systems Manager11:20 - 12:20 Управление и автоматизация Cisco UCS для Игорь Гиркин, Cisco системных администраторов12:35 -13:35 Настраиваем ЦОД небольшой организации Михаил Сафронов, Cisco14:55 - 15:25 ПО StruxureWare Operations для мониторинга Раиль Хайбуллин, APC ресурсов датацентра15:25 - 16:25 Мультиплатформенный программный коммутатор Дмитрий Жечков, Cisco Cisco Nexus 1000V16:30 - 17:30 Виртуализированные сервисы Cisco Евгений Киселев 6
  • Эволюция идеологии ЦОД Phase 1 Phase 2 Phase 3Консолидация и управляемость Мейнфреймы Распределенная обработка Сервис-ориентированный ЦОД Виртуализация Централизация Децентрализация Облачные вычисления Эволюция архитектуры приложений 7
  • Развитие сети ЦОД Варианты эволюции сетей ЦОД blade1 blade1 blade1 blade1 slot 1 blade2 slot 1 blade2 slot 1 blade2 slot 1 blade2 blade3 slot 2 blade3 slot 2 slot 2 blade3 slot 2 blade3 slot 3 blade4 slot 3 blade4 slot 3 blade4 slot 3 blade4 slot 4 blade5 slot 4 blade5 slot 4 blade5 slot 4 blade5 slot 5 blade6 slot 5 blade6 slot 5 blade6 slot 5 blade6 slot 6 blade7 slot 6 blade7 slot 6 blade7 slot 6 blade7 slot 7 blade8 slot 7 blade8 slot 7 blade8 slot 7 blade8 slot 8 slot 8 slot 8 slot 8 blade1 blade1 blade1 blade1 slot 1 blade2 slot 1 blade2 slot 1 blade2 slot 1 blade2 slot 2 blade3 slot 2 blade3 slot 2 blade3 slot 2 blade3 slot 3 blade4 slot 3 blade4 slot 3 blade4 slot 3 blade4 slot 4 blade5 slot 4 blade5 slot 4 blade5 slot 4 blade5 slot 5 blade6 slot 5 blade6 slot 5 blade6 slot 5 blade6 slot 6 blade7 slot 6 blade7 slot 6 blade7 slot 6 blade7 slot 7 blade8 slot 7 blade8 slot 7 blade8 slot 7 blade8 slot 8 slot 8 slot 8 slot 8 blade1 blade1 blade1 blade1 slot 1 blade2 slot 1 blade2 slot 1 blade2 slot 1 blade2 slot 2 blade3 slot 2 blade3 slot 2 blade3 slot 2 blade3 slot 3 blade4 slot 3 blade4 slot 3 blade4 slot 3 blade4 slot 4 blade5 slot 4 blade5 slot 4 blade5 slot 4 blade5 slot 5 blade6 slot 5 blade6 slot 5 blade6 slot 5 blade6 slot 6 blade7 slot 6 blade7 slot 6 blade7 slot 6 blade7 slot 7 blade8 slot 7 blade8 slot 7 blade8 slot 7 blade8 slot 8 slot 8 slot 8 slot 8Сверхнизкая задержка HPC/GRID Виртуализированный ЦОД MSDC• Алгоритмический трейдинг • L3 и L2 • Провайдеры и корпорации • Layer 3 доступ (iBGP, ISIS)• L3 и мультикаст • Без виртуализации • Виртуализация вычислений • Сотни и тысячи стоек• Без виртуализации • iWARP & RCoE • Разнородная среда • Однородная среда• Небольшой масштаб • 10G -> 40G • Подключения: 1G -> 10G • Без виртуализации• Подключения: 10G->40G • Nexus 2000, 3000, 5500, 7000 & • Nexus 1000v,2000,5500,7000 и UCS • Подключения: 1G -> 10G• Nexus 3000 & UCS UCS • Nexus 2000,3000,5500,7000 и UCS 8
  • Развитие архитектуры ЦОД Развитие требований Новые подходы и технологии Новые продукты Рост производительности  Аппаратные коммутаторы Nexus Консолидация ввода-вывода  Высокоскоростной Ethernet  SAN коммутаторы MDS Простая и масштабируемая  Fibre Channel over Ethernet  Виртуальный коммутатор Nexus 1000V архитектура  Virtual PortChannel  Унифицированная вычислительная Виртуализация  FabricPath/TRILL система UCS Объединение ЦОД  Сетевая поддержка виртуализации  OTV/LISP От новых потребностей новых к технологиям, продуктам и архитектурам 9
  • Требования к сети ЦОД нового поколенияИ их реализация в решениях Cisco Nexus • Повышение производительности подключения серверов и магистрали 1/10 Gigabit Ethernet до серверов, 40/100GE, TRILL/FabricPath • Консолидация ввода-вывода серверов Fibre Channel over Ethernet (FCoE/DCB), Adapter-FEX • Более простая и «плоская» архитектура сети ЦОД без опоры на STP Virtual Portchannel, FEX, TRILL/FabricPath • Сетевая поддержка виртуализации Nexus 1000V, VM-FEX • Надёжная и производительная связь ЦОД OTV, LISP 10
  • Повышение производительности
  • Повышение производительности• Причины – Рост производительности процессоров • Десятки ядер на сервер, многие десятки «ГГц» – Виртуализация: • Десятки VM на один хост – суммирование требований – Конвергентный транспорт: • Передача FCoE - производительность не менее 10Гбит/с• Решения – 10 Гбит/с до серверов (с сохранением эффективной поддержки 1Гбит/с!) • Варианты подключения 10G: DAC, AOC, 10GBASE-T – 40/100 Гбит/с на магистрали • Требования к СКС – Горизонтальное масштабирование производительности • Cisco FabricPath, IETF TRILL 12
  • 10 Gigabit Ethernet для подключения серверов Mid 1980’s Mid 1990’s Early 2000’s Late 2000’s 10Mb 100Mb 1Gb 10GbUTP Cat 3 UTP Cat 5 UTP Cat 5 X2 SFP Fiber SFP+ Cu (BER better than 10 1) 8 SFP+ Fiber Cat 6/7 Технология Кабель Расстояние Потребление Задержка SFP+ CU Twinax 10m ~0.1W ~0 Copper SFP+ USR MM OM2 10m 1W ~0 ultra short reach MM OM3 100m SFP+ SR MM 62.5mm 82m 1W ~0 short reach MM 50mm 300m Cat6 55m ~6W 2.5ms 10GBASE-T Cat6a/7 100m ~6W 2.5ms Cat6a/7 30m ~4W 1.5ms 13
  • Медные кабели SFP+ Direct Attach● Спецификация: SFF-8431● Называют DAC, 10G SFP+ Cu, CX1, 10G-CR...● 2 пары твинаксиального кабеля● Коннекторы установлены и протестированы на заводе Коннекторы SFP+● Взаимозаменяемость с оптическими трансиверами SFP+● Низкая стоимость, энергопотребление, минимальная задержка● Небольшая длина (до ~10м) Сечение● Оптимально подходит для соединений внутри стойки или группы стоек● Поддерживаются на всех моделях Nexus: Nexus 2000/3000/4000/5000/7000● Вариант: активные оптические кабели (AOC) (меньше диаметр) Активный оптический кабель 14
  • Кабели SFP+ Direct Attachварианты применения Оптические Оптические аплинки аплинки Оптические Подключение FEX кабелями SFP+ аплинки или по оптоволокну трансиверами FET 15
  • 10GBase-T10 Gigabit по «витой паре»• Стандарт: IEEE 802.3an• Предпочтительный вариант для интегрированных адаптеров в серверах: возможна совместимость с 10/100/1000• До 100 метров (по СКС категории 6A или 7)• Высокая сложность обработки -> высокое энергопотребление (до 4-8 Вт на порт)• Уровень ошибок (BER) до 10-12 - проблема для FCoE• Решаются в новых поколениях микросхем/оборудования• Поддерживается Nexus 2000/3000/5500/7000 16
  • Выскоскоростной EthernetHigh Speed Ethernet: 40G/100G• Стандарт IEEE 802.3ba - одобрен в июне 2010 г• Утвержденные варианты интерфейсов 40G: – 40GBASE-KR4: Соединения внутри устройств – 40GBASE-CR4: 10 м по твинаксиальному кабелю – 4 x 10G – 40GBASE-SR4 : 100 м по кабелю OM3 по 4 парам волокон – 40GBASE-LR4 (СWDM): 10 км по одномодовому волокну – 4λ x 10G – Большие расстояния не стандартизованы• Утвержденные варианты интерфейсов 100G – 100GBASE-CR10 : 10 м по твинаксиальному кабелю – 10 x 10G – 100GBASE-SR10: 100/125 м по кабелю OM3/OM4 по 10 парам волокон – 100GBASE-LR4 (DWDM): 10 км по одномодовому волокну – 4λ x 25G – 100GBASE-ER4 (DWDM): 40 км по одномодовому волокну – 4λ x 25G 17
  • Высокоскоростной Ethernet внутри ЦОДПараллельные оптические жилы 40G: 12F MTP коннектор 100G: 24F MTP коннектор 18
  • QSFP+ трансиверы и передача 10/40G Гибкость и экономия Nexus 3016 – 10G/40G QSFP+ SR QSFP+ SR ~1.5W ~1.5W4 x QSFP+- 160Gbps 10G-SR 10G-SR ~1.5W ~1.5W ~1.5W ~1.5W ~1.5W ~1.5W ~1.5W ~1.5W Nexus 3064 – 1G/10G/40G #12 #12 #1 #11 1 x QSFP+ обеспечивает #2 #10 замену 4 x 10G SFP+ #1 #3 #9 (расстояние – до 100м на OM3) #4 с меньшей ценой и 12-fiber MPO connector with key on 4 LC duplex connectors with latch on top (unused channels 5 to 8 are cut) энергопотреблением top Переходной кабель MTP12 – 4*LC 19
  • Применение 40G и 100G: выводы• 40G (и 100G) – внутри ЦОД, 100G для связи ЦОД• Подготовка СКС ЦОД к требованиям 40G: • Многомодовое внедрение: 4 параллельных пары • Коннектор MTP12: 1x 40G = 6 x 10G с точки зрения СКС • Обратная совместимость с 10G – универсальные QSFP порты • Расстояние ограничено 100 м для кабеля OM3 – не 300 м (как для 10G-SR)• Внедрение 100G: • Многомодовое внедрение: 10 параллельных пар (коннектор MTP24) • Одномодовая оптика 100G: большие и энергоёмкие решения (могут уменьшиться в размерах и мощности в следующих поколениях)• Обратная совместимость СКС: • Патч-корды и патч-панели MTP <-> LC • Патч-корды MTP24 – MTP12• Поддержка на Nexus 3000, 7000• Следите за анонсами!  20
  • Горизональное масштабирование производительности Spanning-Tree vPC FabricPath 16 SwitchesАктивных Один Два 16путейПроизводитель- До 15 Тбит/с До 30 Тбит/с До 240 Тбит/сность блока Масштабируемость Layer 2 Виртуализация инфраструктуры и производительность 21
  • Консолидация ввода-вывода
  • Консолидация ввода-вывода• Потребности – Рост числа подключений к SAN • Виртуализация с поддержкой мобильности и HA • Кластерные системы • Защита информации средствами СХД – Большое числе интерфейсов LAN • Требования виртуализированных внедрений – Распространение блейд-систем • Трудно обеспечить много интерфейсов• Решения – FCoE для SAN трафика • Консолидация и сохранение полной совместимости с моделью FC – DCB для обеспечения гарантий для FCoE трафика • PFC, ETS, DCBX – Adapter-FEX/IEEE802.1BR • Доведение множества логических интерфейсов на уровень ОС/гипервизора 23
  • Консолидация ввода-выводаОбъединенный транспорт FCoE/IEEE DCBInternet/ Storage RDMA/IPC LAN SANIntranet Unified LAN SAN IPC Fabric IPC Без консолидации • Много портов ввода-вывода Используя FCoE/DCB (+Adapter-FEX) • Высокие расходы на оборудование и эксплуатацию • Общий транспорт • Обеспечение совместимости 24
  • Fibre Channel over Ethernet (FCoE) Ethernet• Метод передачи фреймов FC по Ethernet • Выглядит как FC для серверов и сети • Сохраняет текущую инфраструктуру и управление FC Fibre Channel • Фрейм FC остается неизменным• Стандарт утвержден 3 июня 2009 года (ANSI T11 FC-BB-5)• Семейство стандартов IEEE DCB для «улучшенного» Ethernet • Priority Flow Control: отсутствие потерь (аналог BB_Credits в FC) • Enhanced Transmission Selection: выделение полосы • DCB Exchange: согласование настроек и логическое состояние Cisco первой представила основанный на стандартах коммутатор FCoE Cisco Nexus 5000 25
  • Коммутаторы Cisco с поддержкой FCoE Директорный класс Фиксированная конфигурация Nexus 5596 MDS 9500 Nexus 7000 Nexus 5020 Nexus 5548 F1 32-port FCoE 8-port F2 48-port Nexus 2232 Nexus 5010 Nexus 4000 NX-OS & DCNM 26
  • FCoE: консолидация на уровне доступа • Первый шаг – «консолидация доступа» («Unified Wire») • Существенная экономия при сохранении существующего ядра сетей Ethernet и Fibre Channel • Лежит в основе Cisco UCS SAN A SAN B 10GE Backbone VF порты VN порты (CNA) 27
  • FCoE: консолидация в масштабах сети  Расширение консолидации ввода-вывода FCoE на магистраль Ethernet core Storage  Сохранение изоляции SAN фабрик для отказоустойчивости  Поддержка систем хранения с VE порты подключением по DCB/FCoE  Теперь и для Cisco UCS (с релиза 2.1) ! VE порты VF VN DCB и FCoE 28
  • FCoE на Nexus 7000Выделенный Storage VDC Выделенный Storage VDC Выделенный Storage VDC – разделяемые интерфейсы Storage VDC: виртуальный Модель для хостов/СХД, не для LAN SAN FC/FCoE коммутатор ISL линков Выполняет только процессы, Отдельный VDC для Storage Nexus7000 связанные с FC/FCoE Ethernet трафик «расщепляется» LAN Storage на основании Ethertype VDC VDC Только один на систему Изоляция уровней управления FCoE трафик обрабатывается в и коммутации Storage VDC Nexus7000 LAN Storage VDC VDC LAN VDC Storage VDC LAN VDC Storage VDC Ethernet FCoE& FIP Ethernet FCoE & FIP Converged I/O 29
  • FCoE для связи SAN между ЦОД?Да! С картами F2/F2E До 80 км Nexus 7000 Nexus 7000 Поддерживаемые расстояния для FCoE транспорта: Storage VDC Storage VDC  Nexus 5500: до 3 км  Nexus 7000 с F1 картами: до 10 км  Nexus 7000 с F2/F2E картами: до 80 км с DWDM SFP+ Использование отдельных соединений для LAN и SAN трафика Storage VDC Storage VDC 30
  • Развитие архитектуры
  • Развитие архитектуры сети ЦОД Причины  Рост масштабов ЦОД  Масштабирование производительности  Управляемость  Растягивание подсетей Решения  Распределённый коммутатор доступа: архитектура FEX-Link  1G или 10G, SFP+ или «витая пара»  Продолжение внутрь сервера: Adapter-FEX, VM-FEX  Virtual Portchannel  Уход от Spanning Tree с сохранением общей топологии  Cisco FabricPath/IETF TRILL  «Маршрутизация на 2 уровне»  Горизонтальное масштабирование  Полное исключение Spanning Tree на магистрали 32
  • Виртуальное модульное шасси с FEXNexus 5500/7000 + Nexus 2000 Cisco Nexus® 7000 Cisco Nexus® 5500 + + Распределённый виртуальный модульный коммутатор (1500+ Ethernet интерфейсов) Cisco Nexus® 2000 FEX Cisco Nexus® 2000 FEX • Nexus 2000 FEX выполняет роль виртуальной карты для Nexus 5500/7000 • Единый конфигурационный файл • Между FEX и Nexus 5500/7000 не используется STP 33
  • Fabric Extender(FEX) унификация уровня доступа• Поддержка Nexus 5000/5500, 7000 и UCS 6100 как «материнских устройств» Core Layer• Сочетание моделей внедрения EoR, MoR, ToR• Миграция к 10GE и FCoE подключениям серверов• Сочетание типов кабелей (оптика и медь)• Гибкость выбора головных устройств, типов FEX, способа размещения и Agg соединения Layer VSS/vPC L3 L2 Nexus 2000 Nexus Fabric Extender FET/Twinax 5500 Серверы Медь/ Twinax Access Layer 34
  • Семейство Cisco Nexus 2000 Nexus 2248TP-E Nexus 2224TP 48 серверных портов 100/1000 UTP 24 серверных порта 100/1000 UTP 4 uplink порта 10GE SFP+ 2 uplink порта 10GE SFP+ Nexus 2232PP Nexus 2232TM-E 32 серверных портов 1/10GE SFP/SFP+ 32 серверных порта 1/10GBASE-T 8 uplink портов 10GE SFP+ 8 uplink портов 10GE SFP+ Поддержка консолидации ввода-вывода (FCoE) FET-10G B22HP / B22F Экономичное решения для Функциональность FEX внутри подключения FEX по оптоволокну блейд-шасси HP / Fujitsu 35
  • Экономичные варианты подключения Nexus 2000 10G SFP+ CX1 (Twinax) Fabric Extender Transceiver (FET) • Медный кабель с SFP+ модулями • Экономичный SFP+ трансивер (только) для • Для подключений серверов в стойке и подключения Nexus 2000 к материнской соединений между стойками системе • Низкая стоимость • Длина линии: до 100 м (OM3)/ 25 м (OM2) • Низкое энергопотребление • Энергопотребление ~ 1 Вт • Пассивные кабели: 1, 3, 5 м • Поставляется вместе с Nexus 2000 • Активные кабели: 7, 10 м • Несовместим с SR трансиверами
  • Virtual Port Channel (VPC) на Cisco NexusУход от опоры на STP при сохранении дизайна• Возможность организации агрегированного канала (port channel) приходящего на два разных коммутатора• Уход от опоры на STP• Использование полосы всех имеющихся соединений• Быстрая сходимость при отказе устройства или канала Без vPC• Обеспечение отказоустойвости и масштабируемости при подключении серверов• Сокращение CAPEX и OPEX• Обеспечение независимости коммутаторов для сохранения модели независимых «зеркальных» фабрик в сети хранения• Поддерживается на Nexus 2000/3000/5000/7000 С использованием vPC 37
  • Технологии L2MP: FabricPath/TRILLМаршрутизация на L2 и уход от Spanning Tree • «Ethernet матрица»: • Полный уход от Spanning Tree • Задействование всех путей • Рост производительности и надёжности путем увеличения числа узлов и связей • Принципиальное исключение возможности бесконечных «петель» • Быстрая и надежная сходимость • Стандартизация: IETF TRILL • Решение Cisco: FabricPath • Поддерживается на Nexus 5500/7000 • Простота настройки: N7K(config)# interface ethernet 1/1 N7K(config-if)# switchport mode fabricpath 38
  • Cisco FabricPath ключевые возможности• Маршрутизация на втором уровне – лучшее из двух миров• Использование до 16 альтернативных путей (ECMP) – до 256 соединений!• Поддержка архитектуры «Spine-Leaf» - горизональное масштабирование производительности и снижение чувствительности к отказам• Независимость от Spanning-Tree Protocol (и его полное устранение внутри сети): хорошая стабильность и сходимость• Прямые/оптимальные пути трафика• “VLAN anywhere” – гибкость внедрения и мобильность VM• Выучивание MAC «по диалогам»: эффективное использование таблиц• Совместимость с «классическим» Ethernet Балансировка до 16 путей – VPC+ обеспечивает VPC в L2MP сеть• Простота настройки Cisco FabricPath• Продолжение возможностей IETF TRILL 39
  • FabricPath в корпоративном ЦОДАльтернатива традиционной архитектуре с STP • Существенное повышение производительности • Сокращение числа устройств • Повышение надёжности • Упрощение эксплуатации – меньше устройств – проще настройка Традиционная сеть со Spanning Tree Сеть на базе FabricPath Blocked Links Oversubscription 16:1 Fully Non-Blocking 2:1 FabricPath 4 Pods 8:1 64 Access Switches 8 Access Switches 2, 048 Servers 2, 048 Servers 40
  • Интеграция FabricPath с традиционнымиподключениями: VPC+ FabricPath s3 s4 s7 s8 A VLAN X B VLAN Y VLAN Z • Сопряжение с традиционными сетями (STP/VSS/VPC) без проблем и ограничений STP: нет риска «петель», все соединения активны • Возможность подключения серверов и других устройств с агрегированием и отказоустойчивостью: все соединения активны 4 41 1
  • Интеграция маршрутизации в FabricPath сеть L3 FabricPath L3 • Гибкость вариантов внедрения маршрутизации • Произвольное число маршрутизируемых интерфейсов внутри фабрики • Возможность пиринга с ними внешних маршрутизаторов без ограничений • Использование VPC+/HSRP или GLBP для резервирования маршрутизации, в будущем – Anycast HSRP 4 42 2
  • Внедрение FabricPathПоддержка Fabric Extender S10 S20 S30 S40 FabricPath S100 S300 S200 Nexus 5k & 2k Nexus 5k & 2K EvPC “Straight Through” CE MAC A MAC B MAC C 43
  • FabricPath и конвергентный транспорт Ethernet FCFCoE – N5K->MDS Converged FCoE link Dedicated FCoE link S10 S20 S30 S40 FCoE FC Fabric ‘A’ Fabric ‘B’ MDS 9000 FabricPath CNA 44
  • FabricPath и конвергентный транспорт Ethernet FCFCoE – N7K->MDS Converged FCoE link Dedicated FCoE link S10 S20 S30 S40 FCoE FC Fabric ‘A’ Fabric ‘B’ MDS 9000 FabricPath CNA 45
  • Спасибо!Заполняйте анкеты он-лайн и получайте подарки в CiscoShop: http://ciscoexpo.ru/expo2012/questВаше мнение очень важно для нас!
  • Развитие технологийсовременного ЦОДСкороходов АлександрСистемный инженер-консультант
  • Сетевая поддержка виртуализациивычислений
  • Сетевая поддержка виртуализации вычислений Проблемы: • Возможна «миграция» VM на другой VMotion сервер. Политика должна следовать вслед за VM • Сеть «не видит» локально коммутируемый трафик и не может применить к нему политику • Сеть не может выделить на порту трафик конкретной VM • Изменение модели эксплуатации VLAN Сетевая поддержка виртуализации: 101 • Расширяет сеть до VM • Общие с физическими коммутаторами функции сетевых сервисов • Скоординированное с VM управление 49
  • Cisco Nexus 1000VВиртуальный распределенный программный коммутатор • Nexus 1000V обеспечивает полнофункциональную коммутацию для VMWare ESX (скоро и для MS Hyper-V, далее - Xen, KVM) Server 1 Server 2 • Ключевые возможности: VM VM VM VM VM VM VM VM VM #1 #2 #3 #4 #1 #5 #6 #5 #7 #8 –Управление VM по политикам – Функции безопасности, поддержка VMware vSwitch Nexus 1000V 1000V VMware vSwitch Nexus 1000V Nexus Netflow, ERSPAN, мультикаста, etherchannel VMW ESX VMW ESX –Мобильность настроек сети, безопасности и мониторинга –Сохраняет эксплуатационную модель Nexus 1000V • Сохранение политик и связи с сетью при миграции виртуальных машин VSM Virtual Center 50
  • Cisco Nexus 1000Vдля VMware vSphere VM VM VM VM VM VM VM VM VM VM VM VM Cisco Cisco Cisco Nexus Nexus Nexus 1000V 1000V 1000V VEM VEM VEM vSphere ESXi vSphere ESXi vShpere ESXi Server Server Server vCenter Cisco Nexus 1000V VSM 51
  • Cisco Nexus 1000Vдля Microsoft Windows 2012 Hyper-V VM VM VM VM VM VM VM VM VM VM VM VM Cisco Cisco Cisco Nexus Nexus Nexus 1000V 1000V 1000V VEM VEM VEM Windows Server Hyper-V Windows Server Hyper-V Windows Server Hyper-V Server Server Server System Center 2012 Virtual Machine Manager Cisco Nexus 1000V VSM*В настоящее время продукт доступен в бета-версии 52
  • Экосистема Cisco Nexus 1000V Virtual Appliance Nexus 1100 Imperva ASA1000V vWAAS VSG VSM VSM NAM VSG SecureSphere WAF CSR1000V Citrix NetScaler VPXVSM: Virtual Supervisor Module Virtual BladesVEM: Virtual Ethernet Module Virtual Supervisor Module (VSM)vPath: Virtual Service Data-path Network Analysis Module (NAM) Virtual Security Gateway (VSG)VSG: Virtual Security Gateway VEM-1 VEM-2 Datacenter Network Manager (DCNM)vWAAS: Virtual WAAS vPath vPathASA1000V: Adaptive Security Appliance vPath vSphere Hyper-V • Перенаправление трафикаCSR1000V: Cloud Services Router • Кэширование политик 53
  • Эволюция технологии Fabric ExtenderРаспределённый коммутатор до уровня стойки, интерфейсов сервера и VM Единое устройствоNexus 5500 или UCSFabric Interconnect Fabric Extender IEEE 802.1BR*  Консолидация управления сетью Приложения, требующие FEX многих интерфейсов  FEX является частью «родительского коммутатора»  Использует пре-стандартную реализацию IEEE 802.1BR Legacy *IEEE 802.1BR pre-standard 54
  • Эволюция технологии Fabric ExtenderРаспределённый коммутатор до уровня стойки, интерфейсов сервера и VM Единое устройствоNexus 5500 или UCSFabric Interconnect IEEE 802.1BR* Adapter FEX Приложения, требующие FEX многих интерфейсов  Консолидация многих интерфейсов в единое 10GE подключение  Расширение сети внутрь сервера IEEE 802.1BR*  Использует пре-стандартную реализацию IEEE 802.1BR Legacy Adapter FEX *IEEE 802.1BR pre-standard 55
  • Эволюция технологии Fabric ExtenderРаспределённый коммутатор до уровня стойки, интерфейсов сервера и VMNexus 5500 или UCSFabric Interconnect IEEE 802.1BR* FEX VM-FEX  Консолидация физической и виртуальной сети IEEE 802.1BR* IEEE 802.1BR*  Каждая VM получает порт на распределённом коммутаторе  Использует пре-стандартную реализацию IEEE 802.1BR Hypervisor Legacy Adapter FEX VM-FEX *IEEE 802.1BR pre-standard 56
  • Эволюция технологии Fabric ExtenderРаспределённый коммутатор до уровня стойки, интерфейсов сервера и VM Единое устройство •Порты коммутатораNexus 5500 или UCS •Порты FEXFabric Interconnect •Виртуальные адаптеры •Виртуальные машины IEEE 802.1BR* Fabric Extender Управление сетевыми  Консолидация управления FEX подключениями до  FEX выглядит линейной картой головного уровня ОС и коммутатора виртуальной машины Adapter FEX IEEE 802.1BR* IEEE 802.1BR*  Консолидация многих интерфейсов в единое 10GE подключение  Расширение сети внутрь сервера VM-FEX Hypervisor  Консолидация физической и виртуальной сети  Каждая VM получает порт на распределённом коммутаторе Legacy Adapter FEX VM-FEX *IEEE 802.1BR pre-standard 57
  • Объединение ЦОД
  • Распределённые ЦОДТехнологические элементы• Связь сетей передачи данных – Растягивание подсетей и L2 смежность – Маршрутизация – Мониторинг (heartbeat) / синхронизация в кластере – Репликация по IP – Подключение к транспортной сети• Связь сетей хранения данных – Синхронизация массивов по FC – Доступ к удаленным СХД/лентам• Оптимальный путь трафика
  • Растягивание подсетейВарианты технологийТранспорт Критерии применения • VSS & vPC или FabricPath Multi-Chassis EtherChannel (N7K/N5K, Cat6K) для связи пары ЦОД Ethernet FabricPath для связи многих сайтов (N7K/N5K) По тёмной оптике или xWDM Технологии LAN • EoMPLS & A-VPLS & H-VPLS Внедрение на PE (Cat6K, ASR9K, N7K (будущее)) MPLS Масштабирование и multi-tenancy Возможно поверх GRE Апробированный вариант, хорошо подходит SP • OTV Внедрение на CE (N7K, ASR1K) Подходит для корпоративных внедрений IP Малая зависимость от транспорта – требуется только IP сеть Маршрутизация по MAC адресам
  • Overlay Transport Virtualization (OTV) Простое и надежное решение для связи ЦОД • Расширение L2 доменов по произвольной IP сети • Ethernet трафик инкапсулируется в IP: “MAC in IP” • Динамическая инкапсуляция с использованием таблицы маршрутизации MAC MAC1  MAC2 IP A  IP B MAC1  MAC2 MAC1  MAC2 Encap DecapMAC IF OTV OTVMAC1 Eth1MAC2 IP B IP A IP BMAC3 IP B Взаимодействие между Server 1 MAC1 (сайт 1) и MAC2 (сайт 2) 2 Server MAC 1 MAC 2
  • Проблемы «растягивания» LANРешаемые OTV North• Работа поверх любого транспорта (IP, MPLS) Fault Domain Data Center Fault Domain• Изоляция доменов сбоев (STP)• Независимость сайтов• Оптимальное использование полосы• Встроенная отказоустойчивость• Встроенная защита от «петель»• Связь многих сайтов LAN Extension• Масштабируемость  VLANs, сайты, MACs  ARP, broadcasts/floods• Простота настройки Only 6 CLI commands• Легкость добавления сайтов Fault Domain Fault Domain South Data Center
  • Оптимальный путь В чём именно проблема? 10.1.1.0/25 & 10.1.1.128/25 advertised into L3 10.1.1.0/24 advertised into L3 DC A is the primary entry point Backup should main site go down Layer 3 Core Agg Agg Access AccessNode A Virtual Machine Virtual Machine ESX ESX Data Center 1 VMware Data Center 2 vCenter 63
  • Оптимальный путь Хотелось бы так... Agg Agg Access AccessNode A Virtual Machine ESX ESX Data Center 1 VMware Data Center 2 vCenter 64
  • Location ID/Separation Protocol(LISP)Сетевая технология следующего поколения Текущая ситуация Loc/ID “переписывается” Internet x.y.z.1 Когда устройство перемещается, оно получает новый IPv4 или Устройство IPv4 IPv6 адрес для своего нового или IPv6 w.z.y.9 место положения (identity или location) LISP Loc/ID “разделены” Internet x.y.z.1 Когда устройство Адрес IPv4 или IPv6 a.b.c.1 перемещается, оно сохроняет это только identity . e.f.g.7 свой IPv4 или IPv6 адрес x.y.z.1 identity остается тем жеМестоположение (location) определенно здесь! изменяется location
  • Локализация входящего Prefix Route Locator трафика с помощью LISP 10.10.10.1 C, D A, B Ingress Tunnel 10.10.10.2 A, B IP_DA 10.10.10.1 … … Encap 1 10.10.10.5 C, D 2 10.10.10.6 C, D IP_DA = 10.10.10.1 IP_DA= A Layer 3 Core ISP B ISP A Intranet IP_DA = 10.10.10.1 IP_DA= D 3 3 DC A DC B DecapDecap A B C D IP_DA = 10.10.10.1 IP_DA = 10.10.10.1 Public NetworkAgg Agg VLAN AAccess AccessVM= 10.10.10.1 L2 Links (GE or 10GE)Default GW = 10.10.10.100 L3 Links (GE or 10GE)
  • Распределённые ЦОДТехнологические элементы • Связь сетей передачи данных – vPC: Nexus 5000/7000 – FabricPath: Nexus 5000/7000 – OTV: Nexus 7000/ASR1K – VPLS – ASR9K, Cat6500, Nexus 7000 (будущее) • Связь сетей хранения данных – Связь по FC: Cisco MDS 9148/9500 – Связь по FCoE: Cisco Nexus 7000 (до 80 км с картами F2) – Связь по FCIP: Cisco MDS 9222i/9500 • Оптимальный путь трафика – RHI: ACE + инфраструктура – DNS: ACE GSS – LISP (для мобильности VM) – Nexus 7000 • Подробнее – в презентации Эльдара Женсыкбаева завтра в 16:45
  • Новые тенденции развитияКоммутация со сверхнизкой задержкой
  • Развитие сети ЦОД Варианты эволюции сетей ЦОД blade1 blade1 blade1 blade1 slot 1 blade2 slot 1 blade2 slot 1 blade2 slot 1 blade2 blade3 slot 2 blade3 slot 2 slot 2 blade3 slot 2 blade3 slot 3 blade4 slot 3 blade4 slot 3 blade4 slot 3 blade4 slot 4 blade5 slot 4 blade5 slot 4 blade5 slot 4 blade5 slot 5 blade6 slot 5 blade6 slot 5 blade6 slot 5 blade6 slot 6 blade7 slot 6 blade7 slot 6 blade7 slot 6 blade7 slot 7 blade8 slot 7 blade8 slot 7 blade8 slot 7 blade8 slot 8 slot 8 slot 8 slot 8 blade1 blade1 blade1 blade1 slot 1 blade2 slot 1 blade2 slot 1 blade2 slot 1 blade2 slot 2 blade3 slot 2 blade3 slot 2 blade3 slot 2 blade3 slot 3 blade4 slot 3 blade4 slot 3 blade4 slot 3 blade4 slot 4 blade5 slot 4 blade5 slot 4 blade5 slot 4 blade5 slot 5 blade6 slot 5 blade6 slot 5 blade6 slot 5 blade6 slot 6 blade7 slot 6 blade7 slot 6 blade7 slot 6 blade7 slot 7 blade8 slot 7 blade8 slot 7 blade8 slot 7 blade8 slot 8 slot 8 slot 8 slot 8 blade1 blade1 blade1 blade1 slot 1 blade2 slot 1 blade2 slot 1 blade2 slot 1 blade2 slot 2 blade3 slot 2 blade3 slot 2 blade3 slot 2 blade3 slot 3 blade4 slot 3 blade4 slot 3 blade4 slot 3 blade4 slot 4 blade5 slot 4 blade5 slot 4 blade5 slot 4 blade5 slot 5 blade6 slot 5 blade6 slot 5 blade6 slot 5 blade6 slot 6 blade7 slot 6 blade7 slot 6 blade7 slot 6 blade7 slot 7 blade8 slot 7 blade8 slot 7 blade8 slot 7 blade8 slot 8 slot 8 slot 8 slot 8Сверхнизкая задержка HPC/GRID Виртуализированный ЦОД MSDC• Алгоритмический трейдинг • L3 и L2 • Провайдеры и корпорации • Layer 3 доступ (iBGP, ISIS)• L3 и мультикаст • Без виртуализации • Виртуализация вычислений • Сотни и тысячи стоек• Без виртуализации • iWARP & RCoE • Разнородная среда • Однородная среда• Небольшой масштаб • 10G -> 40G • Подключения: 1G -> 10G • Без виртуализации• Подключения: 10G->40G • Nexus 2000, 3000, 5500, • Nexus 1000v,2000,5500,7000 и UCS • Подключения: 1G -> 10G• Nexus 3000 & UCS 7000 & UCS • Nexus 2000,3000,5500,7000 и UCS 69
  • Cisco Nexus 3548Полноценный коммутатор с уникальным показателями Характеристики Nexus 3548 Функции Algorithm Boost• 48x SFP+ – 100M / 1G / 10G / 40G SFP+ • Сверхнизкая задержка – ~250 nsec• Line rate L2/L3, Unicast & Multicast L2/L3, • WARP режим- ~190nsec режим-• 18MB буфер • WARP SPAN - ~50nsec• 24K IPv4 Route, 8K MC, 64K Host • NAT со сверхнизкой задержкой• 4K Flexible ACL / QoS • Active Buffer Monitoring• Data Center TCP (DCTCP/ECN) (DCTCP/ECN) • Intelligent Traffic Mirroring • IEEE-1588 PTP w/Pulse Per Second IEEE- Algo Boost Engine 70
  • Преодоление 200-наносекундного барьера! Задержка для : 300 Normal Mode @ ≈250ns • L2/L3, Unicast/Multicast 250Задержка в наносекундах • Всех размеров пакетов 200 Warp Mode @ ≈190ns • Всех включенных функций 150 • При полной нагрузке 100 Warp SPAN @ ≈50ns • Normal mode – полные таблицы 50 • Warp mode – сокращенные таблицы 0 64 256 512 1518 9216 • Warp SPAN – без функций Размер пакета Лидирующие показатели в индустрии 71
  • Использование Nexus 3548 для задачвысокочастотной торговли50 ns Exchange Feeds L3 … Feed Handler190 ns Messaging Bus Analyzer IP/GRE Header PTP Timestamp Original Packet Trading Firm Source Packet WARP SPAN Packet 72
  • Новые тенденции развитияПрограммируемые сети
  • Программируемые сетиРазное значение для разныхзаказчиков – Программный доступ для приложений: аналитика и оптимальный транспорт – Разделение коммутации и управления (O): экспериментальные протоколы, «нарезка сетей» – Виртуальные оверлейные сети: гибкость транспорта для динамичных облачных сред 74 7 4
  • Программируемые сети – на всех уровнях Application Developer EnvironmentСбор Управление и оркестрированиеинформации Analysis and Monitoring, Performance and Securityиз сети Сетевые сервисы Уровень управления OpenFlow/ SDN Уровень коммутации z Network Elements and Abstraction Транспорт Оптимальное программирование 75
  • Программируемые сети: стратегия Cisco Industry’s Most Comprehensive Networking Portfolio Hardware + Software Physical + Virtual Network + Compute Applications 1 3 Platform Virtual APIs Overlays Network 2a One Platform Kit (onePK) Controllers Open Clouds with Nexus 1000V - Программные APIs к and - Multi-hypervisor сетевому оборудованию Agents - Multi-service (IOS, IOS-XR, NX-OS) - Multi-cloud - Поддержка Openstack SDN: - Контроллер (OpenFlow, onePK) - OpenFlow агенты www.cisco.com/go/one
  • Программируемые сети – доступ через API Пример: Cisco OnePK Приложения Уровень представления с C Java Python* … различными вариантами Presentation Presentation Presentation Interface Presentation интеграции с языками Interface Interface Interface and APIs and APIs and APIs and APIs программирования Marshall & Transport Marshall & Transport Marshall & Transport Marshall & Transport Управляющий канал Marshall & Transport onePK Abstraction InterfaceУровень сетевой абстракции Element Utilities Developer Discovery Policy Routing Datapath … Реализация сервисов Операционня Cisco Network Operating System (IOS, IOS-XE, IOS-XR, NX-OS) система CiscoПервоначальные планы включают C и Java версии Presentation APIБудущие план включают Python и др
  • Примеры сетевых абстракцийНаборы сервисов OnePKBase Service Sets • API “Service Sets” delivered through Cisco’s onePK (one Platform Kit) Element Utilities Discovery Developer • Element Capabilities • Syslog Events and Queries • Network Element Discovery • Debug Capabilities • Configuration Management • AAA Interface • Service Discovery • Tracing Interfaces • Interface/Ports Events • Path Trace • Topology Discovery • Management Extensions • Location Information Data Path Policy Routing • Packet/Flow Classifiers • Interface Policy • Read RIB Routes • Copy/Punt/Inject • Interface Feature Policy • Add/Delete Application Routes • Statistics • Forwarding Policy • RIB Events (Route up/down) • Flow Action Policy 78
  • Модели программруемых сетей API для Network Virtualization/ 1 программирования 2a Классический SDN 2b Гибридный “SDN” 3 Virtual Overlays Applications Applications Applications Applications Vendor- Vendor- Vendor- specific APIs Vendor- specific APIs specific APIs specific APIs Virtual Control Plane Controller Controller Virtual Data Plane Оверлейные Vendor протоколы Specific (например, VXLAN) OpenFlow Vendor (e.g. onePK) Specific OpenFlow VendorCLI, SNMP, … Specific (e.g. onePK) (e.g. onePK) Control Plane Control Plane Control Plane Control Plane Data Plane Data Plane Data Plane Data Plane Data Plane
  • Контроллеры и агентыКонтроллер Cisco ONE Controller• Платформа для Applications (Cisco) Applications (Customer) Applications (3rd party) управления поведением Apps/Applications сети – консолидация Northbound API (REST, WebSockets, OSGi) состояния для многих Built-in GUI for Management Network Slicing Network Troubleshooting точек Custom Routing Controller built-in Applications• Существующие примеры Flow Management Forwarding Logic Device Management применения: Controller Core Infrastructure Гибкая «нарезка» (“Slicing”) сетей onePK API OpenFlow 1.x Protocol Диагностика проблем Southbound APIs (onePK, OneFlow,) Маршрутизация по правилам OF OF onePK onePK
  • Виртуальные оверлейные сети с Nexus 1000V OpenStack REST API Quantum API Nexus 1000V VEM (контроллер) контроллер) Nexus 1000V VEM (уровень коммутации) коммутации) Физическая vPath VXLAN Шлюз (VXLAN Aware) (16M Segments) VXLAN – VLAN сеть (VLAN)ASA 1KV VSG Любой гипервизор (VMware, Microsoft, Opensource) Opensource)vWAAS vACE ASA 55xx Tenant 1 Tenant 2 Tenant 3Виртуальные сервисы Виртуальные Физические (с vPath) нагрузки нагрузки Универсальная функциональность для физических и виртуальных нагрузок 81
  • Подходы Cisco к программируемым сетямНастоящее и будущее Существует Появляется Unified Nexus 1000V: Управление и оркестрирование Management, Prime OpenStack Сетевые сервисы Virtual Services CSR 1000V Уровень управления onePK SDN PoC: Nexus 1000V: Nexus 1000v Controller / OpenFlow Multi-Hypervisor VXLAN, vPath Agent VXLAN GW Уровень коммутации Транспорт Platform Controllers Virtual and APIs Overlays Agents
  • Cisco Open Network EnvironmentГибкость и возможность выбора Портал разработчиков Среда разработки onePK Обучение ABILITY TO SPAN LAYERS Element Utilities Discovery  Element Capabilities  Syslog Events and  Network Element  Configuration Queries Discovery Management  AAA Interface  Service Discovery ISVs  Interface/Ports  Netflow Events  Topology Discovery Events  DHCP Events  Location Information Policy Routing Developer  Interface Policy  Protocol  Debug Capabilities  Interface Feature Change  Tracing Interfaces OpenFlow Policy Events OpenStack  Management  Forwarding  RIB Table Extensions  Packet classifiers Policy Queries Quantum API  Flow Action  Marking  Interface descriptions  Copy/Punt Inject Policy  L2 network provisioning  Statistics  L3 and IP Addr. Mgmt. - coming RICHNESS OF FEATURES
  • Заключение
  • Инновации Cisco для мира сетей ЦОД Универсальные порты Гибкость применения DCB/FCoE Консолидация ввода-выводаCONVERGENCE VDC Виртуализация системы LISP Масштабируемая мобильность FabricPath Гибкость архитектуры SCALE vPC Active-Active Uplinks Оптимизация СКС и FEX управлениеINTELLIGENCE OTV Мобильность нагрузок
  • Семейство Cisco Nexusответ на требования ЦОД нового поколения• На рынке с 2008 года• Единая операционная система NX-OS для всего семейства Nexus и MDS: модульность и высокая4.1 NX-OS доступность NX-OS 4.2• Лидер рынка коммутации в ЦОД• Более 17,000,000 портов семейства Nexus• Более 36,000 заказчиков используют NX-OS Nexus 7000 Nexus 1000V Virtual Switch Nexus 2000 2008 Fabric Extender Nexus 3000 Nexus 4000 Nexus 5500 1K Cisco Nexus 1000V x86 86 TECDCT-2001 © 2012 Cisco and/or its affiliates. All rights reserved. Cisco Public
  • Разработки Cisco и приверженость открытым стандартам VN-Link 802.1BR ‘09 Инновации Cisco Power Over FCOE ANSI T11 Ethernet FC security ‘10 RSRB ISL MISTP Lossless 10GbE 802.1Qbb Tag Priority Cisco FabricPathHSRP NetFlow CDP Switching VSANs Flow QCN Control ‘90 ‘92 ‘94 ‘95 ‘96 ‘97 ‘98 ‘99 ‘00 ‘01 ‘02 ‘03 ‘04 ‘05 ‘06 ‘07 ‘08 ‘09 ‘04 ‘10 ‘95 ‘00 ‘01 ‘99 ‘03 ANSI T11 IEEE IETF TRILL DLSw 802.1s 802.1q 802.3af 802.1qbb MPLS ‘09 ‘99 ‘04 ‘05 802.3at IEEE VRRP IPFix LLDP (PoE Enhancements) 802.1Qau FC-SP at T11 Resulting Standards iSCSI RFC 3270 87
  • Спасибо!Заполняйте анкеты он-лайн и получайте подарки в CiscoShop: http://ciscoexpo.ru/expo2012/questВаше мнение очень важно для нас!