SlideShare a Scribd company logo
Построение центра обработки
данных небольшой организации
Михаил Сафронов
mikhail.safronov@cisco.com
О чем пойдет речь?
Цель доклада.

• Сформулировать требования к «малому» ЦОД
• Выделить технологии, реализующие эти требования
• Показать, как эти технологии применяются в дизайнах сетей
  «малых»ЦОД
• Ввести эталонную модель сети «малого» ЦОД
• Показать возможные пути развития этой модели
План доклада
•   Постановка задачи
     – Общие требования к сети ЦОД
     – Требования, специфичные для малого ЦОД
•   Технологическая основа малого ЦОД
     – Сеть (vPC/EvPC/vPC+, FEX, FabricPath)
     – Серверы (aFEX/VM FEX/DCE)
     – Сервисы (vPath)
     – Соединение ЦОДов
•   Типовые дизайны и топологии
     – Модель начального уровня
     – Среднеразмерная модель
     – Полнофункциональная модель
     – Модель «все в одном»
Постановка задачи
Поддержка виртуализации


  Преимущества:                           Новые требования к сети:
  - Эффективное использование             - Большие L2 домены
    ресурсов оборудования                 - Поддержка трафика систем хранения
  - Повышение доступности приложений      - Растягивание L2 доменов между ЦОД
  - Распределение нагрузки внутри и/или   - Сохранение модели эксплуатации при
    между ЦОД                               появлении встроенных средств
  - Снижение времени развертывания          программной коммутации гипервизора


                                                               Кластеры/распределенные
                                                               приложения
Виртуальные машины




Физический сервер
Виртуализация и программная коммутация трафика ВМ
новая концепция “фабрики коммутации”
                                                                                                                                                               vEth         vEth               vFC         vEth     vFC
                                                                                                                                                                 1            2                 3           4       126

                                                                                             Eth                                vFC
                                    Eth                   FC                                                                     3                                                                                    Адаптер SR-IOV
      Eth                                                                                    2/12
                           FC       2/12                 3/11                                                                                                VETH
                                                                                                                                                                            10GE - VNTag
                                                                                                                                                                                                                  предоставляет ресурсы
      2/12                3/11




                                                                                                    10GbE
                                                                                                             10GbE
                                                                                                                                                                                                                           PCIe
                                                                                                            Link
                                                                                                                                          Конвергентный
       Граница сети и фабрики                                                                                                                 адаптер




                                                                                                                     Ethernet
                                                                                                    Channel
                                                                                                     Fibre
                                        pNIC             HBA                                                                               осуществляет               Eth   FC          Eth   FC     Eth
                                                                            Всего 2 адреса                                                виртуализацию                1     2           3     4     126

                                                                             устройств на                   PCI                          физической среды
      NIC                HBA                                                   шине PCI                      e

                                                                PCI-E Bus                                                             PCI-E Bus                                                            PCI-E Bus
                                                  VMFS                                                                                                                           Pass
                                                                                                                                                                                              VMFS
                                                  SCSI                                                                VMFS                                                       Thru
                                 VETH
PCI-E Bus                                                                          VETH                               SCSI                                                                    SCSI


                                                                                                                                                                                                                            Граница
                                 VNIC                                              VNIC
                                                                                                                                                              VNIC                                                     фабрики коммутации

      ОС и драйверы                                                                  Гипервизор осуществляет
        устройств                                                                  виртуализацию ресурсов PCI-E

                                                                                Добавляем конвергентный                                                     Перемещаем коммутацию на
                                    Добавляем программный                         адаптер с поддержкой                                                       вышестоящий коммутатор,
  Традиционная модель               коммутатор гипервизора                           виртуализации                                                              используя FEX-Link


                                               Объединение вычислительной и сетевой среды



                                                                                                                                                                                                                                            7
Общая фабрика коммутации для LAN и SAN трафика

•   Еще одна возможность упростить
    инфраструктуру
•   Гибкость и универсальность
•   Поддержка протоколов блочного доступа:
     – Fibre Channel
     – Fibre Channel over Ethernet (FCoE)
     – iSCSI
•   Поддержка протоколов файлового доступа :      FC/FCoE



     – CIFS                                      iSCSI/NAS




     – NFS
Не только связность, но и сетевые сервисы
Интеграция сетевых сервисов в фабрику коммутации


 В невиртуализированной среде -
  логическая топология совпадает с
  физической
 Внешние программно-аппаратные
  комплексы ограничены в
  производительности
 Выход – встраивание виртуальных
  сервисных модулей в фабрику
  коммутации
 ...с учетом специфики виртуальной
  среды
                                                   9
Соединение ЦОДов
Для распределения нагрузки и/или повышения надежности


• Мобильность прикладных сервисов,
  распределенные приложения,
  катастрофоустойчивость                                     IP


• Необходимость «растягивания» L2 и
  мобильность L3 адресов – общие задачи
  для распределенных ЦОД независимо от
  размера
• От сетевой инфраструктуры требуются                                 DR

  специальные функции                       Удаленный   Основной   Резервный
                                               ЦОД        ЦОД         ЦОД




                                                                               10
Традиционная модель корпоративного ЦОД

• Ядро: соединение основного ЦОД и                          Core
  остальной сети
                                                Layer 3
• Агрегация: граница L2/L3, именно тут          Layer 2   Aggregation

  находятся шлюзы по умолчанию для серверов
• Доступ: физические соединения сетевых                     Services

  интерфейсов серверов с сетью ЦОД (или                            Access

  логических портов с виртуальными серверами)


Для ЦОД небольшой организации – нужно то
же самое, но с меньшим числом портов, по
возможности с меньшим числов сетевых
устройств, построенное на экономически
оправданной платформе...
                                                                            11
ЦОД небольшой организации – особые требования


Все вышесказанное +
• Простота в развертывании и сопровождении
• Минимальное число точек управления и контроля
• Достаточная функциональность уже в начальной
  конфигурации
• Возможность модульного наращивания без замены
  оборудования
• Энергоэффективность и малые габариты
План доклада
•   Постановка задачи
     – Общие требования к сети ЦОД
     – Требования, специфичные для малого ЦОД
•   Технологическая основа малого ЦОД
     – Сеть (vPC/EvPC/vPC+, FEX, FabricPath)
     – Серверы (aFEX/VM FEX/DCE)
     – Сервисы (vPath)
     – Соединение ЦОДов
•   Типовые дизайны и топологии
     – Модель начального уровня
     – Среднеразмерная модель
     – Полнофункциональная модель
     – Модель «все в одном»
ЦОД небольшой организации – особенности дизайна сети


• Использование унифицированной фабрики коммутации
• Объединение функций ядра и агрегации в одном логическом уровне
• Поддержка виртуализации
• Гибкость в выборе серверных подключений
  (100M/1GE/10GE/DCE/FC)
• Обеспечение отказоустойчивости и непрерывной работы



    Цель – получить преимущества от новых технологий, не
         делая излишних инвестиций в инфраструктуру
Выбор платформ для сети ЦОД небольшой организации

•   Коммутаторы для ЦОД:
     – Nexus 5500,
     – Nexus 7000
•   Продукты, поддерживающие технологию Cisco FEX:
     – Nexus 2000/2200
     – Cisco UCS M81KR, VIC1280, VIC1240
     – Cisco UCS P81E, VIC1225
•   Виртуальный коммутатор Nexus 1000V
•   Вычислительная система Cisco UCS
Nexus 5500, 2000




           Nexus 5548UP                             Nexus 5596UP
                 32 порта 1/10G Ethernet или 1/2/4/8 FC
                 Неблокируемая коммутация 10G FCoE/IEEE DCB
                 Поддержка L3, vPC, FEX, A-FEX, VM-FEX
                 Резервирование вентиляторов и блоков питания



Nexus 2000/2200
Fabric Extender
  48 порта 100M/1G (1000 BASE-T)
  32 порта 1G/10G/FCoE/IEEE DCB
  4-8 10G восходящих интерфейса

                                                                   1
                                                                   6
Новинка в семействе Nexus 7000
  Nexus 7004                Поддержка актуальных
                                         моделей супервизоров
                                           SUP-2 и SUP-2E
• Всего 7 RU
• Не использует выделенные Поддержка карткарт M1 “L”F2 и
                            модули семейств
                              M2, а также
  фабрики
                                                                     Nexus 7004, вид спереди
• Высокая доступность, включая                                          1 или 2 супервизора
  возможность безостановочного                                      До 2 интерфейсных модулей
                                                                      До 4 источников питания
  обновления ПО                                                        Нет модулей фабрики

• Поддержка виртуальных контекстов
  устройств (VDC)
• Интерфейсные модули, супервизоры, ПО
  семейства Nexus 7000
• Поддержка FEX Nexus 2000/2200
                                                                        Nexus 7004, вид сзади
• Поддержка маршрутизации IPv4/IPv6                                 Все модули доступны спереди,
                                                                сзади только вентиляционные решетки
• Дополнительно: OTV, PBR, BFD, MPLS
Nexus 7000 и 5500
 Сравнение функций
Nexus 7000                                                    Nexus 5500
Ядро/Агрегация                                                Доступ/Агрегация
Фокус: масштабируемость,                                      Фокус :
объединение ЦОД                                               Поддержка СХД
                                                              Виртуализированный уровень доступа

                            OTV                        Fibre Channel
                                     vPC/vPC+
                       802.1AE
                                   FabricPath                 Unified Ports
                   MPLS
                                  Layer 2/3 Ethernet
                                                             Adapter-
                                                             Adapter-FEX
                   VDCs
                                  FCoE
                                                                VM-
                                                                VM-FEX
                      L3-
                      L3-ISSU          FEX Virtual
                                       Chassis          Enhanced vPC
                           PBR



                                                                                               18
Cisco Nexus 1000V
Виртуальный распределенный программный коммутатор
 •   Nexus 1000V обеспечивает
     полнофункциональную
     коммутацию для VMWare ESX
 •   Ключевые возможности:
       – Управление VM по политикам              Server 1                      Server 2
       – Функции безопасности, поддержка                                 VM
                                            VM     VM       VM   VM       VM      VM       VM    VM
         Netflow, ERSPAN, мультикаста,                                   #1
                                            #1     #2       #3   #4       #5      #5
                                                                                  #6       #7    #8
         etherchannel
       – Мобильность настроек сети,                    VMware vSwitch                  VMware vSwitch
         безопасности и мониторинга                  Nexus 1000V 1000V
                                                           Nexus                         Nexus 1000V
       – Сохраняет эксплуатационную        VMW ESX                       VMW ESX
         модель
       – vPath для встраивания сетевых
         сервисов                                                                         Nexus 1000V
 •   Сохранение политик и связи с
     сетью при использовании
     Vmotion
 •   vPath доступен в бесплатной                                                          VSM
     версии N1000V Essential               Virtual Center
     Edition
Виртуализированный адаптер VIC

                          Много виртуальных адаптеров на одном
                           физическом с использованием VNTag
                            – Ethernet и FC
                            – До 116 виртуальных адаптеров на сервер
                          Поддержка стандарта PCIe
                          Работа в виртуализированной и
                           невиртуализированной среде
                          Поддержка Hypervisor Bypass
                          Отказоустойчивость на аппаратном
                           уровне
                          Высокая производительность
                            – 2x 10Gb (или 8х 10Gb)
                            – >500K IOPS
Серверная система Cisco UCS.



Fabric Interconnect 6248
48 универсальных портов (GE, 10GE, FC)
«Мозг» и «сердце» всей системы
есть и другие модели (26 и 52 порта)              Блейд-шасси
                                                  Просто коробка для серверов




                                         Модуль ввода-вывода
      Адаптер ввода-вывода               выносная линейная карта Fabric Interconnect
      2x10G или 2x4x10G                  по 40G к каждому серверу,
      удаленная линейная карта фабрики   80G к Fabric Interconnect-у
          внутри сервера
Серверная система Cisco UCS.
  Блейд-серверы




B200 M3                                  B230 M2                                B22 M3
2x Xeon E5-2690 (2,9GHz)                 2x Xeon E7-2870 (2.4GHz)               До 2x Xeon E5-2400
24 слота DIMM (до 768 GB RAM)            32 слота DIMM                          До 80G ввода-вывода
До 80G ввода-вывода                      До 80G ввода-вывода
                                         2 hot-swap диска
                                         8 серверов на 6U



                                                                    B420 M3
                         B440 M2                                    До 4x Xeon E7-4600
                         До 4x Xeon E7-4870 (2.4GHz)                48 слотов DIMM, до 1,5ТВ RAM
                         32 слота DIMM, до 1ТВ RAM                  До 160G ввода-вывода
                         До 160G ввода-вывода
Серверная система Cisco UCS.
   Стоечные серверы.
                                                    C250
С200                                                До 2x Intel Xeon 5600
До 2x Intel Xeon 5600                               48 слотов DIMM, 1333MHz
До 192 GB RAM                                       2RU
4 LFF или 8 SFF дисков
1RU

                              С260
                              2x Intel Xeon E7
С210
                              До 1ТБ RAM, 64 DIMM
До 2x Intel Xeon 5600
                              2RU
До 192 GB RAM                                       С460
16 SFF дисков                                       До 4x Intel Xeon E7
2RU                                                 До 1ТБ RAM, 64 DIMM
                                                    4RU
Технологическая основа малого ЦОД
Virtual Port Channel - vPC

Стабильность и высокая производительность в
домене L2
• vPC позволяет паре коммутаторов создавать
  port-channel, как если бы они были одним
  устройством
• Spanning Tree Protocol (STP) более не
  используется как основной механизм защиты
                                              Физическая топология   Логическая топология
  от циклов
• Все имеющиеся соединения задействованы,
  доступная полоса пропускания выше
• При использовании vPC управление
  коммутаторами в паре независимое –
  необходимо для сохранения модели
  отказоустойчивости SAN                       Поведение при STP         Работа vPC

                                                                                            2
                                                                                            5
Конвергенция LAN и SAN в ЦОД
    Для SAN требуется поддержка изолированных сетей хранения (“A” / “B”), возможность
    организовать отдельное управление
    LAN и SAN используют различные
     механизмы обеспечения высокой
     доступности:                             WAN Core                   FC



       LAN – одна многосвязная
                                                           Core
         фабрика
       SAN - две изолированных
         фабрики коммутации            L3                  Aggregation
                                                                                  Core

    Технология vPC допускает          L2

     сочетание обоих механизмов в
                                                            Access                Edge
     одной конвергентной сети
    Функции управления LAN и SAN
     можно разделить между
     администраторами сети и системы
     хранения

    Конвергентная инфраструктура ЦОД позволяет сохранить
             традиционную модель эксплуатации                                            2
                                                                                         6
Архитектура FEX Link
                                                                          Коммутатор должен
 Виртуальный «патч-корд» между                                           поддерживать VNTag и
                                                                          протокол управления
  коммутатором и                                                          виртуализированным
                                          LIF    LIF   LIF                адаптером VIC
    хостовым интерфейсом
     аппаратного FEX                                                       Поддержка
                                                                           каскадирования – FEX
    виртуальной машиной,                                                  может включаться через
                                                                           другой FEX

    виртуальным интерфейсом                    VIF                       Сетевой адаптер с
                                                                          поддержкой NIV
     сетевого адаптера VIC                                                позволяет соединить
                                                                          коммутатор и ВМ
 FEX Link ассоциирует логический   VIF                                   Каждому виртуальному
                                                                          интерфейсу VIC,
  интерфейс (LIF) с виртуальным                              Hypervisor
                                                                          направленному к ВМ,
                                                                          назначается уникальный
  (VIF)                                                         VIF
                                                                          идентификатор (VIF),
                                                                          соответствующий
 Варианты реализации                                                     логическому интерфейсу
                                                                          коммутатора
    Adapter FEX
    Аппаратный FEX - Nexus 2000
    VM FEX                                                                                         2
                                                                                                    7
Fabric Extender (FEX): унификация архитектуры уровня доступа
•   Cisco Nexus 5500 + FEX: виртуальная модульная система
                                                             Core
•   FEX: виртуальная интерфейсная карта Nexus 5000          Layer
•   Nexus 5000: управление и конфигурация
•   Внедрения ToR, MoR, EoR
                                                             Agg
•   Подключение серверов 100M, GE  10 GE  FCoE            Layer
•   Поддержка Nexus 5500, 7000 и UCS 6100/6200 как                  VSS/vPC
    «материнских устройств»                                                            L3
                                                                                       L2
Nexus
2000                                                                              Nexus
Fabric                                      FET/Twinax                            5000
Extender




Серверы

                                            Медь/
                                            Twinax
                                                                              Access
                                                                               Layer
Cisco Adapter-FEX
  FEX внутри сетевого адаптера
                                                                  Пара Nexus

• Технология Adapter-FEX позволяет показать                       5500 в vPC



  серверу Cisco UCS виртуальные сетевые карты
  как стандартные устройства PCIe
• Для родительского коммутатора Nexus 5500
  интерфейсы vNIC выглядят как непосредственно
  подключенные
                                                                                     10GbE/FCoE
• Коммутация, работа с очередями, политики
  реализуются на Nexus 5500                                                     Eth
                                                 vNIC vNIC vNIC                       FC       FC   Eth


• Adapter-FEX может быть включен к Nexus 5500                       Пользова-
                                                                     тельские
                                                                        vNICs
  через аппаратный FEX (Nexus 2000)                    vHBA vHBA
                                                                                 0    1    2   3    127




• На адаптере Cisco VIC поддерживается uplink
  failover                                                                            PCIe x16




                                                                                                          29
Cisco VM-FEX - Виртуальная машина подключена
   непосредственно к коммутатору ЦОД
• Расширяет решение Cisco Adapter FEX до
  интерфейса виртуальной машины, с              Cisco Nexus 5500   vCenter
  поддержкой vMotion
• Консолидированное управление сетью и
  интерфейсами виртуальных серверов
• Трафик виртуальных машин
  обрабатывается на аппаратуре Cisco Nexus
  5500
                                                    Hypervisor
• Рееализован в адаптере Cisco VIC для Cisco
  UCS B/C-series
                                                      Virtual
                                                     Machines
• Nexus 5500 регистрируется как DVS в
  vCenter, на хостах ESXi устанавливается
  модуль ввода-вывода                          Сервер Cisco UCS
                                                                             30
Enhanced Virtual Port Channel (EvPC)

   vPC/Nexus 7000                        •   Двойное включение и для хоста,   EvPC/Nexus 5500
                                             и для FEX
                                         •   Возможность резервирования
                                             компонент сети при различных
                                             конфигурациях сетевых
                                             интерфейсов сервера
                                             – одна сетевая карта
                                             – несколько в режиме NIC Port
                                               Channel
                                             – пара в режиме Active/Standby
                                         •   Все доступные пути активны
             Dual NIC
                                         •   Родительские устройства –                     Dual NIC
                           Dual NIC                                           Single NIC   802.3ad       Dual NIC
Single NIC   802.3ad
                        Active/Standby       только Nexus 5500.                                       Active/Standby




                                                                                                                       31
EvPC и трафик FCoE SAN
    Сохранение изоляции фабрик SAN A / B
                                                                       FC Array
•   При использовании Enhanced vPC
    (EvPC) изоляция фабрик SAN ‘A/B’
    достигается за счёт привязки каждого
    FEX к SAN ‘A’ или SAN ‘B’ на Nexus 5500
•   Трафик FCoE & FIP передается только              N5K-A                           N5K-B

    через линки, которые соединяют этот
    FEX с определенным родительским
    устройством                                    FEX 100                        FEX 101

•   Трафик Ethernet использует все
    доступные линки к обоим родительским
    устройствам                        N5K-A(config)#     fex 100    N5K-B(config)# fex 101
                                           N5K-A(config-fex)# fcoe   N5K-B(config-fex)# fcoe

                                           N5K-A(config)# fex 101    N5K-B(config)# fex 100




                                                                                               32
FCoE и универсальные порты
    Гибкость в выборе роли порта на Nexus 5500

•   Fibre Channel over Ethernet (FCoE) использует
    инкапсуляцию и передачу трафика Fibre                                           Ethernet
    Channel через сеть Ethernet                                                 Fibre
                                                                                Channel
•   Трафик может быть передан через цепь FCoE                                   Traffic
    устройств, или направлен в FC SAN
•   Изоляция фабрик SAN “A” / “B”                               Nexus 5500 Ethernet and
                                                                Fibre Channel Switches
    поддерживается во всей сети                     SAN “A”                               SAN “B”

•   Универсальные порты могут быть настроены                                                   F
                                                                                               C
    как стандартные порты Fibre Channel или как                                            Fibre Channel
                                                                                           Disk Array
    порты Ethernet
                                                                                  FCoE Links



                                                              Servers with Converged
                                                              Network Adapters (CNAs)

                                                                                                           33
Внедрение сетевых сервисов в виртуализированном ЦОД
Использование vPath

• vPath - встроенная функция Virtual Ethernet Module     Nexus 1000V       vPATH
  (VEM) в составе виртуального коммутатора Cisco        VMware ESX/ESXi Server
  Nexus 1000V (ver. 1.4 и далее)
                                                                        Server
• vPath осуществляет перехват и перенаправление           VSN
                                                                        VM

  трафика к сервисным модулям:                                                       VPATH
                                                                                     Interception
  – Virtual Security Gateway (VSG)                                       VEM
                                                                                     In/Out
  – Virtual WAAS (vWAAS)
  – Virtual Network Analysis Module (vNAM)
  – ASA 1000V cloud firewall
                                                                          Upstream
                                                                          Switches
 vPath доступен в бесплатной версии N1000V Essential
  Edition
                                                                                     VSMs




                                                                                                    34
Эффективная Ethernet-инфраструктура ЦОД:
    Cisco FabricPath

           Spanning-Tree                   vPC              FabricPath
                                                                16
                                                              Switches




Активных            Один                    Два                 16
путей
Производитель-   До 15 Тбит/с           До 30 Тбит/с       До 240 Тбит/с
ность блока

                                Масштабируемость Layer 2
            Виртуализация инфраструктуры и производительность
Cisco FabricPath: ключевые возможности
•   Маршрутизация на втором уровне с
    использованием до 16 альтернативных путей
    (ECMP)
•   Заголовок FabricPath: иерархическая адресация
    со встроенным предотвращением
    «зацикливания»
•   Выучивание MAC «по диалогам»: эффективное
    использование аппаратных ресурсов                 Cisco FabricPath
•   Совместимость с «классическим» Ethernet
     • VPC+ обеспечивает VPC в L2MP сеть
     • STP Boundary Termination
                                                    До 16 альтернативных путей L2
•   Поддержка множественных топологий –
    возможность Traffic Engineering
Использование FabricPath в корпоративном ЦОД
    Альтернатива традиционной архитектуре с STP
•   Существенное повышение производительности
•   Сокращение числа устройств
•   Повышение надёжности
•   Упрощение эксплуатции
      –      меньше устройств
      –      проще настройка
                 Традиционная сеть со Spanning Tree     Сеть на базе FabricPath

          Blocked Links




                                                                                  Fully Non-Blocking
      Oversubscription

                         2:1




                                                      FabricPath
                                   4
                                   Pods
                         8:1
      16:1




                               64 Access Switches             8 Access Switches
                                                                 2, 048 Servers
                               2, 048 Servers
Соединение ЦОДов
различные подходы
   vPC: использование дублированных L2 линков между ЦОД,
    объединенных в Multi-chassis EtherChannel, есть специфика при
    соединении >2 сайтов
   FabricPath: масштабируемая фабрика коммутации L2, подходит для
    соединения несколько сайтов
   OTV: растягивание доменов L2 поверх сети L3




                                                                     38
План доклада
•   Постановка задачи
     – Общие требования к сети ЦОД
     – Требования, специфичные для малого ЦОД
•   Технологическая основа малого ЦОД
     – Сеть (vPC/EvPC/vPC+, FEX, FabricPath)
     – Серверы (aFEX/VM FEX/DCE)
     – Сервисы (vPath)
     – Соединение ЦОД
•   Типовые дизайны и топологии
     – Модель начального уровня
     – Средне-размерная модель
     – Полнофункциональная модель
     – Модель «все в одном»
Модель начального уровня
    Всего 1 уровень иерархии, виртуализация, SAN, менее 100 серверных портов

•   2x Nexus 5500 с поддержкой Layer 3 образует сеть ЦОД и
    ядро корпоративной сети
•   Возможности и особенности:                                 Campus Access


     – FEX (Nexus 2000, Adapter-FEX и VM-FEX в серверах                                              WAN

       Cisco UCS)
     – Virtual Port Channel (vPC)
     – Поддержка сетей хранения (FC, FCoE, Unified Ports,                                                   Nexus 5500
                                                                                                            w/Layer 3
       DCB)
                                                                                                              FC/FCoE

     – Nexus 1000v и vPath
                                                             UC
                                                             Servers
     – FabricPath
     – Дополнительно потребуется WAN-маршрутизатор для                            V   V    V        UCS Rack Servers
                                                                                  M   M    M
       объединения ЦОДов и других транспортных сервисов                        Virtualized Server
                                                                   100M/1Gig   With Nexus 1000v
                                                                    Servers
•   Ограниченная функциональность корпоративной сети,
    нет изоляции

                                                                                                                         40
Модель начального уровня
    Nexus 5500 Layer 3, FEX, виртуализация, SAN, 100-300 серверных портов

•   2x Nexus 5500
                                                   Campus
     – Увеличение портовой емкости за счет         Access                                    WAN


       использования FEX
• Возможности и особенности
                                                                                                   Backbone/Core
     – FEX (физические порты на Nexus 2000,
       Adapter-FEX, VM-FEX)
                                                                                                     Layer 3
                                              Nexus 5500
     – Virtual Port Channel (vPC)/EvPC        w/Layer 3                                              Layer 2



     – Поддержка сетей хранения (FC, FCoE,                                                             FC/FCoE



       Unified Ports, DCB)                                                                             iSCSI/NAS




     – Nexus 1000v и vPath
     – FabricPath
                                                             VM   VM   VM


•   Коммутаторы ЦОД не используются как                    Virtualized Server
                                                           With Nexus 1000v
                                                                                UCS Rack Servers


    ядро корпоративной сети
                                                                                                                   41
Варианты расширения за счет уровня доступа
Комбинации разных типов подключения – при миграции или наращивании


                                                        FC/F
                                                        FC/FCoE
                                                        CoE
                            Aggregation
                            Layer-2/3




                         Унифицированная     Блейд-шасси сторонних     Блейд-шасси сторонних
 Уровень доступа для      вычислительная       производителей с
 виртуализированных                                                       производителей,
                         система Cisco UCS    модулями Cisco FEX     подключенные черех Cisco
 и bare-metal серверов
                                                                      FEX или pass-thru модуль


                                                                                                 42
Наращивание портовой емкости за счет использования FEX
Емкость, скорость портов, требования по переподписке

 • Увеличение плотности 100M/1GE/10GE
   портов за счет добавления FEX.                  Nexus 5596
                                                   w/Layer 3




 • Серверы с 10GE, генерирующие                 Nexus 5548
                                                +2232/2248
   большой трафик, могут включаться             FEX


   напрямую к Nexus 5500


 • Переподписка:                                                       VM   VM   VM


                                                                     Direct-Attached
     – 2232 FEX, 32 серверных порта 10GE и 8                         10GE Server


       сетевых портов 10GE; переподписка 4:1                                           10GE FEX-
                                                                                       Attached Servers
     – 2248 FEX, 48 серверных портов 1GE и 4      1GE FEX-Attached
                                                  Servers
                                                                        Cisco UCS Rack Servers

       сетевых порта 10GE; переподписка 1.2:1
                                                                                                          43
Модель начального уровня
    Масштабирование модели на базе Nexus 5500+L3
•    При использовании модуля L3 на паре
     N5500 поддерживается до 16 FEX                         Campus
                                                            Access                                    WAN

•    Масштабирование L3 на Nexus 5500:
      – IPv4 : До 8000 unicast маршрутов (без uRPF –
        16K)/8000 Multicast маршрутов/16000 хостов
                                                                                                            Backbone/Core

      – До 1000 L3 интерфейсов
      – До 1000 VRF
                                                                                                              Layer 3
                                                       Nexus 5500
•    In-Service Software Upgrade (ISSU) при            w/Layer 3                                              Layer 2



     наличии Layer-3 модуля на N5500 не                                                                         FC/FCoE



     поддерживается.                                                                                            iSCSI/NAS




                                                                      VM   VM   VM
                                                                                         UCS Rack Servers
                                                                    Virtualized Server
                                                                    With Nexus 1000v


                                                                                                                            44
Модель среднего уровня, иерархический подход
    Ядро/агрегация – на отдельных Nexus 5500; 300 – 750 серверных портов
•   2x Nexus 5500 на уровне ядра/агрегации
     –   FC + FCoE на уровне ядра при использовании Nexus 5500   Campus
                                                                                                      WAN

•   2х Nexus 5500 + FEX 2232/2248 на уровне
    доступа
     –   Порты Fibre Channel/FCoE,                                                                            Nexus 5596 + Layer 3


     –   Поддержка FEX (Nexus 2000, Adapter-FEX, VM-FEX)                                                     FC/FCoE


     –   Virtual Port Channel (vPC)/EvPC                                                                      iSCSI
                                                                                                              /NAS

                                                                                                              Nexus 5548
•   Дополнительные возможности:                                                                               +2232/2248 FEX


     – Nexus 1000v и vPath                                                                                    Масштабирование – за счет
                                                                                                              добавления типовых
                                                                                                              модулей доступа
     – FabricPath (Nexus 5500)
•   Дальнейшее наращивание – за счет
    добавления типовых модулей доступа
                                                                          VM   VM   VM
                                                                                          UCS Rack Servers
                                                                     Virtualized Server
                                                                     With Nexus 1000v


                                                                                                                                          45
Полнофункциональная модель, иерархический подход
    Ядро/агрегация – на отдельных Nexus 7004; 300 – 750 серверных портов
•   2x Nexus 7004 (карты F2 и/или M2) на уровне
    ядра/агрегации                                                   Campus
                                                                                                          WAN
     –   Поддержка FCoE<->FCoE до 80 км при использовании F2 карт
         на Nexus7000
     –   Поддержка OTV/MPLS при использовании карт M2 на Nexus7000
     –   IPv6, NetFlow, PBR при использовании Nexus 7000                                                         Nexus 7004/карты F2 или M2


•   2х Nexus 5500 + FEX 2232/2248 на уровне доступа                                                                       iSCSI/NAS

     –   Порты Fibre Channel/FCoE,
     –   Поддержка FEX (Nexus 2000, Adapter-FEX, VM-FEX)                                                            Nexus 5548
                                                                                                                    +2232/2248 FEX

     –   Virtual Port Channel (vPC)/EvPC
                                                                                                                    Масштабирование – за счет
•   Дополнительные возможности:                                                                                     добавления типовых
                                                                                                                    модулей доступа

     – Nexus 1000v и vPath
     – FabricPath (Nexus7004/карты F2, Nexus 5500)
     – поддержка FC на Nexus 5500 на уровне доступа                           VM   VM   VM
                                                                                              UCS Rack Servers
                                                                         Virtualized Server
                                                                         With Nexus 1000v
•   Дальнейшее наращивание – за счет добавления
    типовых модулей доступа                                                                                                                     46
Полнофункциональная модель, иерархический подход
     Добавляем Cisco UCS
•   Основан на применении Nexus 7000 VDC
                                                                     Campus
     – 2х Шасси Nexus 7004, 2-4 модуля SUP-2, 2 карты F2                                              WA
                                                                                                      N
       (FCOE), 2 карты M2 (сервисы)
     – Виртуальное шасси на базе N5500
                                                                    Core VDC                                   OTV VDC
     Возможности и особенности:
                                                                   Aggregation                                 Storage
     – vPC, Enhanced VPC,                                                VDC                                   VDC


     – IPv6, NetFlow, PBR, ISSU, OTV                                                                                     FCoE

                                                                                                                         iSCSI/
     – FabricPath                                                                                                        NAS



     – Nexus1000V и vPath
     – Интеграция с SAN (FCoE, Unified ports, DCB)
     – Сохранение ролевой модели управления LAN и SAN
     – FEX, Adapter FEX, VM-FEX
     – UCS FCoE uplinks                                    V   V     V
                                                                                 UCS Rack Servers
                                                           M   M     M                              UCS Blade Servers
                                                      Virtualized Server
                                                      With Nexus 1000v

                                                                                                                                  47
Модель «все в одном», иерархический подход, VDC
Ядро/агрегация/доступ Nexus 7000, VDC, 300-500 портов, только F2 карты
•   Основан на применении Nexus 7000 VDC
                                                                      Campus
     – Логически – иерархия, физически все уровни                                                             WAN
       объединены в одном устройстве
     – 2х Шасси Nexus 7004, 2-4 модуля SUP-2, 2-4 карты F2,
       4-10 Nexus 2248/2232                                   Core/Aggregation
                                                                         VDC
•   Возможности и особенности:
                                                                                                                         Access FEX
     – Физические FEX, одиночное подключение, SUP-2 - до                                                                 VDC

       32 FEX, SUP-2E – до 48 FEX                                                                                          iSCSI/NAS


     – IPv6, ISSU
     – FabricPath
     – Nexus1000V и vPath
     – Доступ 100M/1GE/10GE
                                                                                   VM   VM   VM
                                                                                                      UCS Rack Servers
     – FCoE на F2 и Nexus 2232 (в будущих версиях), IVR,                         Virtualized Server
                                                                                 With Nexus 1000v

     – Сохранение ролевой модели управления LAN и SAN
    Отсутствует поддержка native FC, Adapter FEX, VM FEX
                                                                                                                                       48
ЦОД в одной стойке - примеры
Возвращаемся к идее «ЦОД в стойке»
  Пример реализации – дизайн FlexPod
VMware vSphere™                          ЦОД в 1 стойке
VMware vSphere Enterprise Plus           30 ЦП Westmere (180 ядер)
VMware vCenter™ Standard                 Объем памяти сервера 2 Тбайт (до 4 Тбайт)
                                         Подключения 40 Гбит/c (4x 10 GE)
Cisco® Unified Fabric                    Дополнительный кэш 512 Гбайт
                                         Объем хранилища 42 Тбайт
2 Cisco Nexus® 5548
2 Cisco Nexus 1010 и 1000V
                                         корпоративная ИТ-
Платформа Cisco® UCS                     инфраструктура
2 Cisco UCS 6120XP Fabric Interconnect   Для организации с 1500 пользователей с
3 блейд-шасси Cisco UCS 5108             разными рабочими нагрузками:
9 Cisco UCS B-250 M2 + VIC                VMware View 4.5 (MS Windows 7)
6 Cisco UCS B-200 M2 + VIC                MS Exchange 2010
                                          MS SharePoint 2010
                                          MS SQL Server 2008 R2
NetApp® FAS3210A                          Запас для дополнительных приложений
4 полки NetApp DS2246 450-GB SAS
2 модуля Flash Cache (по 256 Гбайт)
4 IP-интерфейса по 10 Гбит/с
4 интерфейса Fibre Channel по 4 Гбит/с
Полный комплект продуктов NetApp
FlexPod – что внутри




                10 GE
                10 GE с FCoE
                Fibre Channel 4 Гбит/с
ЦОД в стойке
 Nexus 7004, VDC, Cisco UCS
                                                                 Корпоративная сеть
• Возможности Cisco UCS B-Series +
  полнофункциональная сеть ЦОД                                                                WAN
                                                                                                                   PE
        – IPv6, PBR, MPLS, NetFlow Отдельный VDC
                                                                                                    HSRP и
    –OTV, FabricPath, LISP (M132L)    для SAN
                                                                                                 маршрутизация
                                         Несколько
• Высокая доступность                   шасси UCS                                                                  L3
                                        включаются                                                                 L2
• Карты М2/М1L – для сетевых сервисов    через 2xFI
                                                                            Nexus 7004   Nexus 7004
                                      FCoE
• Карты F2 – FCoE
                                                                                         FI
• Ролевое управление
  LAN/SAN/серверами                                                                                Storage
                                                                                                  NFS/CIFS
• “Сеть ЦОД в одной коробке”                                FC SAN
                                                                                                    iSCSI
                                                             Fabric
                                                                                                    FCoE
• Опция – соединение с FC SAN через                           A/B
                                                                             Cisco UCS
  FCoE/FC коммутаторы MDS
 © 2010 Cisco and/or its affiliates. All rights reserved.                                     Cisco Confidential   52
В завершение

• Требования к ЦОДу небольшой организации имеют много общего с
  требованиями к большим корпоративным ЦОД, основные тренды
  совпадают
• Различия – в подходах к проектированию и размерности и в
  экономической стороне проекта
• Выбор базовой платформы является определяющим шагом в
  проектировании «малого» ЦОД

• Готовые дизайны для дальнейшего ознакомления:
   – FlexPod Cisco/NetApp
   – Cisco SBA DC design overview
Ссылки на первоисточники

•   http://www.cisco.com/en/US/docs/solutions/Enterprise/Data_Center/DC_3_0/DC-
    3_0_IPInfra.html - Руководство по проектированию сетевой инфраструкутры
    ЦОД
•   http://www.cisco.com/en/US/prod/collateral/switches/ps9441/ps9670/C07-572829-
    01_Design_N5K_N2K_vPC_DG.pdf - Дизайн уровня доступа ЦОД с
    использованием vPC
•   http://www.cisco.com/en/US/prod/collateral/switches/ps9441/ps9670/guide_c07-
    690079.pdf - Дизайн уровня доступа и агрегации c использованием FabricPath
•   www.cisco.com/go/ucs - объединенная вычислительная система Cisco UCS
•   www.cisco.com/go/nexus - продукты семейства Cisco Nexus
•   www.cisco.com/go/flexpod - Flexpod - совместный дизайн Cisco/NetApp
Спасибо!
Заполняйте анкеты он-лайн и получайте подарки в Cisco
Shop: http://ciscoexpo.ru/expo2012/quest
Ваше мнение очень важно для нас!

More Related Content

What's hot

Развитие технологий унифицированной сети ЦОД
Развитие технологий унифицированной сети ЦОДРазвитие технологий унифицированной сети ЦОД
Развитие технологий унифицированной сети ЦОДCisco Russia
 
Новейшие разработки в области технологий L2VPN.
Новейшие разработки в области технологий L2VPN.Новейшие разработки в области технологий L2VPN.
Новейшие разработки в области технологий L2VPN.Cisco Russia
 
Stc metrotek plum_space_smart_sfp_linkmeup_01
Stc metrotek plum_space_smart_sfp_linkmeup_01Stc metrotek plum_space_smart_sfp_linkmeup_01
Stc metrotek plum_space_smart_sfp_linkmeup_01eucariot
 
Обеспечение отказоустойчивости в сетях Carrier Ethernet.
 Обеспечение отказоустойчивости в сетях Carrier Ethernet.  Обеспечение отказоустойчивости в сетях Carrier Ethernet.
Обеспечение отказоустойчивости в сетях Carrier Ethernet. Cisco Russia
 
Tehnologii globalnyh-setey
Tehnologii globalnyh-seteyTehnologii globalnyh-setey
Tehnologii globalnyh-seteyezozbek
 
Resiliency (EAPS, ERPS, M-LAG)
Resiliency (EAPS, ERPS, M-LAG)Resiliency (EAPS, ERPS, M-LAG)
Resiliency (EAPS, ERPS, M-LAG)MUK Extreme
 
Универсальный Сisco IP NGN транспорт в сетях операторов мобильной и фиксирова...
Универсальный Сisco IP NGN транспорт в сетях операторов мобильной и фиксирова...Универсальный Сisco IP NGN транспорт в сетях операторов мобильной и фиксирова...
Универсальный Сisco IP NGN транспорт в сетях операторов мобильной и фиксирова...Cisco Russia
 
D Link
D LinkD Link
D Linkahey
 
Подробный технический обзор коммутаторов Cisco ME3800X/3600X
Подробный технический обзор коммутаторов Cisco ME3800X/3600XПодробный технический обзор коммутаторов Cisco ME3800X/3600X
Подробный технический обзор коммутаторов Cisco ME3800X/3600XCisco Russia
 
Технология ASR 9000 nV — кластеры и сателлиты.
Технология ASR 9000 nV — кластеры и сателлиты. Технология ASR 9000 nV — кластеры и сателлиты.
Технология ASR 9000 nV — кластеры и сателлиты. Cisco Russia
 
Обзор технологии Fabric Path
Обзор технологии Fabric PathОбзор технологии Fabric Path
Обзор технологии Fabric PathCisco Russia
 
Транспортная инфраструктура нового поколения - Cisco nLight ROADM
Транспортная инфраструктура нового поколения - Cisco nLight ROADMТранспортная инфраструктура нового поколения - Cisco nLight ROADM
Транспортная инфраструктура нового поколения - Cisco nLight ROADMCisco Russia
 
Построение катастрофоустойчивых и распределённых ЦОД
Построение катастрофоустойчивых и распределённых ЦОДПостроение катастрофоустойчивых и распределённых ЦОД
Построение катастрофоустойчивых и распределённых ЦОДCisco Russia
 
Сети для самых маленьких. Часть восьмая. BGP и IP SLA
Сети для самых маленьких. Часть восьмая. BGP и IP SLAСети для самых маленьких. Часть восьмая. BGP и IP SLA
Сети для самых маленьких. Часть восьмая. BGP и IP SLANatasha Samoylenko
 
Технология Cisco FabricPath.
Технология Cisco FabricPath. Технология Cisco FabricPath.
Технология Cisco FabricPath. Cisco Russia
 
Linkmeup v076(2019-06).3
Linkmeup v076(2019-06).3Linkmeup v076(2019-06).3
Linkmeup v076(2019-06).3eucariot
 
Построение катастрофоустойчивых и распределённых ЦОД (часть 2). Объединение с...
Построение катастрофоустойчивых и распределённых ЦОД (часть 2). Объединение с...Построение катастрофоустойчивых и распределённых ЦОД (часть 2). Объединение с...
Построение катастрофоустойчивых и распределённых ЦОД (часть 2). Объединение с...Cisco Russia
 

What's hot (19)

Развитие технологий унифицированной сети ЦОД
Развитие технологий унифицированной сети ЦОДРазвитие технологий унифицированной сети ЦОД
Развитие технологий унифицированной сети ЦОД
 
Новейшие разработки в области технологий L2VPN.
Новейшие разработки в области технологий L2VPN.Новейшие разработки в области технологий L2VPN.
Новейшие разработки в области технологий L2VPN.
 
Stc metrotek plum_space_smart_sfp_linkmeup_01
Stc metrotek plum_space_smart_sfp_linkmeup_01Stc metrotek plum_space_smart_sfp_linkmeup_01
Stc metrotek plum_space_smart_sfp_linkmeup_01
 
Обеспечение отказоустойчивости в сетях Carrier Ethernet.
 Обеспечение отказоустойчивости в сетях Carrier Ethernet.  Обеспечение отказоустойчивости в сетях Carrier Ethernet.
Обеспечение отказоустойчивости в сетях Carrier Ethernet.
 
Tehnologii globalnyh-setey
Tehnologii globalnyh-seteyTehnologii globalnyh-setey
Tehnologii globalnyh-setey
 
Resiliency (EAPS, ERPS, M-LAG)
Resiliency (EAPS, ERPS, M-LAG)Resiliency (EAPS, ERPS, M-LAG)
Resiliency (EAPS, ERPS, M-LAG)
 
Summit x670
Summit x670Summit x670
Summit x670
 
Универсальный Сisco IP NGN транспорт в сетях операторов мобильной и фиксирова...
Универсальный Сisco IP NGN транспорт в сетях операторов мобильной и фиксирова...Универсальный Сisco IP NGN транспорт в сетях операторов мобильной и фиксирова...
Универсальный Сisco IP NGN транспорт в сетях операторов мобильной и фиксирова...
 
D Link
D LinkD Link
D Link
 
Подробный технический обзор коммутаторов Cisco ME3800X/3600X
Подробный технический обзор коммутаторов Cisco ME3800X/3600XПодробный технический обзор коммутаторов Cisco ME3800X/3600X
Подробный технический обзор коммутаторов Cisco ME3800X/3600X
 
Технология ASR 9000 nV — кластеры и сателлиты.
Технология ASR 9000 nV — кластеры и сателлиты. Технология ASR 9000 nV — кластеры и сателлиты.
Технология ASR 9000 nV — кластеры и сателлиты.
 
Обзор технологии Fabric Path
Обзор технологии Fabric PathОбзор технологии Fabric Path
Обзор технологии Fabric Path
 
Транспортная инфраструктура нового поколения - Cisco nLight ROADM
Транспортная инфраструктура нового поколения - Cisco nLight ROADMТранспортная инфраструктура нового поколения - Cisco nLight ROADM
Транспортная инфраструктура нового поколения - Cisco nLight ROADM
 
Spanning tree protocol (stp)
Spanning tree protocol (stp)Spanning tree protocol (stp)
Spanning tree protocol (stp)
 
Построение катастрофоустойчивых и распределённых ЦОД
Построение катастрофоустойчивых и распределённых ЦОДПостроение катастрофоустойчивых и распределённых ЦОД
Построение катастрофоустойчивых и распределённых ЦОД
 
Сети для самых маленьких. Часть восьмая. BGP и IP SLA
Сети для самых маленьких. Часть восьмая. BGP и IP SLAСети для самых маленьких. Часть восьмая. BGP и IP SLA
Сети для самых маленьких. Часть восьмая. BGP и IP SLA
 
Технология Cisco FabricPath.
Технология Cisco FabricPath. Технология Cisco FabricPath.
Технология Cisco FabricPath.
 
Linkmeup v076(2019-06).3
Linkmeup v076(2019-06).3Linkmeup v076(2019-06).3
Linkmeup v076(2019-06).3
 
Построение катастрофоустойчивых и распределённых ЦОД (часть 2). Объединение с...
Построение катастрофоустойчивых и распределённых ЦОД (часть 2). Объединение с...Построение катастрофоустойчивых и распределённых ЦОД (часть 2). Объединение с...
Построение катастрофоустойчивых и распределённых ЦОД (часть 2). Объединение с...
 

Viewers also liked

Построение территориально распределенных ЦОД
Построение территориально распределенных ЦОДПостроение территориально распределенных ЦОД
Построение территориально распределенных ЦОДCisco Russia
 
Развитие семейства коммутаторов Nexus 5000 и Nexus 2000
Развитие семейства коммутаторов Nexus 5000 и Nexus 2000Развитие семейства коммутаторов Nexus 5000 и Nexus 2000
Развитие семейства коммутаторов Nexus 5000 и Nexus 2000Cisco Russia
 
Итоги работы ИФПР КН МОН РК за 2014 г.
Итоги работы ИФПР КН МОН РК за 2014 г.Итоги работы ИФПР КН МОН РК за 2014 г.
Итоги работы ИФПР КН МОН РК за 2014 г.Yermek Toktarov
 
Дизайн небольшого ЦОД часть 1.
Дизайн небольшого ЦОД часть 1.Дизайн небольшого ЦОД часть 1.
Дизайн небольшого ЦОД часть 1.Cisco Russia
 
Модернизация DWDM сети «Укртелеком» для проведения ЕВРО-2012.
Модернизация DWDM сети «Укртелеком» для проведения ЕВРО-2012. Модернизация DWDM сети «Укртелеком» для проведения ЕВРО-2012.
Модернизация DWDM сети «Укртелеком» для проведения ЕВРО-2012. Cisco Russia
 
Новое поколение 100G DWDM-систем
Новое поколение 100G DWDM-системНовое поколение 100G DWDM-систем
Новое поколение 100G DWDM-системt8russia
 
DWDM инфраструктура для сети следующего поколения.
 DWDM инфраструктура для сети следующего поколения.  DWDM инфраструктура для сети следующего поколения.
DWDM инфраструктура для сети следующего поколения. Cisco Russia
 
Cтадии жизненного цикла продукции по гост 15.000 94
Cтадии жизненного цикла продукции по гост 15.000 94Cтадии жизненного цикла продукции по гост 15.000 94
Cтадии жизненного цикла продукции по гост 15.000 94Dmitry Tseitlin
 
DWDM & Packet Optical Fundamentals by Dion Leung [APRICOT 2015]
DWDM & Packet Optical Fundamentals by Dion Leung [APRICOT 2015]DWDM & Packet Optical Fundamentals by Dion Leung [APRICOT 2015]
DWDM & Packet Optical Fundamentals by Dion Leung [APRICOT 2015]APNIC
 
Технология операторов связи DWDM: все самое важное за 1 вебинар
Технология операторов связи DWDM: все самое важное за 1 вебинарТехнология операторов связи DWDM: все самое важное за 1 вебинар
Технология операторов связи DWDM: все самое важное за 1 вебинарSkillFactory
 

Viewers also liked (11)

Построение территориально распределенных ЦОД
Построение территориально распределенных ЦОДПостроение территориально распределенных ЦОД
Построение территориально распределенных ЦОД
 
Развитие семейства коммутаторов Nexus 5000 и Nexus 2000
Развитие семейства коммутаторов Nexus 5000 и Nexus 2000Развитие семейства коммутаторов Nexus 5000 и Nexus 2000
Развитие семейства коммутаторов Nexus 5000 и Nexus 2000
 
Итоги работы ИФПР КН МОН РК за 2014 г.
Итоги работы ИФПР КН МОН РК за 2014 г.Итоги работы ИФПР КН МОН РК за 2014 г.
Итоги работы ИФПР КН МОН РК за 2014 г.
 
Дизайн небольшого ЦОД часть 1.
Дизайн небольшого ЦОД часть 1.Дизайн небольшого ЦОД часть 1.
Дизайн небольшого ЦОД часть 1.
 
Для операторов связи
Для операторов связиДля операторов связи
Для операторов связи
 
Модернизация DWDM сети «Укртелеком» для проведения ЕВРО-2012.
Модернизация DWDM сети «Укртелеком» для проведения ЕВРО-2012. Модернизация DWDM сети «Укртелеком» для проведения ЕВРО-2012.
Модернизация DWDM сети «Укртелеком» для проведения ЕВРО-2012.
 
Новое поколение 100G DWDM-систем
Новое поколение 100G DWDM-системНовое поколение 100G DWDM-систем
Новое поколение 100G DWDM-систем
 
DWDM инфраструктура для сети следующего поколения.
 DWDM инфраструктура для сети следующего поколения.  DWDM инфраструктура для сети следующего поколения.
DWDM инфраструктура для сети следующего поколения.
 
Cтадии жизненного цикла продукции по гост 15.000 94
Cтадии жизненного цикла продукции по гост 15.000 94Cтадии жизненного цикла продукции по гост 15.000 94
Cтадии жизненного цикла продукции по гост 15.000 94
 
DWDM & Packet Optical Fundamentals by Dion Leung [APRICOT 2015]
DWDM & Packet Optical Fundamentals by Dion Leung [APRICOT 2015]DWDM & Packet Optical Fundamentals by Dion Leung [APRICOT 2015]
DWDM & Packet Optical Fundamentals by Dion Leung [APRICOT 2015]
 
Технология операторов связи DWDM: все самое важное за 1 вебинар
Технология операторов связи DWDM: все самое важное за 1 вебинарТехнология операторов связи DWDM: все самое важное за 1 вебинар
Технология операторов связи DWDM: все самое важное за 1 вебинар
 

Similar to Построение ЦОД небольшой организации.

ASR 9000 как высокопроизводительный BNG: функционал и сценарии применения
ASR 9000 как высокопроизводительный BNG: функционал и сценарии примененияASR 9000 как высокопроизводительный BNG: функционал и сценарии применения
ASR 9000 как высокопроизводительный BNG: функционал и сценарии примененияCisco Russia
 
ASR 9000 как высокопроизводительный BNG: функционал и сценарии применения.
 ASR 9000 как высокопроизводительный BNG: функционал и сценарии применения.  ASR 9000 как высокопроизводительный BNG: функционал и сценарии применения.
ASR 9000 как высокопроизводительный BNG: функционал и сценарии применения. Cisco Russia
 
Виртуализация центров обработки вызовов UCCE на платформе Cisco UCS Разработк...
Виртуализация центров обработки вызовов UCCE на платформе Cisco UCS Разработк...Виртуализация центров обработки вызовов UCCE на платформе Cisco UCS Разработк...
Виртуализация центров обработки вызовов UCCE на платформе Cisco UCS Разработк...Cisco Russia
 
CELC_Новые коммутаторы Cisco Nexus 5500: обзор и применение
CELC_Новые коммутаторы Cisco Nexus 5500: обзор и применениеCELC_Новые коммутаторы Cisco Nexus 5500: обзор и применение
CELC_Новые коммутаторы Cisco Nexus 5500: обзор и применениеCisco Russia
 
Приватные облака: сумма технологии
Приватные облака: сумма технологииПриватные облака: сумма технологии
Приватные облака: сумма технологииpcweek_ua
 
Cisco Virtual Topology System (VTS) - управление виртуальными топологиями в р...
Cisco Virtual Topology System (VTS) - управление виртуальными топологиями в р...Cisco Virtual Topology System (VTS) - управление виртуальными топологиями в р...
Cisco Virtual Topology System (VTS) - управление виртуальными топологиями в р...Cisco Russia
 
Extreme networks - network design principles for hpc @ hpcday 2012 kiev
Extreme networks - network design principles for hpc @ hpcday 2012 kievExtreme networks - network design principles for hpc @ hpcday 2012 kiev
Extreme networks - network design principles for hpc @ hpcday 2012 kievVolodymyr Saviak
 
сети хранения данных настоящее и будущее Ds con
сети хранения данных настоящее и будущее Ds con   сети хранения данных настоящее и будущее Ds con
сети хранения данных настоящее и будущее Ds con Expolink
 
Новые продукты и возможности семейства Cisco UCS.
 Новые продукты и возможности семейства Cisco UCS.  Новые продукты и возможности семейства Cisco UCS.
Новые продукты и возможности семейства Cisco UCS. Cisco Russia
 
Оверлейные сети ЦОД Технологии VXLAN и EVPN
Оверлейные сети ЦОД Технологии VXLAN и EVPN Оверлейные сети ЦОД Технологии VXLAN и EVPN
Оверлейные сети ЦОД Технологии VXLAN и EVPN Cisco Russia
 
Современный ЦОД с точки зрения ИТ-архитектора.
Современный ЦОД с точки зрения ИТ-архитектора. Современный ЦОД с точки зрения ИТ-архитектора.
Современный ЦОД с точки зрения ИТ-архитектора. Cisco Russia
 
Связь территориально- распределенных ЦОД
Связь территориально- распределенных ЦОДСвязь территориально- распределенных ЦОД
Связь территориально- распределенных ЦОДCisco Russia
 
Современная архитектура Cisco для сетей Carrier Ethernet и Mobile Backhaul
Современная архитектура Cisco для сетей Carrier Ethernet и Mobile BackhaulСовременная архитектура Cisco для сетей Carrier Ethernet и Mobile Backhaul
Современная архитектура Cisco для сетей Carrier Ethernet и Mobile BackhaulCisco Russia
 
Архитектура и особенности Cisco Nexus 5000, Fabric Extender (FEX), Virtual Po...
Архитектура и особенности Cisco Nexus 5000, Fabric Extender (FEX), Virtual Po...Архитектура и особенности Cisco Nexus 5000, Fabric Extender (FEX), Virtual Po...
Архитектура и особенности Cisco Nexus 5000, Fabric Extender (FEX), Virtual Po...Cisco Russia
 

Similar to Построение ЦОД небольшой организации. (15)

ASR 9000 как высокопроизводительный BNG: функционал и сценарии применения
ASR 9000 как высокопроизводительный BNG: функционал и сценарии примененияASR 9000 как высокопроизводительный BNG: функционал и сценарии применения
ASR 9000 как высокопроизводительный BNG: функционал и сценарии применения
 
ASR 9000 как высокопроизводительный BNG: функционал и сценарии применения.
 ASR 9000 как высокопроизводительный BNG: функционал и сценарии применения.  ASR 9000 как высокопроизводительный BNG: функционал и сценарии применения.
ASR 9000 как высокопроизводительный BNG: функционал и сценарии применения.
 
Виртуализация центров обработки вызовов UCCE на платформе Cisco UCS Разработк...
Виртуализация центров обработки вызовов UCCE на платформе Cisco UCS Разработк...Виртуализация центров обработки вызовов UCCE на платформе Cisco UCS Разработк...
Виртуализация центров обработки вызовов UCCE на платформе Cisco UCS Разработк...
 
CELC_Новые коммутаторы Cisco Nexus 5500: обзор и применение
CELC_Новые коммутаторы Cisco Nexus 5500: обзор и применениеCELC_Новые коммутаторы Cisco Nexus 5500: обзор и применение
CELC_Новые коммутаторы Cisco Nexus 5500: обзор и применение
 
Система DNS для ENUM
Система DNS для ENUMСистема DNS для ENUM
Система DNS для ENUM
 
Приватные облака: сумма технологии
Приватные облака: сумма технологииПриватные облака: сумма технологии
Приватные облака: сумма технологии
 
Cisco Virtual Topology System (VTS) - управление виртуальными топологиями в р...
Cisco Virtual Topology System (VTS) - управление виртуальными топологиями в р...Cisco Virtual Topology System (VTS) - управление виртуальными топологиями в р...
Cisco Virtual Topology System (VTS) - управление виртуальными топологиями в р...
 
Extreme networks - network design principles for hpc @ hpcday 2012 kiev
Extreme networks - network design principles for hpc @ hpcday 2012 kievExtreme networks - network design principles for hpc @ hpcday 2012 kiev
Extreme networks - network design principles for hpc @ hpcday 2012 kiev
 
сети хранения данных настоящее и будущее Ds con
сети хранения данных настоящее и будущее Ds con   сети хранения данных настоящее и будущее Ds con
сети хранения данных настоящее и будущее Ds con
 
Новые продукты и возможности семейства Cisco UCS.
 Новые продукты и возможности семейства Cisco UCS.  Новые продукты и возможности семейства Cisco UCS.
Новые продукты и возможности семейства Cisco UCS.
 
Оверлейные сети ЦОД Технологии VXLAN и EVPN
Оверлейные сети ЦОД Технологии VXLAN и EVPN Оверлейные сети ЦОД Технологии VXLAN и EVPN
Оверлейные сети ЦОД Технологии VXLAN и EVPN
 
Современный ЦОД с точки зрения ИТ-архитектора.
Современный ЦОД с точки зрения ИТ-архитектора. Современный ЦОД с точки зрения ИТ-архитектора.
Современный ЦОД с точки зрения ИТ-архитектора.
 
Связь территориально- распределенных ЦОД
Связь территориально- распределенных ЦОДСвязь территориально- распределенных ЦОД
Связь территориально- распределенных ЦОД
 
Современная архитектура Cisco для сетей Carrier Ethernet и Mobile Backhaul
Современная архитектура Cisco для сетей Carrier Ethernet и Mobile BackhaulСовременная архитектура Cisco для сетей Carrier Ethernet и Mobile Backhaul
Современная архитектура Cisco для сетей Carrier Ethernet и Mobile Backhaul
 
Архитектура и особенности Cisco Nexus 5000, Fabric Extender (FEX), Virtual Po...
Архитектура и особенности Cisco Nexus 5000, Fabric Extender (FEX), Virtual Po...Архитектура и особенности Cisco Nexus 5000, Fabric Extender (FEX), Virtual Po...
Архитектура и особенности Cisco Nexus 5000, Fabric Extender (FEX), Virtual Po...
 

More from Cisco Russia

Service portfolio 18
Service portfolio 18Service portfolio 18
Service portfolio 18Cisco Russia
 
История одного взлома. Как решения Cisco могли бы предотвратить его?
История одного взлома. Как решения Cisco могли бы предотвратить его?История одного взлома. Как решения Cisco могли бы предотвратить его?
История одного взлома. Как решения Cisco могли бы предотвратить его?Cisco Russia
 
Об оценке соответствия средств защиты информации
Об оценке соответствия средств защиты информацииОб оценке соответствия средств защиты информации
Об оценке соответствия средств защиты информацииCisco Russia
 
Обзор Сервисных Услуг Cisco в России и странах СНГ.
Обзор Сервисных Услуг Cisco в России и странах СНГ.Обзор Сервисных Услуг Cisco в России и странах СНГ.
Обзор Сервисных Услуг Cisco в России и странах СНГ.Cisco Russia
 
Клиентские контракты на техническую поддержку Cisco Smart Net Total Care
Клиентские контракты на техническую поддержку Cisco Smart Net Total CareКлиентские контракты на техническую поддержку Cisco Smart Net Total Care
Клиентские контракты на техническую поддержку Cisco Smart Net Total CareCisco Russia
 
Cisco Catalyst 9000 series
Cisco Catalyst 9000 series Cisco Catalyst 9000 series
Cisco Catalyst 9000 series Cisco Russia
 
Cisco Endpoint Security for MSSPs
Cisco Endpoint Security for MSSPsCisco Endpoint Security for MSSPs
Cisco Endpoint Security for MSSPsCisco Russia
 
Профессиональные услуги Cisco для Software-Defined Access
Профессиональные услуги Cisco для Software-Defined AccessПрофессиональные услуги Cisco для Software-Defined Access
Профессиональные услуги Cisco для Software-Defined AccessCisco Russia
 
Обнаружение известного вредоносного кода в зашифрованном с помощью TLS трафик...
Обнаружение известного вредоносного кода в зашифрованном с помощью TLS трафик...Обнаружение известного вредоносного кода в зашифрованном с помощью TLS трафик...
Обнаружение известного вредоносного кода в зашифрованном с помощью TLS трафик...Cisco Russia
 
Промышленный Интернет вещей: опыт и результаты применения в нефтегазовой отрасли
Промышленный Интернет вещей: опыт и результаты применения в нефтегазовой отраслиПромышленный Интернет вещей: опыт и результаты применения в нефтегазовой отрасли
Промышленный Интернет вещей: опыт и результаты применения в нефтегазовой отраслиCisco Russia
 
Полугодовой отчет Cisco по информационной безопасности за 2017 год
Полугодовой отчет Cisco по информационной безопасности за 2017 год Полугодовой отчет Cisco по информационной безопасности за 2017 год
Полугодовой отчет Cisco по информационной безопасности за 2017 год Cisco Russia
 
Годовой отчет Cisco по кибербезопасности за 2017 год
Годовой отчет Cisco по кибербезопасности за 2017 годГодовой отчет Cisco по кибербезопасности за 2017 год
Годовой отчет Cisco по кибербезопасности за 2017 годCisco Russia
 
Безопасность для цифровой экономики. Развитие продуктов и решений Cisco
Безопасность для цифровой экономики. Развитие продуктов и решений CiscoБезопасность для цифровой экономики. Развитие продуктов и решений Cisco
Безопасность для цифровой экономики. Развитие продуктов и решений CiscoCisco Russia
 
Cisco StealthWatch. Использование телеметрии для решения проблемы зашифрованн...
Cisco StealthWatch. Использование телеметрии для решения проблемы зашифрованн...Cisco StealthWatch. Использование телеметрии для решения проблемы зашифрованн...
Cisco StealthWatch. Использование телеметрии для решения проблемы зашифрованн...Cisco Russia
 
Обеспечение бесперебойной работы корпоративных приложений в больших гетероген...
Обеспечение бесперебойной работы корпоративных приложений в больших гетероген...Обеспечение бесперебойной работы корпоративных приложений в больших гетероген...
Обеспечение бесперебойной работы корпоративных приложений в больших гетероген...Cisco Russia
 
Новое поколение серверов Сisco UCS. Гиперконвергентное решении Cisco HyperFle...
Новое поколение серверов Сisco UCS. Гиперконвергентное решении Cisco HyperFle...Новое поколение серверов Сisco UCS. Гиперконвергентное решении Cisco HyperFle...
Новое поколение серверов Сisco UCS. Гиперконвергентное решении Cisco HyperFle...Cisco Russia
 

More from Cisco Russia (20)

Service portfolio 18
Service portfolio 18Service portfolio 18
Service portfolio 18
 
История одного взлома. Как решения Cisco могли бы предотвратить его?
История одного взлома. Как решения Cisco могли бы предотвратить его?История одного взлома. Как решения Cisco могли бы предотвратить его?
История одного взлома. Как решения Cisco могли бы предотвратить его?
 
Об оценке соответствия средств защиты информации
Об оценке соответствия средств защиты информацииОб оценке соответствия средств защиты информации
Об оценке соответствия средств защиты информации
 
Обзор Сервисных Услуг Cisco в России и странах СНГ.
Обзор Сервисных Услуг Cisco в России и странах СНГ.Обзор Сервисных Услуг Cisco в России и странах СНГ.
Обзор Сервисных Услуг Cisco в России и странах СНГ.
 
Клиентские контракты на техническую поддержку Cisco Smart Net Total Care
Клиентские контракты на техническую поддержку Cisco Smart Net Total CareКлиентские контракты на техническую поддержку Cisco Smart Net Total Care
Клиентские контракты на техническую поддержку Cisco Smart Net Total Care
 
Cisco Catalyst 9000 series
Cisco Catalyst 9000 series Cisco Catalyst 9000 series
Cisco Catalyst 9000 series
 
Cisco Catalyst 9500
Cisco Catalyst 9500Cisco Catalyst 9500
Cisco Catalyst 9500
 
Cisco Catalyst 9400
Cisco Catalyst 9400Cisco Catalyst 9400
Cisco Catalyst 9400
 
Cisco Umbrella
Cisco UmbrellaCisco Umbrella
Cisco Umbrella
 
Cisco Endpoint Security for MSSPs
Cisco Endpoint Security for MSSPsCisco Endpoint Security for MSSPs
Cisco Endpoint Security for MSSPs
 
Cisco FirePower
Cisco FirePowerCisco FirePower
Cisco FirePower
 
Профессиональные услуги Cisco для Software-Defined Access
Профессиональные услуги Cisco для Software-Defined AccessПрофессиональные услуги Cisco для Software-Defined Access
Профессиональные услуги Cisco для Software-Defined Access
 
Обнаружение известного вредоносного кода в зашифрованном с помощью TLS трафик...
Обнаружение известного вредоносного кода в зашифрованном с помощью TLS трафик...Обнаружение известного вредоносного кода в зашифрованном с помощью TLS трафик...
Обнаружение известного вредоносного кода в зашифрованном с помощью TLS трафик...
 
Промышленный Интернет вещей: опыт и результаты применения в нефтегазовой отрасли
Промышленный Интернет вещей: опыт и результаты применения в нефтегазовой отраслиПромышленный Интернет вещей: опыт и результаты применения в нефтегазовой отрасли
Промышленный Интернет вещей: опыт и результаты применения в нефтегазовой отрасли
 
Полугодовой отчет Cisco по информационной безопасности за 2017 год
Полугодовой отчет Cisco по информационной безопасности за 2017 год Полугодовой отчет Cisco по информационной безопасности за 2017 год
Полугодовой отчет Cisco по информационной безопасности за 2017 год
 
Годовой отчет Cisco по кибербезопасности за 2017 год
Годовой отчет Cisco по кибербезопасности за 2017 годГодовой отчет Cisco по кибербезопасности за 2017 год
Годовой отчет Cisco по кибербезопасности за 2017 год
 
Безопасность для цифровой экономики. Развитие продуктов и решений Cisco
Безопасность для цифровой экономики. Развитие продуктов и решений CiscoБезопасность для цифровой экономики. Развитие продуктов и решений Cisco
Безопасность для цифровой экономики. Развитие продуктов и решений Cisco
 
Cisco StealthWatch. Использование телеметрии для решения проблемы зашифрованн...
Cisco StealthWatch. Использование телеметрии для решения проблемы зашифрованн...Cisco StealthWatch. Использование телеметрии для решения проблемы зашифрованн...
Cisco StealthWatch. Использование телеметрии для решения проблемы зашифрованн...
 
Обеспечение бесперебойной работы корпоративных приложений в больших гетероген...
Обеспечение бесперебойной работы корпоративных приложений в больших гетероген...Обеспечение бесперебойной работы корпоративных приложений в больших гетероген...
Обеспечение бесперебойной работы корпоративных приложений в больших гетероген...
 
Новое поколение серверов Сisco UCS. Гиперконвергентное решении Cisco HyperFle...
Новое поколение серверов Сisco UCS. Гиперконвергентное решении Cisco HyperFle...Новое поколение серверов Сisco UCS. Гиперконвергентное решении Cisco HyperFle...
Новое поколение серверов Сisco UCS. Гиперконвергентное решении Cisco HyperFle...
 

Построение ЦОД небольшой организации.

  • 1. Построение центра обработки данных небольшой организации Михаил Сафронов mikhail.safronov@cisco.com
  • 3. Цель доклада. • Сформулировать требования к «малому» ЦОД • Выделить технологии, реализующие эти требования • Показать, как эти технологии применяются в дизайнах сетей «малых»ЦОД • Ввести эталонную модель сети «малого» ЦОД • Показать возможные пути развития этой модели
  • 4. План доклада • Постановка задачи – Общие требования к сети ЦОД – Требования, специфичные для малого ЦОД • Технологическая основа малого ЦОД – Сеть (vPC/EvPC/vPC+, FEX, FabricPath) – Серверы (aFEX/VM FEX/DCE) – Сервисы (vPath) – Соединение ЦОДов • Типовые дизайны и топологии – Модель начального уровня – Среднеразмерная модель – Полнофункциональная модель – Модель «все в одном»
  • 6. Поддержка виртуализации Преимущества: Новые требования к сети: - Эффективное использование - Большие L2 домены ресурсов оборудования - Поддержка трафика систем хранения - Повышение доступности приложений - Растягивание L2 доменов между ЦОД - Распределение нагрузки внутри и/или - Сохранение модели эксплуатации при между ЦОД появлении встроенных средств - Снижение времени развертывания программной коммутации гипервизора Кластеры/распределенные приложения Виртуальные машины Физический сервер
  • 7. Виртуализация и программная коммутация трафика ВМ новая концепция “фабрики коммутации” vEth vEth vFC vEth vFC 1 2 3 4 126 Eth vFC Eth FC 3 Адаптер SR-IOV Eth 2/12 FC 2/12 3/11 VETH 10GE - VNTag предоставляет ресурсы 2/12 3/11 10GbE 10GbE PCIe Link Конвергентный Граница сети и фабрики адаптер Ethernet Channel Fibre pNIC HBA осуществляет Eth FC Eth FC Eth Всего 2 адреса виртуализацию 1 2 3 4 126 устройств на PCI физической среды NIC HBA шине PCI e PCI-E Bus PCI-E Bus PCI-E Bus VMFS Pass VMFS SCSI VMFS Thru VETH PCI-E Bus VETH SCSI SCSI Граница VNIC VNIC VNIC фабрики коммутации ОС и драйверы Гипервизор осуществляет устройств виртуализацию ресурсов PCI-E Добавляем конвергентный Перемещаем коммутацию на Добавляем программный адаптер с поддержкой вышестоящий коммутатор, Традиционная модель коммутатор гипервизора виртуализации используя FEX-Link Объединение вычислительной и сетевой среды 7
  • 8. Общая фабрика коммутации для LAN и SAN трафика • Еще одна возможность упростить инфраструктуру • Гибкость и универсальность • Поддержка протоколов блочного доступа: – Fibre Channel – Fibre Channel over Ethernet (FCoE) – iSCSI • Поддержка протоколов файлового доступа : FC/FCoE – CIFS iSCSI/NAS – NFS
  • 9. Не только связность, но и сетевые сервисы Интеграция сетевых сервисов в фабрику коммутации  В невиртуализированной среде - логическая топология совпадает с физической  Внешние программно-аппаратные комплексы ограничены в производительности  Выход – встраивание виртуальных сервисных модулей в фабрику коммутации  ...с учетом специфики виртуальной среды 9
  • 10. Соединение ЦОДов Для распределения нагрузки и/или повышения надежности • Мобильность прикладных сервисов, распределенные приложения, катастрофоустойчивость IP • Необходимость «растягивания» L2 и мобильность L3 адресов – общие задачи для распределенных ЦОД независимо от размера • От сетевой инфраструктуры требуются DR специальные функции Удаленный Основной Резервный ЦОД ЦОД ЦОД 10
  • 11. Традиционная модель корпоративного ЦОД • Ядро: соединение основного ЦОД и Core остальной сети Layer 3 • Агрегация: граница L2/L3, именно тут Layer 2 Aggregation находятся шлюзы по умолчанию для серверов • Доступ: физические соединения сетевых Services интерфейсов серверов с сетью ЦОД (или Access логических портов с виртуальными серверами) Для ЦОД небольшой организации – нужно то же самое, но с меньшим числом портов, по возможности с меньшим числов сетевых устройств, построенное на экономически оправданной платформе... 11
  • 12. ЦОД небольшой организации – особые требования Все вышесказанное + • Простота в развертывании и сопровождении • Минимальное число точек управления и контроля • Достаточная функциональность уже в начальной конфигурации • Возможность модульного наращивания без замены оборудования • Энергоэффективность и малые габариты
  • 13. План доклада • Постановка задачи – Общие требования к сети ЦОД – Требования, специфичные для малого ЦОД • Технологическая основа малого ЦОД – Сеть (vPC/EvPC/vPC+, FEX, FabricPath) – Серверы (aFEX/VM FEX/DCE) – Сервисы (vPath) – Соединение ЦОДов • Типовые дизайны и топологии – Модель начального уровня – Среднеразмерная модель – Полнофункциональная модель – Модель «все в одном»
  • 14. ЦОД небольшой организации – особенности дизайна сети • Использование унифицированной фабрики коммутации • Объединение функций ядра и агрегации в одном логическом уровне • Поддержка виртуализации • Гибкость в выборе серверных подключений (100M/1GE/10GE/DCE/FC) • Обеспечение отказоустойчивости и непрерывной работы Цель – получить преимущества от новых технологий, не делая излишних инвестиций в инфраструктуру
  • 15. Выбор платформ для сети ЦОД небольшой организации • Коммутаторы для ЦОД: – Nexus 5500, – Nexus 7000 • Продукты, поддерживающие технологию Cisco FEX: – Nexus 2000/2200 – Cisco UCS M81KR, VIC1280, VIC1240 – Cisco UCS P81E, VIC1225 • Виртуальный коммутатор Nexus 1000V • Вычислительная система Cisco UCS
  • 16. Nexus 5500, 2000 Nexus 5548UP Nexus 5596UP 32 порта 1/10G Ethernet или 1/2/4/8 FC Неблокируемая коммутация 10G FCoE/IEEE DCB Поддержка L3, vPC, FEX, A-FEX, VM-FEX Резервирование вентиляторов и блоков питания Nexus 2000/2200 Fabric Extender 48 порта 100M/1G (1000 BASE-T) 32 порта 1G/10G/FCoE/IEEE DCB 4-8 10G восходящих интерфейса 1 6
  • 17. Новинка в семействе Nexus 7000 Nexus 7004 Поддержка актуальных моделей супервизоров SUP-2 и SUP-2E • Всего 7 RU • Не использует выделенные Поддержка карткарт M1 “L”F2 и модули семейств M2, а также фабрики Nexus 7004, вид спереди • Высокая доступность, включая 1 или 2 супервизора возможность безостановочного До 2 интерфейсных модулей До 4 источников питания обновления ПО Нет модулей фабрики • Поддержка виртуальных контекстов устройств (VDC) • Интерфейсные модули, супервизоры, ПО семейства Nexus 7000 • Поддержка FEX Nexus 2000/2200 Nexus 7004, вид сзади • Поддержка маршрутизации IPv4/IPv6 Все модули доступны спереди, сзади только вентиляционные решетки • Дополнительно: OTV, PBR, BFD, MPLS
  • 18. Nexus 7000 и 5500 Сравнение функций Nexus 7000 Nexus 5500 Ядро/Агрегация Доступ/Агрегация Фокус: масштабируемость, Фокус : объединение ЦОД Поддержка СХД Виртуализированный уровень доступа OTV Fibre Channel vPC/vPC+ 802.1AE FabricPath Unified Ports MPLS Layer 2/3 Ethernet Adapter- Adapter-FEX VDCs FCoE VM- VM-FEX L3- L3-ISSU FEX Virtual Chassis Enhanced vPC PBR 18
  • 19. Cisco Nexus 1000V Виртуальный распределенный программный коммутатор • Nexus 1000V обеспечивает полнофункциональную коммутацию для VMWare ESX • Ключевые возможности: – Управление VM по политикам Server 1 Server 2 – Функции безопасности, поддержка VM VM VM VM VM VM VM VM VM Netflow, ERSPAN, мультикаста, #1 #1 #2 #3 #4 #5 #5 #6 #7 #8 etherchannel – Мобильность настроек сети, VMware vSwitch VMware vSwitch безопасности и мониторинга Nexus 1000V 1000V Nexus Nexus 1000V – Сохраняет эксплуатационную VMW ESX VMW ESX модель – vPath для встраивания сетевых сервисов Nexus 1000V • Сохранение политик и связи с сетью при использовании Vmotion • vPath доступен в бесплатной VSM версии N1000V Essential Virtual Center Edition
  • 20. Виртуализированный адаптер VIC  Много виртуальных адаптеров на одном физическом с использованием VNTag – Ethernet и FC – До 116 виртуальных адаптеров на сервер  Поддержка стандарта PCIe  Работа в виртуализированной и невиртуализированной среде  Поддержка Hypervisor Bypass  Отказоустойчивость на аппаратном уровне  Высокая производительность – 2x 10Gb (или 8х 10Gb) – >500K IOPS
  • 21. Серверная система Cisco UCS. Fabric Interconnect 6248 48 универсальных портов (GE, 10GE, FC) «Мозг» и «сердце» всей системы есть и другие модели (26 и 52 порта) Блейд-шасси Просто коробка для серверов Модуль ввода-вывода Адаптер ввода-вывода выносная линейная карта Fabric Interconnect 2x10G или 2x4x10G по 40G к каждому серверу, удаленная линейная карта фабрики 80G к Fabric Interconnect-у внутри сервера
  • 22. Серверная система Cisco UCS. Блейд-серверы B200 M3 B230 M2 B22 M3 2x Xeon E5-2690 (2,9GHz) 2x Xeon E7-2870 (2.4GHz) До 2x Xeon E5-2400 24 слота DIMM (до 768 GB RAM) 32 слота DIMM До 80G ввода-вывода До 80G ввода-вывода До 80G ввода-вывода 2 hot-swap диска 8 серверов на 6U B420 M3 B440 M2 До 4x Xeon E7-4600 До 4x Xeon E7-4870 (2.4GHz) 48 слотов DIMM, до 1,5ТВ RAM 32 слота DIMM, до 1ТВ RAM До 160G ввода-вывода До 160G ввода-вывода
  • 23. Серверная система Cisco UCS. Стоечные серверы. C250 С200 До 2x Intel Xeon 5600 До 2x Intel Xeon 5600 48 слотов DIMM, 1333MHz До 192 GB RAM 2RU 4 LFF или 8 SFF дисков 1RU С260 2x Intel Xeon E7 С210 До 1ТБ RAM, 64 DIMM До 2x Intel Xeon 5600 2RU До 192 GB RAM С460 16 SFF дисков До 4x Intel Xeon E7 2RU До 1ТБ RAM, 64 DIMM 4RU
  • 25. Virtual Port Channel - vPC Стабильность и высокая производительность в домене L2 • vPC позволяет паре коммутаторов создавать port-channel, как если бы они были одним устройством • Spanning Tree Protocol (STP) более не используется как основной механизм защиты Физическая топология Логическая топология от циклов • Все имеющиеся соединения задействованы, доступная полоса пропускания выше • При использовании vPC управление коммутаторами в паре независимое – необходимо для сохранения модели отказоустойчивости SAN Поведение при STP Работа vPC 2 5
  • 26. Конвергенция LAN и SAN в ЦОД Для SAN требуется поддержка изолированных сетей хранения (“A” / “B”), возможность организовать отдельное управление  LAN и SAN используют различные механизмы обеспечения высокой доступности: WAN Core FC  LAN – одна многосвязная Core фабрика  SAN - две изолированных фабрики коммутации L3 Aggregation Core  Технология vPC допускает L2 сочетание обоих механизмов в Access Edge одной конвергентной сети  Функции управления LAN и SAN можно разделить между администраторами сети и системы хранения Конвергентная инфраструктура ЦОД позволяет сохранить традиционную модель эксплуатации 2 6
  • 27. Архитектура FEX Link Коммутатор должен  Виртуальный «патч-корд» между поддерживать VNTag и протокол управления коммутатором и виртуализированным LIF LIF LIF адаптером VIC  хостовым интерфейсом аппаратного FEX Поддержка каскадирования – FEX  виртуальной машиной, может включаться через другой FEX  виртуальным интерфейсом VIF Сетевой адаптер с поддержкой NIV сетевого адаптера VIC позволяет соединить коммутатор и ВМ  FEX Link ассоциирует логический VIF Каждому виртуальному интерфейсу VIC, интерфейс (LIF) с виртуальным Hypervisor направленному к ВМ, назначается уникальный (VIF) VIF идентификатор (VIF), соответствующий  Варианты реализации логическому интерфейсу коммутатора  Adapter FEX  Аппаратный FEX - Nexus 2000  VM FEX 2 7
  • 28. Fabric Extender (FEX): унификация архитектуры уровня доступа • Cisco Nexus 5500 + FEX: виртуальная модульная система Core • FEX: виртуальная интерфейсная карта Nexus 5000 Layer • Nexus 5000: управление и конфигурация • Внедрения ToR, MoR, EoR Agg • Подключение серверов 100M, GE  10 GE  FCoE Layer • Поддержка Nexus 5500, 7000 и UCS 6100/6200 как VSS/vPC «материнских устройств» L3 L2 Nexus 2000 Nexus Fabric FET/Twinax 5000 Extender Серверы Медь/ Twinax Access Layer
  • 29. Cisco Adapter-FEX FEX внутри сетевого адаптера Пара Nexus • Технология Adapter-FEX позволяет показать 5500 в vPC серверу Cisco UCS виртуальные сетевые карты как стандартные устройства PCIe • Для родительского коммутатора Nexus 5500 интерфейсы vNIC выглядят как непосредственно подключенные 10GbE/FCoE • Коммутация, работа с очередями, политики реализуются на Nexus 5500 Eth vNIC vNIC vNIC FC FC Eth • Adapter-FEX может быть включен к Nexus 5500 Пользова- тельские vNICs через аппаратный FEX (Nexus 2000) vHBA vHBA 0 1 2 3 127 • На адаптере Cisco VIC поддерживается uplink failover PCIe x16 29
  • 30. Cisco VM-FEX - Виртуальная машина подключена непосредственно к коммутатору ЦОД • Расширяет решение Cisco Adapter FEX до интерфейса виртуальной машины, с Cisco Nexus 5500 vCenter поддержкой vMotion • Консолидированное управление сетью и интерфейсами виртуальных серверов • Трафик виртуальных машин обрабатывается на аппаратуре Cisco Nexus 5500 Hypervisor • Рееализован в адаптере Cisco VIC для Cisco UCS B/C-series Virtual Machines • Nexus 5500 регистрируется как DVS в vCenter, на хостах ESXi устанавливается модуль ввода-вывода Сервер Cisco UCS 30
  • 31. Enhanced Virtual Port Channel (EvPC) vPC/Nexus 7000 • Двойное включение и для хоста, EvPC/Nexus 5500 и для FEX • Возможность резервирования компонент сети при различных конфигурациях сетевых интерфейсов сервера – одна сетевая карта – несколько в режиме NIC Port Channel – пара в режиме Active/Standby • Все доступные пути активны Dual NIC • Родительские устройства – Dual NIC Dual NIC Single NIC 802.3ad Dual NIC Single NIC 802.3ad Active/Standby только Nexus 5500. Active/Standby 31
  • 32. EvPC и трафик FCoE SAN Сохранение изоляции фабрик SAN A / B FC Array • При использовании Enhanced vPC (EvPC) изоляция фабрик SAN ‘A/B’ достигается за счёт привязки каждого FEX к SAN ‘A’ или SAN ‘B’ на Nexus 5500 • Трафик FCoE & FIP передается только N5K-A N5K-B через линки, которые соединяют этот FEX с определенным родительским устройством FEX 100 FEX 101 • Трафик Ethernet использует все доступные линки к обоим родительским устройствам N5K-A(config)# fex 100 N5K-B(config)# fex 101 N5K-A(config-fex)# fcoe N5K-B(config-fex)# fcoe N5K-A(config)# fex 101 N5K-B(config)# fex 100 32
  • 33. FCoE и универсальные порты Гибкость в выборе роли порта на Nexus 5500 • Fibre Channel over Ethernet (FCoE) использует инкапсуляцию и передачу трафика Fibre Ethernet Channel через сеть Ethernet Fibre Channel • Трафик может быть передан через цепь FCoE Traffic устройств, или направлен в FC SAN • Изоляция фабрик SAN “A” / “B” Nexus 5500 Ethernet and Fibre Channel Switches поддерживается во всей сети SAN “A” SAN “B” • Универсальные порты могут быть настроены F C как стандартные порты Fibre Channel или как Fibre Channel Disk Array порты Ethernet FCoE Links Servers with Converged Network Adapters (CNAs) 33
  • 34. Внедрение сетевых сервисов в виртуализированном ЦОД Использование vPath • vPath - встроенная функция Virtual Ethernet Module Nexus 1000V vPATH (VEM) в составе виртуального коммутатора Cisco VMware ESX/ESXi Server Nexus 1000V (ver. 1.4 и далее) Server • vPath осуществляет перехват и перенаправление VSN VM трафика к сервисным модулям: VPATH Interception – Virtual Security Gateway (VSG) VEM In/Out – Virtual WAAS (vWAAS) – Virtual Network Analysis Module (vNAM) – ASA 1000V cloud firewall Upstream Switches  vPath доступен в бесплатной версии N1000V Essential Edition VSMs 34
  • 35. Эффективная Ethernet-инфраструктура ЦОД: Cisco FabricPath Spanning-Tree vPC FabricPath 16 Switches Активных Один Два 16 путей Производитель- До 15 Тбит/с До 30 Тбит/с До 240 Тбит/с ность блока Масштабируемость Layer 2 Виртуализация инфраструктуры и производительность
  • 36. Cisco FabricPath: ключевые возможности • Маршрутизация на втором уровне с использованием до 16 альтернативных путей (ECMP) • Заголовок FabricPath: иерархическая адресация со встроенным предотвращением «зацикливания» • Выучивание MAC «по диалогам»: эффективное использование аппаратных ресурсов Cisco FabricPath • Совместимость с «классическим» Ethernet • VPC+ обеспечивает VPC в L2MP сеть • STP Boundary Termination До 16 альтернативных путей L2 • Поддержка множественных топологий – возможность Traffic Engineering
  • 37. Использование FabricPath в корпоративном ЦОД Альтернатива традиционной архитектуре с STP • Существенное повышение производительности • Сокращение числа устройств • Повышение надёжности • Упрощение эксплуатции – меньше устройств – проще настройка Традиционная сеть со Spanning Tree Сеть на базе FabricPath Blocked Links Fully Non-Blocking Oversubscription 2:1 FabricPath 4 Pods 8:1 16:1 64 Access Switches 8 Access Switches 2, 048 Servers 2, 048 Servers
  • 38. Соединение ЦОДов различные подходы  vPC: использование дублированных L2 линков между ЦОД, объединенных в Multi-chassis EtherChannel, есть специфика при соединении >2 сайтов  FabricPath: масштабируемая фабрика коммутации L2, подходит для соединения несколько сайтов  OTV: растягивание доменов L2 поверх сети L3 38
  • 39. План доклада • Постановка задачи – Общие требования к сети ЦОД – Требования, специфичные для малого ЦОД • Технологическая основа малого ЦОД – Сеть (vPC/EvPC/vPC+, FEX, FabricPath) – Серверы (aFEX/VM FEX/DCE) – Сервисы (vPath) – Соединение ЦОД • Типовые дизайны и топологии – Модель начального уровня – Средне-размерная модель – Полнофункциональная модель – Модель «все в одном»
  • 40. Модель начального уровня Всего 1 уровень иерархии, виртуализация, SAN, менее 100 серверных портов • 2x Nexus 5500 с поддержкой Layer 3 образует сеть ЦОД и ядро корпоративной сети • Возможности и особенности: Campus Access – FEX (Nexus 2000, Adapter-FEX и VM-FEX в серверах WAN Cisco UCS) – Virtual Port Channel (vPC) – Поддержка сетей хранения (FC, FCoE, Unified Ports, Nexus 5500 w/Layer 3 DCB) FC/FCoE – Nexus 1000v и vPath UC Servers – FabricPath – Дополнительно потребуется WAN-маршрутизатор для V V V UCS Rack Servers M M M объединения ЦОДов и других транспортных сервисов Virtualized Server 100M/1Gig With Nexus 1000v Servers • Ограниченная функциональность корпоративной сети, нет изоляции 40
  • 41. Модель начального уровня Nexus 5500 Layer 3, FEX, виртуализация, SAN, 100-300 серверных портов • 2x Nexus 5500 Campus – Увеличение портовой емкости за счет Access WAN использования FEX • Возможности и особенности Backbone/Core – FEX (физические порты на Nexus 2000, Adapter-FEX, VM-FEX) Layer 3 Nexus 5500 – Virtual Port Channel (vPC)/EvPC w/Layer 3 Layer 2 – Поддержка сетей хранения (FC, FCoE, FC/FCoE Unified Ports, DCB) iSCSI/NAS – Nexus 1000v и vPath – FabricPath VM VM VM • Коммутаторы ЦОД не используются как Virtualized Server With Nexus 1000v UCS Rack Servers ядро корпоративной сети 41
  • 42. Варианты расширения за счет уровня доступа Комбинации разных типов подключения – при миграции или наращивании FC/F FC/FCoE CoE Aggregation Layer-2/3 Унифицированная Блейд-шасси сторонних Блейд-шасси сторонних Уровень доступа для вычислительная производителей с виртуализированных производителей, система Cisco UCS модулями Cisco FEX подключенные черех Cisco и bare-metal серверов FEX или pass-thru модуль 42
  • 43. Наращивание портовой емкости за счет использования FEX Емкость, скорость портов, требования по переподписке • Увеличение плотности 100M/1GE/10GE портов за счет добавления FEX. Nexus 5596 w/Layer 3 • Серверы с 10GE, генерирующие Nexus 5548 +2232/2248 большой трафик, могут включаться FEX напрямую к Nexus 5500 • Переподписка: VM VM VM Direct-Attached – 2232 FEX, 32 серверных порта 10GE и 8 10GE Server сетевых портов 10GE; переподписка 4:1 10GE FEX- Attached Servers – 2248 FEX, 48 серверных портов 1GE и 4 1GE FEX-Attached Servers Cisco UCS Rack Servers сетевых порта 10GE; переподписка 1.2:1 43
  • 44. Модель начального уровня Масштабирование модели на базе Nexus 5500+L3 • При использовании модуля L3 на паре N5500 поддерживается до 16 FEX Campus Access WAN • Масштабирование L3 на Nexus 5500: – IPv4 : До 8000 unicast маршрутов (без uRPF – 16K)/8000 Multicast маршрутов/16000 хостов Backbone/Core – До 1000 L3 интерфейсов – До 1000 VRF Layer 3 Nexus 5500 • In-Service Software Upgrade (ISSU) при w/Layer 3 Layer 2 наличии Layer-3 модуля на N5500 не FC/FCoE поддерживается. iSCSI/NAS VM VM VM UCS Rack Servers Virtualized Server With Nexus 1000v 44
  • 45. Модель среднего уровня, иерархический подход Ядро/агрегация – на отдельных Nexus 5500; 300 – 750 серверных портов • 2x Nexus 5500 на уровне ядра/агрегации – FC + FCoE на уровне ядра при использовании Nexus 5500 Campus WAN • 2х Nexus 5500 + FEX 2232/2248 на уровне доступа – Порты Fibre Channel/FCoE, Nexus 5596 + Layer 3 – Поддержка FEX (Nexus 2000, Adapter-FEX, VM-FEX) FC/FCoE – Virtual Port Channel (vPC)/EvPC iSCSI /NAS Nexus 5548 • Дополнительные возможности: +2232/2248 FEX – Nexus 1000v и vPath Масштабирование – за счет добавления типовых модулей доступа – FabricPath (Nexus 5500) • Дальнейшее наращивание – за счет добавления типовых модулей доступа VM VM VM UCS Rack Servers Virtualized Server With Nexus 1000v 45
  • 46. Полнофункциональная модель, иерархический подход Ядро/агрегация – на отдельных Nexus 7004; 300 – 750 серверных портов • 2x Nexus 7004 (карты F2 и/или M2) на уровне ядра/агрегации Campus WAN – Поддержка FCoE<->FCoE до 80 км при использовании F2 карт на Nexus7000 – Поддержка OTV/MPLS при использовании карт M2 на Nexus7000 – IPv6, NetFlow, PBR при использовании Nexus 7000 Nexus 7004/карты F2 или M2 • 2х Nexus 5500 + FEX 2232/2248 на уровне доступа iSCSI/NAS – Порты Fibre Channel/FCoE, – Поддержка FEX (Nexus 2000, Adapter-FEX, VM-FEX) Nexus 5548 +2232/2248 FEX – Virtual Port Channel (vPC)/EvPC Масштабирование – за счет • Дополнительные возможности: добавления типовых модулей доступа – Nexus 1000v и vPath – FabricPath (Nexus7004/карты F2, Nexus 5500) – поддержка FC на Nexus 5500 на уровне доступа VM VM VM UCS Rack Servers Virtualized Server With Nexus 1000v • Дальнейшее наращивание – за счет добавления типовых модулей доступа 46
  • 47. Полнофункциональная модель, иерархический подход Добавляем Cisco UCS • Основан на применении Nexus 7000 VDC Campus – 2х Шасси Nexus 7004, 2-4 модуля SUP-2, 2 карты F2 WA N (FCOE), 2 карты M2 (сервисы) – Виртуальное шасси на базе N5500 Core VDC OTV VDC Возможности и особенности: Aggregation Storage – vPC, Enhanced VPC, VDC VDC – IPv6, NetFlow, PBR, ISSU, OTV FCoE iSCSI/ – FabricPath NAS – Nexus1000V и vPath – Интеграция с SAN (FCoE, Unified ports, DCB) – Сохранение ролевой модели управления LAN и SAN – FEX, Adapter FEX, VM-FEX – UCS FCoE uplinks V V V UCS Rack Servers M M M UCS Blade Servers Virtualized Server With Nexus 1000v 47
  • 48. Модель «все в одном», иерархический подход, VDC Ядро/агрегация/доступ Nexus 7000, VDC, 300-500 портов, только F2 карты • Основан на применении Nexus 7000 VDC Campus – Логически – иерархия, физически все уровни WAN объединены в одном устройстве – 2х Шасси Nexus 7004, 2-4 модуля SUP-2, 2-4 карты F2, 4-10 Nexus 2248/2232 Core/Aggregation VDC • Возможности и особенности: Access FEX – Физические FEX, одиночное подключение, SUP-2 - до VDC 32 FEX, SUP-2E – до 48 FEX iSCSI/NAS – IPv6, ISSU – FabricPath – Nexus1000V и vPath – Доступ 100M/1GE/10GE VM VM VM UCS Rack Servers – FCoE на F2 и Nexus 2232 (в будущих версиях), IVR, Virtualized Server With Nexus 1000v – Сохранение ролевой модели управления LAN и SAN Отсутствует поддержка native FC, Adapter FEX, VM FEX 48
  • 49. ЦОД в одной стойке - примеры
  • 50. Возвращаемся к идее «ЦОД в стойке» Пример реализации – дизайн FlexPod VMware vSphere™ ЦОД в 1 стойке VMware vSphere Enterprise Plus 30 ЦП Westmere (180 ядер) VMware vCenter™ Standard Объем памяти сервера 2 Тбайт (до 4 Тбайт) Подключения 40 Гбит/c (4x 10 GE) Cisco® Unified Fabric Дополнительный кэш 512 Гбайт Объем хранилища 42 Тбайт 2 Cisco Nexus® 5548 2 Cisco Nexus 1010 и 1000V корпоративная ИТ- Платформа Cisco® UCS инфраструктура 2 Cisco UCS 6120XP Fabric Interconnect Для организации с 1500 пользователей с 3 блейд-шасси Cisco UCS 5108 разными рабочими нагрузками: 9 Cisco UCS B-250 M2 + VIC  VMware View 4.5 (MS Windows 7) 6 Cisco UCS B-200 M2 + VIC  MS Exchange 2010  MS SharePoint 2010  MS SQL Server 2008 R2 NetApp® FAS3210A  Запас для дополнительных приложений 4 полки NetApp DS2246 450-GB SAS 2 модуля Flash Cache (по 256 Гбайт) 4 IP-интерфейса по 10 Гбит/с 4 интерфейса Fibre Channel по 4 Гбит/с Полный комплект продуктов NetApp
  • 51. FlexPod – что внутри 10 GE 10 GE с FCoE Fibre Channel 4 Гбит/с
  • 52. ЦОД в стойке Nexus 7004, VDC, Cisco UCS Корпоративная сеть • Возможности Cisco UCS B-Series + полнофункциональная сеть ЦОД WAN PE – IPv6, PBR, MPLS, NetFlow Отдельный VDC HSRP и –OTV, FabricPath, LISP (M132L) для SAN маршрутизация Несколько • Высокая доступность шасси UCS L3 включаются L2 • Карты М2/М1L – для сетевых сервисов через 2xFI Nexus 7004 Nexus 7004 FCoE • Карты F2 – FCoE FI • Ролевое управление LAN/SAN/серверами Storage NFS/CIFS • “Сеть ЦОД в одной коробке” FC SAN iSCSI Fabric FCoE • Опция – соединение с FC SAN через A/B Cisco UCS FCoE/FC коммутаторы MDS © 2010 Cisco and/or its affiliates. All rights reserved. Cisco Confidential 52
  • 53. В завершение • Требования к ЦОДу небольшой организации имеют много общего с требованиями к большим корпоративным ЦОД, основные тренды совпадают • Различия – в подходах к проектированию и размерности и в экономической стороне проекта • Выбор базовой платформы является определяющим шагом в проектировании «малого» ЦОД • Готовые дизайны для дальнейшего ознакомления: – FlexPod Cisco/NetApp – Cisco SBA DC design overview
  • 54. Ссылки на первоисточники • http://www.cisco.com/en/US/docs/solutions/Enterprise/Data_Center/DC_3_0/DC- 3_0_IPInfra.html - Руководство по проектированию сетевой инфраструкутры ЦОД • http://www.cisco.com/en/US/prod/collateral/switches/ps9441/ps9670/C07-572829- 01_Design_N5K_N2K_vPC_DG.pdf - Дизайн уровня доступа ЦОД с использованием vPC • http://www.cisco.com/en/US/prod/collateral/switches/ps9441/ps9670/guide_c07- 690079.pdf - Дизайн уровня доступа и агрегации c использованием FabricPath • www.cisco.com/go/ucs - объединенная вычислительная система Cisco UCS • www.cisco.com/go/nexus - продукты семейства Cisco Nexus • www.cisco.com/go/flexpod - Flexpod - совместный дизайн Cisco/NetApp
  • 55. Спасибо! Заполняйте анкеты он-лайн и получайте подарки в Cisco Shop: http://ciscoexpo.ru/expo2012/quest Ваше мнение очень важно для нас!