Современный ЦОД с точки зрения ИТ-архитектора.

1,289 views

Published on

Published in: Technology
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total views
1,289
On SlideShare
0
From Embeds
0
Number of Embeds
4
Actions
Shares
0
Downloads
40
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

Современный ЦОД с точки зрения ИТ-архитектора.

  1. 1. Cisco Expo 2012 Современный ЦОД с точки зрения ИТ-архитектора Виктор Подкорытов инженер-консультант Cisco vpodkory@cisco.com +380 44 3913600© 2011 Cisco and/or its affiliates. All rights reserved. 1
  2. 2. Cisco’s Commitment to Data Center© 2011 Cisco and/or its affiliates. All rights reserved. 2
  3. 3. © 2011 Cisco and/or its affiliates. All rights reserved. 3
  4. 4. Сеть•  Higher loads of East-West traffic types•  Higher 10G and 40G switch density per RU•  Denser Tier 2 switching layer•  Flexible L2/L3 Boundary Placement•  Redundancy from 1+1 to N+1: better HA and lower fate sharing•  Migration to 40G Fabric•  Early Integration of 100G north-south focused – DC edge•  Selection of Rack network model: ToR to ToMR•  Selection of Row network model: EoR to EoMR© 2011 Cisco and/or its affiliates. All rights reserved. 4
  5. 5. Виртуализация Приложения•  Hypervisors at Scale •  App logical isolation at scale•  DVS orchestration and Integration •  App processing closer to the wire•  Virtual Machine / bare metal mobility •  Apps to handle unstructured data•  Fabric & cross-fabric mobility •  APIs for high performance & time•  Segmentation at Scale sensitive ops Сервера •  CPU: SandyBridge •  10G LOMs •  Server Migration to 10G •  Uplinks 10G or 40G© 2011 Cisco and/or its affiliates. All rights reserved. 5
  6. 6. © 2011 Cisco and/or its affiliates. All rights reserved. 6
  7. 7. От 48xGE + 4x10G к 48x10G + 4x40G От 48x10G к 12, 24, 32x40G /слот RU-коммутатор Horizontal Cabling EoR X-Connect Модульный Main X-Connect коммутатор Vertical Cabling Больше ToR на коммутаторы Агрегации Меньше коммутаторов Агрегации Серверная мощность значительно выше © 2011 Cisco and/or its affiliates. All rights reserved. 7
  8. 8.   Серверная виртуализация и Data Center Row 1 функциональность (vMotion, Live Migration,….) меняет множество аспектов дизайна ЦОД   Где сервер в настоящее время?   Где порт доступа?   Где должен существовать VLAN?   Любой VLAN везде?   Насколько Масштабируемый домен Data Center Row 2 L2?   Как планировать ресурсы для гибко меняющейся нагрузки? (в тч Питание, Охлаждение…)   Как планировать Политики(Security, QoS,) для гибко меняющейся нагрузки?© 2011 Cisco and/or its affiliates. All rights reserved. 8
  9. 9. Boxes Ports 2 64 6 48 60 48+4 3 Малых Блока c Ядром : 2880 серверных портов Boxes Ports 0 XX 4 2 384 128 384 48+4 60 1 Большой Блок, лучше HA – 18,432 серверных портов© 2011 Cisco and/or its affiliates. All rights reserved. 9
  10. 10. © 2011 Cisco and/or its affiliates. All rights reserved. 10
  11. 11. Moving to a fully virtualized Data Center, with Any to Any Connectivity© 2011 Cisco and/or its affiliates. All rights reserved. 11
  12. 12. 10/40/ 100Gb SAN LAN LAN/SAN portsМасштабируемость FCoE Servers x86 Unified Nexus  7000   MDS  9500   Nexus  5500   40Gb 550Gb Nexus  4000   Nexus  B22HP   MDS  9200   Nexus    2000              B22F         Nexus  1100   Nexus  3000   B22 Nexus  3548   Fujitsu MDS  9100   200 HP ns Nexus  1000V   Cisco NX-OS: Единая операционная система от Гипервизора до Ядра ЦОД Конвергентность Гранулированость Коммутация Расширение Фабрики Облачная до уровня VM 10 GbE Мобильность© 2011 Cisco and/or its affiliates. All rights reserved. 12
  13. 13. 10/40/ 100Gb© 2011 Cisco and/or its affiliates. All rights reserved. 13
  14. 14. Nexus 3k/5k Access UCS 10/40G CRS-3 Catalyst 6500 100G 10/40G Routing Core Campus 100G Core ASR 9000 SP Edge© 2011 Cisco and/or its affiliates. All rights reserved. 14
  15. 15. M-Серия •  Много-функциональное Ядро Ядро •  До 240 Gb/слот (1/10/40/100GbE) •  Большие Буфера и Таблицы (1M IPv4, M2-Карты 128K MAC, 128K TCAM) ЦОД и Кампус LAN •  Сервисы OTV, MPLS, LISP*, FEX F-Серия •  До 480 Gb/слот (1/10 Gb SFP+, 10GT) •  До 768x10GbАгрегация Агрегация •  Агрегация Доступ (32K IPv4, 16K MAC) Доступ Доступ •  Сервисы FabricPath, FCoE, FEX© 2012 Cisco and/or its affiliates. All rights reserved. Cisco Confidential 15
  16. 16. VDC A VDC B Layer-2 Protocols Layer-3 Protocols A Layer-2 Protocols Layer-3 Protocols B VLAN mgr UDLD OSPF GLBP VLAN mgr UDLD OSPF GLBP STP CDP BGP HSRP C B D STP CDP BGP HSRP IGMP sn. 802.1X EIGRP VRRP IGMP sn. 802.1X EIGRP VRRP LACP CTS PIM SNMP D C A LACP CTS PIM SNMP RIB RIB RIB RIB Protocol Stack (IPv4 / IPv6 / L2) Protocol Stack (IPv4 / IPv6 / L2) Infrastructure KernelVDC (Virtual Device Context) Изоляция программных компонент и протоколов Изоляция аппаратных ресурсов и данных Полная изоляция доменов управления Sup 1,2 – 4+1 VDC обеспечивает безопасность Sup2E – 8+1 VDC © 2011 Cisco and/or its affiliates. All rights reserved. 16
  17. 17. L3 Ядро VDC 1 Агрегация VDC 2 Сервисы VSS VSS  Совмещение Ядра/Агрегации/Доступа без смешения функциональности каждого уровня  Управление политиками Безопасности, Доступ QoS, BW .. VDC 3  Изоляция уровней, Управления © 2011 Cisco and/or its affiliates. All rights reserved. 17
  18. 18. © 2011 Cisco and/or its affiliates. All rights reserved. 18
  19. 19. 2x Sup = Sup&Fabric 1+1 = ISSU5x Fabric = N+1 Control Plane= 550Gb/Slot Data Plane Обновление ПО без остановки сервиса! © 2011 Cisco and/or its affiliates. All rights reserved. 19
  20. 20. Physical Topology Logical Topology Virtual Port Channel Traditional STP Based Network Nexus VPC Based Network Blocked Links L3 L3 L2 L2© 2011 Cisco and/or its affiliates. All rights reserved. 20
  21. 21. © 2011 Cisco and/or its affiliates. All rights reserved. 21
  22. 22. Традиционное решение FEX Архитектура Порт коммутатора на LAN LAN вынесенной из шасси Удаленного I/O карте Switch 4-8x10Gb Eth Switch Switch FEX Сетевые Уровни объединены, единая точка управления 2© 2011 Cisco and/or its affiliates. All rights reserved. 22 2
  23. 23. #1 N55k Cisco Nexus® 2000 FEX + M2/F2 = #48 Распределенный Коммутатор Более 13000 заказчиков 10М+ Nexus 2k портов внедрены© 2011 Cisco and/or its affiliates. All rights reserved. 23 23
  24. 24. STP-Free Уровень   Агрегации   vPC   L3   L2   Nexus  2000     Fabric   Extender   vPC   Nexus   7k/5K   Servers   GE   10GE   10GE   Rack   Rack   Blade   Servers   Servers   Servers   Virtual  Modular   System   Rack-­‐2   Rack-­‐3   Rack-­‐N  © 2011 Cisco and/or its affiliates. All rights reserved. 24
  25. 25. •  RU-, Блейд- сервера•  100Mb, 1/10G, FCoE, Медь, Оптика FCoE!•  Уровни 2/L3, Виртуализация Nexus 5000/5500 Nexus 7000 Родительский коммутатор UCSУнифицированный уровень Доступа Nexus Nexus Nexus Nexus Cisco 2000 2000 2000 2000 UCS 100M/1GE Rack 1/10GE/FCoE 1/10GE/FCoE 1/10GE/FCoE Third Party 1/10G/FCoE Mount Servers Rack Mount UCS Compute Blade Servers UCS Compute Servers Blade Rack© 2011 Cisco and/or its affiliates. All rights reserved. 25
  26. 26. © 2011 Cisco and/or its affiliates. All rights reserved. 26
  27. 27. Host OS vNIC vHBA LAN SAN vHBA •  До 116 виртуальных Host OS адаптеров. •  Виртуальные адаптеры VIC 1240/1280 vNIC подключены в vEth порты N55k и UCS Фабрики. •  Презентуются как аппаратные vNIC адаптеры Eth и FC для OS. OS Limits Max PCIe Int Max vNICs Max vHBAs vHBA Win 2008 20 20 16 Классический Ethernet RHEL 5.4 32 32 16 Классический FC Унифицированая Фабрика ESX 26 16 Унифицированая Фабрика© 2011 Cisco and/or its affiliates. All rights reserved. 27
  28. 28. Host OS vNIC VM P81E VIC vHBA LAN SAN 1255 VIC VM vHBA Унификация Кабелирования! •  Используются Host OS оставшиеся VM виртуальные VIC 1240/1280 vNIC интерфейсы для VM. •  vmNIC подключается на vNIC VM прямую в UCS Фабрику. •  Интеграция с vCenter и vHBA VMM. Классический Ethernet Классический FC Унифицированая Фабрика •  Поддержка VMotion. Унифицированая Фабрика© 2011 Cisco and/or its affiliates. All rights reserved. 28
  29. 29. © 2011 Cisco and/or its affiliates. All rights reserved. 29
  30. 30. STP-Free Приложение получает необходимые ресурсы без привязки к конкретному шкафу Fabric Path VLAN 1 VLAN 2 VLAN 3 Rack 1 Rack 2 Rack 3 VLAN 1, 2, 3   Простой дизайн: Любой VLAN, в любом месте – Фабрика Ethernet   Эффективность: Балансировка аплинков   Сходимость: L3 протокол для L2   Масштабируемость: наращивание агрегации, управление переподпиской© 2011 Cisco and/or its affiliates. All rights reserved. 30
  31. 31. FabricPath Топология VLAN 20 (Весь ЦОД) ‘0’ FabricPath FabricPath Топология Топология ‘1’ ‘2’ VLAN 20 – Весь ЦОД VLAN 20 – Весь ЦОД VLAN 30 – POD Локальный (и не уникальный) VLAN 30 – POD Локальный (и не уникальный) VLAN 10 – POD Локальный (и уникальный) VLAN 40 – POD Локальный (и уникальный) N55k F1 F2© 2011 Cisco and/or its affiliates. All rights reserved. 31
  32. 32. Простота Эффективность Масштабируемость Традиционные Масштабируемость Фабрика топологии +VPC FEX+VPC FABRIC PATH+VPC L2 / L3 100 – 1,000 10,000 100,000 Серверных портов Серверных портов Серверных портов© 2011 Cisco and/or its affiliates. All rights reserved. 32
  33. 33. © 2011 Cisco and/or its affiliates. All rights reserved. 33
  34. 34. North Data •  Работа поверх любого транспорта (IP, Fault Center Fault MPLS) Domain Domain •  Изоляция доменов сбоев •  Независимость сайтов •  Оптимальное использование полосы •  Встроенная отказоустойчивость LAN Extension •  Встроенная защита от «петель» •  Связь многих сайтов •  Масштабируемость Only 6 CLI   VLANs, сайты, MACs commands   ARP, broadcasts/floods •  Простота настройки Fault Fault Domain Domain •  Легкость добавления сайтов South Data Center© 2011 Cisco and/or its affiliates. All rights reserved. 34
  35. 35. MAC Table contains MAC addresses reachable through IP addresses MAC TABLE MAC TABLE OTV Inter-Site Traffic VLAN MAC IF VLAN MAC IF 100 MAC 1 Eth 2 1 100 MAC 1 IP A 100 MAC 2 Eth 1 5 Layer 2 100 MAC 2 IP AAnimated Slide ! Lookup 100 MAC 3 IP B Layer 2 Lookup 100 MAC 3 Eth 3 100 MAC 4 IP B 100 MAC 4 Eth 4 OTV OTV MAC 2 MAC 4 External External Eth 1 IP B Eth 4 IP A Eth 2 Eth 3 MAC 1  MAC 3 IP A  IP B MAC 1  MACIP A  IP B MAC 1  MAC 3 3 6 L3 L2 MAC 1  MAC 3 L2 L3 Core 4 MAC 1  MAC 3 2 3 Decap Encap MAC 3 MAC 1 West East   No Pseudo-Wire state is maintained.   The encapsulation is done based on a Layer 2 destination lookup. © 2011 Cisco and/or its affiliates. All rights reserved. 35
  36. 36. © 2011 Cisco and/or its affiliates. All rights reserved. 36
  37. 37. FCoE Достоинства   Меньше кабелей   Транспорт фреймов FC через Ethernet   FC и Ethernet на одном кабеле   Поволяет FC работать   Меньше адаптеров через сеть Ethernet без   Меньше энергопотребление потерь   Совместимость с существующими SAN Ethernet Трафик   Сохранение модели Fibre управления FC Channel   Сохранение всей логики FC© 2011 Cisco and/or its affiliates. All rights reserved. 37
  38. 38.    Nexus  7009,  7010,  7018   FCoE  –     New   Nexus  4000   Nexus  2232  FCoE,  iSCSI,  NAS   HP,  FS  FEX   Nexus  5548UP   Nexus  5596UP   FCoE  –     New   UCS  6248UP   UCS  6296UP    MDS  9506,  9509,  9513   Cisco NX-OS: Единая OS от Hypervisor , Server, Network, Storage Access © 2011 Cisco and/or its affiliates. All rights reserved. 38
  39. 39. End-To-End FCoE Host   Access   AggregaDon   Core   Storage   FCoE   N2232   N5XXX  (SW)   FCoE   N2232   N5XXX  (SW  or  NPV)   MDS95XX  (FC-­‐SW)   FCoE   N2232   N5XXX  (SW  or  NPV)   N5XXX  (FC-­‐SW)   MDS95XX  (FC-­‐SW)   FCoE   N2232   N5XXX  (SW  or  NPV)   N70XX  (FC-­‐SW)   MDS95XX  (FC-­‐SW)   FCoE   N70XX  (FC-­‐SW)   FCoE   N70XX  (FC-­‐SW)   MDS95XX  (FC-­‐SW)   FCoE   N70XX  (FC-­‐SW)   N70XX  (FC-­‐SW)  © 2011 Cisco and/or its affiliates. All rights reserved. 39
  40. 40. N70XX  (FC-­‐SW)   By End of 2012 (non-exhaustive) Host   Access   AggregaDon   Core   Storage   N4000  (FSB)   N70XX  (FC-­‐SW)   FCoE   N2232   N70XX  (FC-­‐SW)   FCoE   FC   N61XX/62XX  FI   N5XXX  (FC-­‐SW)   FCoE   FC   N61XX/62XX  FI   N70XX  (FC-­‐SW)   MDS95XX  (FC-­‐SW)   FCoE   FC   N61XX/62XX  FI   MDS95XX  (FC-­‐SW)   FCoE   FC   N61XX/62XX  FI   FCoE  © 2011 Cisco and/or its affiliates. All rights reserved. 40
  41. 41. •  Унифицированные Порты  Небывалая гибкость – упрощение инфраструктуры•  Полное, законченое решение от сервера до сторадж  UCS: FCoE на «наружу»  Nexus: • F1, F2 карты • FEX • vPC на разделяемых линках Eth+FCoE • До 30км FCoE на F2 картах, (До 3км N55k) • 10Gb T – технически возможен с технологией 40нм  MDS: FCoE карты 8х10Gb FCoE•  40Gb FCoE: На горизонте © 2011 Cisco and/or its affiliates. All rights reserved. 41 41Presentation_ID © 2010 Cisco and/or its affiliates. All rights reserved. Cisco Confidential 4 1
  42. 42. © 2011 Cisco and/or its affiliates. All rights reserved. 42
  43. 43. 10GE Агрегация 40GE Агрегация 10GE 40GE 10GE Hosts 10GE Hosts 40G Links 10G Servers Не нужна агрегации множества 10G каналов Больше пропускная полоса Низкие задержки <200 нсек (Биржи, HPC, WEB2.0) Режим Быстрой коммутации cut-through Line Rate L3, NAT Меньшее кол-во устройств, меньше портов 40Гб RU коммутаторы против Модульных для 10Гб… Идеальный Коммутатор для Агрегации - 96x40G Идеальный Коммутатор для Доступа - 48x10G + 4x40G Технологии VPC, FEX, FabricPath, FCoE© 2011 Cisco and/or its affiliates. All rights reserved. 43
  44. 44. 40G N3016 – 16х 40Gb 40GE Nexus 3016 – 16х 40Gb 40GE N3064-X 48xSFP+ 1G/10G 4x40G N3064-T 48x10GT 4x40G Почему некоторые предпочитают дизайны 40G? Не нужна агрегации множества 10G каналов Больше пропускная полоса Низкие задержки Режим Быстрой коммутации cut-through Меньшее кол-во устройств, 40Гб RU коммутаторы против Модульных для 10Гб Технологии VPC, FEX, FabricPath, FCoE для 40Gb? – ДА!© 2011 Cisco and/or its affiliates. All rights reserved. 44
  45. 45. 40G6-port 40Gb Модуль •  До 96х40G портов/шасси •  40G QSFP+ Оптика: •  40GBASE-SR4 (100m MMF) •  40GBASE-CR4 (7 and 10m copper) •  40GBASE-LR4 (10km SMF) •  QSFP+ to 4x SFP+ Twinax Breakout cable N7K-M206FQ-23L© 2011 Cisco and/or its affiliates. All rights reserved. 45
  46. 46. 96x40G / 4RU… 48х10Gb +4x40Gb 1RU… Функциональность  Line rate L2/L3  7-9W на порт  40GE или 4 x10GE (патчкорд)   Layer 2 multipath (FabricPath и TRILL)   FEX, FCoE, VNTag, NAT…© 2011 Cisco and/or its affiliates. All rights reserved. 46
  47. 47. © 2011 Cisco and/or its affiliates. All rights reserved. 47
  48. 48. Физический ЦОД Виртуальный ЦОД #1... Департамент A Департамент B ASA CSR 1000V 1000V VSG VSG vWAAS App Servers Nav vPathWAN Switches vPath VXLAN Free Nexus 1000V Essential Multi-Hypervisor (VMware, Microsoft*, RedHat*, Citrix*) Nexus 1000V VSG ASA 1000V vWAAS CSR 1000V (Cloud Router) •  Distributed switch •  VM-level •  Edge firewall, •  WAN •  WAN L3 controls VPN optimization gateway •  NX-OS consistency •  Zone-based FW •  Protocol •  Application •  Routing and Inspection traffic VPN 6000+ Customers (Limited Availability)© 2011 Cisco and/or its affiliates. All rights reserved. * MSFT currently in beta; RedHat/Citrix announced 48
  49. 49. © 2011 Cisco and/or its affiliates. All rights reserved. 49
  50. 50. © 2011 Cisco and/or its affiliates. All rights reserved. 50
  51. 51. Функциональность Гибкость •  Централизованный •  До 18500 vEth/vFC Менеджмент •  Сервисные профили •  Layer 2 •  Пулы МАС, WWWN, UUID… •  Layer 3* •  Управление политиками •  FabricPath* Масштабируемость •  A-FEX •  До 640x 10G Серверных порта •  VM-FEX •  160 Серверов на Блок UCS •  FCoE •  UCS Central – управление •  FabricFailover множеством UCS •  Интеграция vCenter/VMM Эффективность •  10G 1-10м -Twinax Медь/Oптика •  10G FET 100м Оптика© 2012 Cisco and/or its affiliates. All rights reserved. Cisco Confidential 51
  52. 52. © 2011 Cisco and/or its affiliates. All rights reserved. 52
  53. 53. Унифицированный Менеджмент Единая Унифицированная Система UCS для блейд- и RU- серверов Manager UCS Service Profile Service Profile: HR_App1 VNIC1 Device Management Unified MAC: 08:00:69:02:01:2E HR_WEB_VLAN (ID=50) VNIC2 Network Policy MAC: 08:00:69:02:01:2F HR_DB_VLAN (ID=210) HBA 1 and 2 WWN: 5080020000075740 Storage Policy WWN: 5080020000075741 VSAN ID: 12 Boot Order: SAN BIOS Settings: Server Policy Turbo On C-Серия HyperThreading On B-Серия RU- Сервера Блейд Сервера•  Тренд по трансформации к унифицированному менеджменту серверов.•  Выгоды UCS Менеджер и Сервис Профайлов для RU-серверов•  Новые Nexus 2k позволяют уменьшить стоимость и увеличить масштабируемость подключения RU-серверов к Унифицированной Фабрике© 2011 Cisco and/or its affiliates. All rights reserved. 53
  54. 54. Multi-UCS Manager Унифицированный Менеджмент для множества Cisco UCS Multi-UCS Manager ЦОД 1 ЦОД 2 ЦОД 3 UCS Manager UCS Manager UCS Manager UCS Manager UCS Manager•  Упрощает эксплуатацию, централизует инвентаризацию, обработку ошибок, логов, серверных консолей UCS в нескольких ЦОД•  Глобальные политики, сервисные профили и шаблоны•  Основа для построения высокой доступности, восстановления от катастроф, мобильности© 2011 Cisco and/or its affiliates. All rights reserved. 54 This is an upcoming product—Feature set for first release subject to change•  Предоставление API для большого масштаба автоматизации
  55. 55. 30 % Less Cost 30 Faster % 90 % Less Time Deploy 2x Capacity 60 % Less Cost No Staff Increase© 2011 Cisco and/or its affiliates. All rights reserved. 55
  56. 56. Thank you.Заполните  Анкету!    

×