Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Принципы построения катастрофоустойчивых ЦОД

2,691 views

Published on

Published in: Technology
  • Be the first to comment

  • Be the first to like this

Принципы построения катастрофоустойчивых ЦОД

  1. 1. Принципы построениякатастрофоустойчивыхЦОДСкороходов АлександрСистемный инженер – консультантaskorokh@cisco.com+7(495)789-8615
  2. 2. Разнесение центров обработки данныхЦели создания распределённых ЦОД •  Непрерывность бизнеса: катастрофоустойчивость •  Мобильность прикладных сервисов •  Распределённые приложения •  Консолидация и повышение использования глобальных ресурсов
  3. 3. Непрерывность бизнесаГеографически распределённые отказоустойчивые кластеры Public LAN VIP Cluster Cluster A Cluster A Node 1 Node 2 Private LAN Heartbeat §  Развитие кластеризации для защиты от сбоя сайта целиком §  Кластерные системы типично требуют “растягивания” L2 VLAN между ЦОД §  Некоторые приложения поддерживают кластеризацию через L3 сеть
  4. 4. Мобильность виртуальных сервисовПеремещение VM между ЦОД Cisco-VMware With EMC & NetApp Validated Design & Certification for Virtualized Workload Core Network Mobility DCI LAN extension DC 1 DC 2 ESX-A source ESX-B target§  Мобильность виртуальных сервисов между разнесёнными сайтами§  Требование «растягивания» VLAN и обеспечения непрерывного доступа к LUN§  Основа для управления облачной нагрузкой и её миграции между «облаками»
  5. 5. Связь ЦОД Элементы решения MPLS IP CoreФункция Решаемая задачаСвязь систем Обеспечить приложениям непрерывныйхранения доступ к ресурсам хранения локально и удалённо оптимальным образомРасширение Доступ к одним и тем же VLAN из разных ЦОДLAN для поддержки отказоустойчивости и мобильностиОптимизация Оптимальная симметричная маршрутизацияпути между пользователями и ЦОД, где находится приложениеМаршрутизация Маршрутизируемая связь между ЦОД
  6. 6. Расширениеинфраструктуры хранения
  7. 7. Ресурсы хранения при связи ЦОДВариант 1 – разделяемая СХД Core Network L2 extension for vMotion Network DC 1 DC 2 InitiatorESX-A source ESX-B target Virtual Center Volumes Target
  8. 8. Ресурсы хранения при связи ЦОД Разделяемая СХД – использование Cisco IO Acceleration Core Network L2 extension for vMotion Network DC 1 DC 2ESX-A source ESX-B target Virtual Center Improve Latency using Cisco Write Acceleration feature on MDS Fabric
  9. 9. Ресурсы хранения при связи ЦОДВариант 2 - NetApp FlexCache (Active/Cache) Core Network L2 extension for vMotion Network DC 1 DC 2 NAS Read Write ? 2 Temp data Read WriteESX-A source 3 Cache ESX-B target data data ACK 1 4 2 data ACK Virtual Center §  FlexCache does NOT act as a write-back cache §  FlexCache responds to the Host only if/when the original subsystem ack’ed to it §  No imperative need to protect a Flexcache from a power Failure http://www.cisco.com/en/US/docs/solutions/Enterprise/Data_Center/DCI/4.0/Netapp/dciNetapp.html
  10. 10. Ресурсы хранения при связи ЦОДВариант 3 - EMC VPLEX Metro (Active/Active) §  Hosts at both sites instantly access Distributed Virtual Volume §  Synchronization starts at Distributed Volume creation Synchronous Latency Distributed Virtual Volume Fibre Channel §  WRITEs are protected on storage at both Site A and B §  READs are serviced from VPLEX cache or local storage. DC A DC B
  11. 11. Ресурсы хранения при связи ЦОД Вариант 3 - EMC VPLEX Metro (Active/Active) Core Network L2 extension for vMotion Network DC 1 DC 2 Initiator ESX-A source ESX-B target Virtual Center From the Host Target VPLEX Virtual Layer From the Storage LUNv LUNv EMC Initiator CLARiiONEMCVMAX VPLEX VPLEX Target Engine Synchronous Latency requiments ~100 kms max Engine http://www.cisco.com/en/US/docs/solutions/Enterprise/Data_Center/DCI/4.0/ EMC/dciEmc.html
  12. 12. Расширение подсетей
  13. 13. «Растягивание» VLAN между ЦОД Data Data Center Center A B§  Ряд приложений требуют смежности на 2 уровне §  Миграция серверов § Кластеры (Veritas, MSFT) §  Высокая доступность § vMotion §  Распределенные служебные и § «Доморощенные» приложения прикладные сервисы
  14. 14. Связь ЦОДТребования к расширению подсетей Необходимо q  Защита от «петель» WAN q  Изоляция STPIntra-DC Domain q  Отказоустойчивость. Intra-DC Domainwith STP Isolation with STP Isolation q  Балансировка нагрузки на WAN WAN No Inter-DC Loop WAN q  Прозрачность для ядра Core Core q  Прозрачность для L3 Aggr/ L3 Aggr/ сетей ЦОД L2 Distr Same Extended VLAN L2 Distr q  Оптимизация трафика Access Access q  Масштабирование q  Связь многих ЦОД Data-center Data-center SAN SAN§  Изоляция STP: предотвращение распространения проблем§  Предотвращение «зацикливания» между ЦОДами§  Отказоустойчивость и масштабирование производительности§  Поддержка многих сайтов
  15. 15. Растягивание VLANКритерии выбора технологииТип  технологии   Критерии  применения   Ø VSS & vPC или FabricPath §  Multi-Chassis EtherChannel для связи пары ЦОД Ethernet §  FabricPath для связи многих сайтов §  По тёмной оптике или xWDM §  Технологии LAN Ø  EoMPLS & A-VPLS & H-VPLS §  Внедрение на PE MPLS §  Масштабирование и multi-tenancy §  Возможно поверх GRE §  Апробированный вариант, хорошо подходит SP Ø  OTV §  Внедрение на CE IP §  Подходит для корпоративных внедрений §  Малая зависимость от транспорта – требуется только IP сеть §  Маршрутизация по MAC адресам
  16. 16. «Тёмная оптика» •  Прямое соединение между ЦОД по оптическому кабелю •  Обычно – два альтернативных пути •  Проблемы: –  Технологии изоляции ЦОД –  Масштабируемось числа ЦОД –  Механизмы отказустойчивости –  Борьба с «петлями» •  xWDM – аналог для бОльших расстояний или при недостатке оптических волокон
  17. 17. Многоуровневый vPC N Network port E Edge or portfast port typeдля агрегирования и DCI - B Normal port type BPDUguard F BPDUfilter DC 1 DC 2 R Rootguard vPC domain 11 vPC domain 21 Long DistanceCORE CORE E F F E - - N N N N - E F F E - R R - R R - -AGGR - AGGR N N N N - - vPC domain 10 vPC domain 20 - - R R R R Основные рекомендации ACCESS ACCESS - - §  Различающиеся номера vPC доменов E §  BPDU Filter на пограничных устройствах для E B блокирования распространения BPDU B §  STP Edge Mode для быстрого восстановления §  Отсутствие петель между ЦОД в обход vPC Server Cluster Server Cluster
  18. 18. Cisco FabricPathРешаемые задачиПроблема Решение с L2MP / FabricPath Гибкость на 2 уровне для доведенияНеобходимость полной VLAN в любую точку для снижениямобильности сервисов зависимости от расположения серверовНеэффективное До 16 активных L2 путей, каждый изиспользование полосы которых может быть агрегировать до 16на 2 уровне соединений (Portchannel) Альтернатива недостатками Spanning TreeСбои на 2 уровне Опора на технологию маршрутизации ISISМасштабирование Иерархическая адресация + выучиваниетаблиц MAC адресов в по диалогами для более эффективногобольших L2 доменах использования таблицы MAC адресов
  19. 19. FabricPath для связи ЦОД§  Достоинства:§  Диалоговое выучивание MAC адресов§  Отказоустойчивость и изоляция STP§  Динамичесая «подрезка» VLAN§  Лёгкая интеграция с сущестующими ЦОД§  Сопряжение с помощью vPC+§  Ограничения: §  Требует использования FabricPath соединений на всём транспорте §  Использует Flooding неизвестных адресов §  Нет подавления броадкастов §  L2 Multipath только для путей одинаковой стоимости
  20. 20. FabricPath для связи ЦОДРазличные модели внедрения Classical Ethernet vPC+ Cloud vPC+ Site A Site D Core FabricPath Pre-TRILL Site C Site B CE VSS STP vPC+
  21. 21. FabricPath для связи ЦОДКольцевая топология Classical Ethernet vPC+ Cloud vPC+ Site A Site D Core FabricPath Pre-TRILL Site C Site B CE VSS STP vPC+
  22. 22. FabricPath для связи ЦОДПолносвязная топология Classical Ethernet vPC+ Cloud vPC+ Site A Site D Core FabricPath Pre-TRILL Site C Site B CE VSS STP vPC+
  23. 23. Overlay Transport Virtualization (OTV)Простое и надежное решение для связи ЦОД•  Расширение L2 доменов по произвольной IP сети – Тёмная оптика, MPLS, IP VPN... – Поддержка нескольких ЦОД•  Упрощение построения и эксплуатации – Простота интеграции в существующие сети – Настройка за несколько команд•  Высокая надёжность – Изоляция доменов сбоев OTV – Резервирование подключения сайтов без дополнительных усилий Any Workload, Anytime, Anywhere
  24. 24. Overlay Transport Virtualization Принципы работы протокола •  Ethernet трафик инкапсулируется в IP: “MAC in IP” •  Динамическая инкапсуляция с использованием таблицы маршрутизации MAC •  Не строится Pseudo-Wire или туннель MAC1 à MAC2 IP A à IP B MAC1 à MAC2 MAC1 à MAC2 Encap DecapMAC IF OTV OTVMAC1 Eth1MAC2 IP B IP A IP BMAC3 IP B Communication between MAC1 (site 1) and MAC2 (site 2) Server 1 Server 2 MAC 1 MAC 2
  25. 25. Проблемы «растягивания» LANРешаемые OTV North Data•  Работа поверх любого транспорта (IP, Fault Center Fault Domain Domain MPLS)•  Изоляция доменов сбоев•  Независимость сайтов•  Оптимальное использование полосы•  Встроенная отказоустойчивость•  Встроенная защита от «петель»•  Связь многих сайтов LAN Extension•  Масштабируемость §  VLANs, сайты, MACs §  ARP, broadcasts/floods•  Простота настройки Only 6 CLI•  Легкость добавления сайтов commands Fault Fault Domain Domain South Data Center
  26. 26. Расширение подсетейПоддержка технологий продуктами ASR 1000 Cat 6500 Nexus 7000 ASR 9000 Ethernet Cluster ✓ Планируется vPC ✓ FabricPath ✓ MPLS EoMPLS ✓ ✓ 1HCY12 ✓ ✓EoMPLSoGRE ✓ ✈requires SIP card support) VPLS ? ✓ 1HCY12 ✓ IP OTV Планируется ✓
  27. 27. Оптимизация потоковтрафика
  28. 28. Оптимальный путь В чём именно проблема? 10.1.1.0/25 & 10.1.1.128/25 advertised into L3 10.1.1.0/24 advertised into L3 DC A is the primary entry point Backup should main site go down Layer 3 Core Agg Agg Access AccessNode A Virtual Machine Virtual Machine ESX   ESX   Data Center 1 VMware Data Center 2 vCenter
  29. 29. Оптимальный путь Хотелось бы так... Agg Agg Access AccessNode A Virtual Machine ESX   ESX   Data Center 1 VMware Data Center 2 vCenter
  30. 30. Оптимизация пути трафика •  Исходящий трафик – Изоляция FHRP •  Входящий трафик – ACE/GSS •  Выбор сайта с помощью DNS – Route Health Injection (RHI) •  Анонс /32 маршрутов на активные сервисы – Locator/ID Separation Protocol – LISP-VM •  Маршрутизация до сервиса
  31. 31. Оптимизация пути «на выход» Локализация FHRP с помощью OTV•  Одна и та же HSRP группа на всех сайтах с теме виртуальным MAC адресом•  Каждый сайт обеспечивает исходящую маршрутизацию•  OTV локализует исходящий трафик за счёт фильтрации HSRP hello сообщений между сайтами•  ARP запросы перехватываются на OTV edge устройстве чтобть обеспечить ответы именно от локального шлюза Active Active GWY Site 1 GWY Site 2 L3 L2 FHRP FHRP ARP traffic is Hellos Hellos ARP traffic is kept local kept local West East
  32. 32. Оптимизация пути «на вход»С использованием ACE, GSS и KAL-AP 144.254.1.100 144.254.200.100 KAL-AP Change IP GSS on VIP Layer 3 Core ISP B ISP A Intranet P KAL-A DC A DC B 144.254.1.100 144.254.200.100 SNAT SNAT Agg VLAN AAccess AccessVM= 10.1.1.100 L2 Links (GE or 10GE)Default GW = 10.1.1.1 L3 Links (GE or 10GE)
  33. 33. Оптимизация пути «на вход»С использованием ACE, GSS и vCenter скриптов 144.254.1.100 144.254.200.100144.254.1.0/24 isadvertised into L3 Layer 3 WAN ISP B ISP A Data Center B Data Center A MAC moved Change the IP@ 144.254.200.100 144.254.1.100 Agg Public Network SNAT Agg SNAT VLAN A AccessAccessVM= 10.1.1.100Default GW = 10.1.1.1
  34. 34. Оптимизация пути «на вход»С использованием Route Health Injection на ACE144.254.100.0/25 & 144.254.100.128/25 144.254.100.0/24EEM or RHI can be used to get very granular Backup for Data Center A Layer 3 Core ISP B ISP A Intranet Probe to DC A 10.1.1.100 DC B Failed IS 10.1.1.100 OK? Public Network Agg Agg VLAN A Access AccessApp VM = 10.1.1.100Default GW = 10.1.1.1 L2 Links (GE or 10GE) L3 Links (GE or 10GE)
  35. 35. Оптимизация пути «на вход»С использованием Route Health Injection на ACE144.254.100.0/25 & 144.254.100.128/25 144.254.100.100/32 is advertised into L3 using RHI 144.254.100.0/24EEM or RHI can be used to get very granular Backup for Data Center A Layer 3 Core ISP B ISP A Intranet DC A Probe to DC B 10.1.1.100 is OK IS 10.1.1.100 OK? RHI Public Network Agg Agg VLAN A 10.1.1.1 HSRP Group 1 10.1.1.1 HSRP Group 1 AccessApp VM= 10.1.1.100Default GW = 10.1.1.1 L2 Links (GE or 10GE) L3 Links (GE or 10GE)
  36. 36. Оптимизация пути «на вход»Locator-ID Separation Protocol (LISP) •  Отделяет идентификатор сервиса (IP адрес) от его местоположения •  Маршрутизация исходя из местоположения, а не адреса хоста •  Соотношение адреса и его местоположение хранятся в директории •  Поиск метоположения IP адреса по информации из директории •  Инкапсуляция трафика (IP in IP) и передача по месту нахождения хоста •  Директория – распределенная база данных ALT directory §  Информация о хостах не хранится в таблице маршрутизации §  “Summarizable host routing” Resolution & Registration Data Path
  37. 37. Локализация входящего Prefix Route Locator трафика с помощью LISP 10.10.10.1 C, D A, B Ingress Tunnel 10.10.10.2 A, B IP_DA 10.10.10.1 … … Encap 1 10.10.10.5 C, D 2 10.10.10.6 C, D IP_DA = 10.10.10.1 IP_DA= A Layer 3 Core ISP B ISP A Intranet IP_DA = 10.10.10.1 IP_DA= D 3 3 DC A DC B DecapDecap A B C D IP_DA = 10.10.10.1 IP_DA = 10.10.10.1 Public NetworkAgg Agg VLAN AAccess AccessVM= 10.10.10.1 L2 Links (GE or 10GE)Default GW = 10.10.10.100 L3 Links (GE or 10GE)
  38. 38. Оптимальный транспорт с помощью LISP и OTV Client in LISP Site Client in non-LISP Site C1 C2 D E Layer3 Core MR PxTR MS A A’ B B’ OTV Server-to-Server L2 trafficVLAN A – 10.1.1.0 VLAN A – 10.1.1.0 FHRP: 10.1.1.1 ESX Server B ESX Server A FHRP: 10.1.1.1 - Virtual-Machine-A - Virtual-Machine-A - IP Address = 10.1.1.100 - IP Address = 10.1.1.100 - Mask: 255.255.255.0 - Mask: 255.255.255.0 - Default GW = 10.1.1.1 - Default GW = 10.1.1.1LISP: L3 Client-to-Server OTV: L2 Server-to-Server•  Оптимизация маршрутизации с детальной информацией •  Оптимизация расширения LAN о местоположении •  Распределение прикладных систем•  Оптимицация мобильности внутри или между подсетями •  Надежная связь на втором уровне для мобильности•  Масштабирование прикладных сервисов виртуальных сервисов и кластерных систем
  39. 39. Вопросы и Ответы
  40. 40. Спасибо!Просим Вас заполнить анкеты.Ваше мнение очень важно для нас!

×