1. Задачи создания и варианты
связи распределённых ЦОД
Эльдар Женсыкбаев
Системный инженер-консультант
ezhensyk@cisco.com

2. Распределённые ЦОД
Цели создания
• Катастрофоустойчивость
• Непрерывность обслуживания
• Мобильность сервисов
• Наращивание производительности/ёмкости
• Миграция систем
• Распределённые сервисы
• Географически-локализованные сервисы

3. Катастрофоустойчивость
Точка восстановления и время восстановления
Последняя Момент Системы
резервная копия или катастрофы восстановлены и
пригодные данные работоспособны
Время
Меньше RPO/RTO
Точка • Больше $$$
Время
восстановления • Репликация
восстановления
• «Горячий резерв»
(Recovery Point) (Recovery Time)
Больше RPO/RTO
• Меньше $$$
• Резервирование на ленту
• «Холодный резерв»
«Нулевые» RPO/RTO – система непрерывной доступности

4. Непрерывность бизнеса
Географически распределённые отказоустойчивые
кластеры
Public LAN VIP Cluster
Cluster A Cluster A
Node 1 Node 2
Private LAN Heartbeat
• Развитие кластеризации для защиты от сбоя сервиса или сайта целиком
• Кластерные системы типично требуют “растягивания” L2 VLAN между ЦОД
• Некоторые приложения поддерживают кластеризацию через L3 сеть

5. Мобильность виртуальных сервисов
Перемещение VM между ЦОД
Cisco-VMware With EMC
& NetApp Validated
Design & Certification for
Core Network Virtualized Workload
Mobility
DCI LAN extension
DC 1 DC 2
ESX-
ESX-A source ESX-
ESX-B target
• Мобильность виртуальных сервисов между разнесёнными сайтами
• Требование «растягивания» VLAN и обеспечения непрерывного доступа к LUN
• Основа для управления облачной нагрузкой и её миграции между «облаками»

6. Распределённые ЦОД
Технологические элементы
• Связь сетей передачи данных
– L2/L3 смежность
– Мониторинг (heartbeat) / синхронизация в кластере
– Репликация по IP
– Подключение к транспортной сети
• Связь сетей хранения данных
– Синхронизация массивов по FC
– Доступ к удаленным СХД/лентам
• Оптимальный путь трафика

7. Распределённые ЦОД
Классификация по расстоянию
Гео
Региональное
(extended
Metro) Резервный Основной
Катастрофо- 100-400km ЦОД ЦОД
устойчивый
ЦОД
Метро
50-80 km
• Расстояние – ключевой фактор
Кампус
• Ближе: 1–2 km
– Выше производительность
– Синхронная репликация
– Проще коммуникации
• Дальше:
– Катастрофоусточивость
– Распределение сервисов

8. Влияние расстояния
Передача данных
• Стандартные интерфейсы 10Гбит/с:
– 10GBASE-LR – до 10 км
– 10GBASE-ER – до 40 км
– 10GBASE-ZR – до 80 км
• Стандартные интерфейсы 40Гбит/с
– 40GBASE-LR4 – до 10 км
• Стандартные интерфейсы 100Гбит/с
– 100GBASE-LR4 – до 10 км
– 100GBASE-ER4 – до 40 км
• DWDM – до 2000+ км при использовании оптического усиления,
не ограничено при использовании регенерации
• Через сеть (IP, MPLS…) - без ограничений

9. Влияние расстояния
Хранение данных
Расстояние
ЦОД Кампус Метро Регион Страна Земля
Темное Волокно Sync Ограничено оптикой (Оптический бюджет)
Оптика
CWDM Sync (1,2,4Gbps) Ограничено оптикой (Оптический бюджет)
DWDM Sync (1,2,4,8,10Gbps /l) Ограничено BB_Credit
SONET/SDH Sync (1,2Gbps + subrate) Async
IP
MDS9000 FCIP Sync (Metro Eth) Async (WAN,1Gbps)

10. Влияние расстояния
Задержка (latency)
• Скорость света в вакууме ~300,000 км/с
• Скорость света в оптоволокне: ~200,000 км/с
• Задержка сигнала: ~5 мкс/км, RTT ~10 мкс/км
• Для сравнения:
– Среднее время доступа на (быстром) шпиндельном диске
~2-3 мс
– Среднее время доступа на SSD диске ~0.1 мс
– Максимальная задержка, допускаемая VMWare для VMotion:
5 мс RTT (10мс для vSphere v5.1)

11. Влияние расстояния
Задержка (latency) и Fibre Channel
Traffic Flow
BB_Credit BB_Credit BB_Credit
Flow Control Flow Control Flow Control
2-8 BB_Credit 16-255 BB_Credit 2-8 BB_Credit
FC Receive FC Receive
Buffers Buffers
 FC фреймы буферизуются промежуточными коммутаторами
 Трафик на каждом соединении управляется получением фреймов Receiver
Ready (R_RDY), передающая сторона может послать только определённое
(BB_Credits) число фреймов прежде, чем приостановит передачу
 Буферные кредиты (BB_Credit) согласовываются между каждой парой
соединённых устройств в фабрике
 На 1 км расстояния нужен 1 кредит на 2G, 2 кредита на 4G, 4 кредита на
8G, 6 на 10G, 8 на 16G

12. Синхронная репликация Асинхронная репликация
• Приложение получает • Подтверждение I/O после его
подтверждение I/O после его выполнения на локальном диске,
выполнения на обеих пока его копирование на
сторонах (zero RPO) удалённый массив ещё
– «Метро» расстояния продолжается
– Большая полоса – «Неограниченные» расстояния
– Меньше требования к полосе
4 1 2 1
2 3
3

13. Расширение SAN
Синхронная репликация и ускорение ввода/вывода
• SCSI протокол (FC) требует два round trip на операцию
• Вносимая задержка операции 2*10μs/км, 100 км = 2 мс
• В зависимости от приложения синхронную репликацию, как
правило ограничивают 50-100 км
• I/O Acceleration «убирает» один round-trip – удвоение
расстояния!
50 км 1ms
250 μs : Rec_Ready ?
1
250 μs : Wait for response?
2
250 μs : Send data
3
250 μs : Wait for Ack?
Local Storage Array 4 Remote Storage Array

14. Доступ к СХД и связь ЦОД
Вариант 1 – разделяемая СХД
Core Network
L2 extension for vMotion Network
DC 1 DC 2
Initiator
ESX-
ESX-A source ESX-
ESX-B target
Virtual Center
Volumes
Target

15. Доступ к СХД и мобильность сервисов
Разделяемая СХД – использование Cisco I/O Acceleration
Core Network
L2 extension for vMotion Network
DC 1 DC 2
ESX-
ESX-A source ESX-
ESX-B target
Virtual Center
Повышение произодительности с помощью
I/O Acceleration на Cisco MDS

16. Доступ к СХД и мобильность сервисов
Вариант 2 - NetApp FlexCache (Active/Cache)
Core Network
L2 extension for vMotion Network
DC 1 DC 2
Read
Write ?
2 Temp
data
Read
Write
ESX-
ESX-A source 3 Cache ESX-
ESX-B target
data data
ACK 1
4
2 data
ACK
Virtual Center
 FlexCache не работает как отложенный кеш записи
 FlexCache подтверждает операцию только после подтверждения от СХД
http://www.cisco.com/en/US/docs/solutions/Enterprise/Data_Center/DCI/4.0/Netapp/dciNetapp.html

17. Доступ к СХД и мобильность сервисов
Вариант 3 - EMC VPLEX Metro (Active/Active)
• Хосты на обеих сторонах
одновременно имеют доступ к
распределённым виртуальным томам
• Непрерывная синхронизация
Synchronous Latency
Распределённый виртуальный том
Fibre Channel
• Запись защищается на обоих сайтах
• Чтение – с кеша VPLEX или местного
тома
ЦОД A ЦОД B

18. Доступ к СХД и мобильность сервисов
Вариант 3 - EMC VPLEX Metro (Active/Active)
Core Network
L2 extension for vMotion Network
DC 1 DC 2
Initiator
ESX-
ESX-A source ESX-
ESX-B target
Virtual Center
From the Host
F
Target VPLEX Virtual Layer
From the Storage
LUNv LUNv
EMC
F
Initiator CLARiiON
EMC
VMAX VPLEX VPLEX
Target Engine Synchronous Latency requiments ~100 kms max Engine
http://www.cisco.com/en/US/docs/solutions/Enterprise/Data_Center/DCI/4.0/ EMC/dciEmc.html

19. Растягивание подсетей (связь ЦОД на 2
уровне)

20. Растягивание подсетей
Варианты технологий
Транспорт Критерии применения
• VSS & vPC или FabricPath
Multi-Chassis EtherChannel (N7K/N5K, Cat6K) для связи пары ЦОД
FabricPath для связи многих сайтов (N7K/N5K)
Ethernet
По тёмной оптике или xWDM
Технологии LAN
• EoMPLS & A-VPLS & H-VPLS
Внедрение на PE (Cat6K, ASR9K, N7K (будущее))
MPLS Масштабирование и multi-tenancy
Возможно поверх GRE
Апробированный вариант, хорошо подходит SP
• OTV
Внедрение на CE (N7K, ASR1K)
Подходит для корпоративных внедрений
IP Малая зависимость от транспорта – требуется только IP сеть
Маршрутизация по MAC адресам

21. Многоуровневый vPC для агрегирования и N Network port
DCI E
-
Edge or portfast port type
Normal port type
B BPDUguard
F BPDUfilter
DC 1 DC 2 R Rootguard
vPC domain 11 vPC domain 21
Long Distance
CORE
CORE
E F F E
- -
N N
N N
- E F F E -
R R
- R -
- R
AGGR
-
AGGR
N N N N
- - vPC domain 10 vPC domain 20 - -
R R
R R
Основные рекомендации
ACCESS
ACCESS
- -
 Различающиеся номера vPC доменов
E  BPDU Filter на пограничных устройствах для E
B блокирования распространения BPDU B
 STP Edge Mode для быстрого восстановления
 Отсутствие петель между ЦОД в обход vPC
Server Cluster Server Cluster

22. FabricPath для связи ЦОД
Достоинства:
 Диалоговое выучивание MAC адресов
 Отказоустойчивость и изоляция STP
 Динамическая «подрезка» VLAN
 Отказоустойчивое сопряжение с LAN с помощью vPC+
Ограничения:
 Требует использования FabricPath соединений на всём транспорте
 Использует Flooding неизвестных адресов
 Нет подавления широковещания
 L2 Multipath только для путей одинаковой стоимости
 Затруднена локализация FHRP для оптимизации пути

23. Решения на основе MPLS
EoMPLS
• Имитация «провода» (pseudowire) между двумя портами
оборудования в разных ЦОД
• Отказоустойчивость и балансировка внешними средствами –
аналогично «тёмной оптике»
• Обычно для связи двух ЦОД
• Необходимо наличие MPLS сети
• Использование дополнительного туннелирования для связи
через IP сеть: EoMPLSoGRE

24. Решения на основе MPLS
VPLS
• Имитация коммутатора (VFI) между портами оборудования в
разных ЦОД (с опорой на pseudowire)
• Отказоустойчивость и балансировка с помощью
дополнительных механизмов: A-VPLS на Cat6K, nV кластер на
ASR9K, MLACP на 7600/ASR9K…
• Необходимо наличие MPLS сети
• Использование дополнительного туннелирования для связи
через IP сеть: VPLSoGRE

25. Overlay Transport Virtualization (OTV)
Простое и надежное решение для связи ЦОД
• Расширение L2 доменов по произвольной IP сети
• Ethernet трафик инкапсулируется в IP: “MAC in IP”
• Динамическая инкапсуляция с использованием
таблицы маршрутизации MAC
MAC1  MAC2 IP A  IP B MAC1  MAC2 MAC1  MAC2
Encap Decap
MAC IF
OTV OTV
MAC1 Eth1
MAC2 IP B IP A IP B
MAC3 IP B
Взаимодействие между
Server 1 MAC1 (сайт 1) и MAC2 Server 22)
(сайт
MAC 1 MAC 2

26. Проблемы «растягивания» LAN
Решаемые OTV
North
• Работа поверх любого транспорта (IP, Fault
Data
Fault
Center
MPLS) Domain Domain
• Изоляция доменов сбоев (STP)
• Независимость сайтов
• Оптимальное использование полосы
• Встроенная отказоустойчивость
• Встроенная защита от «петель»
LAN Extension
• Связь многих сайтов
• Масштабируемость
 VLANs, сайты, MACs
 ARP, broadcasts/floods
Only 6 CLI
• Простота настройки commands
• Легкость добавления сайтов
Fault Fault
Domain Domain
South
Data
Center

27. Оптимизация пути

28. Оптимальный путь
В чём именно проблема?
10.1.1.0/25 & 10.1.1.128/25 advertised into L3 10.1.1.0/24 advertised into L3
DC A is the primary entry point Backup should main site go down
Layer 3 Core
Agg
Agg
Access
Access
Node A
Virtual Machine Virtual Machine
ESX ESX
Data Center 1 VMware Data Center 2
vCenter

29. Оптимальный путь
Хотелось бы так...
Agg
Agg
Access
Access
Node A
Virtual Machine
ESX ESX
Data Center 1 VMware Data Center 2
vCenter

30. Оптимизация пути трафика
• Исходящий трафик
–Изоляция FHRP
• Входящий трафик
–ACE/GSS
• Выбор сайта с помощью DNS
–Route Health Injection (RHI)
• Анонс /32 маршрутов на активные сервисы
–Locator/ID Separation Protocol – LISP-VM
• Маршрутизация до сервиса

31. Оптимизация пути «на выход»
Локализация FHRP с помощью OTV
• Одна и та же HSRP группа на всех сайтах с тем же виртуальным MAC
адресом
• Каждый сайт обеспечивает исходящую маршрутизацию
• OTV локализует исходящий трафик за счёт фильтрации HSRP hello
сообщений между сайтами
• ARP запросы перехватываются на OTV edge устройстве чтобы
обеспечить ответы именно от локального шлюза
Active Active
GWY Site 1 GWY Site 2
L3
L2
FHRP FHRP
ARP traffic is Hellos Hellos ARP traffic is
kept local kept local
West East

32. Оптимизация пути «на вход»
С использованием ACE, GSS и KAL-AP
144.254.1.100
144.254.200.100
KAL-AP Change IP
GS
S
Layer 3 Core ISP B
ISP A Intranet
DC A DC B
144.254.1.100 144.254.200.100
SNAT SNAT
Agg
VLAN A
Access
Access
VM= 10.1.1.100
L2 Links (GE or 10GE)
Default GW = 10.1.1.1
L3 Links (GE or 10GE)

33. Оптимизация пути «на вход»
С использованием ACE, GSS и vCenter скриптов
144.254.1.100
144.254.200.100
144.254.1.0/24 is
advertised into L3
Layer 3 WAN
ISP B
ISP A
Data Center B
Data Center A MAC moved
Change the IP@
144.254.200.100
144.254.1.100
Agg Public Network Agg
SNAT
SNAT
VLAN A
Access
Access
VM= 10.1.1.100
Default GW = 10.1.1.1

34. Оптимизация пути «на вход»
С использованием Route Health Injection на ACE
144.254.100.0/25 & 144.254.100.128/25 144.254.100.0/24
EEM or RHI can be used to get very granular Backup for Data Center A
Layer 3 Core ISP B
ISP A Intranet Probe to
DC A 10.1.1.100 DC B
Failed
IS 10.1.1.100 OK?
Public Network
Agg
Agg
VLAN A
Access
Access
App VM = 10.1.1.100
Default GW = 10.1.1.1 L2 Links (GE or 10GE)
L3 Links (GE or 10GE)

35. Оптимизация пути «на вход»
С использованием Route Health Injection на ACE
144.254.100.0/25 & 144.254.100.128/25 144.254.100.100/32 is advertised into L3 using RHI
144.254.100.0/24
EEM or RHI can be used to get very granular Backup for Data Center A
Layer 3 Core ISP B
ISP A Intranet
DC A Probe to DC B
10.1.1.100
is OK
IS 10.1.1.100 OK? RHI
Public Network
Agg
Agg
VLAN A
10.1.1.1 HSRP
Group 1 10.1.1.1 HSRP
Group 1
Access
App VM= 10.1.1.100
Default GW = 10.1.1.1 L2 Links (GE or 10GE)
L3 Links (GE or 10GE)

36. Оптимизация пути «на вход»
Locator-ID Separation Protocol (LISP)
• Отделяет идентификатор сервиса (IP адрес) от его
местоположения
• Маршрутизация исходя из местоположения, а не адреса хоста
• Соотношение адреса и его местоположение хранятся в директории
• Поиск метоположения IP адреса по информации из директории
• Инкапсуляция трафика (IP in IP) и передача по месту нахождения
хоста
• Директория – распределенная база данных
ALT directory
 Информация о хостах не
хранится в таблице
маршрутизации
 “Summarizable host routing”
Resolution & Registration
Data Path

37. Локализация входящего Prefix Route Locator
трафика с помощью LISP 10.10.10.1 C, D
A, B
Ingress Tunnel 10.10.10.2 A, B
IP_DA 10.10.10.1
… …
Encap 1
10.10.10.5 C, D
2
10.10.10.6 C, D
IP_DA = 10.10.10.1 IP_DA= A Layer 3 Core ISP B
ISP A Intranet IP_DA = 10.10.10.1 IP_DA= D 3
3
DC A DC B Decap
Decap
A B
C D
IP_DA = 10.10.10.1 IP_DA = 10.10.10.1
Public Network
Agg
Agg
VLAN A
Access
Access
VM= 10.10.10.1
L2 Links (GE or 10GE)
Default GW = 10.10.10.100
L3 Links (GE or 10GE)

38. Оптимальный транспорт с помощью LISP и
Client in LISP Site Client in non-LISP Site
OTV C1 C2
D E
Layer3 Core
MR PxTR
MS
A A’
B B’
OTV Server-to-Server L2 traffic
VLAN A – 10.1.1.0
VLAN A – 10.1.1.0
FHRP: 10.1.1.1 ESX Server B
ESX Server A FHRP: 10.1.1.1
-Virtual-Machine-A -Virtual-Machine-A
-IP Address = 10.1.1.100 -IP Address = 10.1.1.100
-Mask: 255.255.255.0 -Mask: 255.255.255.0
-Default GW = 10.1.1.1 -Default GW = 10.1.1.1
LISP: L3 Client-to-Server OTV: L2 Server-to-Server
• Оптимизация маршрутизации с детальной информацией • Оптимизация расширения LAN
о местоположении • Распределение прикладных систем
• Оптимизация мобильности внутри или между подсетями • Надежная связь на втором уровне для мобильности
• Масштабирование прикладных сервисов виртуальных сервисов и кластерных систем

39. Типовые сценарии

40. Распределённые ЦОД
Кампус – до нескольких км
• Типичный сценарий – несколько ЦОД в комплексе зданий или на
территории предприятия
• Катастрофоустойчивость: минимальна
• Связь LAN: оптоволокно 10GBASE-LR / 40GBASE-
LR4/100GBASE-LR4, vPC/FabricPath
• Связь FC SAN: оптоволокно –LW
• Конвергентный транспорт (FCoE): Nexus 5500 до 3 км, Nexus
7000 F1/F2 до 10/80 км
• Оптимизация пути: не нужна
• Рассматривать как часть единого модульного ЦОД

41. Распределённые ЦОД
«Метро» – несколько десятков (до 60-100) км
• Типичный сценарий – «резервный ЦОД» в пределах города или
«метро-области»
• Катастрофоустойчивость: частично
• Связь LAN: оптоволокно 10GBASE-ER/ZR / DWDM
(vPC/FabricPath), при необходимости - IP+OTV или MPLS/VPLS
• Связь FC SAN: оптоволокно ER, CWDM/DWDM, при
необходимости – FCIP. I/O Aceleration для оптимизации ввода-
вывода (от 40-50 км)
• Конвергентный транспорт (FCoE): Nexus 7000 F2 до 80 км
• Оптимизация пути: по возможности
• При наличии возможности – использование «тёмного волокна»
для LAN и SAN, синхронная репликация, технологии
метрокластеров, Vmotion

42. Распределённые ЦОД
«Регион» – до несколько сот (300-400) км
• Типичный сценарий – «резервный ЦОД» в другом городе в
пределах региона
• Катастрофоустойчивость: значительная
• Связь LAN: IP+OTV или MPLS/VPLS, DWDM (при наличии)
• Связь SAN: FCIP, DWDM (при наличии). I/O Aceleration для
оптимизации ввода-вывода
• Оптимизация пути: желательна
• Может использоваться для ряда «метрокластерных»
технологий. Асинхронная репликация или синхронная с
ограничениями и дополнительными инструментами

43. Распределённые ЦОД
«Гео» – многие сотни и тысячи км
• Типичный сценарий – ЦОД на случай катастрофы (DR) в другом
регионе страны
• Катастрофоустойчивость: высокая
• Связь LAN: IP+OTV или MPLS/VPLS - если требует технология
кластера
• Связь SAN: FCIP – если необходимо. I/O Aceleration для
оптимизации ввода-вывода
• Оптимизация пути: необходима
• Асинхронная репликация, «log shipping» или иные средства
катастрофоустойчивости. Высокое время восстановления (часы
и более). Непосредственная связь между ЦОД – если требует
технология геокластера

44. Data Center Interconnect
Дополнительная информация
http://www.cisco.com/go/dci

45. Спасибо!
Просим Вас заполнить анкеты.
Ваше мнение очень важно для нас.