Построение катастрофоустойчивых и распределённых ЦОД (часть 3). Оптимизация пути входящего трафика

1. Построение катастрофоустойчивых и
распределённых ЦОД (часть 3).
Оптимизация пути входящего трафика
Хаванкин Максим
cистемный архитектор
mkhavank@cisco.com
11/19/14 © 2014 Cisco and/or its affiliates. All rights reserved.

2. Содержание
§ Введение
§ Управление входящим трафиком при помощи DNS GSLB
§ Location/ID Separation Protocol – LISP
§ Интеграция распределенных сервисов
§ Route Health Injection – RHI
§ Заключение
11/19/14 © 2014 Cisco and/or its affiliates. All rights reserved.

3. Оптимизация передачи трафика
§ Перемещение нагрузки между ЦОД создает проблемы с оптимальной
маршрутизацией
3
Проблема оптимальной маршрутизации
WAN
HSRP
Active
HSRP
Standby
HSRP Filter
HSRP
Active
HSRP
Standby
East-West /
Server-Server
Egress:
South-North /
Server-Client
Ingress:
North-South /
Client-Server
Egress:
South-North /
Server-Client
Ingress:
North-South /
Client-Server

4. Оптимизация передачи трафика
§ Логический или физический ЦОД?
§ Высокая доступность или защита от сбоев?
4
Какой способ выбрать?
WAN
East-West /
Server-Server
Egress:
South-North /
Server-Client
Ingress:
North-South /
Client-Server
Egress:
South-North /
Server-Client
Ingress:
North-South /
Client-Server
Это ОДИН логический ЦОД ?
(Высокая доступность - High Availability)
Или ДВА физически
и логически …
… разделенных
ЦОД?

5. Содержание
§ Введение
§ Управление входящим трафиком при помощи DNS GSLB
§ Location/ID Separation Protocol – LISP
§ Интеграция распределенных сервисов
§ Route Health Injection – RHI
§ Заключение
11/19/14 © 2014 Cisco and/or its affiliates. All rights reserved.

6. DNS Global Server Load Balancing (GSLB)
§ DNS запрос 1
§ Поток 1 через левый ЦОД
§ Синхронизация GSLB посредством MEC
§ DNS запрос 2
§ Поток 2 через правый ЦОД
6
Нагрузка распределена между ЦОД
WAN
Это ОДИН логический ЦОД!
Нагрузка распределена между
площадками.
Citrix Netscaler
1000V GSLB
Citrix Netscaler
1000V GSLB
DNS обмен
Передача данных
Citrix Metric
Exchange Protocol
Менее
загруженный
сервер здесь

7. DNS Global Server Load Balancing (GSLB)
Особенности решения
§ Нагрузка распределяется в режиме Active-Active между ЦОД
§ Синхронизация кластера
§ Распределенная БД/Синхронизация БД
§ Растягивание/Локализация/Синхронизация СХД
§ SLB устройства отслеживают состояние приложения
§ Контроль за DNS-кэш
§ Браузер
§ Операционная система
11/19/14 © 2014 Cisco and/or its affiliates. All rights reserved. 7
Citrix Netscaler
1000V GSLB

8. Содержание
§ Введение
§ Управление входящим трафиком при помощи DNS GSLB
§ Location/ID Separation Protocol – LISP
§ Управление трафиком входящим в ЦОД-ы, не связанные по L2
§ Управление трафиком входящим в ЦОД-ы, связанные по L2
§ Интеграция распределенных сервисов
§ Route Health Injection – RHI
§ Заключение
11/19/14 © 2014 Cisco and/or its affiliates. All rights reserved.

9. Location Identity Separation Protocol
IP core
IPv4 или IPv6 адрес
устройства or IPv6
определяет и его
идентификатор (identity) и
местоположение (location)
Традиционная IP сеть
10.1.0.1 Когда устройство перемещается,
оно получает новый IPv4 или IPv6
адрес, который определяет и его
идентификатор (identity) и
местоположение (location)
20.2.0.9
IPv4 или IPv6
адреса устройств
определяют только
их идентификацию.
Сеть с поддержкой LISP
IP core Loc/ID “Разделение”
Когда устройство
перемещается, его IPv4 или
IPv6 адрес, определяющий
его идентификатор не
изменяется.
1.1.1.1
2.2.2.2
Только местоположение
изменяется при переезде
10.1.0.1
10.1.0.1
Это его местоположение
9
Что понимается под “Location” и “Identity”

10. 3 Эта политика
Сайт без
LISP
East-DC
LISP сайт
IP сеть
ETR
EID-­‐to-­‐RLOC
mapping
5.1.1.1
5.3.3.3
1.1.1.1
5.2.2.2
10.2.0.0/24
10.3.0.0/24
West-DC
PITR
5.4.4.4
10.1.0.0/24
Сайт без
LISP
S ITR
D
DNS
Entry:
D.abc.com
A
10.2.0.1
1
2
10.1.0.1
-­‐>
10.2.0.1
EID-­‐prefix:
10.2.0.0/24
Locator-­‐set:
2.1.1.1,
priority:
1,
weight:
50
(D1)
2.1.2.1,
priority:
1,
weight:
50
(D2)
Mapping
Entry
контролируется
владельцем ЦОД,
который
устанавливает веса
4
1.1.1.1
-­‐>
2.1.1.1
10.1.0.1
-­‐>
10.2.0.1
5
10.1.0.1
-­‐>
10.2.0.1
2.1.1.1
2.1.2.1
3.1.1.1
3.1.2.1
Передача пакетов в LISP
10
Как работает LISP?

11. Сайт без
LISP
East-DC
IP сеть
DNS
Entry:
D.abc.com
A
10.2.0.1
ETR
EID-­‐to-­‐RLOC
mapping
5.1.1.1
5.3.3.3
5.2.2.2
2
3
4
4.4.4.4-­‐
>
2.1.2.1
10.2.0.0/24
10.3.0.0/24
West-DC
PITR
4.4.4.4
Сайт без
LISP
S
D
1
192.3.0.1
-­‐>
10.2.0.1
EID-­‐Prefix:
10.2.0.0/24
Locator-­‐Set:
2.1.1.1,
priority:
1,
weight:
50
(D1)
2.1.2.1,
priority:
1,
weight:
50
(D2)
Mapping
Entry
192.3.0.1
-­‐>
10.2.0.1
5
192.3.0.1
-­‐>
10.2.0.1
2.1.1.1
2.1.2.1
3.1.1.1
3.1.2.1
Передача пакетов в LISP
11
Что делать с не-LISP сайтами?

12. Роли и адресные пространства в LISP
Какие компоненты вовлечены в передачу данных?
Роли LISP
• Tunnel Routers – xTRs
• Пограничные устройства
encap/decap
• Ingress/Egress Tunnel
Router (ITR/ETR)
• Proxy Tunnel Routers - PxTR
• Граница между LISP и не-
LISP сайтами
• Ingress/Egress: PITR, PETR
• EID - RLOC Mapping DB
• Отображение RLOC в EID
• Распредленная база по
Map Server (MS)
Prefix Next-hop
w.x.y.1 e.f.g.h
x.y.w.2 e.f.g.h
z.q.r.5 e.f.g.h
z.q.r.5 e.f.g.h
Mapping
DB
ITR
ETR
EID RLOC
a.a.a.0/24 w.x.y.1
b.b.b.0/24 x.y.w.2
c.c.c.0/24 z.q.r.5
d.d.0.0/16 z.q.r.5
EID RLOC
a.a.a.0/24 w.x.y.1
b.b.b.0/24 x.y.w.2
c.c.c.0/24 z.q.r.5
d.d.0.0/16 z.q.r.5
EID RLOC
a.a.a.0/24 w.x.y.1
b.b.b.0/24 x.y.w.2
c.c.c.0/24 z.q.r.5
d.d.0.0/16 z.q.r.5
ALT
RLOC Space
EID Space
EID Space
Адресные пространства
Non-LISP
PxTR
• EID = End-point Identifier
• идентификатор конечного хоста
• RLOC = Routing Locator
• IP адрес маршрутизатора 12
сети агрегации или ядра

13. LISP Mapping Database
LISP сайт
ITR
Database Mapping Entry (на ETR):
Mapping Cache Entry (на ITR):
10.2.0.0/16-> (2.1.1.1, 2.1.2.1)
10.2.0.0 /16 10.3.0.0/16
13
Основы – регистрация и ответы на запросы
West-DC East-DC
Y
X Y
Z
10.2.0.2
Map Server / Resolver: 5.1.1.1
2.1.1.1 2.1.2.1 3.1.1.1 3.1.2.1
10.2.0.0/16 -> (2.1.1.1, 2.1.2.1)
10.3.0.0/16 -> (3.1.1.1, 3.1.2.1)
ETR
ETR
ETR
ETR
Database Mapping Entry (на ETR):
Map-Request
10.2.0.1
Map-Reply
10.2.0.0/16 -> (2.1.1.1, 2.1.2.1)

14. LISP Mapping Database
Нет специального протокола для
синхронизации состояния Map-серверов;
ETR должны зарегистрироваться на всех
Map серверах самостоятельно;
ITR посылает запрос на Anycast адрес
Map Resolver-а 10.2.0.0/16-> (2.1.1.1, 2.1.2.1)
Map Resolver:9.9.9.9 (Anycast)
Map Server: 5.1.1.1 Map Server: 5.2.2.2
Mapping Cache Entry (на ITR):
Database Mapping Entry (на ETR):
10.2.0.0 /16 10.3.0.0/16
14
Отказоустойчивость БД
West-DC East-DC
Y
X Y
Z
10.2.0.2
LISP Site
ITR
Mapping DB
Node Cluster
10.2.0.0/16 -> (2.1.1.1, 2.1.2.1)
10.3.0.0/16 -> (3.1.1.1, 3.1.2.1)
ETR
ETR
ETR
ETR
Database Mapping Entry (на ETR):
Map-Request
10.2.0.1
Map-Reply
10.2.0.0/16 -> (2.1.1.1, 2.1.2.1)
2.1.1.1 2.1.2.1 3.1.1.1 3.1.2.1

15. не-LISP сайты
PITR
LISP сайт
5.1.1.1
IP сеть
ITR
5.3.3.3
Mapping DB
1.1.1.1
5.2.2.2
2.1.1.1 2.1.2.1
West-DC East-DC
10.2.0.0/24
RLOC EID LISP Encap/Decap
ETR
Базовая настройка LISP
Маршрутизатор в филиале
ip lisp itr-etr
ip lisp ITR map-resolver 5.3.3.3
Устройства агрегации в ЦОД
ip lisp itr-etr
ip lisp database-mapping 10.2.0.0/24 2.1.1.1 p1 w50
ip lisp database-mapping 10.2.0.0/24 2.1.2.1 p1 w50
ip lisp ETR map-server 5.1.1.1 key s3cr3t
ip lisp ETR map-server 5.2.2.2 key s3cr3t
Пограничный маршрутизатор
ip lisp proxy-itr
Серверы БД ip lisp ITR map-resolver 5.3.3.3
ip lisp map-resolver
ip lisp map-server
lisp site west-DC
authentication-key 0 s3cr3t
eid-prefix 10.2.0.0/24
Как правило устройство выполняет обе роли
ITR/ETR чтобы обсуживать трафик в обоих
напралениях
15

16. Сценарии использования LISP
Миграция на IPv6
IPv4
Internet
§ v6-over-v4, v6-over-v6
§ v4-over-v6, v4-over-v4
v6
IPv6
Internet
v6 v4 v6
LISP
LISP Router
Router
v6
Services
Отказоустойчивые подключения
LISP
Routers
LISP
сайт
Internet
§ Переносимость IP
§ Управление входящим трафиком без
BGP
Мобильность хостов
LISP сайт
IP сеть
West-DC East-DC
§ Перемещение вит. машин
§ Сегментация
Multi-Tenancy и VPN
LISP сайт
IP сеть
West-DC East-DC
§ Снижение CapEx/OpEx
§ Сегментация в больших масштабах
16

17. Сценарии применения LISP
LISP сайт
Internet или
WAN
XTR
IP мобильность
Disaster Recovery
Cloud Bursting
Перемещение с растягиванием
L2 сегментов между ЦОД
не-LISP
сайт
LAN Extension
West-DC East-DC
17
IP сеть
Mapping DB
LISP-­‐VM
(XTR)
LISP сайт
XTR
Компоненты приложения растянуты между
ЦОД
Перемещение без растягивания
L2 сегментов между ЦОД
Mapping DB
West-DC East-DC
DR Location
или Cloud
Provider DC
LISP-­‐VM
(XTR)
Все компоненты приложения в одном ЦОД
одновременно

18. Обнаружение перемещений хостов в LISP
§ Новый xTR проверяет источник трафика
§ Настройка динамических-EID определяет какие префиксы могут
«мигрировать» между ЦОД
5.1.1.1 5.2.2.2
10.2.0.0 /16 10.3.0.0/16
18
Мониторинг источника трафика
LISP-­‐VM
(xTR)
West-DC East-DC
Y
X Y
Z
Mapping DB
10.2.0.2
lisp dynamic-eid roamer
database-mapping 10.2.0.0/24 <RLOC-C> p1 w50
database-mapping 10.2.0.0/24 <RLOC-D> p1 w50
map-server 5.1.1.1 key abcd
interface vlan 100
lisp mobility roamer
A B C D
Получили пакет…
… от “Нового” хоста
… его адрес находится в разрешенном
диапазоне Dynamic-EID
…это миграция!
Регистрируем /32 в LISP

19. Перенаправление трафика в LISP
§ Когда LISP обнаруживает переезд хоста, база данных MS/MR и кеш xTR
обновляются:
§ RLOC обновляет запись в базе данных
§ Старый ETR уведомляется о перемещении
§ ITR получают нотификацию для обновления своих кэш-записей
§ ITR или PITR начинают передавать трафик в новый ЦОД
LISP сайт
xTR
A B C D
10.2.0.0 /16 10.3.0.0 /16
19
Обновление записей в БД Location Mapping
LISP-­‐VM
(xTR)
West-DC East-DC
Y
X Y
Z
Mapping DB
10.2.0.2
10.2.0.0/16 – RLOC A, B
10.2.0.2/32 – RLOC C, D

20. Содержание
§ Введение
§ Управление входящим трафиком при помощи DNS GSLB
§ Location/ID Separation Protocol – LISP
§ Управление трафиком входящим в ЦОД-ы, не связанные по L2
§ Управление трафиком входящим в ЦОД-ы, связанные по L2
§ Интеграция распределенных сервисов
§ Route Health Injection – RHI
§ Заключение
11/19/14 © 2014 Cisco and/or its affiliates. All rights reserved.

21. Разделенные физически и логически ЦОД
Возможные сценарии реализации в зависимости от бизнес-потребностей
§ Active-Standby
§ Active-Disater Recovery (DR) – VMware SRM, Microsoft DPM
§ Active-Облачный оператор (cloud bursting)
Связь по L2 между ЦОД отсутствует!
21
WAN
East-West /
Server-Server
Egress:
South-North /
Server-Client
Ingress:
North-South /
Client-Server
Egress:
South-North /
Server-Client
Ingress:
North-South /
Client-Server
ДВА физически и
логически …
… разделенных
ЦОД?

22. LISP Host-Mobility – First Hop Routing
§ SVI (Interface VLAN x) и HSRP настраиваются как обычно
§ Один и тот же адрес GWY-MAC или один и тот же номер HSRP-группы
§ Команда lisp mobility <dyn-eid-map> запускает функцию proxy-arp на SVI
§ LISP-VM маршрутизатор выступает шлюзом по умолчанию и для своих и для мобильных
подсетей
§ Мобильный хост всегда «разговаривает» с локальным шлюзом с одним и тем же MAC
A B C D
22
ЦОД не связаны по L2
West-DC East-DC
HSRP
ARP
GWY-MAC
HSRP
ARP
GWY-MAC
Interface vlan 100
ip address 10.2.0.6/24
lisp mobility roamer
(ip proxy-arp)
hsrp 101
mac-address 0000.0e1d.010c
ip 10.2.0.1
interface vlan 100
ip address 10.2.0.5/24
lisp mobility roamer
( ip proxy-arp)
hsrp 101
mac-address 0000.0e1d.010c
ip 10.2.0.1
interface vlan 100
ip address 10.3.0.8/24
lisp mobility roamer
(ip proxy-arp)
hsrp 201
mac-address 0000.0e1d.010c
ip 10.3..0.1
interface vlan 100
ip address 10.3.0.7/24
lisp mobility roamer
(ip proxy-arp)
hsrp 201
mac-address 0000.0e1d.010c
ip 10.3.0.1
10.2.0.0 /24 10.3.0.0 /24
10.2.0.2
HSRP Active
LISP-­‐VM
(xTR)
HSRP Active

23. Пример миграции хоста
Передача обновлений между сайтами не связанными по L2 через mapping DB
5.1.1.1 5.2.2.2
Map-Notify
10.2.0.2/32 <C,D>
A B C D
10.2.0.0 /16 10.3.0.0 /16
West-DC East-DC
23
X
Y
Y
Mapping DB
10.2.0.2
Routing Table:
10.3.0.0/16 – Local
10.2.0.0/24 – Null0
10.2.0.2/32 – Local
Routing Table:
10.3.0.0/16 – Local
10.2.0.0/24 – Null0
10.2.0.2/32 – Local
Map-Notify
10.2.0.2/32 <C,D>
1
Routing Table:
10.2.0.0/16 – Local
10.2.0.2/32 – Null0
Routing Table:
10.2.0.0/16 – Local
10.2.0.2/32 – Null0
Map-Register
10.2.0.2/32 <C,D>
10.2.0.0/16 – RLOC A, B
10.2.0.2/32 – RLOC C, D
3
7 5
9
2
4
6
8
10
Map-Notify
10.2.0.2/32 <C,D>
Хостовый (/32) маршрут в Null0 показывает что хост “переехал”

24. Обновление кэш записей - «map cach»
1. Устройства ITR и PITR продолжают
передавать трафик в «старый» ЦОД
2. «Старый» xTR пересылает сообщения
Solicit Map Request (SMR) любому узлу
(encapsulator) который шлет
инкапсулированный трафик, который
предназначен переехавшему хосту
3. ITR посылает новый map request
4. ITR получает map-reply нового ЦОД
5. ITR обновляет свой Map Cache
Трафик перенаправляется в правильный
ЦОД
SMR сообщение является важным
элементом поддерживающим целостность
решения
LISP сайт
ITR
Map Cache @ ITR
10.2.0.0/16 – RLOC A,B
A B C D
West-DC East-DC
10.2.0.0 /16 10.3.0.0 /16
24
LISP-­‐VM
(xTR)
Y
X Y
Z
Mapping DB
10.2.0.2
10.2.0.2/32 – RLOC C,D
2. SMR
1. Трафик данных
4. Map Reply

25. Конфигурация LISP
LISP-­‐VM
(xTR)
ip lisp ITR-ETR
ip lisp database-mapping 10.3.0.0/16 <RLOC-C>
ip lisp database-mapping 10.3.0.0/16 <RLOC-D>
lisp dynamic-eid roamer
database-mapping 10.2.0.0/24 <RLOC-C>
database-mapping 10.2.0.0/24 <RLOC-D>
map-server 1.1.1.1 key abcd
map-server 2.2.2.1 key abcd
map-notify-group 239.2.2.2
A B C D
West-DC East-DC
X
Y Z
ip lisp ITR-ETR
ip lisp database-mapping 10.2.0.0/16 <RLOC-A>
ip lisp database-mapping 10.2.0.0/16 <RLOC-B>
lisp dynamic-eid roamer
database-mapping 10.2.0.0/24 <RLOC-A>
database-mapping 10.2.0.0/24 <RLOC-B>
map-server 1.1.1.1 key abcd
map-server 2.2.2.1 key abcd
map-notify-group 239.1.1.1
interface vlan 100
ip address 10.2.0.10 /16
lisp mobility roamer
(ip proxy-arp)
hsrp 101
mac-address 0000.0e1d.010c
ip 10.2.0.1
Mapping DB
interface vlan 100
ip address 10.3.0.11 /16
lisp mobility roamer
(ip proxy-arp)
hsrp 201
mac-address 0000.0e1d.010c
ip 10.3.0.1
10.2.0.0 /16 10.3.0.0 /16
25
ЦОД не связаны по L2

26. Настройка MS/MR на разных LISP сайтах
Рекомендуется: совмещение функций MS/MR на xTR устройствах (один на ЦОД)
ip lisp map-resolver
ip lisp map-server
lisp site BRANCH_1
eid-prefix 10.10.1.0/24
authentication-key abcd
lisp site West-DC
eid-prefix 10.2.0.0/16 accept-more-specifics
authentication-key abcd
lisp site East-DC
eid-prefix 10.3.0.0/16 accept-more-specifics
authentication-key abcd
A B C D
10.2.0.0 /24 10.3.0.0 /24
26
LISP сайт
MS/MR в
West-DC MS/MR в
East-DC
West-DC East-DC
X
Y Z
10.10.1.0 /24
10.10.10.0/24
10.1.0.0/10.2.0.0/

27. Передача данных внутри «нерастянутой» подсети
West-to-East
§ X шлет ARP для Y
§ Запись /32 Null0 для Y заставляет West-RLOC ответить
своим MAC на этот запрос (proxy-ARP)
§ Замечание: предыдущая ARP запись для Y на хосте X
очищатся после после получения GARP пакета от
West-DC XTR
§ Трафик от X в сторону Y инкапсулируется в LISP
• Y шлет ARP для X
• Запись /24 Null0 для ‘домашней подсети’ заставляет
East-RLOC ответить своим MAC на этот запрос (proxy-
ARP)
• Замечание: ARP кеш Y не содержит записей после
«холодного» перемещения
§ Трафик от Y в сторону X инкапсулируется в LISP
27
West-DC
East-DC
LISP
DC
xTR
Z
Y
Y
10.2.0.8
A
10.2.0.9
X
B C D
10.2.0.0/24
10.3.0.0/24
West-DC
East-DC
LISP
DC
xTR
Z
Y
Y
10.2.0.8
A
10.2.0.9
X
B C D
10.2.0.0/24
10.3.0.0/24
East-to-West
BàC 10.2.0.9 à 10.2.0.8 CàB 10.2.0.8 à 10.2.0.9

28. Содержание
§ Введение
§ Управление входящим трафиком при помощи DNS GSLB
§ Location/ID Separation Protocol – LISP
§ Управление трафиком входящим в ЦОД-ы, не связанные по L2
§ Управление трафиком входящим в ЦОД-ы, связанные по L2
§ Интеграция распределенных сервисов
§ Route Health Injection – RHI
§ Заключение
11/19/14 © 2014 Cisco and/or its affiliates. All rights reserved.

29. Один логический ЦОД
Возможные сценарии реализации в зависимости от бизнес-потребностей
§ Active-Active
§ Распределенный кластер
Связь по L2 между ЦОД организована!
29
WAN
East-West /
Server-Server
Egress:
South-North /
Server-Client
Ingress:
North-South /
Client-Server
Egress:
South-North /
Server-Client
Ingress:
North-South /
Client-Server
Это ОДИН логический ЦОД!

30. LISP Host-Mobility – First Hop Routing
§ Одинаковые GWY-IP и GWY-MAC настроены в разных ЦОД
§ Одинаковые группы HSRP è одинаковые GWY-MAC
§ Серверы могут перемещаться куда угодно, адреса IP/MAC шлюза по умолчанию не
изменяются
interface vlan 100
ip address 10.2.0.5/24
lisp mobility roamer
lisp extended-subnet-mode
hsrp 101
LAN Ext.
ip 10.2.0.1
interface vlan 100
ip address 10.2.0.7/24
lisp mobility roamer
lisp extended-subnet-mode
hsrp 101
ip 10.2.0.1
interface vlan 200
ip address 10.2.0.8/24
lisp mobility roamer
lisp extended-subnet-mode
hsrp 101
ip 10.2.0.1
A B C D
30
ЦОД связаны по L2
interface Ethernet2/4
ip address 10.2.0.6/24
lisp mobility roamer
lisp extended-subnet-mode
hsrp 101
ip 10.2.0.1
LISP-­‐VM
(xTR)
West-DC East-DC
HSRP
ARP
GWY-MAC
HSRP
ARP
GWY-MAC
HSRP Active
HSRP Active
10.2.0.0 /24 10.2.0.0 /24

31. Пример миграции хоста
Передача обновлений между сайтами связанными по L2 через map-notify
Хостовый (/32) маршрут в Null0 показывает что хост “переехал”
5.1.1.1 5.2.2.2
A B C D
10.2.0.0 /16 10.2.0.0 /16
West-DC East-DC
31
X
Y
Y
Mapping DB
10.2.0.2
Routing Table:
10.2.0.0/16 – Local
10.2.0.0/24 – Null0
10.2.0.2/32 – Local
Routing Table:
10.2.0.0/16 – Local
10.2.0.0/24 – Null0
10.2.0.2/32 – Local
Map-Notify
10.2.0.2/32 <C,D>
Routing Table:
10.2.0.0/16 – Local
10.2.0.0/24 – Null0
10.2.0.2/32 – Null0
Routing Table:
10.2.0.0/16 – Local
10.2.0.0/24 – Null0
10.2.0.2/32 – Null0
Map-Register
10.2.0.2/32 <C,D>
10.2.0.0/16 – RLOC A, B
10.2.0.2/32 – RLOC C, D
3
5
3
2
4
6
4
Map-Notify
10.2.0.2/32 <C,D>
OTV
4
1
10.2.0.0 /24 is the dyn-EID

32. Обновление кэш записей - «map cach»
1. Устройства ITR и PITR продолжают
передавать трафик в «старый» ЦОД
LISP site
2. «Старый» xTR пересылает сообщения
Solicit Map Request (SMR) любому узлу
(encapsulator) который шлет
инкапсулированный трафик, который
предназначен переехавшему хосту
3. ITR посылает новый map request
4. ITR получает map-reply нового ЦОД
5. ITR обновляет свой Map Cache
ITR
Map Cache @ ITR
10.2.0.3/32 – RLOC A,B
10.2.0.2/32 – RLOC A,B
A B C D
West-DC East-DC
Трафик перенаправляется в правильный
ЦОД
SMR сообщение является важным
элементом поддерживающим целостность
решения 32
LISP-­‐VM
(xTR)
10.2.0.0 /16 10.2.0.0 /16
Y
X Y
Z
Mapping DB
10.2.0.2
10.2.0.2/32 – RLOC C,D
2. SMR
1. Data Traffic
4. Map Reply
OTV

33. ip lisp ITR-ETR
ip lisp database-mapping 10.2.0.0/16 <RLOC-A>
ip lisp database-mapping 10.2.0.0/16 <RLOC-B>
lisp dynamic-eid roamer
database-mapping 10.2.0.0/24 <RLOC-A> …
database-mapping 10.2.0.0/24 <RLOC-B>
map-server 1.1.1.1 key abcd
map-server 2.2.2.1 key abcd
map-notify-group 239.10.10.10
LISP-­‐VM
(xTR)
ip lisp ITR-ETR
ip lisp database-mapping 10.3.0.0/16 <RLOC-C>
ip lisp database-mapping 10.3.0.0/16 <RLOC-D>
lisp dynamic-eid roamer
database-mapping 10.2.0.0/24 <RLOC-C>
database-mapping 10.2.0.0/24 <RLOC-D>
map-server 1.1.1.1 key abcd
map-server 2.2.2.1 key abcd
map-notify-group 239.10.10.10
1.1.1.1 2.2.2.2
A B C D
West-DC East-DC
X
Y Z
10.2.0.0/16
LAN Ext.
interface vlan 100
ip address 10.2.0.10 /16
lisp mobility roamer
lisp extended-subnet-mode
hsrp 101
ip 10.2.0.1
Mapping DB
interface vlan 100
ip address 10.2.0.11 /16
lisp mobility roamer
lisp extended-subnet-mode
hsrp 101
ip 10.2.0.1
Конфигурация LISP
33
ЦОД связаны по L2 - “extended-subnet-mode”

34. Передача данных внутри «растянутой» подсети
§ Миграция хостов без
выключения (vMotion/Live
Migration) и разнесенные члены
кластера
§ Трафик в обе стороны
West-DC
передается без участия LISP
(например OTV)
§ Мультикаст cообщения LISP
map-notify передаются при
помощи механизма
растягивания VLAN (например
OTV) 34
East-DC
LISP
DC
xTR
Z
Y
Y
10.2.0.8
A
10.2.0.9
X
B C D
10.2.0.0/24
10.2.0.0/24
LAN Ext.
10.2.0.9 à 10.2.0.8
10.2.0.8 à 10.2.0.9

35. Трафик клиент-сервер
Весь трафик должен иметь LISP-инкапсуляцию
§ Клиенты 10.1.0.1 и
192.168.2.1 передают данные
серверу 10.2.0.2
§ Клиентский трафик
инкапсулируется в LISP на
ITR или PITR
§ От сервера к клиентам:
§ ETR C или D
§ От клиентов к серверу:
§ ETR (F) на LISP сайте
§ PETR (G) для не-LISP сайтов
§ Трафик Сервер-Сервер между
GàD 192.168.2.1 à 10.2.0.2
A B C D
сайтами инкапсулируется в
LISP (для тех серверных
сегментов, в которых включена
мобильность LISP) 35
LISP-­‐VM
(xTR)
West-DC East-DC
10.2.0.0 /16 10.3.0.0 /16
X
Y
Y
Mapping DB
10.2.0.2
LISP сайт
xTR
F
Клиент
10.1.0.1
не-LISP сайты
PxTR
G
Клиент
192.168.2.1
192.168.2.1 à 10.2.0.2
10.1.0.1 à 10.2.0.2
10.1.0.1 à 10.2.0.2
192.168.2.1 à 10.2.0.2
FàC 10.1.0.1 à 10.2.0.2

36. Передача данных между серверами
Отличия работы LISP в зависимости от топологии
VLAN растягиваются между ЦОД VLAN не растягиваются между ЦОД
§ Живая миграция и разнесенные
компоненты кластера
§ Трафик между X и Y использует
технологию растягивания VLAN,
например OTV
§ Мультикаст сообщения map-notify не
передаются при помощи LISP
§ Холодные перемещения (VMware SRM,
MS DPM)
§ Трафик между X- Y передается LISP-VM
устройству и инкапсулируется в LISP
§ Для распространения map-notify
используется MS/MR
36
West-DC
East-DC
LISP-­‐VM
(xTR)
Z
Y
Y
10.2.0.3 à 10.2.0.2
10.2.0.2
A
10.2.0.0/16
LAN Ext.
B C D
West-DC
East-DC
LISP-­‐VM
(xTR)
Z
BàC 10.2.0.3 à 10.2.0.2
Y
Y
10.2.0.2
A
10.2.0.3
X
Mapping DB
B C D
10.2.0.0/16
10.3.0.0/16
10.2.0.3
X

37. Преимущества LISP при решении DCI задач
XTR
Mapping DB
Растягивание L2 сегментов между ЦОД
West-DC East-DC
37
не-LISP сайты
LISP сайт PXTR
IP сеть
RLOC EID LISP Encap/Decap
LISP-­‐VM
(XTR)
§ Прямой путь трафика (no triangulation)
§ Соединение не разрывается при
перемещении
§ Не возникает события сходимости
протокола маршрутизации при
переезде
§ Независимость от DNS
§ Прозрачно для конечных хостов
§ Глобальная масштабируемость (cloud
bursting)
§ Поддержка IPv4/IPv6

38. Содержание
§ Введение
§ Управление входящим трафиком при помощи DNS GSLB
§ Location/ID Separation Protocol – LISP
§ Интеграция распределенных сервисов
§ Эффект пинг-понга трафика между ЦОД
§ LISP Multi-Hop
§ Route Health Injection – RHI
§ Заключение
11/19/14 © 2014 Cisco and/or its affiliates. All rights reserved.

39. Интеграция распределенных сервисов
Сервисные устройства разносятся между площадками
L3 ядро
Outside
VLAN
FW
FT
and
session
synch
Inside
VLAN
SLB
session
synch
DC-1
Subnet A
DC-2
Subnet A
• Сетевые сервисы как
правило активны в DC-1
• Распределенные пары
МСЭ и балансировщика
нагрузки в каждом ЦОД
• Растягивание VLAN для
синхронизации состояния
• Растягивание VLAN для
нагрузки
• Source NAT для SLB VIP
Замечание: решение только
на 2 площадки, как правило
VIP
VLAN
Front-­‐end
VLAN
Back-­‐end
VLAN
VIP
Src-NAT

40. Интеграция распределенных сервисов
Эффект пинг-понга влияет на приложение (время отклика, производительность)
DC-1
Subnet A
DC-2
Subnet A
L3 ядро
Outside
VLAN
Inside
VLAN
VIP
VLAN
Front-­‐end
VLAN
Back-­‐end
VLAN
100 км +/- 1 мсек на round trip
VIP
Src-NAT
• МСЭ переезжает на
удаленный сайт
• Source NAT для SLB VIP
остается
• Задержка растет +/- 1 мсек
для каждых 100 км между
ЦОД
• В ЦОД с несколькими
контурами безопасности
один запрос может вызвать
10 и более перемещений
трафика между ЦОД
• Настройка функции
«Interface tracking» на
сервисных устройствах –
сервисы активны
одновременно только в
одном ЦОД

41. Интеграция распределенных сервисов
Частичный переезд приложения - эффект пинг-понга растет
DC-1
Subnet A
DC-2
Subnet A
• FW переехал в DC-2
• Фронт-энд серверы
переехали в DC-2
• Source NAT для SLB
VIP поддерживает
правильный
обратный путь для
трафика через Active
SLB
• Частичный переезд
серверной фермы
не оптимален
• Понимать
взаимосвязь
приложений
L3 ядро
Outside
VLAN
Inside
VLAN
VIP
VLAN
Front-­‐end
VLAN
Back-­‐end
VLAN
100 км +/- 1 мсек на round trip
VIP
Src-NAT

42. Интеграция распределенных сервисов
Требуется координация действий между ИТ-подразделениями
DC-1
Subnet A
DC-2
Subnet A
• Для снижения вероятности
образования «тромбов» в
сети все компоненты
приложения должны
переезжать вместе
• FHRP фильтрация
• Source NAT для SLB VIP
поддерживает корректный
обратный пусть черезе Active
SLB
• Координация действий
сетевой и серверной
(виртуализация) команд
L3 ядро
Outside
VLAN
Inside
VLAN
VIP
VLAN
Front-­‐end
VLAN
Back-­‐end
VLAN
Src-NAT
HSRP
Filter
100 км +/- 1 мсек на round trip

43. Интеграция распределенных сервисов
Решение большинства проблем, вызывающих пинг-понг
DC-1
Subnet A
DC-2
Subnet A
• Контекст на МСЭ перемещается
вместе с приложением
• Применение функции Interface
Tracking на сервисных
устройствах
• Обратный трафик остается
симметричным и передается
через устройство балансировки с
source-NAT
• Оптимизация путей передачи
данных внутри ЦОД почти
достигнута – требуется
управление входящим
трафиком от пользователей,
например LISP Multi-Hop
• Координация ИТ-подразделений
• Серверы/Приложения
• Сеть/HSRP фильтр
• Сервис & безопасность
• СХД
Outside
VLAN
Inside
VLAN
VIP
VLAN
Front-­‐end
VLAN
Back-­‐end
VLAN
HSRP
Filter
100 км +/- 1 мсек на round trip
VIP
Src-NAT
VIP
Src-NAT
L3 ядро
HSRP
Filter
LISP Multi-hop может устранить и
эту неоптимальность

44. Содержание
§ Введение
§ Управление входящим трафиком при помощи DNS GSLB
§ Location/ID Separation Protocol – LISP
§ Интеграция распределенных сервисов
§ Эффект пинг-понга трафика между ЦОД
§ LISP Multi-Hop
§ Route Health Injection – RHI
§ Заключение
11/19/14 © 2014 Cisco and/or its affiliates. All rights reserved.

45. Технология LISP Multi-Hop
Функции обнаружения и инкапсуляции разносятся между разными устройствами
§ xTR не стоит на первой линии перед
нагрузкой
§ На МСЭ и SLB попадает трафик без
инкапсуляции
§ Существующие MCЭ и SLB не
поддерживают инспекцию трафика
инкапсулированного в LISP*
§ Разнесение LISP функций:
§ SG XTR à LISP регистрация/encap/decap
§ 1st Hop router à детекция перемещений,
нотификация устройства XTR, proxy
default GWY
§ Устройство SG XTR LISP
регистрирует перемещения и
сообщает центральной БД MS/MR
45
L3 ядро
R3: Site GWY
XTR (SG)
R2: FW (не-LISP)
R1: First Hop (FH)
“roamer”
(мобильная
нагрузка)
Сообщение LISP EID-notify
LISP encap/decap
LISP сигнализация
Move Detection
Host route injection
Default GWY proxy
* Roadmap

46. Работа LISP Multi-Hop
ЦОД связаны по L2
L3 Core
LISP
encap/decap
LISP
Map-Register
Registration/
Notifications L3 Core
LISP
encap/decap
EID-Notify
“roamer”
Map-Notify
(мобильная нагрузка)
Map-Notify
EID-Notify
Extended LAN (east-west traffic)
1
2
2
4 3
5

47. Настройка LISP-HM Multi-Hop
ЦОД связаны по L2
LISP
encap/decap
LISP
Registrations
SG1
FHR
L3 Core
“roamer”
(мобильная нагрузка)
LISP
Notifications
SGn
ip lisp itr-etr
lisp dynamic-eid foo
database-mapping <eid-prefix> <xtr-rloc> priority <p> weight <w>
map-server <map-server-address>
eid-notify authentication-key <key-value>
lisp dynamic-eid foo
database-mapping <eid-prefix> <xtr-rloc> priority <p> weight <w>
eid-notify <xtr-address-1> key <key-value>…
eid-notify <xtr-address-n> key <key-value>

48. Применение LISP Multi-Hop
ЦОД не связаны по L2, холодная миграция приложений
1 – пользователь шлет запрос в приложению
2 - ITR перехватывает запрос и проверяет
локализацию приложения
3 - MS пересылает запрос ETR который сообщает
что Subnet A находится за ETR DC-1
3” - ITR инкапсулирует пакеты в LISP и
пересылает их в сторону RLOC ETR-DC-1
4 – LISP уведомляет ETR в DC-2 о переезде
приложения в DC-2
5 – ETR DC-2 информирует MS о новой
локализации приложения
6 – MR обновляет ETR DC-1
7 – ETR DC-1 свою таблицу (App:Null0)
8 – ITR пересылает трафик ETR DC-1
9 – ETR DC-1 отвечаечает при помощи SMR-
сообщения ( Solicit Map Request)
10 – ITR пересылает Map Req и затем
перенаправляет трафик в сторону ETR DC-2
Owner Director Owner Director
CCL CCL
DC-1
Subnet A
Subnet B
DC-2
Owner
L3 Core ITR
ETR ETR
App has moved
Update your Table
SMR
M-­‐DB
Latency > 10ms

49. Применение LISP Multi-Hop
ЦОД связаны по L2, горячая миграция, применение ASA Cluster
1 - пользователь шлет запрос в приложению
2 - ITR перехватывает запрос и проверяет
локализацию приложения
3 - MS пересылает запрос ETR который сообщает
что Subnet A находится за ETR DC-1
3” - ITR инкапсулирует пакеты в LISP и пересылает
их в сторону RLOC ETR-DC-1
4 – LISP уведомляет ETR в DC-2 о переезде
приложения в DC-2
5 – ETR DC-2 информирует MS о новой
локализации приложения
6 – MR обновляет ETR DC-1
7 – ETR DC-1 обновляет свою таблицу (App:Null0)
8 – ITR пересылает трафик ETR DC-1
9 – ETR DC-1 отвечаечает при помощи SMR-
сообщения ( Solicit Map Request)
10 – ITR пересылает Map Req и затем
перенаправляет трафик в сторону ETR DC-2
ITR
SMR
App is located in ETR-DC-2
ETR ETR
App has moved
Update your Table
CCL Extension
HRSP Filter HRSP Filter
DC-1
M-­‐DB
Subnet A
Subnet A
DC-2
Director
Owner
L3 Core
Data VLAN Extension
HRSP Filter HRSP Filter

50. Содержание
§ Введение
§ Управление входящим трафиком при помощи DNS GSLB
§ Location/ID Separation Protocol – LISP
§ Интеграция распределенных сервисов
§ Route Health Injection – RHI
§ Заключение
11/19/14 © 2014 Cisco and/or its affiliates. All rights reserved.

51. Использование /32 маршрутов
§ Сквозное решение только на
базе /32
§ LISP обеспечивает только
детектирование мобильной
нагрузки
§ LISP помогает протоколам
маршрутизации IGP сойтись
быстрее
§ IGP распространяет маршруты
изученные с помощью LISP
§ LISP инкапсуляция не
применяется в процессе
передачи данных
Функция LISP IGP Assist
L3 сеть
R1: FHR
“roamer”
(мобильная нагрузка)
Динамический
маршрут /32
устанавливается при
помощи LISP и затем
редистрибутируется
в IGP

52. Работа LISP-HM IGP Assist
ЦОД связаны между собой по L2 (ESM)
Сквозная маршрутизация на базе /32 маршрутов
LISP “помогает” сойтись IGP
Централизованная БД не используется
L3 сеть
Обнаруживаем
мобильный хост Устанав.
“roamer”
(lands in a foreign
network)
Map-Notify
1
2
/32 lisp
interface
мар-т
Удаляем
/32 lisp
interface
мар-т
2
Редистрибуция
LISP маршрутов
в IGP
Редистрибуция
LISP маршрутов
в IGP
3
Map-Notify 2

53. Настройка LISP-HM IGP Assist
ЦОД связаны между собой по L2 (ESM)
L3 Core
R1: FHR
Динамический
маршрут /32
устанавливается при
помощи LISP и затем
редистрибутируется
в IGP
“roamer”
(lands in a foreign
network)
@ FHR
lisp dynamic-eid foo
database-mapping <eid-prefix> redistribute
map-notify-group 239.1.1.1
…
router <favorite-routing-protocol> foo
redistribute lisp route-map <bar>
…
ip prefix-list <eid-list-name> seq 5 permit <eid-prefix> ge 32
route-map <bar> permit 10
match ip address <eid-list-name>

54. Работа LISP-HM IGP Assist
ЦОД не связаны между собой по L2 (ASM)
Сквозная маршрутизация на базе /32 маршрутов
Без LISP сигнализации: трафик
попадает в «черную дыру»
L3 сеть
Удаляем
/32 lisp
interface
мар-т
4 2
“roamer”
(lands in a foreign
network)
Map-Notify
1
2
Обнаруживаем
мобильный хост
Устанав.
/32 lisp
interface
мар-т
Редистрибуция
LISP маршрутов
в IGP
Редистрибуция
LISP маршрутов
в IGP
3
Dyn-eid timeout

55. Работа LISP-HM IGP Assist – задействуется MS
ЦОД не связаны между собой по L2 (ASM)
Сквозная маршрутизация на базе /32 маршрутов
LISP “помогает” сойтись IGP
L3 Core
Редистрибуция
LISP маршрутов
в IGP
Удаляем
/32 lisp
interface
мар-т
5 2
“roamer”
Map-Server
3
Обнаруживаем
мобильный хост
(lands in a foreign
network)
Map-Register
Map-Notify
4
Map-Notify
1
Map-Notify
5 2
Устанав.
/32 lisp
interface
мар-т
Редистрибуция
LISP маршрутов
в IGP

56. Настройка LISP HM IGP Assist
ЦОД не связаны между собой по L2 (ASM)
L3 Core
R1: FHR
Динамический
маршрут /32
устанавливается при
помощи LISP и затем
редистрибутируется
в IGP
“roamer”
(lands in a foreign
network)
@ FHR
ip lisp etr <<<< Must be ETR only
lisp dynamic-eid foo
database-mapping <eid-prefix> redistribute
database-mapping <eid-prefix> rloc <rloc> p1 w50
map-server <ms-address> key <some-key>
map-notify-group 239.1.1.1
…
router <favorite-routing-protocol> foo
redistribute lisp route-map <bar>
…
ip prefix-list <eid-list-name> seq 5 permit <eid-prefix> ge 32
route-map <bar> permit 10
match ip address <eid-list-name>

57. Содержание
§ Введение
§ Управление входящим трафиком при помощи DNS GSLB
§ Location/ID Separation Protocol – LISP
§ Интеграция распределенных сервисов
§ Route Health Injection – RHI
§ Заключение
11/19/14 © 2014 Cisco and/or its affiliates. All rights reserved.

58. Заключение
§ Управление входящим трафиком при помощи DNS GSLB
§ Citrix Netscaler
§ Location/ID Separation Protocol – LISP
§ Мощное средство управления трафиком на все случаи жизни
§ Гибкость и простота настройки
§ Интеграция распределенных сервисов
§ Координация ИТ-подразделений
§ LISP Multi-Hop
§ Route Health Injection – RHI
§ LISP IGP Assist
11/19/14 © 2014 Cisco and/or its affiliates. All rights reserved.

59. Ждем ваших сообщений с хештегом
#CiscoConnectRu
Спасибо
Пожалуйста, заполните анкеты.
Ваше мнение очень важно для нас.
Contacts:
Name Хаванкин Максим
Phone +74999295710
E-mail mkhavank@cisco.com
CiscoRu Cisco CiscoRussia
11/20/14 © 2014 Cisco and/or its affiliates. All rights reserved.