Архитектура и дизайн распределенной корпоративной сети высокой доступности.

Архитектура и дизайн
распределенной
корпоративной сети высокой
доступности
Анастасия Фролова, системный инженер

Содержание

• Постановка задачи
• Физические топологии WAN сети
• Наложенные транспортные технологии
WAN
• WAN технологии качества обслуживания
(QoS)
• Технологии конвергенции сети при
отказах
• Немного дизайна
• Основные выводы

Задачи при дизайне сети
 Способность сети поддерживать Deliver
бизнес приложения Packets
Application Aware network

 Способность сети эффективно
использовать доступную полосу Adjust to Real World Changes
пропускания
Failure Business Change
 Способность WAN сети реагировать
на внешние изменение, такие как
неисправности:
 Аппаратные
High Availability Scaling
 Программные
Reduced Downtime
 Человеческий фактор
Fast Recovery Fast Troubleshooting
 В сети Операторов Связи
 Способность сети реагировать на
изменения в постановке задачи
бизнесом Простота Высокая
надёжность
 Использование наиболее
эффективных технологий и методов Модульность
дизайна.

Как решать эти задачи:
 Правильный дизайн, альтернативные пути
прохождения трафика
 Аппаратная надёжность (правильное
позиционирование)
 Быстрое обнаружение отказов в сети
Высокая доступность  Быстрая сходимость сети
(uptime)  Application aware network

 Простота в настройках и документирование
Простота  Простота в сопровождении сети
 Избегать избытка альтернативных путей

Модульность  Иерархический дизайн
 Модульный дизайн
 Виртуализация
 Позволяет скрыть сложности одной части
сети от других

Иерархический дизайн WAN сети

Центр обработки данных
Ядро /Главный офис

Региональное отделение Региональное отделение
Распределение

Доступ Филиал 1
... Филиал N Филиал 1’
... Филиал N’

Физические топологии WAN сети
Spoke Spoke
Site 1 Site 1
Spoke Spoke Spoke Spoke
Site 2 Site Y Site 2 Site Y

SP-Provided
MPLS ISP-Provided
Private IP WAN Public Internet

Spoke Spoke
Site 3 HQ/DC HQ/DC
Site 3

 MPLS WAN сервис предоставляет  Public Internet сервис предоставляет
провайдер Internet Service Provider
 Полная прозрачность для  В корпоративной сети видны удалённые
корпоративной сети, удалённые филиалы, только если настроена
филиалы видны, как будто подключены наложенная сеть
по выделенным каналам
 Предстает из себя полносвязную сеть  Представляет из себя hub&spoke сеть

Сервисы MPLS VPN
MPLS VPN

2 уровень 3 уровень
• Подключение к
Точка-точка Многоточечные провайдеру на 3
уровне
Any Transport over Virtual Private LAN (статическая или
MPLS (AToM) Services (VPLS) динамическая
• Подключение к • Ethernet маршрутизация)
провайдеру на 2 подключение к • Провайдер
уровне провайдеру участвует в
• Провайдер не • Провайдер не передаче
участвует в участвует в клиентских
клиентской клиентской маршрутов
маршрутизации маршрутизации

MPLS VPN
Предоставление услуг на третьем уровне (L3)

Локальное подключение

CE PE PE CE

Непосредственная связность на 3
уровне только между РЕ и СЕ
! PE Router – Multiple VRFs
ip vrf blue
rd 65100:10
route-target import 65100:10 VRF
route-target export 65100:10 VRF
ip vrf yellow Global
rd 65100:20
route-target import 65100:20
route-target export 65100:20 VRF—Virtual Routing and Forwarding
!
interface GigabitEthernet0/1.10
ip vrf forwarding blue
interface GigabitEthernet0/1.20
ip vrf forwarding yellow

Варианты дизайнов MPLS VPN

 Дизайн с подключением к одному провайдеру
(Single Carrier):
Организация подключает все площадки к одному
провайдеру услуг L3 MPLS VPN.
 Дизайн с подключением к двум провайдерам
(Dual Carrier):
Организация подключает площадки к одному или двум
провайдерам услуг L3 MPLS VPN, одним или двумя
каналами.
 Дизайны и способы подключения:
Наложенные технологии с шифрованием данных
(например IPSec, DMVPN, GET VPN, и т.д.)
Резервные подключения (постоянные или по требованию)

Подключение к одному провайдеру
(не транзитное)
AS 64517  Два канала
CE5
CE3
Передаются только локальные
CE4
подсети (^$)
Обычно используется два
маршрутизатора CE
AS 200 Дизайн BGP:
EBGP до провайдера
IBGP между CE
Внешние маршруты попадают
CE1 CE2 во внутренний протокол
Site IGP
 Один канал
C1 C2
AS 64512 Передаются локальные подсети
и опционально используется
маршрут по умолчанию.

Подключение к двум провайдерам:
транзитное/не транзитное
 Транзитные системы необходимы AS 517
CE5
для обеспечения связи с CE3 CE4
площадками, подключенными
только к одному провайдеру. Transit

 Транзитные площадки выполняют AS 545
AS 100 AS 200
роль BGP моста для передачи
маршрутов между двумя
провайдерами.
CE1 CE2
 Для минимизации задержек Site
IGP
варианты транзита надо выбирать C2
C1
в соответствии с географическим AS 512

расположением. Prefix X Prefix Y

Prefix Z

1 или 2 провайдера?
Один провайдер Два провайдера
ЗА: более устойчивая к
ЗА: единая модель качества
неисправностям на стороне
обслуживания (QoS)
провайдера система
ЗА: больше вариантов бизнес
ЗА: работа с одним вендором
предложений
ЗА: возможность получить
ЗА: более простой дизайн
лучшую цену
Против: критичны неполадки в
Против: двойная оплата канала
сети провайдера
Против: отсутствие запасного
Против: сложность дизайна
варианта в случае сбоев

Надежность или простота?

Технологии туннелирования
Инкапсуляция пакетов поверх IP
• IPSec—Encapsulating Security Payload (ESP)
– Сильное шифрование
– Только одноадресные IP пакеты (unicast)
• Generic Routing Encapsulation (GRE)
– IP Unicast, Multicast, Broadcast Tunnels
– Поддержка множества протоколов
• Layer 2 Tunneling Protocol—Version 3 (L2TPv3)
– Протоколы второго уровня (Ethernet, Serial,…)
– Поддержка Pseudowire
• Другие технологии с использованием туннелей – LISP, OTV и
т.д.

Dynamic Multipoint VPN
Защищенные туннели создаются по
• Позволяет обеспечить запросу
полносвязное
Hub
взаимодействие между
головным офисом и
удаленными филиалами без
громоздких конфигураций
• Поддерживаются
VPN
динамические адреса на Spoke 1
удаленных устройствах
• Добавление новых
устройств не требует
изменения текущих Spoke n Spoke 2

конфигураций Туннель DMVPN
Традиционные статические туннели
• Может работать как с IPSec,
Статический известный IP адрес
так и без Динамический неизвестный IP адрес

Варианты топологий DMVPN
Spoke-to-hub tunnels
Spoke-to-spoke tunnels
2547oDMVPN tunnels

Hub and spoke Spoke-to-spoke VRF-lite

Server Load Balancing Hierarchical 2547oDMVPN

Шифрование между любыми сайтами
до и после внедрения GET VPN
общая/частная WAN частная WAN
До: туннели точка-точка после: VPN без туннелей
IPSec

WAN

Multicast
 Сложности с масштабируемостью
(проблема N^2)  Масштабируемая защищенная архитектура
 Наложенная маршрутизация  Встроенная поддержка маршрутизации (без
наложений)
 Проблемы с постоянной взаимосвязью
площадок  Постоянная взаимосвязь между площадками
 Ограничения при работе с QoS  Расширенные возможности QoS
 Неэффективная работа с рассылками  Эффективная работа с рассылками
(multicast)

FlexVPN
• Универсальная технология наложенного VPN
• Pаботает как для подключения филиалов, так и для
подключения удаленных сотрудников
• В основе – протокол IKEv2
Центр

Удаленный доступ

Изолированный филиал

Прямое соединение между филиалами

VPN технологии
Позиционирование EzVPN, DMVPN, GETVPN, FlexVPN
Центр обработки данных

Internet
Edge

GM GM

IPsec IPsec KS KS
WAN
Edge

Internet/
Shared
MPLS/Private
Network*
Network

EzVPN
Spoke
DMVPN DMVPN
Spoke Spoke GET GM GET GM GET GM

* DMVPN может также применяться в MPLS/Private Network

Сравнение VPN технологий
P2P GRE
EzVPN DMVPN IPSec VTI GET VPN
over IPSec
 Private &
Транспортная  Public Internet
 Private & Public  Private &
Public
 Private IP
сеть Internet Public Internet Transport
Internet

 Hub-Spoke and
 Hub-Spoke; Spoke-to-  Any-to-Any;
Топология сети  Hub-Spoke  Hub-Spoke
(Client to Site) Spoke; (Site-to- (Site-to-Site)
Site)

 Наложенная на  SVTI -
Динамическая  Маршрутизация
 Reverse-route туннели  Наложенная наложенная
транспортной
маршрутизация Injection на туннели на туннели,
сетью
DVTI - нет
 SVTI –
наложенная
Обеспечение  DPD + Stateful  Наложенная  Наложенная маршрутизац  Наложенная
высокой Hub Crypto маршрутизаци маршрутизаци ия маршрутизация
доступности Failover я + DPD я + DPD + Stateful
DVTI – IPSec
stateful

Ключи  Peer-to-
 Peer-to-Peer  Peer-to-Peer  Peer-to-Peer  Group
шифрования Peer/Group

 На
 На физ. или  На физ.
 На физ. логическом  На физ.
логическом интерфейсе
интерфейсе интерфейсе интерфейсе
QoS интерфейсе после
после после после
после шифрования и
шифрования шифрования шифрования
шифрования per-SA
и per-SA

Критерии успеха внедрения QoS
1. Определение классов трафика и их SLA
Voice Video Data

 Unpredictable Flows  Smooth/bursty
 Predictable Flows
 Drop & delay sensitive  Benign/greedy
 Drop & delay sensitive
 UDP priority  Drop insensitive
 UDP priority
 150 ms one-way delay  Delay insensitive
 150 ms one-way delay
 30 ms Jitter, 1% loss  TCP retransmits/UDP does
 30 ms Jitter, 1% loss not
 Overprovision by 20%
 BW + Call signaling
2. Определение бизнес задач, которые решит внедрение QoS
1. Защита голоса и видео
2. Защита бизнес приложений
3. Использование QoS для борьбы с DoS/work attacks
3. Дизайн и внедрение политик QoS
1. Выделение сетевых устройств, где внедряется QoS
2. Насколько адаптирован QoS к изменениям бизнеса?
3. Дизайн QoS позволяет задействовать все ресурсы сети?
4. Простота настроек QoS
4. Соответствие ожиданиям пользователей

Качество обслуживания
Какие механизмы реализованы в QoS
Классификация и Очереди и Последующие
маркировка сброс пакетов процессы

1. Классификация и маркировка
2. Проверка ограничений (Policing)
3. Работа с очередями и сброс пакетов (Scheduling)
4. Специфические механизмы (обработка/shaping, фрагментация,
сжатие, Tx Ring)

Дизайн Ethernet WAN QoS
пример работы иерархического QoS

 Очереди задействуются ТОЛЬКО когда интерфейс перегружен
 Шейпер гарантирует, что трафик не превысит контрактную скорость
 Вложенные политики позволяют задействовать механизм очередей и
приоритизировать трафик до формирующего механизма (shaper)

1 Mbps GE Interface
VOIP with a sub-line-rate
Policer access service
16 Mbps PQ (FIFO Between VOIP and VIDEO) (e.g. 50 Mbps)

15 Mbps
Class-
TX
REALTIME Based
Ring
Policer Call-Signaling CBWFQ Shaper

Transactional CBWFQ CBWFQ Packets
Bulk Data CBWFQ Scheduler out
FQ Default Queue

Различные типы сбоев в сети
• Как проявляется неисправность в сети связи?
• Как быстро сеть может отреагировать на возникновение
сбоя?
• Сколько времени потребуется для восстановления услуг
связи?
Деградация производительности
устройства или канала
Отказ устройства или
канала
C-A-R2

C-A-R1 C-A-R4

C-A-R3

HQ-W1 Провайдер 1 BR-W1

HQ-W2
MPLS - SP B
BR-W2

C-B-R1 C-B-R4

Провайдер 2

Технологии конвергенции сети при
отказах
• Резервирование «шлюза по умолчанию»
• Настройка параметров протоколов
маршрутизации
• Плавающие и статические маршруты
• Оптимизация пути прохождения трафика с
помощью технологии Performance routing

Резервирование «шлюза по умолчанию»
Семейство протоколов FHRP (First Hop Redundancy Protocol)
обеспечивает:
• Резервирование «шлюза по умолчанию» для широковещательных
сегментов
– Пользователи сегмента используют один IP адрес в качестве «шлюза по
умолчанию» и кэшируют ARP для данного IP адреса
• Возможность резервирования маршрутов для для устройств, не
поддерживающих динамическую маршрутизацию
– Некоторые межсетевые экраны не поддерживают динамическую
маршрутизацию
• Не зависит от протокола маршрутизации
– Работает со всеми динамическими протоколами маршрутизации и
статическими настройками маршрутов
• Суб-секундное переключение в случае отказов
• Балансировку нагрузки (GLBP) без дополнительных настроек

Резервирование «шлюза по
умолчанию»
Семейство протоколов FHRP:
Hot Standby Router Protocol (HSRP)
Virtual Router Redundancy Protocol (VRRP)
Gateway Load Balancing Protocol (GLBP)

R1 R2

Hot Standby Routing Protocol (HSRP)
Router A#
interface FastEthernet0/0
ip address 10.1.2.2 255.255.255.0
standby 1 priority 110
standby 1 preempt
standby 1 ip 10.1.2.1

Router A# show standby brief

Active Standby Interface Grp Prio P State Active Standby Virtual IP
Router Router
Fa0/0 1 110 P Active local 10.1.2.3 10.1.2.1
A B
HSRP
(.2) (.3) Router B#
VIP (.1) interface FastEthernet0/0
ip address 10.1.2.3 255.255.255.0
standby 1 preempt

Router B# show standby brief
Default Gateway: (.1)
DG MAC: MAC VIP
Interface Grp Prio P State Active Standby Virtual IP
Fa0/0 1 105 P Standby 10.1.2.2 local 10.1.2.1


Router B# show standby brief

Interface Grp Prio P State Active Standby Virtual IP
Fa0/0 1 105 P Active local unknown 10.1.2.1

Active
Router

A B
HSRP
(.2) (.3)
Local
(.1) VIP
Failures

Default Gateway: (.1)
DG MAC: MAC VIP


Complex Failure
Requires “Enhanced
Upstream/Remote Object Tracking (EOT)”

Failures

Active Standby Active
Router Router Router

A B A B
HSRP HSRP
(.2) (.3) (.2) (.3)
(.1) VIP (.1) VIP

Router A#
track 100 interface serial1/0 line-protocol
!
interface FastEthernet0/0
ip address 10.1.2.2 255.255.255.0
standby 1 preempt
standby 1 track 100 decrement 10

Gateway Load Balancing Protocol (GLBP)
AVG = Active Virtual Gateway
Router A#
SVG = Standby Virtual Gateway interface FastEthernet0/1
AVF = Active Virtual Forwarder ip address 10.1.2.2 255.255.255.0
glbp 1 priority 110
glbp 1 preempt
glbp 1 ip 10.1.2.1
glbp 1 load-balancing round-robin

Router A# show glbp brief
Interface Grp Fwd Pri State Address Active Router Standby Router
Fa0/1 1 - 110 Active 10.1.2.1 local 10.1.2.3

AVG 1 SVG 1 Fa0/1 1 1 - Active 0007.b400.0101 local -
Fa0/1 1 2 - Listen 0007.b400.0102 10.1.2.3 -
AVF A AVF B
A B
GLBP
(.2) (.3) Router B#

VIP (.1) (.1) VIP interface FastEthernet0/1
ip address 10.1.2.3 255.255.255.0
glbp 1 priority 105
glbp 1 preempt
glbp 1 ip 10.1.2.1
glbp 1 load-balancing round-robin

Router B# show glbp brief
Default Gateway: (.1) Default Gateway: (.1) Interface Grp Fwd Pri State Address Active Router Standby Router
DG MAC: MAC AVF 1.1 DG MAC: MAC AVF 1.2 Fa0/1 1 - 105 Standby 10.1.2.1 10.1.2.2 local
Fa0/1 1 1 - Listen 0007.b400.0101 10.1.2.2 -
Fa0/1 1 2 - Active 0007.b400.0102 local -

Gateway Load Balancing Protocol
(GLBP)
SVG = Standby Virtual Gateway
AVF = Active Virtual Forwarder

Router B#
*Mar 31 17:04:27: %GLBP-6-STATECHANGE: FastEth0/1 Grp 1 state Standby -> Active

*Mar 31 17:04:27 %GLBP-6-FWDSTATECHANGE: FastEth0/1 Grp 1 Fwd 1 state
Listen -> Active

AVG 1

AVF A
A AVF B B
GLBP
(.2) (.3)
Local
(.1) VIP
Failures

Router B# show glbp brief
Interface Grp Fwd Pri State Address Active Rtr Standby Rtr
Fa0/1 1 - 105 Active 10.1.2.1 local unknown
Fa0/1 1 1 - Active 0007.b400.0101 local -
Fa0/1 1 2 - Active 0007.b400.0102 local -

Default Gateway: (.1) Default Gateway: (.1)
DG MAC: MAC AVF 1.1 DG MAC: MAC AVF 1.2

GLBP with Enhanced Object Tracking
SVG = Standby Virtual Gateway
AVF = Active Virtual Forwarder

Complex Failure
Requires “Enhanced
Upstream/Remote Failures Object Tracking (EOT)”

Requires “Enhanced Object
Tracking”

AVG AVG

AVF A AVF A
A AVF B B A AVF B B
GLBP GLBP
(.2) (.3) (.2) (.3)
(.1) VIP (.1) VIP

Филиал

Технология Enhanced Object Tracking
Тип триггера Синтаксис
Состояние track object-number interface type number line-protocol xxxxxxxx
интерфейса track 1 interface serial 1/1 line-protocol

Маршрутизация track object-number interface type number ip routing xxxxxxxxxxx
на интерфейсе track 2 interface ethernet 1/0 ip routing

Доступность track object-number ip route IP-Addr/Prefix-len reachability xxx
объекта в сети track 3 ip route 10.16.0.0/16 reachability

Threshold* of IP- track object-number ip route IP-Addr/Prefix-len metric threshold
Route Metrics track 4 ip route 10.16.0.0/16 metric threshold

Router# show track 100 Router# show track 103
Track 100 Track 103
Interface Serial1/1 line-protocol IP route 10.16.0.0 255.255.0.0 reachability
Line protocol is Up Reachability is Up (RIP)
1 change, last change 00:00:05 1 change, last change 00:02:04
Tracked by: First-hop interface is Ethernet0/1
HSRP Ethernet0/3 1 Tracked by:
HSRP Ethernet0/3 1
* Для протоколов EIGRP, OSPF, BGP и статических маршрутов от 0 до 255

Использование IP SLA зондов

Тип триггера Синтаксис
track object-number ip sla type number state x xxxxx
IP SLAs Operation
track 5 ip sla 4 state

track object-number ip sla type number reachability xxxxxxxx
Reachability of an IP SLAs
track 6 ip sla 4 reachability
Host

Доступные типы IP SLA зондов:
dhcp http path-jitter
dns icmp-echo tcp-connect
ethernet icmp-jitter udp-echo
frame-relay mpls udp-jitter
ftp path-echo voip

Контроль вариации задержки

ip sla monitor operation-number
type jitter dest-ipaddr {hostname | ip-address} dest-port port-number [num-packets number-of-
packets] [interval inter-packet-interval]
frequency seconds
request-data-size bytes

Доступные параметры по умолчанию

Количество пакетов 10 пакетов

Размер пакета 32 байт

Интервал между пакетами, милисекунды 20 мсек

Частота повторения, секунды 60 сек

Таймеры протоколов маршрутизации
Keepalive (B) Holdtime (B,E,I)
Hello (E,I,O) Invalid (R) Dead (O) Flush (R)
Update (R) Holddown (R)

BGP 60 180

EIGRP
5 (60) 15 (180)
(< T1)
IS-IS
10 (3.333) 30 (10)
(DIS)
OSPF
10 (30) 40 (120)
(NBMA)

RIP/RIPv2 30 180 180 240

Представлены значения по умолчанию

Время реакции протокола маршрутизации
R2

R1 R4

R3

Link Down Link Up Link Up Link Up
Line protocol down Loss 100% Neighbor Down Loss ~5%

BGP ~ 1s 180 180 never

EIGRP
~ 1s 15 (180) 15 (180) never
(< T1)

IS-IS
~ 1s 30 (10) 30 (10) never
(DIS)

OSPF
~ 1s 40 (120) 40 (120) never
(NBMA)

RIP/RIPv2 ~ 1s 240 240 never

Используются настройки по умолчанию

Изменение параметров по умолчанию
R2

R1 R4

R3

C-A-R4# show ip bgp vpnv4 vrf cisco neighbor
BGP neighbor is 192.168.101.10, vrf cisco, remote AS 65110, external link
BGP version 4, remote router ID 192.168.201.10
BGP state = Established, up for 1d10h
Last read 00:00:19, hold time is 180, keepalive interval is 60 seconds

Внимание! При конфигурации значения
Holdtime меньше 20 секунд выдается
C-BR-W1#
router bgp 65110
следующее предупреждение:
neighbor 192.168.101.9 timers 7 21 % Warning: A Hold Time of Less than 20
Seconds Increases the Chances of Peer
Flapping
C-A-R4# show ip bgp vpnv4 vrf cisco neighbor
BGP neighbor is 192.168.101.10, vrf cisco, remote AS 65110, external link
BGP version 4, remote router ID 192.168.201.10
BGP state = Established, up for 00:01:23
Last read 00:00:03, hold time is 21, keepalive interval is 7 seconds

Введение в BFD
Bi-Directional Forwarding Detection:
• Облегченная версия hello протокола
– IPv4, IPv6, MPLS, P2MP
• Унифицированный способ определения отказов на
канальном уровне
• Предсказуемое время определения отказов (50
миллисекунд минимальный hello интервал)
• Единый механизм, стандартизованный для работы на
различных каналах
– Несколько режимов работы: Асинхронный (echo, no-echo)
• Не зависит от используемого протокола маршрутизации
• Аппаратная реализация некоторых элементов протокола
позволяет разгрузить основной CPU
• BFD в модели высокой доступности используется для
уменьшения времени определения отказа (уменьшение
MTTR)

Преимущества технологии BFD
Обнаружение отказавшего соседа (Hello timers vs BFD)

R1 R2

100% потеря пакетов к канале
(Link Up)

EIGRP, значения таймеров по умолчанию : примерное время
обнаружения проблемы 10-15 сек
R1# show clock
*19:43:37.646 UTC Mon Feb 16 2009

*Feb 16 19:43:48.974: %DUAL-5-NBRCHANGE: IP-EIGRP(0) 65110: Neighbor 10.1.2.220 (FastEthernet0/1) is down: holding time
expired

BFD: сокращает время обнаружения до 100 - 150 мс
*Feb 16 19:15:41.730: bfdV1FSM e:5, s:3bfdnfy-client a:10.1.2.220, e: 1
*Feb 16 19:15:41.730: Session [10.1.2.120,10.1.2.220,Fa0/1,1], event ECHO FAILURE, state UP -> DOWN
*Feb 16 19:15:41.730: BFD: bfd_neighbor - action:DESTROY, proc/sub:2048/65110, idb:FastEthernet0/1, neighbor:10.1.2.220
*Feb 16 19:15:41.730: bfdV1FSM e:6, s:1
*Feb 16 19:15:41.730: Session [10.1.2.120,10.1.2.220,Fa0/1,1], event Session delete, state DOWN -> ADMIN DOWN
*Feb 16 19:15:41.734: %DUAL-5-NBRCHANGE: IP-EIGRP(0) 65110: Neighbor 10.1.2.220 (FastEthernet0/1) is down: BFD DOWN
notification
*Feb 16 19:15:41.734: BFD: bfd_neighbor - action:DESTROY, proc/sub:2048/65110, idb:FastEthernet0/1, neighbor:10.1.2.220

Статическая маршрутизация
• Механизмы административной ip route 10.1.1.0 255.255.255.0 <B> 250
дистанции для статических
маршрутов и резервирование
show ip route
основных маршрутов используются ....
для создания floating static routes D EX 10.1.1.0/24 via <C>

• Настройка статического
маршрута с большой EIGRP
административной дистанцией Learned Route
A
гарантирует, что этот маршрут не No
будет установлен в таблицу Routing
маршрутизации, пока в ней C
присутствует маршрут,
полученный через динамический
протокол маршрутизации B D
• Статические маршруты также могут
проверять доступность SLA
объектов для автоматического
переключения на альтернативные 10.1.1.0/24
пути

Статическая маршрутизация
• В случае отказа протокола ip route 10.1.1.0 255.255.255.0 <B> 250
динамически полученный show ip route
маршрут пропадет из ....
таблицы маршрутизации. S
D EX10.1.1.0/24 via <B>
10.1.1.0/24 via <C>
RIB запустит процесс поиска
альтернативного маршрута. EIGRP
• Так как нет альтернативных learned route
маршрутов, полученных A
динамически, статический No
маршрут (static route) будет Routing
установлен в RIB с C
административной
дистанцией, равной 250
B D

10.1.1.0/24

Надежная статическая маршрутизация
Tracking IP SLA
BR-W1#
track 100 ip sla 100 reachability
!
ip sla 100
IP SLA IP SLA icmp-echo 10.100.100.100 source-ip 10.1.2.120
timeout 100
frequency 10
ip sla schedule 100 life forever start-time now
!
ip route 10.100.100.100 255.255.255.255 192.168.101.9
!
ip route 10.100.0.0 255.255.0.0 192.168.101.9 track 100
ip route 10.100.0.0 255.255.0.0 192.168.201.9 200
(.9) (.9)

192.168.101.8/29 192.168.201.8/29

BR-W1 BR-W1# sh ip route track-table
ip route 10.100.0.0 255.255.0.0 192.168.101.9 track 100 state is [up]

BR-W1# show ip route

S 10.100.0.0/16 [1/0] via 192.168.101.9

Надежная статическая маршрутизация
Tracking IP SLA
Unable to reach
IP SLA Responder
BR-W1#
IP SLA IP SLA
*Mar 12 03:57:37.119: %TRACKING-5-STATE: 100 rtr 100 reachability Up->Down

(.9) (.9)

192.168.101.8/29 192.168.201.8/29

BR-W1# show ip route track-table
BR-W1
ip route 10.100.0.0 255.255.0.0 192.168.101.9 track 100 state is [down]

BR-W1# show ip route

S 10.100.0.0/16 [200/0] via 192.168.201.9

Предпосылки появления PfR
• Технология PfR предназначена
для:
– Выбора оптимального маршрута с учетом
Центральный MC
производительности канала
офис
– Автоматического распределения нагрузки
между каналами связи BR2
– Выбора наиболее оптимального пути для BR1
приложения
– Автоматического перенаправления потоков
данных в случае различных сбоев Internet
MPLS-VPN DMVPN
– Корректировки маршрутной таблицы на
основе информации о состоянии сети

• При выборе маршрута PfR
MC/BR
анализирует:
MC/BR MC/BR
– Время отклика (Response time)
– Потери пакетов (packet loss)
– Вариацию задержки (jitter)
– Доступность (availability)
– Загрузку (traffic load) and $ cost policies

Выбор оптимального маршрута

Лучший маршрут PE1 PE3
MC из таблицы
Увеличение
задержки
10.1.1.0/24 10.2.2.0/24
Центральный Удаленный
офис MC/BR офис
BR

Альтернативный
маршрут (PfR) PE2 PE4

• Маршрут с лучшей метрикой не всегда является идеальным
• Сеть может быть перегружена и не удовлетворять требованиям SLA
• Технология PfR позволяет выбрать лучший маршрут на основе
собранной статистики

Основные компоненты решения
• Основной контроллер (Master Controller)
– Функционал Cisco IOS MC
– Отдельное устройство или совмещенное
с BR
Внутренний
– Не участвует в передаче данных интерфейс
BR
– Создание политик
– Контроль за состоянием сети BR1 BR2

– Выбор оптимального маршрута Внешний
– Генерация отчетов интерфейс
BR
• Пограничный маршрутизатор (Border
Router)
Провайдер 1 Провайдер 2
– Функционал Cisco IOS
– Участвует в передаче данных
– Собирает статистику о потоках данных
– Использует IP SLA и NetFlow для сбора
информации
– Изменение маршрутной информации

Алгоритм работы технологии PfR

Продолжить сбор и анализ
данных на предмет Получить информацию о
соответствия реальной классах трафика,
ситуации и настроенным требующих оптимизации
политикам

Внести необходимые
изменения в таблицу
маршрутизации на
пограничном
Собрать информацию о
маршрутизаторе
каждом классе трафика

Сравнить полученную
информацию с настроенными
политиками и выбрать лучший
маршрут

Эффективность работы различных
технологий
C-A-R2

C-A-R1 C-A-R4

C-A-R3

Link Down Link Up Link Up Upstream Upstream
Neighbor Down Loss ~5% Blackhole Brownout
Routing
Protocols
BFD

FSR
EOT & RSR
(w/IP SLA)

PfR

Содержание
• Постановка задачи
• Физические топологии WAN сети
• Наложенные транспортные технологии
WAN
• WAN технологии качества обслуживания
(QoS)
• Технологии конвергенции сети при
отказах
• Немного дизайна
• Основные выводы

Модуль сопряжения с WAN сетью
Сравнение различных
физических топологий
Рекомендовано

Core/Distribution Core/Distribution Core/Distribution

Si

WAN
Edge
Router

WAN
WAN WAN

• Для всех сценариев:  Для сценария номер 3:
– Нет статических маршрутов
Single Logical Control Plane
– Нет FHRPs
– Динамическая маршрутизация Port-Channel H/A

Возможные топологии для филиалов
Non-Redundant Redundant-Links Redundant-Links
& Routers

MPLS MPLS MPLS MPLS MPLS
MPLS WAN

MPLS Internet MPLS Internet
MPLS +
Internet WAN

Internet
Internet Internet

Internet WAN

Сравнение подходов к двойному
подключению к WAN
Active/Standby Active/Active

Hub Hub Hub Hub

Оба подхода требуют
одинаковую
агрегированную полосу
пропускания WAN
Spoke Spoke

• За • За
– Простота – Более эффективное использование полосы
– Симметричная маршрутизация пропускания WAN каналов
– Высокая надежность, автоматический переход на – Высокая надежность, автоматический переход на
резервный канал в случае отказов основного резервный канал в случае отказов основного
– При отказах полоса пропускания сохраняется • Против
• Против – Возможна ассиметричная маршрутизация
– Не используется вся доступная полоса WAN – Более сложный troubleshooting
каналов – При отказах полоса пропускания уменьшается

Распределение нагрузки WAN в центре
Трафик в направлении
ГО -> Филиал
• Динамические протоколы
– EIGRP (поддерживает unequal
IGP
cost)
– OSPF (поддерживает только
A B
equal cost)
• Распределение нагрузки
specific routes

– По умолчанию per-session
– Per-packet также
поддерживается (но не
рекомендуется)
• Симметричная против
ассиметричной маршрутизации

Распределение нагрузки WAN в
филиале с использованием FHRPs
Трафик в направлении Филиал -> ГО

ЛУЧШИЙ

default only
full routes
default only

IGP
A B A B A B
HSRP HSRP GLBP

VIP1 VIP2
VIP VIP

DG=VIP1 DG=VIP2

Multiple HSRP Groups ICMP Redirect GLBP

Основные выводы
• Сеть должна поддерживать бизнес приложения и при этом
отвечать следующими требованиям: простота, высокая
надежность и модульности.
• Отказы в сети могут проявляться по-разному. Поэтому дизайн
сети должен быть основан на требованиях к работе бизнес
приложений в нормальных условиях, а так же при различных
отказах.
• Разные технологии используются для решения задачи
обеспечения работы бизнес приложений в сети. Основные из
них:
• Балансировка нагрузки между двумя альтернативными путями прохождения
трафика
• Внедрение политик качества обслуживания для обеспечения SLA
приложений (защиты приложений)
• Использование различных технологий высокой доступности, таких как
быстрое обнаружение отказов с последующей конвергенцией сети
• Мониторинг с использованием IP SLA может определить отказы в
сети, которые могут не определяться традиционными технологиями
на основе «hello/holddown» таймеров.
• Performance Routing выбирает путь прохождения трафика,
основываюсь на реальных характеристиках сети.
• Наиболее эффективный дизайн комбинирует в себе различные
технологии, обеспечивающие корректную работу бизнес
приложений в сети

Вопросы и Ответы

Спасибо!

Заполняйте анкеты он-лайн и получайте подарки в
Cisco Shop: http://ciscoexpo.ru/expo2012/quest
Ваше мнение очень важно для нас!

Архитектура и дизайн распределенной корпоративной сети высокой доступности.

More Related Content

What's hot

Viewers also liked

Similar to Архитектура и дизайн распределенной корпоративной сети высокой доступности.

More from Cisco Russia

Архитектура и дизайн распределенной корпоративной сети высокой доступности.