Документ описывает решение по географическому резервированию BNG на базе ASR 9000 от Cisco, включая ключевые компоненты, вопросы дизайна и примеры конфигурирования. Рассматриваются различные режимы резервирования, такие как active-standby и active-active, а также процесс синхронизации с использованием TCP. Основное внимание уделяется преимуществам решения, таким как отказоустойчивость и масштабируемость.

1. Операторы связи
Клуб Cisco
новый сезон
ноябрь - декабрь, 2017
Географическое
резервирование BNG на
базе ASR 9000
Алексей Бабайцев
системный инженер Cisco
21 декабря 2017

2. Ciscoclub.ru
О чем сегодня пойдет речь?
• Обзор решения и его ключевые компоненты
• Вопросы дизайна
• Маршрутизация
• Конфигурирование
• Примеры Call Flow
• Выводы

3. Обзор решения

4. Ciscoclub.ru
Резервирование внутри устройства BNG
4
• Link Aggregation (Bundle-Ethernet)
• Выход из строя активного интерфейса – прозрачное переключение текущей
сессии на оставшиеся интерфейсы
IP/MPS ядроСеть
доступа
L2 Интернет
VPN
AAA
DHCP
LAG

5. Ciscoclub.ru
Stateless резервирование: два шасси
5
• Резервирование для PPPoE сессий в целом проще, чем для IPoE сессий
• Дизайн обязательно должен обеспечивать «симметрию» трафика – трафик
от абонента и к абоненту должен проходить через один и тот же BNG
• Для переустановления сессии абонент должен отправить DHCP Discover
• Время переключения определяется величиной Lease Time
• Абонент (как правило) не имеет средств мониторинга состояния IPoE
сессии (в отличие от PPPoE)
Истечение
Lease Time
DHCP
Release
DHCP NAK во
время Address
Renew и
Rediscover
процедур
или или
DHCP
сервер
Абонент

6. Ciscoclub.ru
Множество географически разнесенных
BNGs
Узлы Доступа (Access Node) (DSLAM/OLT/SW)
CPE
Географическое резервирование на базе
XR
6
Transparent Switching
С точки зрения CPE, BNG – это единое устройство
Различные технологии
доступа
Узлы доступа подключаются по схеме dual/multi-
homing используя различные технологии: MCLAG,
Ring (G.8032), PW-HE, др.
Поддержка Stateful режима
• Для взаимодействия и синхронизации BNG
должны быть связаны по L3
• Поддерживаются режимы: 1:1, N:1 и M:N
• Защита активируется в следующих случаях:
 Отказ Access-линка
 Отказ линейной карты
 Отказ RP
 Выход из строя шасси
 Отказ всего сайта

7. Ciscoclub.ru
MPLS aggregation
Network
Примеры топологий
Core
Network
Core
Network
DHCP server Radius server CoADHCP server Radius server CoA
Sync-
up
Sync-
up
switch
Access node
switch
Access node
Core
Network
DHCP server Radius server CoA
Sync-
up
Access node
Ethernet access – hub-spoke Ethernet access – ring MPLS access – PW-HE

8. Компоненты решения

9. Ciscoclub.ru
SRG (Subscriber Redundancy Group)
BNG-1
SRG-1
(M)
SRG-2
(M)
BNG-2
SRG-1
(S)
SRG-2
(S)Geo-Red
* Roadmap

10. Ciscoclub.ru
Пример распределения сессий между BNG
в режиме active-standby (1)
1
2
3
4
• Сессии распределяются между VLAN (1,2,3,4) на
BNG1, причем каждый из VLAN «привязан» к SRG
сконфигурированной на BNG-мастере
• BNG2 является резервным для всех VLANs
• Каждый из VLAN обеспечивает терминацию 8k сессий
1
2
3
Для сессий в VLAN 1 BNG1 - мастер, BNG2 - бэкап
Для сессий в VLAN 2 BNG1 - мастер, BNG2 - бэкап
Для сессий в VLAN 3 BNG1 - мастер, BNG2 - бэкап
4 Для сессий в VLAN 4 BNG1 - мастер, BNG2 - бэкап

11. Ciscoclub.ru
• Посредством MC-LAG детектируется неисправность
интерфейса
• Для каждого VLAN в соответствeющей SRG на BNG2
активируется роль мастера
• Все 32k сессий переключаются на BNG2
• Теперь BNG2 является активным для всех 32k сессий
1
2
3
4
1
2
3
4
1
2
3
4
Для сессий в VLAN 1 BNG1 - мастер, BNG2 - бэкап
Для сессий в VLAN 2 BNG1 - мастер, BNG2 - бэкап
Для сессий в VLAN 3 BNG1 - мастер, BNG2 - бэкап
Для сессий в VLAN 4 BNG1 - мастер, BNG2 - бэкап
Пример распределения сессий между BNG
в режиме active-standby (2)

12. Ciscoclub.ru
• Сессии в VLAN 1,2 связаны с соответствующими SRG
настроенными на BNG1 в роли мастера
• Сессии в VLAN 3,4 связаны с соответствующими SRG
настроенными на BNG2 в роли мастер
• Каждый из VLAN обеспечивает терминацию 8k сессий
• Каждый из BNG обеспечивает терминацию 16k
сессий
3
4
1
2
1
2
3
4
Пример распределения сессий между
BNG в режиме active-active (1)
Для сессий в VLAN 1 BNG1 - мастер, BNG2 - бэкап
Для сессий в VLAN 2 BNG1 - мастер, BNG2 - бэкап
Для сессий в VLAN 3 BNG2 - мастер, BNG1 - бэкап
Для сессий в VLAN 4 BNG2 - мастер, BNG1 - бэкап

13. Ciscoclub.ru
• На интерфейсе связанным с VLAN2 на BNG1
детектируется неисправность
3
4
1
2
• Сессии в VLAN 2 на BNG1 переключаются на BNG2
• Совместно BNG1 и BNG2 все еще поддерживают
32K сессий
2
1
2
3
4
Для сессий в VLAN 1 BNG1 - мастер, BNG2 - бэкап
Для сессий в VLAN 2 BNG1 - мастер, BNG2 - бэкап
Для сессий в VLAN 3 BNG2 - мастер, BNG1 - бэкап
Для сессий в VLAN 4 BNG2 - мастер, BNG1 - бэкап
Пример распределения сессий между
BNG в режиме active-active (2)

14. Ciscoclub.ru
SRG Redundancy model - 1:1
BNG-1
SRG-1
(M)
SRG-3
(S)
SRG-2
(M)
SRG-4
(S)
BNG-2
SRG-1
(S)
SRG-3
(M)
SRG-2
(S)
SRG-4
(M)Geo-Red
TCP based BNG sync-up session

15. Ciscoclub.ru
SRG Redundancy model – M:N
BNG-1
SRG-1
(M)
SRG-3
(S)
SRG-2
(M)
SRG-4
(S)
BNG-2
SRG-1
(S)
SRG-2
(S) Geo-Red
TCP based BNG sync-up session
BNG-2
SRG-3
(M)
SRG-4
(M)
Geo-Red
Geo-Red

16. Ciscoclub.ru
SRG Redundancy model - N:1
BNG-1
SRG-1
(M)
SRG-2
(M)
BNG-3
SRG-1
(S)
SRG-3
(M)
SRG-2
(S)
SRG-4
(M)
Geo-Red
BNG-2
SRG-3
(S)
SRG-4
(S)
Geo-Red
TCP based BNG sync-up session

17. Ciscoclub.ru
Процесс синхронизации
• Процесс синхронизации между мастером и слэйвом выполняется с помощью
TCP сессии в рамках SRG. Используется проприетарный механизм– BNG Sync
• Согласование роли master/slave
• Сигнализация об авариях и изменении ролей
• Синхронизация состояний абонентских сессий
• Обмен информацией о других событиях и командах
• После успешного соединения по TCP, BNG SRG пиры сначала выполняют
согласование ролей – здесь используется специальный алгоритм (tie-breaker
algorithm)
• Начальная синхронизация состояний выполняется в направлении мастер –>
слэйв сразу как только сессия получает статус UP
• Процесс мирроринга сессий обеспечивает отслеживание установки сессий,
каких либо изменений, а также их удаления

18. Вопросы дизайна

19. Ciscoclub.ru
BNG-A
SRG-1
(M)
SRG-3
(S)
SRG-2
(M)
SRG-4
(S)
SW-
1
SW-
2
SW-
3
SW-
4
BNG-BSRG-1
(S)
SRG-3
(M)
SRG-2
(S)
SRG-4
(M)
core router
sub-11 sub-21 sub-31 sub-41
Geo-Red
MC-LAG from BNG PoV
up down down up
down
up
active physical link
standby physical link
interface UP
interface DOWN
up updowndown
Session traffic
Дизайн 1: Single-active Access

20. Ciscoclub.ru
BNG-A
SRG-1
(M)
SRG-3
(S)
SRG-2
(M)
SRG-4
(S)
SW-
1
SW-
2
SW-
3
SW-
4
BNG-BSRG-1
(S)
SRG-3
(M)
SRG-2
(S)
SRG-4
(M)
core router
Geo-Red
up
down
up
active physical link
standby physical link
interface UP
interface DOWN
upup upupupup up
Дизайн 2: All-active Access
Session traffic
sub-12 sub-21 sub-31 sub-41
DMAC на основе L2
форвардинга выбирает
SRG мастера в качестве
next-hop для GW
Только SRG мастер
отдает summary
маршрут в магистраль

21. Ciscoclub.ru
switch
BNG-A
SRG-1
(M)
SRG-3
(S)
SRG-2
(M)
SRG-4
(S)
VLAN
-1
VLAN
-2
VLAN
-3
VLAN
-4
BNG-BSRG-1
(S)
SRG-3
(M)
SRG-2
(S)
SRG-4
(M)
core router
Geo-Red
up
down
up
VLAN subinterface
interface UP
interface DOWN
upup upupupup up
All-active Access with VLAN based load-
sharing
Session traffic
sub-12 sub-21 sub-31 sub-41
DMAC на основе L2
форвардинга выбирает
SRG мастера в качестве
next-hop для GW
Только SRG мастер
отдает summary
маршрут в
магистраль
active physical link

22. Маршрутизация

23. Ciscoclub.ru
• Два типа абонентских маршрута на BNG:
• Subscriber host route
• Subscriber summary route
Оба маршрута обозначаются индексом "A" в "show route”.
• Со стороны магистрали абонентский маршрут должен указывать на
active BNG
• Только SRG мастер ”отдает” абонентский маршрут в сторону upstream
Распространение абонентских
маршрутов (1)
RP/0/0/CPU0:server-1#sh route ipv4 subscriber
Mon Jul 11 12:09:39.835 IST
A 25.10.0.0/16 [1/0] via 0.0.0.0, 00:00:23
RP/0/0/CPU0:server-1#sh route ipv6 subscriber
Mon Jul 11 12:09:43.459 IST
A 21:1::/64
[1/0] via ::, 00:00:27
A 2000:1::/64
[1/0] via ::, 00:00:27

24. Ciscoclub.ru
• Необходимо избегать распространение/редистрибуцию
абонентских host-маршрутов в IGP/BGP
• Редистрибуция абонентских summary-маршрутов в IGP/BGP
должна осуществляться на SRG мастере двумя способами:
• Способ 1 – Функциональность релиза 5.3.4
• Применим как для single-active, так и для all-active дизайна (есть
ограничения)
• Используется абонентский summary-маршрут сконфигурированный в секции
SRG и контролируемый также SRG
• Способ 2 – «Старый» подход (до релиза 5.3.4)
• Может применяться только для single-active access
• Настраивается статический маршрут на null 0 с «привязанным» к нему object
трекингом на соответствующий access-интерфейс. Этот маршрут затем
необходимо вставить в IGP/BGP
Распространение абонентских
маршрутов (2)

25. Конфигурирование

26. Ciscoclub.ru
• Конфигурации абонентских политик для SRG на обоих BNG
должны быть идентичными, чтобы гарантировать бесшовное
зеркалирование и переключение абонентских сессий.
• Конфигурация Radius, DHCP
• Локальные IP-пулы
• Политики и темплейты
• SRG конфигурация со следующими нюансами:
• Peer-адресация (зеркальная)
• Роль (зеркальная)
• Перечень интерфейсов (Interface list) – может отличаться
• Названия и типы access-интерфейсов могут отличаться на разных
маршрутизаторах
Правила конфигурирования

27. Ciscoclub.ru
subscriber redundancy
source-interface <loopback-name>
group <1234>
preferred-role <master|slave>
peer ipv4 <2.2.2.2>
interface-list
BundleEther 1.100 id 1234567890
BundleEther 1.101-105 id 121-125
slave-mode <hot|warm>
core-tracking <obj-track-name>
access-tracking <obj-track-name>
hold-timer 60
disable
virtual-mac <mac>
Название идентификатора группы (Group identifier) должно
быть идентичным на обоих маршрутизаторах.
[OPTIONAL] Oдин из двух BNG настраивается как МАСТЕР,
другой/другие как СЛЭЙВ
Peer IP-адрес, который используется для организации сессии к
соседу
Список access-интерфейсов являющихся частью SRG.
Идентификатор ID будет использоваться как часть
информации об абонентской сессий и привязки к access-
интерфейсу на мастере и слэйве. Этот идентификатор должен
совпадать на обоих устройствах.
[OPTIONAL] Redundancy режим (по умолчанию режим hot-
standby, но можно настроить warm-standby*)
[OPTIONAL Object трекинг для контроля коннективити в
направлении core и access в рамках определённой SRG.
[OPTIONAL] Время в минутах, которое будет выдерживаться
при переключении. По умолчанию переключение
осуществляется сразу.
[OPTIONAL] Отключение синхронизации состояния сессий между мастером и слэйво. Работает
только для SRG в режиме slave. При применении настройки информация о сессиях будет удалена
из slave database.
[OPTIONAL] Конфигурация SRG MAC требуется
в случае, когда access протоколы не используют
идентичный MAC на интерфейсах (MST-AG,
G.8032, etc.). Не требуется для MC-LAG
Основные элементы конфигурации SRG

28. Примеры Call Flow

29. Ciscoclub.ru
IPoE Session Setup
Internet Traffic via BNG1
Discover
DHCP Radius
Acc./Agg.
Node
CPE
PCRF
Dropped / Ignored
CoA
(must be sent to both)
Core / Internet
Session Sync – DHCP client ID, subs. MAC,
negotiated protocol params, etc.
Accounting Start
Master
Slave
Offer
Request
Ack
Session provisioned on BNG2 – ready for hitless take over of control & data plane
Renew/Release
AAA Access Request
AAA Access Accept (Subscriber Profile)
Interim Accounting Updates
(optional)
Discover

30. Ciscoclub.ru
IPoE Session Switchover
Internet Traffic Restored via BNG2 by Data Path Redundancy Trigger (depends on access & core design)
DHCP Radius
Acc./Agg.
Node
CPE
PCRF
BNG Failure
Core / Internet
Internet Traffic Dropped via BNG1
Failure Trigger (link down, EOAM, etc. )
BNG Sync – failure notification, role change (if
channel is up, else slave takes over)
Accounting OFF/ON (in case of router reload)
Interim Accounting Updates
Renew/Release
No explicit DHCP exchange towards client - normal operations to continue
(same DHCP IDs, gateway MAC/IP and negotiated parameters)
Discover (new/different session)
Dropped / Ignored
Master
Slave

31. Выводы

32. Ciscoclub.ru
Преимущества решения Geo Redundancy
Доступ
• Access Technology Agnostic
• Use MC-LAG , MST-AG etc for access redundancy
• Use G.8032 , nV Satellite Rings , PW-HE
Защита от
аварий
• Access Link Failures
• Line Card Failures
• RP Failures
• Chassis Failures
• Geographic Redundancy
Режимы
отказоустой-
чивости
• 1:1 or M:N redundancy Model
• Warm Standby (Lower Capex) or Hot Standby (Higher Capex)
• Sub-Sec traffic Recovery & few sec Control plane Recovery
• ISSU type behavior without service disruption
Протоколы
•Low Overhead , Simple Protocol
•Limited Requirement from Back-End Framework
Масштабируе-
мость
• No Impact to Session Scale during normal operation
• No Impact to CPS during normal operation

33. Клуб Cisco
Есть вопросы по приобретению оборудования Cisco?
8 800 700 05 22
Благодарим за участие
Приглашайте коллег присоединиться к Клубу Cisco!
Регистрация доступна по ссылке: http://ciscoclub.ru