Архитектура и принципы проектирования многоуровневых корпоративных ЛВС. Часть 1.

Архитектура и принципы
проектирования многоуровневых
корпоративных ЛВС. Часть 1.
Станислав Рыпалов, CCIE R&S/Security #12561
Системный инженер

Содержание
 Основы дизайна кампуса
Data Center Services
Block
 Основные сервисы
 Рекомендации по
проектированию
 VSS
 Виртуализация
Si Si

 Соображения IP
телефонии
 Качество Si Si Si Si

обслуживания (QoS)
 Безопасность Si Si Si Si

Distribution Blocks
 Собираем всё вместе

Задачи и требования

Доступность сети класса предприятия
Надёжная Коммутационная Фабрика Кампуса
Системный подход в обеспечении высокой доступности
 Отказоустойчивость сети
Конечная цель……………..100%
 Отказоустойчивость систем
Next-Generation Apps
 Эффективное управление Video Conf., Unified Messaging,
Global Outsourcing,
 Ухо человека замечает E-Business, Wireless Ubiquity

разницу в голосе при
пропадании 10 пакетов G.711 Mission Critical Apps.
Databases, Order-Entry,
или вариации задержки 150- CRM, ERP
200 мсек
 Видео менее устойчиво к Desktop Apps
потерям пакетов и задержке E-mail, File and Print

 Время конвергенции в ПРИЛОЖЕНИЯ ДИКТУЮТ
кампусе 200 мсек ТРЕБОВАНИЯ К ДОСТУПНОСТИ СЕТИ

Отказоустойчивый Структурированный
Модульный Иерархический Дизайн

Доступ

Si Si Si Si Si Si

Распределение

Ядро Si Si

Распределение Si Si
Si Si
Si
Si

Доступ WAN Data Center Internet

Иерархический дизайн сети
Без твёрдых основ всё остальное не имеет смысла

Доступ  Иерархия—каждый уровень имеет
свою роль
 Модульность—строительные блоки
 Легко наращивать, понимать и Si Si
Распределение устранять неисправности
 Небольшие домены/блоки —
чёткая демаркационная линия и
изоляция неисправностей
Ядро
 Балансировка нагрузки и Si
Si
отказоустойчивость
 Предсказуемость пути трафика
Распределение  Использование лучших методов как
Уровня 2, так и Уровня 3 Si Si

 Применение маршрутизации для
балансировки нагрузки, быстрой
Доступ сходимости, масштабируемости и
контроля «Строительный»
блок

Уровень Доступа
Среда с богатым набором функций
 Не только связность
 Функции Уровня 2/Уровня 3; сходимость,
доступность, безопасность, QoS, IP
multicast, и т.д. Ядро
Si Si
 Сервисы сети: QoS, границы доверия,
снижение кол-ва широковещательных
запросов, IGMP snooping
 Сервисы сети: PVST+, Rapid PVST+,
EIGRP, OSPF, DTP, PAgP/LACP, UDLD, Распре-
FlexLink, и т.д.
Si Si деление
 Встроенные функции безопасности Cisco
Catalyst® IBNS (802.1x), (CISF):
port security, DHCP snooping,
DAI, IPSG и т.д.
 Автоматическое обнаружение
телефонов, граница доверия,
power over Ethernet, голосовой Доступ
VLAN и т.д.
 Набор средств Spanning Tree: PortFast,
UplinkFast, BackboneFast, LoopGuard,
BPDU Guard, BPDU Filter, RootGuard и
т.д.

Уровень Распределения
Политики, Сходимость, QoS и Высокая Доступность
 Доступность, балансировка
нагрузки, QoS важны на этом
уровне
Ядро
 Агрегация соединений от Si Si

уровня доступа и подключение
к ядру
 Ограничение скорости Распре-
потоков (защита ядра) и Si Si деление
изоляция проблем уровня
доступа
 Суммаризация маршрутов,
быстрая сходимость,
балансировка нагрузки Доступ

 HSRP или GLBP для
резервирования шлюза по
умолчанию

Уровень Ядра
Масштабируемость, Высокая Доступность и Быстрая Сходимость
 Фундамент сети—соединяет
«строительные» блоки
Ядро
 Сложность/ Si Si
Производительность и
стабильность—
чем меньше тем лучше
Распре-
 Точка агрегации соединений от
Si Si деление
уровня Распределения
 Выделенный уровень ядра
обеспечивает возможность
расширения и роста
Доступ
 Сохраняйте дизайн
независимо от технологий

Нужен ли мне уровень Ядра?
Вопрос масштабируемости, сложности и сходимости

БЕЗ ЯДРА
 Полносвязность блоков распределения
 Дополнительные
соединения
 Сложная Второй блок–4
маршрутизация

4-й Блок 3-й Блок
12 новых соед. 8 новых соед.
24 ИТОГО 12 ИТОГО
8 IGP соседей 5 IGP соседей

Нужен ли мне уровень Ядра?
Это вопрос масштабируемости, сложности и сходимости
Выделенные коммутаторы ядра
 Легче добавлять модули/блоки
 Меньше соединений
 Легче наращивать полосу 2-й Блок
пропускания 8 новых соед.
 Снижение кол-ва IGP peer
 Эквивалентные соед.
Уровня 3 обеспечивают
быструю сходимость

4-й Блок
3-й Блок
4 новых соед.
4 новых соед.
16 ИТОГО
12 ИТОГО
3 IGP соседа
3 IGP соседа

Альтернативные решения на распределении
Layer 2 Access Routed Access Virtual Switching System

Доступ

Si Si Si Si


Ядро Si Si

Распределение Si Si
Si Si
Si
Si

Доступ WAN Data Center Internet

Соединения L3 на распределении
Доступ Уровень 2— нет VLAN’ов распределённых по уровню доступа
 Балансировка нагрузки через
отстроенный CEF
 Проверка настроек CatOS/IOS
EtherChannel для балансировки
Si Si Ядро
 Суммаризация маршрутов в сторону
ядра
 Ограничение избыточных/резерв. Layer 3
IGP соединений
Распре-
 Настройка STP Root и HSRP primary Si Si
или GLBP для балансировки нагрузки Point-to- деление
на uplink’ах Point
 Устанавливаем trunk mode on/no- Link
negotiate
 Выключаем EtherChannel,
если не используем
 На уровне доступа:
Выключить trunking VLAN 20 Data VLAN 40 Data Доступ
Выключить EtherChannel 10.1.20.0/24 10.1.40.0/24
Включить PortFast
VLAN 120 Voice VLAN 140 Voice
 RootGuard или BPDU-Guard 10.1.120.0/24 10.1.140.0/24
 Используем функции безопасности

Соединения L2 на распределении
Доступ Уровень 2— часть VLAN’ов распределены по уровню доступа
 Балансировка нагрузки через
отстроенный CEF
 Проверка настроек CatOS/IOS
EtherChannel для балансировки Si Si
Ядро
 Суммаризация маршрутов в сторону
ядра
 Ограничение избыточных/резерв.
Layer 2
IGP соединений
 Настройка STP Root и HSRP primary Распре-
Si Si
или GLBP и STP port cost для Trunk деление
балансировки на uplink’ах
 Устанавливаем trunk mode on/no-
negotiate
 Выключаем EtherChannel, если не
используем
 RootGuard на downlink’ах
 LoopGuard на uplink’ах
VLAN 20 Data VLAN 40 Data Доступ
 На уровне доступа: 10.1.20.0/24 10.1.40.0/24
Выключить trunking VLAN 120 Voice VLAN 140 Voice
Выключить EtherChannel 10.1.120.0/24 10.1.140.0/24
Включить PortFast VLAN 250 WLAN
 RootGuard или BPDU-Guard 10.1.250.0/24

 Используем функции безопасности

Маршрутизируемый доступ и
Virtual Switching System
Эволюция существующего дизайна

Ядро
Si Si Si Si

Layer 3 VSS & vPC Распре-
P-to-P Link Новый деление
Si Si
вариант

VLAN 20 Data
10.1.20.0/24
VLAN 40 Data
Доступ
VLAN 20 Data VLAN 40 Data 10.1.40.0/24
VLAN 120 Voice
10.1.20.0/24 10.1.40.0/24 10.1.120.0/24
VLAN 140 Voice
VLAN 120 Voice VLAN 140 Voice 10.1.140.0/24
VLAN 250 WLAN
10.1.120.0/24 10.1.140.0/24 10.1.250.0/24

Ключевые сервисы и протоколы

Основные сервисы
 Физические соединения
(Уровень 1)
 Резервирование на Уровне 2—
spanning tree
 Протоколы маршрутизации
 Транковые протоколы—(ISL/.1q)
 Unidirectional link detection
 Балансировка нагрузки
агрегация EtherChannel HSRP
Балансировка CEF equal cost
Spanning
 Защита шлюза по умолчанию Routing
Tree
VRRP, HSRP или GLBP

Физический уровень – лучшие практики
 Используйте соединения
point-to-point — без
дополнительных точек
агрегации L2 между узлами
Si Si Si Si Si Si

 Используйте оптические
соединения для
уменьшения времени
Layer 3 Equal Layer 3 Equal
сходимости Cost Links Cost Links
(debounce timer) Si Si

 Настройка carrier таймеров
и задержек Si Si Si Si

Si Si

 Используйте физические
интерфейсы вместо
VLAN/SVI там где возможно
WAN Data Center Internet

Отказоустойчивость и взаимодействие
протоколов
Обнаружение неисправности соединения
 Непрямые неисправности Hellos
соединения тяжело обнаружить
Si
 Без прямого сообщения от
физического интерфейса о пропаже
Si
соединения или изменении
топологии время конвергенции Hub
зависит от программных средств Si

 Непрямая неисправность в
коммутируемой среде
детектируется spanning tree hello
пакетами BPDUs
 Для некоторых топологий нам
Si
необходимы TCN обновления или
multicast flooding (uplink fast) для
обеспечения сходимости Si

Hub
Si

Отказоустойчивость соединения и обнаружение Cisco IOS® Throttling:
Carrier Delay Timer
неисправности 3
 Прямые оптические соединения
обеспечивают быстрое обнаружение
неисправности
 Протоколы IEEE 802.3z и 802.3ae Linecard
2 Throttling:
определяют работу сигнализации
неисправности соединения Debounce Timer
 Бит D13 в Fast Link Pulse (FLP) может
быть установлен для индикации
физической неисправности
 Не отключайте auto-negotiation на
интерфейсах GigE и 10GigE 1
 Таймер отключения на оптических
интерфейсах GigE и 10GigE карт 10 мсек
 Минимальное время отключения для
витой пары 300 msec 1
 Carrier-delay
3560, 3750 и 4500—0 мсек
6500—установлен по умолчанию Si Механизм Si
определения
неисправности
IEEE

Уровни 2 и 3—зачем использовать маршрутизируемые интерфейсы
 Интерфейсы L3 routed обеспечивают лучшую сходимость чем L2 порты
ассоциированные с L3 SVI

L3 L2
Si Si Si Si

1. Link Down 1. Link Down
2. Interface Down 2. Interface Down
3. Routing Update 3. Autostate
~ 8 мсек ~ 150–200 мсек 4. SVI Down
потери потери 5. Routing Update

21:38:37.042 UTC: %LINEPROTO-5-UPDOWN: Line 21:32:47.813 UTC: %LINEPROTO-5-UPDOWN: Line
protocol on Interface GigabitEthernet3/1, changed protocol on Interface GigabitEthernet2/1, changed state
state to down to down
21:38:37.050 UTC: %LINK-3-UPDOWN: Interface 21:32:47.821 UTC: %LINK-3-UPDOWN: Interface
GigabitEthernet3/1, changed state to down GigabitEthernet2/1, changed state to down
21:38:37.050 UTC: IP-EIGRP(Default-IP-Routing- 21:32:48.069 UTC: %LINK-3-UPDOWN: Interface Vlan301,
Table:100): Callback: route_adjust changed state to down
GigabitEthernet3/1 21:32:48.069 UTC: IP-EIGRP(Default-IP-Routing-
Table:100): Callback: route, adjust Vlan301

Лучшие практики—конфигурация STP
VLAN 100 VLAN 100 VLAN 100
 Используйте одинаковый
номер VLAN на нескольких
коммутаторах доступа только Layer 2 Loops
если это необходимо!
 Используйте rapid PVST+ для Si Si Si Si Si Si

лучшей сходимости
 Чаще применяется в центрах
обработки данных
 Требуется для защиты от Cost Links Cost Links
Si Si
петель на стороне
пользователей
 Требуется для защиты от
Si Si
случайных ошибок ( Si

Si Si
Si

неправильная конфигурация
или ошибки HW)
 Применяйте набор
средств/функций WAN Data Center Internet
spanning tree

Многоуровневый сетевой дизайн
Доступ уровня 2 с распределением уровня 3

Si Si Si Si

Vlan 10 Vlan 20 Vlan 30 Vlan 30 Vlan 30 Vlan 30

 Каждый коммутатор доступа  Как минимум один VLAN
имеет свой набор VLAN распределён на несколько
 Нет петель уровня 2 коммутаторов доступа
 Соединения уровня 3 между  Петли уровня 2
коммутаторами распределения  Уровень 2 и 3 присутствуют на
 Нет заблокированных соединениях на распределении
соединений  Заблокированные соединения

Оптимизация сходимости L2
PVST+, Rapid PVST+ или MST
 Rapid-PVST+ существенно уменьшает время сходимости для любого
VLAN, который требует изменения топологии из-за подъёма
 Rapid-PVST+ улучшает время сходимости для случая неисправности
на непрямых соединениях
35
 PVST+ (802.1d)

Time to Restore Data Flows (sec)
Традиционное внедрение STP
30
Upstream
 Rapid PVST+ (802.1w) 25
Downstream
Хорошо масштабируется 20
(~10,000 портов)
Легко внедрять, проверено 15

 MST (802.1s) 10
Обеспечивает работу STP
при больших внедрениях
5
(~30,000 портов)
0
Нет гибкости rapid PVST+ PVST+ Rapid PVST+

Защита Уровня 2
Поведение Spanning Tree должно быть предсказуемым!
 Правильно располагайте
LoopGuard
root
Root primary/secondary macro
STP Root
 root bridge должен
находиться там где Вы его
Si Si
назначили
RootGuard RootGuard
LoopGuard
LoopGuard
UplinkFast
UDLD
 Только рабочие станции
должны быть видны за UplinkFast
конечными портами
BPDU Guard
RootGuard BPDU Guard или
RootGuard
PortFast PortFast
Port-security Port Security

Лучшие практики—протоколы маршрутизации
 Обычно внедряют между уровнем
распределения и ядра, и на соединениях
ядра
 Используются для быстрого
переключения в обход неисправных
соединений и узлов, и обеспечения
балансировки нагрузки между Si Si Si Si Si Si
резервными соединениями
 Топология «треугольник» обеспечивает
предсказуемое время конвергенции
 Ограничьте соседство только теми
соединениями, которые будут Layer 3 Equal Layer 3 Equal
использованы для транзита Cost Links Cost Links
Si Si
 Проверяйте L3 пути на отсутствие
«чёрных» дыр
 Используйте суммаризацию для
снижения кол-ва запросов EIGRP и Si Si Si Si
распространения OSPF LSA
Si Si

 Настройте балансировку CEF L3/L4 для
достижения максимальной
эффективности использования
эквивалентных соединений
(CEF polarization)

Лучшие практики—треугольники и квадраты
Предсказуемость против Непредсказуемости
«Треугольник»: Потеря соединения/узла «Квадрат»: Потеря соединения/узла
не требует конвергенции протокола требует конвергенции протокола
маршрутизации маршрутизации

Si Si
Si Si

Si Si
Si Si

Model A Model B
 Эквивалентные резервированные соединения уровня 3
поддерживают быструю сходимость
 Аппаратная—быстрое восстановление в резервные соединения
 Исключительно быстрая сходимость (двойные эквив. пути: нет
необходимости для OSPF или EIGRP в расчёте нового пути)

Лучшие практики—
Пассивные интерфейсы для IGP
Ограничивайте взаимодействие/peering
OSPF и EIGRP через уровень доступа
 Ограничивайте ненужное взаим. Distribution Si Si

используя пассивные интерфейсы: Routing
4 VLAN’а на узел дистрибьюции Updates
Итого 12 соседств
Затраты на память и ресурсы CPU без
реальных преимуществ
Дополнительная нагрузка на IGP
Access
Пример OSPF: Пример EIGRP:

Router(config)#router ospf 1 Router(config)#router eigrp 1
Router(config-router)#passive- Router(config-router)#passive-
interfaceVlan 99 interfaceVlan 99

Router(config)#router ospf 1 Router(config)#router eigrp 1
Router(config-router)#passive- Router(config-router)#passive-
interface default interface default
Router(config-router)#no passive- Router(config-router)#no passive-
interface Vlan 99 interface Vlan 99

Суммаризация на уровне распределения
Ограничить распространение EIGRP Queries и OSPF LSA
 Важно обеспечить Rest of Network
суммаризацию от уровня No Summaries
распределения в сторону ядра Queries Go Beyond the Core
 Для построения обратного пути
требуется маршрутная Ядро
информация OSPF или EIGRP
Si Si
 Ограничивая количество peer’ов
опрашиваемых EIGRP или кол-
во обрабатываемых LSAs в
OSPF мы оптимизируем процесс
перемаршрутизации
Распре-
 Пример EIGRP:
деление
interface Port-channel1
Si Si
description to Core#1
ip address 10.122.0.34
255.255.255.252
ip hello-interval eigrp 100 1
ip hold-time eigrp 100 3 Доступ
ip summary-address eigrp 100
10.1.0.0 255.255.0.0 5
10.1.1.0/24 10.1.2.0/24

Снижение сложности сходимости IGP
 Важно обеспечить суммаризацию Summaries
Stop Queries at the Core
от уровня распределения в Rest of Network
сторону ядра Ядро
 Для построения обратного пути
требуется маршрутная
информация OSPF или EIGRP
 Ограничивая количество peer’ов Si Si

опрашиваемых EIGRP или кол-во
обрабатываемых LSAs в OSPF
мы оптимизируем процесс Summary: Распре-
перемаршрутизации 10.1.0.0/16 деление
 Для EIGRP, если есть
суммаризация на распределении,
мы останавливаем запросы от Si Si

ядра на изменения (flap)
происходящие на уровне доступа Доступ
 Для OSPF, суммаризация
обеспечивает снижения кол-ва
LSA 10.1.1.0/24 10.1.2.0/24

Совет—Обязательно соединение Распределение-Распределение
 Суммируйте маршруты на
уровне распределения для
снижения кол-ва запросов Ядро
EIGRP и OSPF LSA Si Si

 Пример: Summary:
Upstream: при падении соед. 10.1.0.0/16
отработает HSRP и трафик пойдёт
через коммутатор слева Распре-
Return path: старый маршрутизтор деление
анонсирует суммарный маршрут в Si Si
ядро
Обратный трафик будет отброшен на
правом коммутаторе

 Суммаризация требует наличия Доступ
соединения между
коммутаторами распределения 10.1.1.0/24 10.1.2.0/24

 Альтернатива: используйте
уровень доступа для транзита

Альтернативные пути
 Что если сломается?
 Нет маршрута в ядро?
Si Si Ядро
 Позволить трафику пройти
через уровень доступа? Single Path
to Core
Хотите ли вы использовать
коммутаторы доступа для
транзита?
Распре-
Каким образом обеспечить Si Si деление
необходимую
производительность?
 Создайте запасной маршрут в
ядро
Доступ
 Лучшие практики: создайте
запасное соединение с ядром и
используйте L3 соединения на A B
уровне распределения

Балансирование нагрузки по
эквивалентным путям
Оптимизация балансировки CEF
 В зависимости от потоков трафика
и IP адресации один из алгоритмов
Si Si
может оказаться лучше других
 Будьте осторожны с эффектом
поляризации, внося изменения в 30% 70%
настройки по умолчанию на всех of of
уровнях Flows Si Flows

Опции Catalyst 4500 Load-Sharing
Original Src IP + Dst IP
Universal* Src IP + Dst IP + Unique ID
Load-Sharing Si Si
Include
Port
Src IP + Dst IP + (Src or Dst Port) + Unique ID Simple

Опции Catalyst 6500 PFC3** Load-Sharing
Default* Src IP + Dst IP + Unique ID
Load-Sharing
Full Src IP + Dst IP + Src Port + Dst Port
Full Simple Si Si
Full Exclude Port Src IP + Dst IP + (Src or Dst Port)
Simple Src IP + Dst IP
Full Simple Src IP + Dst IP + Src Port + Dst Port Load-Sharing
Simple
* = Default Load-Sharing Mode Si
** = PFC3 in Sup720 and Sup32 Supervisors

Балансирование нагрузки CEF
Избегайте перегрузки резервных L3 путей
Игнорирование резервных
путей  Поляризация CEF: без
некоторого тюнинга CEF будет
выбирать одинаковый путь
левый/левый или
правый/правый
Distribution  Может возникнуть
Si Si
Default L3 Hash дисбаланс/перегрузка

L R  Резервные пути
игнорируются/перегружаются
Core
Si
Default L3 Hash Si
 По умолчанию на CEF хэш
влияет L3
L  Мы можем изменить это
Distribution
Default L3 Hash Si
R Si
поведение используя
информацию L3 + L4 как
параметры влияния на хэш

CEF Load Balancing
Избегайте перегрузки резервных L3 путей
 По умолчанию для Sup720/32
All Paths Used
добавляется уникальный ID
потока. Тем не менее, может
возникать дисбаланс зависящий
от схемы адресации.
Distribution  Чередование L3/L4 хэша и L3
Si Si
L3/L4 Hash хэша обеспечивает наилучший
результат для балансирования
L R L R нагрузки
Core
Default L3 Hash Si Si  Применяйте схему simple в
ядре и full simple на
распределении для добавления
L L4 информации к алгоритму.
Distribution
L3/L4 Hash Si
R Si
Поддерживайте различные
схемы от уровня к уровню.

Лучшие практики—конфигурация транков
 Обычно внедряются между
коммутаторами распределения
и доступа
802.1q Trunks
 Используйте VTP transparent
mode для снижения вероятности
Si Si Si Si Si Si
ошибки
 «Жёсткие» установки режима
транка и типа инкапсуляции для
оптимальной конвергенции
 Измените номер native VLAN на Cost Links Cost Links
Si
что-нибудь неиспользуемое для Si

предотвращения атаки
VLAN hopping
 Вручную удалите все Si Si Si Si

неиспользуемые на транке Si Si

VLAN’ы
 Выключите на портах хостов:
CatOS: set port host
Cisco IOS: switchport host

VTP Virtual Trunk Protocol
 Централизованное
Set
управление VLAN VLAN 50 Pass
Through
 Коммутатор VTP server Trunk Update
распространяет БД VLAN F
A Server Transparent
на клиентские
коммутаторы VTP
Ok, I Just
 Работает только на транках Trunk Trunk Learned
VLAN 50!
 4 режима: Ok, I Just
Server: обновляет VLAN БД Learned
на клиентах и др. серверах VLAN 50!
Client Client B
VTP
Trunk
Client: получает
Drop
обновления— VTP
не может внести изменения Updates
Transparent: прозрачное
прохождение VTP Off C
Off: ignores VTP updates

DTP Dynamic Trunk Protocol

 Автоматическое установление
транка между коммутаторами Si
On/On Si

On: всегда транк Trunk
Desirable: запрос удалённой
стороны
Auto: если есть запрос то
Si Si
переключение в транк Auto/Desirable
Off: выкл. режима транка Trunk
 Установление типа
инкапсуляции 802.1Q или ISL
ISL: пытаемся использовать ISL Si Si
Off/Off
802.1q: пытаемся использовать
802.1q NO Trunk
Negotiate: договариваемся ISL
или 802.1q
Si Si
Non-negotiate: всегда
используем установленный тип
инкапсуляции Off/On, Auto, Desirable
NO Trunk

Оптимизация сходимости: настройки
транка
Состояние Trunk Auto/Desirable требует времени для отстройки
 Установка DTP уменьшает время сходимости на транке
CatOS> (enable) set trunk <port> nonegotiate dot1q <vlan>
IOS(config-if)# switchport mode trunk
IOS(config-if)# switchport nonegotiate

2.5
Time to Converge in Seconds

2
Si
1.5

1
-2 секунды
0.5

0
Trunking Desirable Trunking Nonegotiate
задержки

Voice Data

Транки/VTP/DTP—ИТОГИ
 Применяйте режим VTP transparent; создаёт дополнительную
административную нагрузку, но позволяет контролировать распространение
VLAN’ов на коммутаторах доступа
 Технологии безопасности, которые используют управление VLAN’ами по
имени (802.1X, NAC и т.д.) требуют уникальной БД VLAN’ов
на коммутаторах доступа, если действует правило:
A VLAN = A Subnet = AN коммутатор доступа
 Придерживайтесь «жёстких» режимов DTP
ON/ON и NO NEGOTIATE; баланс между
производительностью/доступностью и
дополнительными сложностями в настройке
 Режим ON/ON и NO NEGOTIATE быстрее
позволяет восстановить соединение чем
режим desirable/desirable. Недостаток в том что,
конфигурация DTP не позволяет активно мониторить
состояние транка и неправильно настроенный транк
достаточно тяжело обнаружить
 Настройка транка это баланс между скоростью сходимости и гибкостью
управления …

Лучшие практики— конфигурация UDLD
 Внедряется на любом
оптическом соединении
 Применяйте режим UDLD
aggressive mode для Si Si Si Si Si Si

агрессивной защиты
Fiber Interconnections
 Включайте в режиме общей
конфигурации для Layer 3 Equal Layer 3 Equal
Cost Links
исключения Cost Links
Si Si

ошибок/пропусков
 Пример Si Si
Si Si

Cisco IOS: Si Si

udld aggressive


Обнаружение однонаправленных
соединений
Защита от однонаправленных коммуникаций
 Высоко-доступные сети требуют наличие
UDLD для защиты от однонаправленных
коммуникаций или частично
неисправных соединений и эффекта, Si
который они могут оказывать на STP или
RSTP

 Используется на оптических
соединениях, где возможны проблемы с
коммутацией оптических пар на панелях
распределения Есть ли
эхо?
 Каждый порт с настроенным UDLD будет
отсылать пакет (L2) содержащий
собственный device/port ID и соседа

 Взаимодействующие порты должны
получать пакеты с собственным ID и ID
соседа

 Если порт не получает пакеты с
собственным ID в течение некоторого Si
времени, соединение считается
однонаправленным и выключается

Режимы UDLD Aggressive и UDLD Normal

Si Si

 Одинаковые таймеры—15-секунд отправка hello по умолчанию
 Режим Aggressive — после срабатывания таймера—пытается 8 раз
(один в секунду) переустановить соединение, а затем
переключает порт в состояние err-disable
 UDLD—Режим Normal—переключает в err-disable только порт со
стороны которого обнаружено состояние UDLD, другая сторона
только видит что порт выключился
 UDLD—Aggressive—переводит в err-disable оба конца соединения
если попытки восстановления соединения не удались

Лучшие практики— конфигурация
EtherChannel
 Обычно используется между
уровнями распределениями и
ядра, и на соединениях внутри
ядра
 Используется для обеспечения
отказоустойчивости соединения и Si Si Si Si Si Si

снижения сложности
 Настройка хэша L3/L4 позволяет
достичь равномерной
загруженности каналов Layer 3 Equal Layer 3 Equal
 Кол-во каналов определяется как Cost Links Cost Links
Si Si

степень от числа 2
(2, 4 или 8)
 Одинаковые параметры для
CatOS и Cisco IOS PAgP Si Si Si Si

Si Si
 Для совместимости - 802.3ad
LACP
 Если не требуется, то выкл.
CatOS: set port host
Cisco IOS: switchport host

Что такое EtherChannel
Опции установления—PAgP и LACP
Port Aggregation Protocol Link Aggregation Protocol

Si Si
Si Si
On/On On/On
Channel Channel

Si Si
On/Off Si
On/Off
Si

No Channel No Channel

Si Si
Si
Auto/Desirable Si
Active/Passive
Channel Channel

Si Si
Si Si

Off/On, Auto, Desirable Passive/Passive
No Channel No Channel

On: участвуем в группе всегда On: участвуем в группе всегда
Desirable: запрос другой стороны Active: запрос другой стороны
Auto: участие если есть запрос Passive: участие если есть запрос
Off: не участвуем Off: не участвуем

EtherChannel или эквивалентные
Как агрегировать соединения 10/100/1000?
10 GE и
Ядро Si Si
10-
10-GE Channels
Пере-
Пере-
подписка
4:1
Si Si

Пере-
Пере-
подписка
20:1 Доступ

EtherChannel или эквивалентные
Снижение сложности
 Больше соединений = больше
соседств L3/доп.нагрузка
 EtherChannel позволяет снизить
Si Si Si Si Si Si кол-во соседств, используя один
логический интерфейс
 При выходе из строя одного
соединения в группе
OSPF на коммутаторе c Cisco
Cost Links Cost Links
Si Si IOS уменьшит стоимость
соединения и
перемаршрутизирует трафик
OSPF на гибридном коммутаторе
Si Si
Si Si
не изменит стоимость
Si Si
соединения, что может привести к
перегрузке
EIGRP может не изменить
стоимость, что может перегрузить
оставшиеся соединения

EtherChannel—ИТОГО
 Для Layer 2 EtherChannel: рекомендуется конфигурация
Desirable/Desirable, для того чтобы PAgP, работающий поверх,
отслеживал состояние соединений и поломка одного соединения не
приводила к проблемам с STP
 Для Layer 3 EtherChannel: можно применять конфигурацию ON/ON. К
недостаткам которой можно отнести большую сложность, а к
достоинствам лучшую сходимость.
 Режим ON/ON быстрее восстанавливается чем режим
Desirable/Desirable. Но в данном режиме PAgP не контролирует
состояние соединений и неправильно настроенное членство в группе
обнаружить не очень просто.
 Протоколы маршрутизации могут «не знать» о состоянии отдельных
соединений в группе. Необходимо использовать LACP и опцию
«minimum links» для контроля за состоянием/выключения группы
 Один поток не может использовать полосу большую чем полоса
предоставляемая одним из членов группы
 Лучше использовать для защиты от выхода из строя одного из
соединений/порта

Лучшие практики— защита шлюза по
умолчанию
 Функционал необходим для
обеспечения отказоустойчивости 1st Hop Redundancy
шлюза по умолчанию для
рабочих станций Si Si Si Si Si Si

 Выбор из HSRP, VRRP и
GLBP
 VRRP, HSRP и GLBP
обеспечивают миллисекундную Layer 3 Equal Layer 3 Equal
Cost Links Cost Links
сходимость Si Si

 Используйте VRRP, если
требуется поддержка
оборудования других
Si Si Si Si
производителей
Si Si

 GLBP обеспечивает
балансировку трафика
 Требуется настройка таймеров
переключения для исключения WAN Data Center Internet
эффекта «чёрной дыры»

Защита шлюза по умолчанию с VRRP
Стандарт IETF RFC 2338 (Апрель 1998)
 Группа маршрутизаторов R1—Master, Forwarding Traffic; R2,—Backup
VRRP ACTIVE VRRP BACKUP
работает как один
IP: 10.0.0.254 IP: 10.0.0.253
виртуальный с одним MAC: 0000.0c12.3456 MAC: 0000.0C78.9abc
виртуальным IP адресом vIP: 10.0.0.10 vIP:
vMAC: 0000.5e00.0101 vMAC:
и MAC адресом
 Один (master) R1 R2
маршрутизатор Si Si
пересылает пакеты
для/из локальной сети Distribution-A Distribution-B
VRRP Active VRRP Backup
 Остальные Access-a
маршрутизаторы
работают как резервные
 Резервные
бездействуют до выхода IP: 10.0.0.1 IP: 10.0.0.2 IP: 10.0.0.3
MAC: aaaa.aaaa.aa01 MAC: aaaa.aaaa.aa02 MAC: aaaa.aaaa.aa03
из строя основного GW: 10.0.0.10 GW: 10.0.0.10 GW: 10.0.0.10
ARP: 0000.5e00.0101 ARP: 0000.5e00.0101 ARP: 0000.5e00.0101

Защита шлюза по умолчанию с HSRP
RFC 2281 (Март 1998) R1—Active, Forwarding Traffic;
 Группа маршрутизаторов R2—Hot Standby, Idle
HSRP ACTIVE HSRP STANDBY
работает как один
IP: 10.0.0.254 IP: 10.0.0.253
виртуальный с одним MAC: 0000.0c12.3456 MAC: 0000.0C78.9abc
виртуальным IP адресом vIP: 10.0.0.10 vIP:
vMAC: 0000.0c07.ac00 vMAC:
и MAC адресом
 Один (active) R1 R2
маршрутизатор Si Si
пересылает пакеты
для/из локальной сети Distribution-A Distribution-B
HSRP Active HSRP Backup
 Остальные Access-a
работают как горячий
резерв
 Резервные
маршрутизаторы IP: 10.0.0.1 IP: 10.0.0.2 IP: 10.0.0.3
бездействуют до выхода GW: 10.0.0.10 GW: 10.0.0.10 GW: 10.0.0.10
из строя основного ARP: 0000.0c07.ac00 ARP: 0000.0c07.ac00 ARP: 0000.0c07.ac00

Зачем нужен переход (preemption) HSRP
 STP root и HSRP
primary маршрутизатор
связаны Si Si Ядро
 При смене STP root’а
трафик будет за двумя
маршрутизаторами от
Spanning
активного HSRP Tree HSRP
маршрутизатора Root Active
HSRP
Распре-
Spanning
Active
HSRP Preempt Si Si Tree деление
 HSRP preemption
Root
позволит перенести
шлюз по умолчанию в
соответствии с
топологией STP
Доступ

Без задержки Preempt Delay HSRP может стать активным до полной
готовности : L1 (Boards), L2 (STP), L3 (IGP Convergence)
standby 1 preempt delay minimum 180

Защита шлюза по умолчанию с GLBP
Разработан Cisco, балансирует нагрузку, запатентован
 Все преимущества HSRP R1- AVG; R1, R2 Both Forward Traffic
плюс балансировка нагрузки GLBP AVG/AVF, SVF GLBP AVF, SVF
между шлюзами 
IP: 10.0.0.254 IP: 10.0.0.253
использует всю доступную
MAC: 0000.0c12.3456 MAC: 0000.0C78.9abc
полосу vIP: 10.0.0.10
vIP: 10.0.0.10
vMAC: 0007.b400.0101 vMAC: 0007.b400.0102
 Группа маршрутизаторов
работают как один
виртуальный, разделяют один R1
виртуальный IP адрес, но
Si Si
используют несколько
виртуальных MAC адресов
Distribution-A Distribution-B
 Позволяют трафику из одной GLBP AVG/ GLPB AVF, SVF
подсети использовать AVF, SVF Access-a
несколько шлюзов по
умолчанию с одним
виртуальным IP адресом

IP: 10.0.0.1 IP: 10.0.0.2 IP: 10.0.0.3
GW: 10.0.0.10 GW: 10.0.0.10 GW: 10.0.0.10
ARP: 0007.B400.0101 ARP: 0007.B400.0102 ARP: 0007.B400.0101

Защита шлюза по умолчанию с
балансировкой нагрузки
Cisco Gateway Load Balancing Protocol (GLBP)
 Каждый член группы GLBP имеет уникальный виртуальный MAC адрес для
общего IP адреса/шлюза по умолчанию
 Ответы на ARP запросы для общего IP адреса/шлюза по умолчанию
выдаются с разными виртуальными MAC адресами
 Host A и host B из одной подсети с одним и тем же IP адресом шлюза
отправляют трафик на разные GLBP маршрутизаторы

GLBP 1 ip 10.88.1.10 vIP GLBP 1 ip 10.88.1.10
vMAC 0000.0000.0001 10.88.1.10 vMAC 0000.0000.0002
R1 R2
.1 ARP .2
Reply
10.88.1.0/24

.4 .5

A B ARPs for 10.88.1.10
ARPs for 10.88.1.10
Gets MAC 0000.0000.0001 Gets MAC 0000.0000.0002

GLBP и распределённые VLAN’ы
По-умолчанию, половина трафика будет отправляться по сложному пути
 Оба коммутатора работают как шлюз по умолчанию
 Заблокированное соединение влияет на оптимальность пути

Ядро Core
Уровень 3 Distribution-A Distribution-B
GLBP Virtual GLBP Virtual
Распре- MAC 1 MAC 2
деление
Уровень 2/3 Si Si

Доступ F: Forwarding
Уровень 2 B: Blocking

Access-a Access-b

VLAN 2 VLAN 2

Оптимизация сходимости: VRRP, HSRP, GLBP
Среднее, Max и Min—Есть ли разница?
 VRRP не тестировался с суб-секундными таймерами, потоки проходят через
один узел поэтому значения min/max/среднее одинаковые
Si Si
 HSRP имеет суб-секундные таймеры; потоки проходят через
один узел, поэтому нет разницы в значениях min/max/среднее

 GLBP имеет суб-секундные таймеры и распределяет нагрузку между
узлами, поэтому только на 50% клиентов влияет отказ соединения

Время восстановления доступа к серверам после возникновения
неисправности на соединении от уровня доступа к распределению

50% of Flows
GLBP Is
Have ZERO
50% Better
Loss W/ GLBP

Продолжение

Во второй части:
- Рекомендации по проектированию
- Альтернативный дизайн с использованием технологии VSS
- Технологии виртуализации в кампусной сети
- Поддержка инфраструктурных сервисов для IP телефонии
- Функции безопасности
- Собираем всё вместе

Вопросы и Ответы

Спасибо!

Заполняйте анкеты он-лайн и получайте подарки в
Cisco Shop: http://ciscoexpo.ru/expo2012/quest
Ваше мнение очень важно для нас!

Архитектура и принципы проектирования многоуровневых корпоративных ЛВС. Часть 1.

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Similar to Архитектура и принципы проектирования многоуровневых корпоративных ЛВС. Часть 1.

Similar to Архитектура и принципы проектирования многоуровневых корпоративных ЛВС. Часть 1. (20)

More from Cisco Russia

More from Cisco Russia (20)

Архитектура и принципы проектирования многоуровневых корпоративных ЛВС. Часть 1.