Александр Скороходов Инженер-консультант

1. Cisco
Connect
Москва, 2017
Цифровизация:
здесь и сейчас

2. Внедрение сетевой
фабрики Cisco ACI в
ЦОД небольшой
организации
Александр Скороходов
Инженер-консультант
© 2017 Cisco and/or its affiliates. All rights reserved.

3. Цели презентации
• Помочь первым шагам новых заказчиков ACI
• Быстро дойти до работающей системы с базовыми (и не только)
возможностями
• Поделиться опытом прошедших тестов и внедрений
• Облегчить запуск демосистем в рамках тестирований на площадке
заказчика
Cisco Connect 2017 © 2017 Cisco and/or its affiliates. All rights reserved. 3

4. Чем эта презентация НЕ является
• Заменой обучению (добро пожаловать к Cisco Learning Partners )
• Заменой вовлечению квалицированного партнёра или Cisco Advanced Services
• Заменой документации по продукту
• Официальными наилучшими практиками
• Описанием всех шагов и аспектов внедрения
• Ограничение по времени
• Единственным или «самым правильным» способом решить задачу
• Руководством для крупных или сложных внедрений
• Многие десятки и сотни коммутаторов
• Multi-Pod
• Интеграция с L4-L7 устройствами
• Интеграция с OpenStack и т.д.
Cisco Connect 2017 © 2017 Cisco and/or its affiliates. All rights reserved. 4

5. Примерная схем внедрения
Leaf1 Leaf2
VM VM VM VM
ESXi
Host1
NTP
SFTP/SCP
ESXi
Host2
Внешние подключения L2/L3,
Существующая сеть
vCenter
Невиртуа-
лизированный
хост
Spine1 Spine2
APICAPICAPIC
Сеть управления

6. Базовая настройка
Cisco Connect 2017 © 2017 Cisco and/or its affiliates. All rights reserved. 6

7. Предварительная подготовка и вводные
• Коммутация элементов фабрики
• Схема с номерами портов и серийными номерами
• Адреса в сети управления
• Минимум – по одному адресу на APIC
• Оптимально – по 2 адреса на APIC + по 1 адресу на коммутатор leaf/spine
• Адрес NTP сервера, DNS сервера (желательно)
• SCP сервер
• Актуальные прошивки
• APIC image, ACI mode switch software, vCenter plugin (если планируется)
• Адрес и логин/пароль vCenter сервера
• Выбор инфраструктурного диапазона IP и инфраструктурной VLAN
• Продумать схему нумерации/имён коммутаторов и именования объектов
Cisco Connect 2017 © 2017 Cisco and/or its affiliates. All rights reserved. 7

8. Первоначальная настройка
• Варианты подключения к APIC для первоначальной настройки
• Монитор и клавиатура
• CIMC (IP KVM)
• Требует предварительной настройки IP адреса с подключением монитора и клавиатуры
• Не пытайтесь настроить Extended shared LOM!
• Консольное подключение (RS-232)
• Скорость порта 115200
• Может использоваться порт на передней панели (через переходник) или RJ-45 сзади
• Будьте внимательны в настройке
• Ряд параметров трудно или невозможно изменить без повторной иницализации
фабрики
• Подключаться консолью к коммутаторам не требуется!
• Если только не использовались ранее
Cisco Connect 2017 © 2017 Cisco and/or its affiliates. All rights reserved. 8

9. Первоначальная настройка - интерфейс
• Сначала выполняем настройку APIC1
• APIC 2 и 3 можно настроить сразу или после обнаружения фабрики
Cisco Connect 2017 © 2017 Cisco and/or its affiliates. All rights reserved. 9
Enter the fabric name [ACI Fabric1]:
Enter the fabric ID (1-128) [1]:
Enter the number of active controllers in the fabric (1-9) [3]:
Enter the POD ID (1-9) [1]:
Is this a standby controller? [NO]:
Enter the controller ID (1-3) [1]:
Enter the controller name [apic1]:
Enter address pool for TEP addresses [10.0.0.0/16]:
Note: The infra VLAN ID should not be used elsewhere in your environment
and should not overlap with any other reserved VLANs on other platforms.
Enter the VLAN ID for infra network (1-4094): 3900
Enter address pool for BD multicast addresses (GIPO) [225.0.0.0/15]:
Out-of-band management configuration ...
Enable IPv6 for Out of Band Mgmt Interface? [N]:
Enter the IPv4 address [192.168.10.1/24]: 10.5.30.143/24
Enter the IPv4 address of the default gateway [None]: 10.5.30.1
Enter the interface speed/duplex mode [auto]:
admin user configuration ...
Enable strong passwords? [Y]: N
Enter the password for admin:
Reenter the password for admin:
Адрес контроллера
и шлюз в сети управления
Оставьте по умолчанию
Номер контроллера (1..3)
Не должен пересекаться с адресами в
остальной сети, рекомендуется /16
Не должен пересекаться с адресами в
остальной сети
Не должен пересекаться с VLAN в остальной
сети и быть зарезервированным

10. Первое подключение в GUI
• Обязательно к адресу APIC1: https://<apic1-ip-address>, логин: admin
• Web GUI доступен через несколько минут после завершения конфигурации
через консоль
• Web-браузер важен (весь GUI – большое HTML5 приложение)
Cisco Connect 2017 © 2017 Cisco and/or its affiliates. All rights reserved. 10

11. Обнаружение оборудования и топологии
• Fabric->Inventory->Fabric Membership
• Будет виден один коммутатор (модель и серийный номер)
• Задать номер и имя, “Update”
• Коммутатор становится частью фабрики и получает инфраструктурный IP адрес
• Далее появляются новые
• После того, как «собрана» фабрика и настроены все контроллеры APIC кластер
должен собраться автоматически
• В процессе сборки кластера в GUI выскакивает сообщение “The Web Socket connection
was closed” – это нормальное поведение
Cisco Connect 2017 © 2017 Cisco and/or its affiliates. All rights reserved. 11

12. Ожидаемое состояние
• В списке членов фабрики Fabric->Inventory->Fabric Membership:
• Видны все коммутаторы, с именами/номерами и инфраструктурными IP адресами
• В топологии Fabric->Inventory->Topology:
• Видна топология фабрики (требует несколько минут после обнаружения коммутаторов)
• В кластере:
• Видны все APIC в статусе “Fully Fit”
Cisco Connect 2017 © 2017 Cisco and/or its affiliates. All rights reserved. 12

13. Остался последний шаг
• «Паттерн» модели политик ACI: Policy->Policy Group->Profile
• Настроить политику BGP Route Reflector:
• Fabric->Fabric Policies->Pod Policies->Policies->BGP Route Reflector default
• Указать номер AS (если не знаете, что это такое, укажите 65500  )
• Добавить как «Route Reflector Nodes» номера обоих Spine коммутаторов
• Настроить политику NTP
• Fabric->Fabric Policies->Pod Policies->Policies->Date and Time->Policy default
• Добавить NTP серверы
• Fabric->Fabric Policies->Pod Policies->Policies->Date and Time->default, указать Time Zone
• Создать группу политик
• Fabric->Fabric Policies->Pod Policies->Policy Groups->Create
• Сделать в ней ссылки на определённые выше политики
• Сослаться на неё в Pod Profile
• Fabric->Fabric Policies->Pod Policies->Pod Profile default
• Настроить политику DNS
• Fabric->Fabric Policies->Global Policies->DNS Profiles->default
• Добавить DNS серверы
Cisco Connect 2017 © 2017 Cisco and/or its affiliates. All rights reserved. 13

14. Теперь можно осмотреться...
Cisco Connect 2017 © 2017 Cisco and/or its affiliates. All rights reserved. 15

15. Управление конфигурациями:
на уровне системы и отдельных тенантов
• Хранение истории конфигураций
• На уровне всей фабрики или отдельных тенантов
• Настройки физических (порты коммутаторы) и
логических (приложения, группы, BD, VRF…) объектов
• Сохранение по команде администратора или по
расписанию
• Возможность сравнения версий конфигуций и
отката изменений
• Сохранение на контроллерах APIC или экспорт на
внешний сервер

16. Диагностика проблем
Управление отказами и показатели «здоровья»
• Идентификация проблем
• На любом уровне иерархии ACI
• Классификация по степени серьёзности
• Текущие отказы и хранение истории
• Возможность настройки
• Показатель «здоровья»
• На любом уровне иерархии
• От 0 до 100
• Возможность поиска причин деградации – анализ
первопричины
• Работа с отказами на контроллерах APIC или
отправка на внешние системы

17. Аудит действий администраторов
• Все действия администратора фиксируются
• На уровне системы в целом
• На любом уровне иерархии
(логическом/физическом)
• Независимо от пути выполения (GUI/CLI/API)
• Разные виды доступа к журналу действий
• Через GUI – для задач устранения проблем
• Через API – для аналитики и контроля соответствия
требованиям
• Экспорт событий на внешние серверы

18. Настройка подключений
Cisco Connect 2017 © 2017 Cisco and/or its affiliates. All rights reserved. 19

19. Внедрение ACI и модель политик
• ACI целиком опирается на модель политик
• Как для настройки приложений/безопасности, так и для настройки
интерфейсов/коммутаторв и т.д.
• Единый источник правды о настройке и состоянии
• «правда всегда в модели политик» 
• Но несколько способов с ней взаимодействовать – разные режимы GUI, визарды,
CLI…
• Модель политик не обязательно знать для настройки
• Но крайне рекомендуется понимать хотя бы в общих чертах
Cisco Connect 2017 © 2017 Cisco and/or its affiliates. All rights reserved. 20

20. Уровень тенантов/приложений/сегментов и уровень
интерфейсов/коммутаторов
• Tenant, приложение, EPG
• BD/подсеть, VRF, L3Out
• Контракты, фильтры
Cisco Connect 2017 © 2017 Cisco and/or its affiliates. All rights reserved. 21
• Домены, VLAN пулы, AAEP
• Политики и группы политик
интерфейсов
• Профили интерфейсов,
коммутаторов
Инфраструктура/
фабрика
Тенанты
Bridge
Domain
Bridge
Domain
Tenant1
VRF VRF
EPGEPG
Application
Profile
Tenant2Common

21. Подключение устройств к фабрике
VLAN-ы и пулы VLAN-ов
Гипервизор
(стоечные сервера)
Гипервизор
(Cisco UCS)
Физические сервера БД
L2+L3 сеть L4-L7 устройства
DB_VLAN_Pool
xOUT_VLAN_Pool ASA_VLAN_Pool
Hypervisor_VLAN_Pool

22. Подключение устройств к фабрике
Домены
Гипервизор
(стоечные сервера)
Гипервизор
(Cisco UCS)
Физические сервера БД
L2+L3 сеть L4-L7 устройства
DB_Serv_PHD Rack_VMD UCS_VMD
xOUT_PHD ASA_PHD
DB_VLAN_Pool
xOUT_VLAN_Pool ASA_VLAN_Pool
Hypervisor_VLAN_Pool

23. Подключение устройств к фабрике
Attachable Access Entity Profile
Гипервизор
(стоечные сервера)
Гипервизор
(Cisco UCS)
Физические сервера БД
L2+L3 сеть L4-L7 устройства
DB_Serv_PHD Rack_VMD UCS_VMD
xOUT_PHD ASA_PHD
DB_Serv_AAEP Rack_AAEP UCS_AAEP
xOUT_AAEP ASA_AAEP
DB_VLAN_Pool
xOUT_VLAN_Pool ASA_VLAN_Pool
Hypervisor_VLAN_Pool

24. Policy Groups
DB_IPG
L2OUT_IPG
vPC_Hypervisor_IPG
Interface Policies
CDP_enabled
LACP_Active
AAEP
DB_Serv_AAEP
xOUT_AAEP
UCS_AAEP
Подключение устройств к фабрике
Картина целиком
Interfaces
Profiles Leaf_1_DB_IP
Leaf_5_UCS_IP
Switche Profiles
Leaf_1_SPP
Leaf_5_SPP
Concrete Model
Logical Model
Virtual Machine
Domains
(vSwitches)
vCenter-01_vDS-01
Application Network
Profile
Hello_world
Phy/Out Domain
DB_Serv_PHD
xOUT_PHD
UCS_PHD
VLAN/VxLAN Pools
DB_VLAN_Pool
xOUT_VLAN_Pool
Hypervisor_VLAN_Pool

25. Разнообразие методов настройки ACI
Выбор за вами!

26. Пример: VPC к серверу и VMM интеграция с vCenter
Шаг 1
• Fabric->Access->
“Configure Interface,
PC, And VPC”
• Создаём группу
коммутаторов с
единой настройкой
(switch profile)
• И нажимаем «+»
для настройки
интерфейсов
Cisco Connect 2017 © 2017 Cisco and/or its affiliates. All rights reserved. 27

27. Пример: VPC к серверу и VMM интеграция с vCenter
Шаг 2
• Создаём VPC policy
group, создаём/
описываем настройки
(обратите внимание
на LLDP, LACP)
• Указываем тип
подключения «ESX
Hosts»
• Описываем VMM
домен (он станет
именем DVS)
Cisco Connect 2017 © 2017 Cisco and/or its affiliates. All rights reserved. 28

28. Пример: VPC к серверу и VMM интеграция с vCenter
Шаг 3
• Указываем
параметры
подключения к
vCenter и диапазон
VLAN
• Добавляем vCenter,
указываем его адрес
и имя
существующего
Datacenter
• Корректно
указываем port
channel mode (на
стороне хостов)
• И сохраняем
Cisco Connect 2017 © 2017 Cisco and/or its affiliates. All rights reserved. 29

29. Пример: VPC к серверу и VMM интеграция с vCenter
Шаг 4
• Создаём VPC домен (если ещё не
создан) и включаем в него нашу пару
коммутаторов
• Проверка:
• В разделе VM Networking->VMWare
должен появиться наш VMM домен,
должен быть виден vCenter
• На стороне vCenter должен появиться
DVS
• Добавляем наш ESX хост в DVS
• Настраиваем VPC для других хостов
(VMM домен заново определять не
нужно – используем уже созданный) и
добавляем хосты в DVS
• В ACI должна быть видна топология
подключения хостов
Cisco Connect 2017 © 2017 Cisco and/or its affiliates. All rights reserved. 30

30. Настройка приложений и сетевой логики
Cisco Connect 2017 © 2017 Cisco and/or its affiliates. All rights reserved. 31

31. Есть лии смысл создавать организации (Tenant)?
• Да!
• Это полезно даже для небольшого внедрения – создаёт «контейнер» с логикой, сетью
и диагностикой – удобно сохрянть/откатывать, клонировать
• Давайте это сделаем, и заодно создадим VRF
Cisco Connect 2017 © 2017 Cisco and/or its affiliates. All rights reserved. 32

32. Описание приложения и связь с инфраструктурой
• В нашем тенанте:
• Создадим Bridge Domain (свяжем его с VRF) и подсеть
• Имя может быть «адресом подсети»: ‘10.0.1.0’
Cisco Connect 2017 © 2017 Cisco and/or its affiliates. All rights reserved. 33

33. Описание приложения и связь с инфраструктурой
• Создадим приложение - и в нём EPG, использующую наш BD, и
ассоциированную с VMM доменом
• Для физического интерфейса – так же, но указываем физический домен и
«статический путь»
Cisco Connect 2017 © 2017 Cisco and/or its affiliates. All rights reserved. 34

34. Всё, можно проверять!
• Подключаем нашу VM в созданную
автоматически порт-группу:
• Connect|Demo|Web – проверьте, что появилась в
vCenter
• Шлюз по умолчанию должен быть доступен с
VM
• ping 10.0.1.1
• VM должна стать видна в EPG->Operational-
>Client End-points
• Имя, адрес сервер и т.д.
• Повторим операцию для второй EPG и
подключим в неё VM
• Можно в том же BD
• Создадим контракт между EPG
• И проверим, что между ними «ходит» трафик
Cisco Connect 2017 © 2017 Cisco and/or its affiliates. All rights reserved. 35

35. #CiscoConnectRu#CiscoConnectRu
Спасибо за внимание!
Оцените данную сессию в мобильном приложении
конференции
© 2017 Cisco and/or its affiliates. All rights reserved.
Контакты:
Тел.: +7 495 9611410
www.cisco.com
www.facebook.com/CiscoRu
www.vk.com/cisco
www.instagram.com/ciscoru
www.youtube.com/user/CiscoRussiaMedia