4. Постановка задачи - 1
• Выбор и рекомендация платформы аппаратных серверов
– 3 градации производительности, определенные Заказчиком
совместно с партнерами/производителями ПО
• Выбор и рекомендация платформы кластеров ESX
– 2 продуктивных кластера
• Дизайн сетевого уровня доступа ЦОД
– выбор архитектуры
• Дизайн подсистемы сетевых адаптеров аппаратных и
виртуализированных серверов
• Дизайн сетевой подсистемы виртуализированных серверов
• Дизайн сети хранения данных
• Контроль доступа к серверной ферме (часть сервисов)
– Кластер А – до 1 Гбит/сек, 10K cps
– Кластер В – до 1 Гбит/сек, 10K cps
– Аппаратные сервера – до 2 Гбит/сек, 30K cps
5. Постановка задачи - 2
• Мониторинг и анализ производительности части приложений (не
всех !)
– Кластер А – до 200 Мбит/сек
– Кластер B – до 150 Мбит/сек
– Аппаратные сервера – до 1 Гбит/сек
• Балансировка нагрузки
– Кластер А – до 1 Гбит/сек
– Аппаратные сервера – до 1 Гбит/сек
• Восстановление данных в резервном ЦОД (РЦОД)
– Recovery Point Objective (RPO) - допустимые потери данных – не
более 1 часа
– Recovery Time Objective (RTO) - время восстановления – не
более 1 часа
– Дизайн Резервного ЦОД (РЦОД) не производить
7. Основные шаги
Идентификация и определение классов серверов
Дизайн LAN (физический и вирутальный) и SAN
Идентификация и определение характеристик системы хранения
Определение характеристик сервисной подсистемы
Определение характеристик выделенной подсистемы управления
Физическое размещение оборудования
8. Идентификация и определение классов серверов
Выделенные серверы для приложений
А нужны ли выделенные аппаратные сервера
для приложений сегодня?
• Определение физических ресурсов сервера каждого класса
– CPU
– memory
– etc.
• Определение характеристик подключения к LAN и SAN сервера
каждого класса
– число интерфейсов
– требования полосы пропускания
– требования отказоустойчивости
– тип адаптера
• Определение количества серверов каждого класса
9. Пример конфигурации выделенных серверов для
приложений Дизайн
Компонента Количество
С260 – 2RU 1
Количество - 4
VIC UCS P81E 2
Высокие требования к
CPU Xeon E7-2800 2 производительности
Компонента Количество
С210 – 2RU 1
Количество - 6
VIC UCS P81E 1
Средние требования к
CPU Xeon X5650 2 производительности
Компонента Количество
С200 – 1RU 1
Количество - 10
VIC UCS P81E 1
Низкие требования к
CPU Xeon X5620 1 производительности
10. Пример конфигурации выделенных серверов для
приложений – соображения по RAM и HDD Дизайн
• RAM
– ограниченное число профилей
– могут потребоваться дополнительные инвестиции при миграции
на гипервизор
Размер Bank 0 Bank 1
128 ГБ 8 х 8 ГБ 8 х 8 ГБ
48 ГБ 6 х 4 ГБ 6 х 4 ГБ
24 ГБ 6 х 4 ГБ -
• HDD
– не рекомедуется использовать локальные HDD
– SAN boot везде, где возможно:
• более быстрое восстановление после сбоя
• простота миграции на UCS B-серии
11. Кластеры vSphere – принципиальная схема
vCenter vSphere
Server Client
Продуктивный Продуктивный
Кластер A Кластер B
Непродуктивнй
VM VM VM VM VM
кластер
FC
ESXi хост
Tier 1 Tier 2 Storage Tier 3 Storage
Storage
12. Кластеры vSphere - свойства
• Продуктивный кластер – 8 хостов
– результат сайзинга VMware
– управление
– cтоимость (capex, opex, upgrade)
– DRS
• Продуктивный кластер > 1 Кластер А
– изоляция
– классификация приложений
• Tier 1 apps: высокие требования к ресурсам
• Tier 2 apps: все остальные
• Непродуктивнй кластер
– тестирование VM Кластер В Кластер
Тест
– апгрейд ESXi
– проверка работы нового функционала
13. Требования к аппаратной платформе гипервизора
• 32 – 96 ГБ ОЗУ на 1 хост
• Встроенное удаленное
управление
• Минимум 2 порта FC и 2
vSphere ESXi порта Ethernet
• 4 ГБ ОЗУ на 1 vCPU
• 2-4 vCPU на одно
физическое ядро
• Все сервера в кластере
должны быть идентичны
14. Пример конфигурации сервера гипервизора Дизайн
Компонента Количество
С200 – 1RU 1
VIC UCS P81E 1 Количество - 24
CPU X5675 2 Vmware ESXi
Размер Bank 0 Bank 1
96 ГБ 6 х 8 ГБ 6 х 8 ГБ
• 3 кластера
– Продуктивный A
– Продуктивный В
– Непродуктивный - Тест
• HDD
– локальные HDD не используются
– SAN boot
15. Общее количество сконфигурированных серверов и
профилей ОЗУ Дизайн
Назначение Модель Количество
Высокая нагрузка С260 4
Средняя нагрузка С210 6
Низкая нагрузка С200 10
Аппаратных серверов 20
ESX хосты С200 24
Всего серверов 44
Размер Bank 0 Bank 1
128 ГБ 8 х 8 ГБ 8 х 8 ГБ
96 ГБ 6 х 8 ГБ 6 х 8 ГБ
48 ГБ 6 х 4 ГБ 6 х 4 ГБ
24 ГБ 6 х 4 ГБ -
16. Дизайн LAN (физический)
• Подключение серверов к уровню доступа серверов
– Число и классы серверов, которые должны быть подключены
– Число портов 10G
• Требования приложений к полосе
– Число портов 10G с поддержкой FCoE
• Требования приложений к полосе
– Число портов 1G
– Высокая доступность
• Подключение уровня доступа серверов к ядру сети
– Переподписка 8:1
– Трансиверы
– Поддержка медных коммутационных шнуров 10G SFP+ со
стороны коммутаторов ядра
17. Общее количество сконфигурированных
физических LAN-интерфейсов Дизайн
Количество Количество 10G
Назначение Модель
Серверов интерфейсов
Высокая нагрузка С260 4 4x2х2=16 (8:8)
Средняя нагрузка С210 6 6x2=12 (6:6)
Низкая нагрузка С200 10 10x2=20 (10:10)
Аппаратных серверов 20 48 (24:24)
ESX хосты С200 24 24x2=44 (24:24)
Всего серверов 44 92 (46:46)
• High Availability
– C260 – по 2 порта к каждому устройству доступа
– С210, С200 – по 1 порту к каждому устройству доступа
18. Дизайн LAN (физический) – схема организации связи
Дизайн
Дизайн ядра сети не (!)
рассматриваем
Si Si
Nexus 5548UP L3
c L3 модулем L2
Nexus 2232
Подключение Подключение
серверов со средней и серверов с высокой
низкой нагрузкой, нагрузкой (8х10G),
непродуктивный кластер продуктивный кластер
ESX, продуктивый ESX с высокой нагрузкой
кластер ESX (8x10G)
19. Дизайн LAN (физический) – количество портов Дизайн
Количество портов на Nexus 5548UP
Назначение Количество
Подключение серверов 8+8=16
vPC 2
L3 peer 1 (2 рекомендуется)
Подключение FEX 4
Ядро LAN 4
Всего портов 26
Количество портов на Nexus 2232
Назначение Количество
Подключение FEX 4
Подключение серверов 32
Всего портов 36
20. Технологии Cisco UCS Adapter FEX и VM-FEX
• Презентация NIC-ов для ОС и поддержка 802.1BR в сторону
коммутатора
– Режим A-FEX : поддержка до16 Eth vNIC и 2 FC vHBA
– Режим VM-FEX : поддержка до 96 vNics
• Функция Adapter Failover : в случае сбоя по основному пути
передачи данных vNIC маппируется во второй (standby) порт
прозрачно для ОС
• Улучшенная безопасность и масштабирование: не нужно
передавать все VLAN-ы в транке в сторону сервера
21. Матрица поддержки технологий A-FEX и VM-FEX
A-FEX Адаптер Сервер ОС Функция Масштабирование
Windows,
Cisco UCS 16 vNIC + 2 vHBAs на адаптер,
Cisco P81E VIC
UCS C series Linux RH, vNic, vHBA 1K на пару N5500
ESX
Windows, Максимум 8 Virtual Interfaces
BCM57712 UCS C series До 8 vNICs, до 2 vHBA
Broadcom CNA Third party*
Linux RH, vNic, vHBA (vNICS + vHBA <=8),
ESX 1K на пару N5500
VM-FEX Адаптер Сервер Гипервизор Функция Масштабирование
Cisco UCS UCS C VMware vNic, 96 на адаптер
Cisco P81E VIC series Vsphere migration 2K на пару N5500
* Depending on OEM qualification
22. Дизайн LAN (физический) – A-FEX Дизайн
Число адаптеров на ОС
Количество вирт. адаптеров, создаваемых на физических хостах
Количество Функция Транк
Сервер с высокой нагрузкой
Пользователи продуктивный, приложения
5 нет
сервисный, БД сервисный, hearbeat, monitoring
Сервер со средней нагрузкой
2 Внутренний сервисный, внешний продуктивный нет
Сервер с низкой нагрузкой
1 Продуктивный нет
Всего на всех физических хостах: 5х4+2х6+1х10=42
23. Дизайн LAN (виртуальный) – A-FEX Дизайн
VMware ESX- число виртуальных адаптеров VIC
Количество виртуальных адаптеров, создаваемых на 1-ом ESX хосте
Количество Функция Транк
2 Продуктивные интерфейсы гостевых ОС Да
Management LAN
VMware Management
VMware Cluster Heartbeat
2 Да
Cisco Nexus Management
Cisco Nexus Control
Cisco Nexus Packet
2 vMotion Нет
2 Fault Tolerance (если используется) Нет
1 VM – Troubleshooting Нет
Всего на виртуальных продуктивных хостах: 9 х 16 = 144
• Физическая изоляция разных классов трафика
24. Дизайн
Дизайн LAN (виртуальный) - схема организации связи
VSM для кластера: А
Nexus 1000V VSM Active Standby Nexus 1000V VSM
VSM для кластера: B
Nexus 1000V VSM Nexus 1000V VSM
VSM для кластера: Тест
Nexus 1000V VSM Nexus 1000V VSM
Standby Active
Nexus 1010 - A Nexus 1010 - B
25. Подключение Nexus 1010
Управление - 2 LoM интерфейса Дизайн
Control, Packet – порты 3 и 4
Данные (в сторону NAM) – порты 5 и 6
Mgmt Control Packet Data
Количество портов на Nexus 5548UP
Назначение Количество
Было занято до этого
26
шага дизайна
Nexus 1010 - A 3
Nexus 1010 - B 3
Всего портов 32
26. Дизайн SAN, общие соображения - 1
• Плотность портов и топология
– сколько портов сейчас и какое расширение планируется?
– Multistage, core-edge, collapsed core
• Высокая доступность
– Отказоустойчивая фабрика
– Port channel
• Производительность
– Переподписка 8:1
SAN
• Управление трафиком
– per-VSAN routing
– QoS
– Резервирование полосы
• Подключение Backup-системы
27. Дизайн SAN, общие соображения - 2
• Виды приложений
High IO
– One-tier Throughput
– Two-tier
– Three-tier
– N-Tier
– Web
– Stand-Alone Tier 1 Tier 2 Tier 3
• Multi tier – система хранения
• Кластеры для балансировки
нагрузки
• Кластеры высокой
доступности
• Профиль трафика во времени
• IOPS
28. Дизайн SAN – схема организации связи Дизайн
FC
Продуктивная СХД
FC
MDS 9148 - A MDS 9148 - B
Непродуктивная СХД
HBA-1 HBA-2
29. Дизайн SAN – подключение MDS - 1 Дизайн
Подключение MDS 9148-A
Назначение Количество
Nexus 5548UP - 1 8
Система хранения – Service Processor A 4
Система хранения – Service Processor B 4
Система хранения (тест) 4
Всего портов 20
Количество портов на Nexus 5548UP
Назначение Количество MDS 9148-B
Было занято до этого
32
аналогичная
шага дизайна
таблица
MDS 9148 8 подключений
Всего портов 40
30. Дизайн SAN – Multipathing
• Рекомендация - отказоустойчивая подсистема ввода/вывода
• Обнаружение ошибок, динамическое переключение и
восстановление
• Режимы работы: active-active или active-passive
• Прозрачно для приложений на сервере
• Примеры:
– EMC Power Path
Cisco MDS
– Microsoft MPIO
Отказоустойчивая
фабрика
Сервер с FC
multipath-
драйвером
Система хранения
31. Дизайн SAN – количество лицензий multipathing Дизайн
Лицензий EMC Powerpath (хосты+CPU сокеты)
Количество Количество CPU
Назначение
хостов сокетов
Высокая нагрузка 4 8
Средняя нагрузка 6 12
Низкая нагрузка 10 10
ESX хосты 24 48
Всего 44 78
https://community.emc.com/thread/100453
32. Идентификация и определение характеристик системы
хранения
• Конфигурация и свойства системы хранения должны быть
определены с участием партнера/производителя системы
– EMC – протестированные конфигурации Vblock
– NetApp – протестированные конфигурации FlexPOD
– Больше шпинделей –> больше IOPS
• VMware vStorage API for Array Integration (VAAI)
– аппаратная акселерация операций с системой хранения
• Продуктивная система хранения отдельно от тестовой
• Многоуровневое хранение данных (SSD, FC, SATA)
• Использование Best Practice от VMware
– Configuring VMware vCenter Server to send alarms when virtual
machines are running from snapshots KB 1018029
– Best practices for virtual machine snapshots in the VMware
environment KB 1025279
33. Определение характеристик сервисной подсистемы
Разграничение доступа
Мониторинг трафика
Балансировка нагрузки
Оптимизация трафика в распределенной сети
Data Center Interconnect
34. Разграничение доступа
• Оценка производительности требуемых МСЭ, контексты
– packet per seconds (PPS)
– connections per seconds (CPS)
• Режим встраивания в процесс передачи данных
– transparent
– routed
• Режим высокой доступности
– active-active
– active-standby
• Разработка и настройка политик безопасности
• Рекомендации Cisco SAFE
– Прозрачный режим (transparent)
– Коммутация между VLAN в разных VDC (Nexus 7000)
35. Поддержка Etherchannel в ASA 8.4.1
vPC Active & Passive: определяется LACP
peer link Mode On: Статичная конфигурация (без LACP)
VLAN интерфейсы конфигурируются поверх
интерфейса Port-Chanel
vPC vPC
Поддерживаются все модели ASA
EC EC
Интерфейсы порт-группы разделяют один MAC адрес
Active Standby Hash algorithm - настраивается. По умолчаниюю -
Source, Destination IP адреса
36. Дизайн
Разграничение доступа - дизайн
HA
ASA-5585-X-1 ASA-5585-X-2
EC EC
Nexus-5548UP-1 Nexus-5548UP-2
Количество портов на Nexus 5548UP
Назначение Количество
Было занято до этого
40
шага дизайна
ASA-5585-X-1 1
ASA-5585-X-2 1
Всего портов 42
37. Мониторинг трафика
• Определение списка приложений и сервисов для мониторинга
• Оценка производительности
– Мбит/сек
• Режим сбора данных
– SPAN/ERSPAN
– NetFlow
38. Nexus 1000V NAM Virtual Service Blade
• ПО NAM запускается на
Nexus 1000V NAM
устройстве Nexus 1010 Virtual Service Blade
– защита инвестиций;
– простота управления.
• Решение для мониторинга и
поиска неисправностей в
окружении Nexus 1000V:
• Анализ трафика и отчетность
• Анализ времени отклика
приложения
• Статистика по интерфейсам до
уровня виртуальной машины
• Сосуществует с VSM
Nexus 1010 Virtual
Services Appliance
39. Дизайн
Мониторинг трафика - дизайн
NAM-VSB-1 NAM-VSB-2
Мониторинг Мониторинг
Кластера А Кластера B
Nexus-1010-A Nexus-1010-B
До 2 Гбит/сек
До 386 Мбит/сек NAM-2204
Предел производительности Мониторинг приложений
VSB NAM 5.1 на длине
пакета 512 байт на аппаратных серверах
40. Дизайн
Мониторинг трафика – дизайн
Количество портов на Nexus 5548UP
Назначение Количество
Было занято до этого
42
шага дизайна
NAM-2204 1
Всего портов 43
41. Балансировка нагрузки
• Оценка производительности
– Гбит/сек
– CPS (соединений в секунду)
• Количество контекстов One Arm
• Режим встраивания в процесс
передачи Routed Mode
– one arme mode
– routed mode
– bridged mode
• Высокая доступность Bridged Mode
• Правила балансировки
• Мониторинг состояния приложений
42. Дизайн
Балансировка нагрузки - дизайн
ACE-4710-1 ACE-4710-2
EC EC
Nexus-5548UP-1 Nexus-5548UP-2
Количество портов на Nexus 5548UP
Назначение Количество
Было занято 43
ACE-4710-1 1
До 4 Гбит/сек
Предел производительности
ACE-4710-2 1
Всего портов 45
43. Data Center Interconnect – приложения на аппаратных
серверах
• Существующие кластеры
Microsoft MSCS, Solaris Sun Enterprise
Core
Cluster Enterprise, Oracle RAC
IBM HCM Cluster VIP
Растянутый
• Режим Active-Standby VLAN
• Следующие механизмы
используются для Heartbeat 1
синхронизации кластера: Heartbeat 2
SAN A
heartbeat, status & control
Active Standby
сообщения, сообщения дл Растянутый
поддержки VIP SAN
– L2 связность
SAN B
• Клиенты подключаются
прозрачно к разделяемому VIP
адресу
44. Data Center Interconnect
Что делать, если у приложения нет встроеных средств организации
высокой доступности?
• Disaster avoidance – предотвращение сбоев
– на уровне хоста – vMotion
– на уровне дата-центра – inter-site (long distance) vMotion
• Disaster recovery – восстановление после сбоев
– На уровне хоста – VMware High Availability
– На уровне дата-центра
• VMware Site Recovery Manager
• VMware High Availability
• Определить критерии восстановления после сбоя
– Recovery Point Objective (RPO)
– Recovery Time Objective (RTO)
45. Использование VMware SRM
ЦОД
Достоинства решения: РЦОД
• Асинхронная репликация
• Низкие требования к каналам
VMware
• Компрессия траффика при VMware
передаче (зависит от вендора
решения по синхронизации
СХД)
SAN
FC FC
Система синхр. Система синхр.
Недостатки решения:
• Ручной рестарт виртуальных
машин при сбое
Система Система
• Простой при восстановлении
хранения хранения
• Невозможность работы с
одними и теми же данными с
двух площадок одновременно
46. Использование VMware HA
Достоинства решения:
ЦОД РЦОД
• Синхронная репликация или
виртаулизированная
распределенная СХД
• Одновременный доступ к данным с VMware
VMware
любой площадки
• Прозрачное перемещение
приложений между площадками
• Сохранение аботоспособности при
сбоях
FC FC
• Отсутствие простоев при
регламентных работах
РАСПРЕДЕЛЕННЫЙ ВИРТУАЛЬНЫЙ ТОМ
Система Недостатки решения: Система
хранения • Высокие требования к каналам хранения
47. Дизайн
Связь с РЦОД - дизайн
• OTV на ASR1K
– поддержка появится в
ближайшее время
• Асинхронная
синхронизация двух
систем хранения
• Объединение 2-х СХД
– рекомендации по
количеству FC каналов
для синхронизации
формирует вендор
системы СХД
48. Дизайн
Подсистема управления
• Количество Ethernet интерфейсов для OOB управления = 57
– 2 выделенных коммутатора 3560-48
• Выделенный кластер Vmware из 2-х серверов
– vCenter
– Система управления СХД
• «Растянутый кластер» Vmware
– vCenter Hearbeat
49. Физическое размещение оборудования (без СХД)
Система Количество систем RU на систему RU всего
Высокая нагрузка 4 2 8
Средняя нагрузка 6 2 12
Низкая нагрузка 10 1 10
ESX хосты 24 1 24
Nexus 5548UP 2 1 2
Nexus 2232 2 1 2
ASA 5585-X 2 2 4
Nexus 1010 2 1 2
ACE 4710 2 1 2
MDS 9148 2 1 2
NAM 2204 1 1 1
3560-48 2 1 2
Всего 71
52. С высоты птичьего полета
Управление Менеджеры устройств
Автоматизация
Оркестрация
Вычисления
Hypervisor
Стоечные серверы
Блейд-шасси
Cisco UCS
Гипервизоры
Сеть хранения Ресурсы хранения
Ядро Дисковые массивы
Конвергентные IP
сети
Доступ FC
Сервисы сети Разграничение доступа
Соединение Предотвращение вторжений
площадок Балансировка нагрузки
Сеть передачи данных
Агрегация
Физический доступ
Виртуальный доступ
53. Не забывая про детали
Виртуализированный
FC HBA FC адаптер
FC HBA FC vHBA
NIC LAN vHBA
vNIC
NIC LAN
vNIC
NIC Mgmt vNIC
NIC Backup vNIC
vNIC
NIC Cluster
