2. План на сегодня
• Что такое серверная платформа UCS. Краткое напоминание
• UCS M-серии – идеология и архитектура
• UCS M-серии – используемое оборудование
• Специфика управления UCS M-серии
• Для кого это? Сценарии применения
• Что еще интересного можно рассмотреть вместе с М-серией
• Планы по развитию
4. UCS Manager
• Управление на основе абстракций
• Сокращение времени развертывания
• Перераспределение ресурсов быстро и
эффективно
• Оптимизация инфраструктуры
• Взаимозаменяемые ресурсные пулы
Унифицированная фабрика
Вычислительные узлы
БЕЗ компромиссов
• Поддержка как блейд так и стоечных
серверов в единой системе
• Поддержка виртуализированных и bare-
metal приложений
Виртуализированный
ввод-вывод
• Гибкость и масштабируемость
• Высокая производительность
Составные части Cisco UCS
XML API
STANDARD
API’S
5. UCS меняет определение сервера и то, как с ним
работать
• В Cisco UCS (Unified Computing
System) архитектурно интегрированы
и неотделимы друг от друга:
– Вычислительные мощности,
– Единая сетевая инфраструктура
– Управление системой как единым
целым
• Нет понятия «настройка сервера» -
есть настройка фермы
• Нет понятия «настройка портов
коммутаторов» – фабрика одна
(резервированная) и настраивается
автоматически
• Отсутствуют в принципе вопросы и
сложности интеграции и
согласованной настройки серверной и
сетевой части
6. Компоненты системы
Адаптеры ввода-вывода
80G универсального ввода-вывода
Нужное число адаптеров любого типа (в т.ч. для VM)
Серверные модули
2-х и 4-процессорные серверы на базе
процессоров Intel Xeon E5 и E7
Центральный коммутатор (Fabric Interconnect)
Системо-образующее устройство (2 на систему)
48 или 96 универсальных портов (10GE, FCoE, FC)
Модуль ввода-вывода (Fabric Extender)
Выносная линейная карта коммутатора фабрики
внутри шасси (2 на шасси)
Блейд-шасси
До 20 шасси на одну систему
Высокая эффективность питания и охлаждения
UCS Manager: GUI и интерфейсы (API)
Единая точка управления – “device manager”
Работает внутри Fabric Interconnect
7. Fabric Interconnect – мозг и сердце системы
Fabric Interconnect 6248
48 универсальных неблокируемых портов (GE, 10GE, FC)
32 порта «в базе»
16 портов – в дополнительном модуле расширения
Fabric Interconnect 6296
96 универсальных неблокируемых портов (GE, 10GE, FC)
48 портов «в базе»
3 слота для дополнительных 16-портовых модуля
Единая интегрированная коммутирующая и управляющая инфраструктура:
до 20 блейд-шасси, до 160 стоечных серверов
8. Виртуализированный адаптер VIC
§ Много «виртуальных» адаптеров на одном
физическом с использованием VNTag
(802.1BR)
§ Ethernet, FC, usNIC
§ Потенциально сотни адаптеров на сервер,
каждый из них – физическая PCI функция
§ «Виртуальный» адаптер может быть
представлен ОС хоста
§ … или напрямую виртуальной машине
(Vmware, HyperV, KVM)
§ Отказоустойчивость на аппаратном уровне,
прозрачно для ОС и драйверов
§ Высокая производительность
§ 8х 10Gb
§ >500K IOPS
9. Интегрированное управление
UCS Manager
GUI
Внешние системы
управления
CLI
Primary Secondary (HA)
Специализированные
утилиты и порталы
• Единое управление ВСЕЙ системой (до
320 серверов и вся LAN/SAN
инфраструктура) из ОДНОЙ точки
(резервированной)
• Физические серверы не являются
объектом конфигурирования – они всего
лишь часть ресурсного пула
• Внутренние сетевые порты не являются
объектами конфигурирования – они
настраиваются автоматически
• Конфигурируются общие политики,
шаблоны, профили – многократно
используемые, тиражируемые элементы
• Все серверные настройки отвязаны от
«железа» – «динамические»,
«мобильные», «масштабируемые»
• Система управления интегрирована
и резервирована
10. Сервисный профиль – логическая конфигурация
сервера
Сервисный профиль – абстрактная, мобильная, тиражируемая конфигурацию
сервера (или серверов):
Идентификаторы (UUID, MAC, WWN)
Ввод-вывод (число, тип и конфигурация адаптеров)
Конфигурация (BIOS, прошивки, RAID и т.д.)
Сетевые подключения (VLAN, VSAN, QoS и т.д.)
BMC FirmwareMAC Address
NIC Firmware
NIC Settings
Drive Controller F/W
Drive Firmware
UUID
BIOS Firmware
BIOS Settings
Boot Order
WWN Address
HBA Firmware
HBA Settings
Конфигурация абстрагирована от железа
LAN Connectivity SAN ConnectivityOS & Application
Chassis-1/Blade-2
Chassis-8/Blade-5
LAN SAN
Server Name: LS-A
UUID: 56 4d cd 3f 59 5b…
MAC : 08:00:69:02:01:FC
WWN: 1080020000075740
Boot Order: SAN, LAN
11. «Масштабируемое управление» с нулевыми
рисками
Сервисный шаблон;
определяет
конфигурацию фермы
Server Name UUID Boot Order
Boot ParametersWWN/WWPNMAC Address
SAN Attributes LAN Attributes
Server Name UUID Boot Order
Boot Parameters
WWN/WWPNMAC Address
SAN Attributes LAN Attributes
Server Name UUID Boot
Order
Boot ParametersWWN/WWPNMAC Address
SAN Attributes LAN Attributes
Server Name UUID Boot
Order
Boot ParametersWWN/WWPNMAC Address
SAN Attributes LAN Attributes
Server Name UUID Boot
Order
Boot ParametersWWN/WWPNMAC Address
SAN Attributes LAN Attributes
Server Name UUID Boot
Order
Boot ParametersWWN/WWPNMAC Address
SAN Attributes LAN Attributes
Server Name UUID Boot
Order
Boot ParametersWWN/WWPNMAC Address
SAN Attributes LAN Attributes
Server Name UUID Boot
Order
Boot ParametersWWN/WWPNMAC Address
SAN Attributes LAN Attributes
Server Name UUID Boot
Order
Boot ParametersWWN/WWPNMAC Address
SAN Attributes LAN Attributes
Server Name UUID Boot
Order
Boot ParametersWWN/WWPNMAC Address
SAN Attributes LAN Attributes
Server Name UUID Boot
Order
Boot ParametersWWN/WWPNMAC Address
SAN Attributes LAN Attributes
Server Name UUID Boot
Order
Boot ParametersWWN/WWPNMAC Address
SAN Attributes LAN Attributes
Server Name UUID Boot
Order
Boot ParametersWWN/WWPNMAC Address
SAN Attributes LAN Attributes
Server Name UUID Boot
Order
Boot ParametersWWN/WWPNMAC Address
SAN Attributes LAN Attributes
• Вся серверная ферма настраивается
в ОДНОМ шаблоне – один объект для
управления десятками и сотнями
серверов и их сетевыми
подключениями
• Полная абстракция от оборудования –
шаблон определяет конфигурацию
сервера ПОЛНОСТЬЮ, и может быть
применен к оборудованию разного
типа
• Массовое изменение аппаратной
конфигурации фермы через
модификацию ОДНОГО объекта
• Ферм в системе может быть много
12. Масштабирование системы
Сервисный шаблон;
определяет
конфигурацию фермы
Server Name UUID Boot Order
Boot ParametersWWN/WWPNMAC Address
SAN Attributes LAN Attributes
Server Name UUID Boot
Order
Boot ParametersWWN/WWPNMAC Address
SAN Attributes LAN Attributes
Server Name UUID Boot
Order
Boot ParametersWWN/WWPNMAC Address
SAN Attributes LAN Attributes
Server Name UUID Boot
Order
Boot ParametersWWN/WWPNMAC Address
SAN Attributes LAN Attributes
Server Name UUID Boot
Order
Boot ParametersWWN/WWPNMAC Address
SAN Attributes LAN Attributes
Server Name UUID Boot
Order
Boot ParametersWWN/WWPNMAC Address
SAN Attributes LAN Attributes
Server Name UUID Boot
Order
Boot ParametersWWN/WWPNMAC Address
SAN Attributes LAN Attributes
Server Name UUID Boot
Order
Boot ParametersWWN/WWPNMAC Address
SAN Attributes LAN Attributes
Server Name UUID Boot
Order
Boot ParametersWWN/WWPNMAC Address
SAN Attributes LAN Attributes
Server Name UUID Boot
Order
Boot ParametersWWN/WWPNMAC Address
SAN Attributes LAN Attributes
Server Name UUID Boot
Order
Boot ParametersWWN/WWPNMAC Address
SAN Attributes LAN Attributes
Server Name UUID Boot
Order
Boot ParametersWWN/WWPNMAC Address
SAN Attributes LAN Attributes
Server Name UUID Boot
Order
Boot ParametersWWN/WWPNMAC Address
SAN Attributes LAN Attributes
Server Name UUID Boot
Order
Boot ParametersWWN/WWPNMAC Address
SAN Attributes LAN Attributes
Server Name UUID Boot
Order
Boot ParametersWWN/WWPNMAC Address
SAN Attributes LAN Attributes
Server Name UUID Boot
Order
Boot ParametersWWN/WWPNMAC Address
SAN Attributes LAN Attributes
Server Name UUID Boot
Order
Boot ParametersWWN/WWPNMAC Address
SAN Attributes LAN Attributes
Server Name UUID Boot
Order
Boot ParametersWWN/WWPNMAC Address
SAN Attributes LAN Attributes
Server Name UUID Boot
Order
Boot ParametersWWN/WWPNMAC Address
SAN Attributes LAN Attributes
Server Name UUID Boot
Order
Boot ParametersWWN/WWPNMAC Address
SAN Attributes LAN Attributes
Server Name UUID Boot
Order
Boot ParametersWWN/WWPNMAC Address
SAN Attributes LAN Attributes
Server Name UUID Boot
Order
Boot ParametersWWN/WWPNMAC Address
SAN Attributes LAN Attributes
Server Name UUID Boot
Order
Boot ParametersWWN/WWPNMAC Address
SAN Attributes LAN Attributes
Server Name UUID Boot
Order
Boot ParametersWWN/WWPNMAC Address
SAN Attributes LAN Attributes
Server Name UUID Boot
Order
Boot ParametersWWN/WWPNMAC Address
SAN Attributes LAN Attributes
Server Name UUID Boot Order
Boot Parameters
WWN/WWPNMAC Address
SAN Attributes LAN Attributes
• Масштабирование фермы «по
щелчку» или автоматически
• Минимальные риски
• Ферма может расширяться серверами
с другой аппаратной «начинкой»
13. В поисках новых рынков.
Модульная платформа для
приложений нового поколения
14. Масштабируемые вычисления изменяют
архитектуру серверов
Традиционные
приложения
Облачные и масштабируемые
приложения
Много
приложений
Сервер Один сервер
Много
серверов
Одно
приложение
SCM
ERP/
Financial Legacy CRM Email
Online
Content Gaming Mobile IoT
eComm
erce
Гипервизор
16. Shared Local Resources
PCIe
Compute Cartridges
UCS M Series
Разделяемые локальные ресурсы
Лучше утилизация ресурсов
Распределение ресурсов между несколькими узлами
Cisco System Link Technology
Базируется на адаптере Cisco VIC 3-го поколения
Модульный дизайн
Эффективное управление жизненным циклом
Возможности масштабировать подсистемы независимо
Меньше компонентов
Выше плотность
Оптимизация цены и энергопотребления
UCS M-серия. Архитектура.
16
17. 2 x 40 Gb
Uplinks
Midplane
4 x SSD Drives
w/Controller
Power
& CoolingПриложение
видит…
UCS
Management
К ресурсам
применяются
профили на
основе
политик
Вычисли-
тельные
ресурсы
Ресурсы
хранения
Ресурсы
питания и
охлаждения
UCS M-серия. Архитектура
2U Rack Mount Chassis
Сетевые
ресурсы
17
19. System Link Technology
• System Link Technology реализует те же
механизмы что и «традиционный» VIC
для создания PCIe устройств доступных
для использования сервером
• Основное отличие в том, что System Link
– микросхема в шасси, а не плата в
сервере
• System Link – основа платформы М-
серии и предоставляет доступ к
устройствам ввода-вывода
• System Link подключает устройства к
серверам (вычислительным модулям)
через midplane
• System Link позволяет использовать
разделяемые сетевые и дисковые
ресурсы
Virtual
Drive
SCSI
Commands
20. System Link Technology
• Тот же самый ASIC, который
используется для VIC 3-го
поколения
• M-серия использует
дополнительные возможности
чипа, такие как:
• Gen3 PCIe root complex для
подключения к PCIe платам (в
частности дисковому контроллеру)
• 32 Gen3 PCIe линии,
подключенные к CPU в
картриджах
• 2 x 40Gbps аплинки
• Масштабирование до 1024 PCIe
устройств на ASIC (например vNIC)
32 линии
Gen3
PCIe
40Gbps QSFP
x2
Картриджи Сеть
Дисковый
контроллер
21. Ограничения на сегодня
• UCS M-серия поддерживается UCSM версии 2.5
• Только Ethernet
• Поддержка до 2 LUN-ов на сервер
• Поддержка до 4 vNIC-ов на сервер
• «Свой» UCS Manager (объединение планируется в ближайшем
будущем)
• FCoE планируется в будущем
• Но для целевых Заказчиков М-серии все вышеперечисленное как
правило не имеет значения
23. UCS M-серия - шасси
2 RU
• Новый конструктив -
модульное шасси UCS
M4308
• Базируется на технологии
Cisco System Link
• 8 слотов под картриджи с
процессорами и памятью
• В шасси размещены
разделяемые компоненты
(адаптеры, диски, питание,
охлаждение)
• Фокусные области:
плотность,
энергоэффективность,
модульность,
легкость в обслуживании и
управлении
Вид сзади
4 x SSD – от 480 GB SATA
до 6.4 TB SAS
2 x 40 Gb Uplinks
Блоки питания
2 x 1400 Вт
24. UCS M-серия – портфель картриджей
1 2
16 серверов на шасси 2U,
в каждом:
• 1 процессор Xeon E3
• 32 GB памяти
• Max ClockSpeed – 2.7 GHz
• Max TDP – 45 W /proc
8 серверов на шасси 2U,
в каждом:
• 1 процессор Xeon E3,
до 3.7ГГц
• 32 GB памяти
4 сервера на шасси 2U,
в каждом:
• 2 процессора Intel Xeon
E5 v3 (до 10 ядер 2.6GHz)
• 16 слотов DIMM
UCS M142 UCS M1414
UCS M2814
25. UCS M-Series : Доступные картриджи
Availability
2.7 GHz 4C 45 W 2.4 GHz 8C 3.4 GHz 4C
2.0 GHz 4C 25 W 2.6 GHz 8C 3.5 GHz 4C
1.1 GHz 2C 13 W 2.3 GHz 10C 3.6 GHz 4C
2.6 GHz 10C 3.7 GHz 4C
Servers / RU
Cores / RU
Mem / Core 8 GB
2.5 (2a) MS
EDA, Other Grid Apps requiring
high clockspeed
M1414M2814M142
12.8 GB
2.5 (2a) MS
Apps requiring higher memory-
to-core ratio or large L2 cache
Now shipping
Xeon E3 v3
8 GB UDIMMs
32 GB
4
16
8 GB
2.5 (1a) MS
Web Servers, Memcache,
Genomic Research, MaaS
Now shipping
Xeon E5 v3
16 GB RDIMMs
256 GB
2
40
UCS Manager
Target Workloads
Now shipping
Xeon E3 v3
8 GB UDIMMs
32 GB
8
32
Processor
SKUs
Memory DIMMs
Max Memory / Server
Density
26. UCS M142
1 2
2 сервера на картридж, итого 16 серверов в шасси 2U, в каждом:
• один 4-ядерный процессор Intel Xeon E3-1200 v3
• Поддерживаются 1220Lv3 (1.1GHz 13W), 1240Lv3 (2.0GHz 25W), 1275Lv3
(2.7Ghz 45W)
• 4 слота DIMM – 32GB DDR3 UDIMM
27. UCS M1414
8 серверов в шасси 2U, в каждом:
• один 4-ядерный процессор Intel Xeon E3-1200 v3
• Поддерживаются 1231v3 (3.4GHz), 1241v3 (3.5GHz), 1271v3 (3.6GHz),
1281v3 (3.7GHz)
• 4 слота DIMM – 32GB DDR3 UDIMM
28. UCS M2814
4 сервера на шасси 2U, в каждом:
• 2 процессора Intel Xeon E5-2600 v3
• поддерживаются 2630v3 (8c 2.4GHz), 2640v3 (8c 2.6GHz), 2650v3 (10c 2.3Ghz),
2660v3 (10c 2.6GHz)
• 16 слотов DIMM (сегодня до 256GB RAM DDR4 2133), минимум 64GB
29. Типовая конфигурацияВид спереди
M142
Compute
Cartridge
2 RU
8 Cartridges
Intel Xeon E3 (4 Cores) 32 GB Memory
1 2
Вид сзади
4 x SSD – 400GB
Блоки питания –
2 x 1400 Watts
2 x 40 Gb Uplinks
На один шкаф
Шасси – 20
Серверы – 320
Ядра – 1280
Память – 10TB
Диски – 128TB 40 Gb ports
Подключения к FI
29
30. Модульные серверы UCS M-серии
• UCS M-серия подключается к UCS Fabric Interconnect (20 шасси на одну систему)
• Единое управление сотнями и тысячами серверов на основе шаблонов и политик
• Централизованное управление многими системами с UCS Central
33. Система управления UCS Central
Одна консоль
Много UCS доменов
UCS Central: централизованное управление UCS доменами
34. UCS Central: глобальные политики, сервисные
профили и шаблоны
UCS Domain 1
UCS Domain 2
UCS Domain 3
Global Service Profile Template
HR-Apps
Network: HR-VLAN
Network QoS: High
BIOS: Version 1.03
Boot Order: SAN, LAN
Global Service Profile
HR-App1
Network: HR-VLAN
Network QoS: High
MAC: 67:6f:74:75:63:73:21:20
WWN: 00:05:9b:67:6f:75:63:70
BIOS: Version 1.03
Boot Order: SAN, LAN
Global Service Profile
HR-App2
Network: HR-VLAN
Network QoS: High
MAC: 67:6f:74:75:63:73:21:21
WWN: 00:05:9b:67:6f:75:63:72
BIOS: Version 1.03
Boot Order: SAN, LAN
Global Service Profile
HR-App3
Network: HR-VLAN
Network QoS: High
MAC: 67:6f:74:75:63:73:21:23
WWN: 00:05:9b:67:6f:75:63:73
BIOS: Version 1.03
Boot Order: SAN, LAN
• Глобальные шаблоны определяются
в UCS Central
• Глобальные шаблоны используют
глобальные политики
• Глобальные сервисные профили
получаются из глобальных
шаблонов
• Глобальные сервисные профили
могут использовать глобальные
серверные пулы и глобальные пулы
идентификаторов
• Глобальные серверные пулы могут
включать в себя сервера из
нескольких доменов
• Глобальные сервисные профили
могут назначаться вручную, а могут
автоматически ассоциироваться с
серверным пулом
35. UCS Central: агрегация статистики
UCS Central
Ограниченные возможности по накоплению
статистики на Fabric Interconnect
Внешняя БД
Oracle,
PostgreSQL
MS SQL
Ограниченное число
отчетов
Внешняя
система отчетов
SQL
• UCS Manager собирает большое количество
статистики (сеть, питание, температура)
• UCS Central может хранить данные гораздо дольше
по сравнению с UCS Manager
• Хранимые данные можно использовать для анализа
• Хранение во внешней БД – доступность для
аналитического ПО 3-х производителей
36. Чем UCS M-серии отличается от
остальных UCS в плане управления?
37. Управление LUN-ами UCS M-серии
/
Host PCIe
Interface
RAID 1
Drive Group 1
1.6TB
RAID 0
Drive
Group 2
1.6TB
RAID 0
Drive
Group 3
1.6TB
vd5
200GB vd29
100GB
/dev/sda
/dev/sdb
C:
D:
• Внутри полки с серверами
– разделяемые дисковые
ресурсы
• LUN-ы «нарезаются»
средствами UCS Manager
при создании сервисных
профилей
• Конфигурация LUN-ов
задается при помощи
Storage Profile,
описывающего сколько и
каких ресурсов нужно
серверу
• Storage Profile
приписывается к серверу,
или – гораздо чаще – к
шаблону
46. • Web Serving
• Bare Metal As A Service / Hosted Desktops
Dense Compute (Microservers)
• Transcoding
• Cloud based graphics design
• MMOG (Cloud Gaming)
Datacenter Graphics
• Electronic Design Automation
• Genomics Research
Grid Computing
Частые сценарии использования
47. Citrix XenApp и М-серия.
60 пользователей на узел,
960 на одно шасси,
19200 на один шкаф
48. Почему XenApp и М-серия?
• Широкая распространенность XenApp
• Хорошая плотность – 16 серверов на 2RU
• Потенциально интересная экономика
• XenApp отлично ложится на архитектуру Scale Out
49. Используемое ПО
Software Version
UCSM Firmware 2.5(2a)
Windows Server 2012 R2
Citrix XenApp 7.6
Citrix Provisioning
Services
7.6
Citrix Storefront 3.0
Citrix User Profile
Manager
5.2.1
Login VSI 4.1.4
60. Some Important Types of Online Games (MMOG)
FPS – First Person Shooter – eg. Half Life
• Combat Games - player experiences the action through the eyes
of the protagonist
• Network latency sensitive ( less than 100 ms of response time)
• CPU Intensive , moderate on Memory
• Generally deployed on Bare Metal Cloud
RPG – Role Playing Games – eg. Final Fantasy
• players assume the roles of characters in a fictional setting.
• Players take responsibility for acting out these roles within a
given situation
• Less Network latency sensitive – ( 1 second and above)
• Moderate on CPU and memory
• Deployed on Shared Infrastructure and Co-location model
• Goes on for several days
TPS – Third Person Shooter
• the third-person shooter shows the protagonist from an "over the
shoulder shot" or "behind the back" perspective
• It combines the shooting elements of the first-person shooter
with the jumping and climbing
• Network latency sensitive – (less than 100 ms of response time)
• Moderate on CPU and memory
• Both Shared and bare-metal Cloud
61. MMOG- Infrastructure provisioning foot print
• MMORPG – Massive Multi Player Role Playing Games
• MMOTPS - Massive Multi Player Third Person Shooter Games
• MOFPS– Massive Multi Player First Person Shooter
62. MMOG – Bare Metal Services – Case Studies
Multiplay and KUULUU Launch Games with SoftLayer, an IBM Company
https://www.softlayer.com/press/release/2122/multiplay-and-kuuluu-launch-games-with-softlayer-
an-ibm-company
Bare-metal cloud has accelerated Hi-Rez Studios Online gaming
http://www.internap.com/2013/05/21/bare-metal-cloud-meets-online-gaming/
63. Модульные серверы M-Series для MMOG
MMOG # 1 MMOG # 2
Large Client
downloads
Central Management Server
UCSD разворачивает
серверы bare metal на
M-Series
На каждой площадке MMOG большое число
серверов для сотен тысяч пользователей
Тысячи пользователей распределяются на инстанции
от 10 до сотен пользователей
Scale out архитектура на каждой площадке на базе
bare-metal или виртуальной среды
Каждая площадка MMOG требует много серверов с
выделенными вычислительными ресурсами и низкой
сетевой задержкой
Одна система M-Series позволяет масштабироваться
до 320 серверов с разделяемыми ресурсами
UCS Director или OpenStack могут разворачивать
ресурсы по требованию по мере необходимости
При инициализации новой группы требуется
относительно небольшое количество ресурсов
64. Executions
• Servers Installed on one M142 Cartridge
• Clients (BOTS) deployed on four M142 Cartridges with E3-1275L v3
and 32 GB memory ( Two servers in each M142 Cartridge)
• OS - Ubuntu 14.04
• Scale clients until the CPU reaches 90-95%
Objective:
• Understand how concurrent user scale for gaming workload per M-Series server
• Executions on plantpi4 ( a P2P gaming workload)
• Evaluate the scalability when distributed across multiple cartridges
• Multiple Gaming instances instantiated
across M-Series cartridges.
• BOTS instantiated on multiple cartridges
with single GUI client on one of the
cartridge
• All the bots interact through P2P
messaging and attack the GUI client
Play Server Cartridges
65. Результаты
• Single Server scales to 7 clients(7 bots) , thereafter the CPU reaches at around 92%
• Tested with 4 M142 Cartridge. Total of 8 servers – Shows Linear Scalability of Clients per
Cartridge
• Network throughput on Server Scales almost linearly
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
Client Scalability for
Single M-Series Server
CPU
0
10
20
30
40
50
60
0
10
20
30
40
50
60
70
80
90
100
1 2 3 4 5 6 7 8
Network U*liza*on (MB/sec)
Total Clients
M-Series Client Servers
Game Server Scalability
NetWork (MB/
sec)
Total Clients
Тестирование Online Gaming – P2P Gaming Model
66. SPEC executions (SPECjbb2013)
SPECjbb2013 executions –
• Distributed Mode – single node to 8 nodes ( total
4 cartridges)
• Each M-Series server has one Group ( single
JVM on that node)
• Deployed on Red Hat 6.5
• To overcome specjbb2013 issues we have
§ Ensured that fork join threads are not more
than 2X the number of cores
§ Low memory to JVM
• Scales quite linearly for both max jOPS
from 1 group to 8 groups
CONTROLL
ER
TXI
TXI
GRP
3
GRP
4 M142 Cartridge
TXI
TXI
GRP
1
GRP
2 M142 Cartridge
TXI
TXI
GRP
5
GRP
6 M142 Cartridge
TXI
TXI
GRP
7
GRP
8 M142 Cartridge
8 Group with 1 TxI/Group
15550
25737
36115
45773
55348
66670
78456
86512
4283 7023
11126
18036
23251
27832 29194
33292
0
10000
20000
30000
40000
50000
60000
70000
80000
90000
100000
1
Group
2
Group
3
Group
4
Group
5
Group
6
Group
7
Group
8
Group
jOPS
No of Distributed Groups
Distributed Specjbb
Max jOPS
Critical jOPS
Either with distributed gaming or JAVA workload , shared power,
network and disk does not impact linear scaling of concurrent users
67. Почему М-серия может быть интересна
Для распределенных нагрузок MMOG характерны плохая предсказуемость нагрузок, но
выделенные ресурсы CPU и памяти; разделяемая инфраструктура должна справляться с
«шумными соседями» (noisy neighbors);
Простота расширения серверной фермы, выделенные серверы с CPU и памятью
Очень крупные фермы Cisco UCS M-Series могут быть развернуты на основе политик и
контролироваться через Cisco UCS Manager, XMP API, CLI, PowerShell
Обычно scale-out серверы используют 2 GigE интерфейса. М-серия разделяет 80 Gbps
(2x40 Gbps) между 16 серверами, в среднем 5 Gbps на сервер. За счет того, что полоса
разделяемая, в отличие от традиционных серверов, М-серия легко справится с пиками
нагрузки.
Один домен UCS поддерживает до 320 серверов, при этом до 10,000 серверов могут
управляться при помощи Cisco UCS Central.
Задачи MMOG демонстрируют линейную масштабируемость в шасси UCS М-серии.
69. С3260. Сервер хранения высокой плотности
• До 360ТБ сырого пространства в форм-факторе 4U
• 56 дисков hot-plug LFF – основная корзина, плюс 4 SSD для ОС
• До 14 дисков из основной корзины могут быть SSD Flash
• Один или два серверных узла (2 процессора Е5, до 512GB памяти), между которыми
диски разделяются или распределяются
• Вместо 2-го сервера можно поставить еще 4 LFF диска
• HBA или RAID 12G SAS, 4GB cache на серверный узел
• 2x40G (или 8x10G) интерфейса на каждый узел
Некоторые варианты использования:
• Ceph, OpenStack
• Hadoop, BigData
• Microsoft Exchange, Storage Spaces, SOFS
• Content Delivery, Streaming Media, Video Surveillance
70. Модульная архитектура UCS C3000
Диски
4 ряда HDD с горячей заменой
4TB/6TB, один ряд может быть
400GB/1.6TB SSD
Итого «сверху»: 56 дисков
FAN
8 hot-pluggable
fans
Серверные узлы
2x E5-2600 V2 CPUs
До 512GB RAM
1GB/4GB RAID Cache
SAS HBA Node
Опционально доп. диски
4x hot-swappable, rear-load LFF 4TB/
6TB HDD
До 4х 120GB/480GB SSDs
Hot-Plug OS/Boot
System I/O Controller (SIOC)
Cisco mLOM Slot or VIC 1300 on Chip
Блоки питания
4 hot-pluggable PSUs
71. C3260. Серверные узлы
• Один или два серверных узла на шасси
• Фиксированные конфигурации
• 2x Intel Xeon E5, до 512GB RAM
• SAS HBA (для разделения дисков) или
RAID контроллер (4GB cache)
72. C3260. SIOC
• SIOC – контроллер ввода-вывода (один или два на шасси)
• Содержит контроллер управления шасси (в т.ч.
конфигурация распределения дисков между узлами)
• Выделенный порт управления
• 2x40GigE порта на базе Cisco VIC (могут разделяться на
8x10GE)
77. Преимущества M-серии
«Дезинтеграция» сервера, разделяемые локальные диски, контроллеры,
адаптеры ввода-вывода позволяют UCS M-серии быть:
• Компактной (16 серверов в 2U)
• Энергоэффективной (порядка 1кВт на 16 серверов, максимум порядка
20кВт на шкаф)
• Легко обслуживаемой (замена сервера тривиальна)
• Эффективной с точки зрения сети (на 320 серверов 2
«самонастраивающихся» коммутатора и 40 кабелей)
• Экономически эффективной (диски, контроллеры, адаптеры, а также
блоки питания, вентиляторы и корпус – все разделяемое)
• Экономически эффективной при рассмотрении длительного жизненного
цикла инфраструктуры (сервер выбросили, вставили новый, все
остальное осталось)
• Самое главное – это UCS, с возможностями управления на основе
политик и шаблонов, с возможностями тиражирования, массовой смены
конфигурации и масштабирования «по щелчку»
78. Почему M-серия это не замена B- и C-серии
М-серия ориентирована совсем на другой сегмент
Корпоративные ЦОД для построения бизнес-критичных платформ будут
продолжать использовать B-серию, потому что:
• У М-серии меньше гибкости (пока нет FCoE);
• У М-серии меньше полоса пропускания;
• У M-серии меньше производительность дисковой системы;
• У М-серии разделяемый адаптер ввода-вывода;
• У М-серии потенциально больше домен отказа;
М-серия ориентирована на тех Заказчиков и те приложения, для которых все
вышеперечисленное абсолютно неважно, и таких много
79. Почему M-серия это не замена B- и C-серии
Другими словами,
• UCS B- и С-серии – это полнофункциональные серверы с контроллерами
и адаптерами, с внутренним резервированием, но максимально
универсальные и взаимозаменяемые
• UCS M-серии – эти вычислительные блоки (процессоры + память), к
которым «пристыковываются» остальные компоненты, которые являются
разделяемыми
Хотя для ОС и приложения абсолютно никакой разницы нет