2. Data Сenter Design&Deploy Forum
2016 | Moscow
Евгений Лагунцов
Как запустить
виртуализированный ЦОД
за час
3. Data Сenter Design&Deploy Forum 2016 | Moscow
План на сегодня
• Обзор HyperFlex
• Проектирование (Design)
• Внедрение (Deploy)
• Эксплуатация
• Масштабирование
• HyperFlex CVD
5. Data Сenter Design&Deploy Forum 2016 | Moscow
Что такое гиперконвергенция
Гиперконвергенция On-Demand
Agile
Efficient
Simple
Scalable
Enterprise Ready
Cost Effective
+
+
+
+
+
+
+
CPU
MEM
CPU
MEM
БЕЗ ТРАДИЦИОННЫХ СХД
APP APP APP APP APP
•••••••
HYPERCONVERGENCE
СЕРВЕРЫ
1-3yr Planned
Large Footprint
Inefficient
Complex
SERVER VIRTUALIZATION
APP APP APP APPOn-Demand
Agile
Efficient
Simple
Vendor E Vendor N Vendor P
••••••••••••
•••••••••••••••
+
+
+
+
–
–
–
–
TraditionalNAS
CPU
MEM
HybridStorage
AllFlashStorageCPU
MEM
CPU
MEM
CPU
MEM
APP
Tрадиционный подход
СХД
6. Data Сenter Design&Deploy Forum 2016 | Moscow
HyperFlex - платформа нового поколения
Scale Out
Архитектура и
независимое
масштабирование
Предсказуемость
Эффективность подхода Pay-as-You-Grow
Функционал
корпоративной СХД
Эффективные механизмы создания
мгновенных снимков
Моментальное клонирование
Дедупликация и компрессия
Защита данных
уровня Enterprise
Высокая доступность
Восстановление при выходе из строя узлов
системы
Единая точка
управления
Интеграция функций управления в
vCenter
7. Data Сenter Design&Deploy Forum 2016 | Moscow
HyperFlex (HX)
Cisco Unified Computing System
B-Series
Blade
Serv ers
C-Series
Rack
Serv ers
M-Series
Modular
Serv ers
Cisco HyperFlex SystemsProduct Family
Product Series
Products UCS B200 M4 UCS C240 M4 UCS M2814
Cisco HX-Series
Cisco HX Data Platform Software
HX220c HX240c
B200 for HyperFlex
Fabric
& Cisco UCS Servers
HX Data Platform Software
+ =
Cisco HyperFlex Systems
Новое семейство
продуктов
Datastore/Volume
Cisco HX Data
Platform
Controller
Hypervisor/Container
VMVMVMVMVM
SDD
SDD
8. Data Сenter Design&Deploy Forum 2016 | Moscow
Как устроен узел HyperFlex
VAAI Plugin обеспечивает
offload операций создания
snapshot и клонов
Controller VM имеет прямой
доступ к дискам
IOVisor обеспечивает
страйпинг ввода-вывода и
презентацию NFS хостам ESX
CONTROLLER
VM
HYPERVISOR
VM VM VM
HYPERCONVERGED DATA PLATFORMHYPERCONVERGED DATA PLATFORMHYPERCONVERGED DATA PLATFORMHYPERCONVERGED DATA PLATFORM
CONTROLLER
VM
HYPERVISOR/
VM VM VM
CONTROLLER
VM
HYPERVISOR/
VM VM VM
CONTROLLER
VMHYPERVISOR
VM VM VM
CONTROLLER
VMHYPERVISOR
VM VM VM
DATASTORE/VOLUME
CONTROLLER
VMHYPERVISOR
VMVMVMVMVM
HDD
HDD
SDD
SDD
IOVisor
VAAI
9. Data Сenter Design&Deploy Forum 2016 | Moscow
Распределенная архитектура HyperFlex
CONTROLLER
VMHYPERVISOR
VM VM VM
HYPERCONVERGED DATA PLATFORMHYPERCONVERGED DATA PLATFORMHYPERCONVERGED DATA PLATFORM
Начинаем с 3
серверов
Добавляем новые
ресурсы за
несколько минут
Один или
несколько
серверов
одновременно
Линейное
наращивание
ресурсов
Автоматическое
перераспределение
нагрузки и данных
Возможность
выведения
ресурсов без
остановки и без
потери защиты
HYPERCONVERGED DATA PLATFORM
CONTROLLER
VMHYPERVISOR
VM VM VM
CONTROLLER
VMHYPERVISOR
VM VM VM
CONTROLLER
VMHYPERVISOR
VM VM VM
CONTROLLER
VMHYPERVISOR
VM VM VM
10. Data Сenter Design&Deploy Forum 2016 | Moscow
Распределение данных
внутри кластера
Отсутствие необходимости в
переносе данных вслед за VM
HYPERVISOR
Распределение данных и доступ к ним
HYPERVISOR HYPERVISOR
VM VM
1 2 3
VM
DATASTORE
CONTROLLER CONTROLLER CONTROLLER
11. Data Сenter Design&Deploy Forum 2016 | Moscow
DATASTORE DATASTORE
Резервирование
CONTROLLER
VMHYPERVISOR
VM VM VM
CONTROLLER
VMHYPERVISOR
VM VM VM
CONTROLLER
VMHYPERVISOR
VM VM VM
CONTROLLER
VMHYPERVISOR
VM VM VM
• Распределение блоков данных по
серверам кластера
• Создание и распределение 1 или 2
резервных копий каждого блока
• Сбой 1 сервера
• Миграция vm
• Восстановление необходимого количества
резервных копий
• Восстановление сервера
• Перераспределение vm и данных
File.vmdk
D1 E1A1 B1 C1B2 A2 A3C2 C3 D2D3 E2E3 D1E1 B3 B3
EDCBA
12. Data Сenter Design&Deploy Forum 2016 | Moscow
Базовые типовые конфигурации узлов
HX220c
HX220c Entry HX220c Entry
Plus
HX220c Value HX220c
Performance
Процессоры 2x Intel Xeon
2609v4
2x Intel Xeon
2630v4
2x Intel Xeon
2650v4
2x Intel Xeon
2690v4
Память (от) 8x 16GB RAM 8x 32GB RAM 24x 16GB RAM 16x 32GB RAM
Диски HDD
(данные)
6x 1.2TB 10k 12G
SAS
6x 1.2TB 10k 12G
SAS
6x 1.2TB 10k 12G
SAS
6x 1.2TB 10k 12G
SAS
Диски SSD
Enterprise
Performance (кэш)
480GB Ent. Perf. 480GB Ent. Perf. 480GB Ent. Perf. 480GB Ent. Perf.
Диски SSD Value
(логи)
120GB Ent. Value 120GB Ent. Value 120GB Ent. Value 120GB Ent. Value
SD карты (boot) 2x 64GB 2x 64GB 2x 64GB 2x 64GB
Сеть VIC 1227 (2x10G) VIC 1227 (2x10G) VIC 1227 (2x10G) VIC 1227 (2x10G)
13. Data Сenter Design&Deploy Forum 2016 | Moscow
Базовые типовые конфигурации узлов
HX240c
HX240c Entry HX240c Entry
Plus
HX240c Value HX240c
Performance
Процессоры 2x Intel Xeon
2609v4
2x Intel Xeon
2630v4
2x Intel Xeon
2650v4
2x Intel Xeon
2690v4
Память (от)
(max 24)
8x 32GB RAM 8x 32GB RAM 24x 16GB RAM 16x 32GB RAM
Диски HDD
(данные) (max 23)
11x 1.2TB 10k
12G SAS
11x 1.2TB 10k
12G SAS
15x 1.2TB 10k
12G SAS
15x 1.2TB 10k
12G SAS
Диски SSD
Enterprise
Performance (кэш)
1.6TB Ent. Perf. 1.6TB Ent. Perf. 1.6TB Ent. Perf. 1.6TB Ent. Perf.
Диски SSD Value
(логи)
120GB Ent. Value 120GB Ent. Value 120GB Ent. Value 120GB Ent. Value
SD карты (boot) 2x 64GB 2x 64GB 2x 64GB 2x 64GB
Сеть VIC 1227 (2x10G) VIC 1227 (2x10G) VIC 1227 (2x10G) VIC 1227 (2x10G)
14. Data Сenter Design&Deploy Forum 2016 | Moscow
Основные сценарии для HyperFlex
• Простое
выделение
ресурсов
• Быстрые и частые
изменения среды
• Мгновенные клоны
и снапшоты
Test and
Development
• Более низкие
первичные
инвестиции
• Высокая
производительность
• Линейное
масштабирование
Virtual Desktop
Infrastructure
• Простое
развертывание и
администрирование
• Гибкое
масштабирование
• Отказоустойчивость
Серверная
виртуализация
• Простое
развертывание
• Централизованное
управление
• Никаких «полети-
и-почини»
Крупные удаленные
офисы и филиалы
16. Data Сenter Design&Deploy Forum 2016 | Moscow
Сценарий №1. Небольшая
инфраструктура
• Определиться с исходными требованиями –
vCPU, vRAM, дисковое пространство, RF
• На их основе выбрать:
• модель узла (HX220 или HX240)
• требуемую модификацию (Entry, Value или
Performance)
• число узлов (от 3 до 8)
• число дисков в HX240 (от 6 до 23)
• модель UCS FI (6248 или 6296)
17. Data Сenter Design&Deploy Forum 2016 | Moscow
Подсчет вычислительных ресурсов
Entry Entry Plus Value Performance
CPU 2 2 2 2
Ядра (на CPU) 8 10 12 14
GHz 1,7 2,2 2,2 2,6
Total GHz 27,2 44 52,8 72,8
vCPU (4:1) 32 40 48 56
Память 128 256 384 512
На один типовой узел
(в базовой конфигурации)
Необходимо помнить, что примерно 4 ядра и 48GB памяти (или 72GB
для HX240) каждого узла будут выделены под HyperFlex Data Platform
18. Data Сenter Design&Deploy Forum 2016 | Moscow
Подсчет вычислительных ресурсов
Performance
CPU 16
Ядра 224
Total GHz 582,4
vCPU (4:1) 448
Память 6144 (768GB на узел)
На кластер из 8 узлов
19. Data Сenter Design&Deploy Forum 2016 | Moscow
Подсчет дискового пространства
3 узла
HX220c
HX240c
4 узла 5 узлов 6 узлов 7 узлов 8 узлов
При условии Replication Factor = 3
Без учета компрессии и дедупликации, которые могут существенно увеличить
доступную емкость
6.02 TiB 8.03 TiB 10.04 TiB 12.04 TiB 14.05 TiB 16.06 TiB
23.09 TiB 30.79 TiB 38.48 TiB 46.18 TiB 53.88 TiB 61.58 TiB
Доступная емкость
20. Data Сenter Design&Deploy Forum 2016 | Moscow
Сценарий №2. Нужно больше
вычислительной мощности
• Требуется больше чем 8 вычислительных
узлов
• Требования к дисковому пространству
невысокие
Ответ:
• Гетерогенный HyperFlex кластер, часть узлов с
дисками (до 8), часть узлов – без дисков (до 4)
• Бездисковые узлы – стандартные блейды
B200M4, возможно использование уже
установленных у Заказчика
21. Data Сenter Design&Deploy Forum 2016 | Moscow
Сценарий №3. Нужно существенно
больше ресурсов
• Инфраструктура используется под
разнообразные задачи (VDI, VSI и т.д.)
• Требуется больше чем 8 серверов и 60ТБ
usable
Ответ:
• Несколько кластеров HyperFlex, но
• под управлением одного vCenter
• коммутирующиеся и подключаемые во
внешний мир и управляемые одной парой UCS
Fabric Interconnect
22. Data Сenter Design&Deploy Forum 2016 | Moscow
Cisco HyperFlex – до 4 кластеров на одну
UCS систему
HX Domain 4HX Domain 3
HX Domain 1 HX Domain 2
• Одна пара UCS Fabric
Interconnect может
поддерживать 4 кластера
HyperFlex
• Это 32 узла с дисками
• Плюс 16 узлов без дисков
при необходимости (итого
48 узлов на пару FI)
HX UCS Domain
23. Data Сenter Design&Deploy Forum 2016 | Moscow
Сценарий №4. Унаследованная
инфраструктура SAN/СХД
• В инфраструктуре присутствуют дисковые
массивы, SAN
• Требуется обеспечить миграцию данных, или
обеспечить доступ к ним на постоянной основе
Ответ:
• HyperFlex (один или несколько), подключенный
по FC или FCoE или NAS или iSCSI (как угодно)
к существующей SAN
• Узлы HyperFlex видят и используют датасторы
на традиционных массивах
• Либо постоянно, либо на время миграции
данных
24. Data Сenter Design&Deploy Forum 2016 | Moscow
HX UCS Domain
iSCSI/NFS or FC Storage Volume*
HX DATASTORE
FC/FCoE
* Эти диски НЕ являются частью
кластера HyperFlex, это отдельные
LUN, презентованные ESXi хостам
• HyperFlex поддерживаетподключение к
внешним источникам данных по протоколам
NFS, iSCSI, FC, FCoE
• Примеры использования:
• Миграция ВМ и перенос данных
• Сосуществование с существующей SAN
• Презентация RDM из FC SAN к ВМ
• Поддержкаспецифических приложений
• Совместимость с унаследованными
процедурами резервного копирования
Подключение к внешним СХД
25. Data Сenter Design&Deploy Forum 2016 | Moscow
Сценарий №5. HyperFlex + UCS
• Есть ли возможность задействования UCS
Fabric Interconnect, входящих в состав
HyperFlex, для построения и «обычной» UCS
инфраструктуры
Ответ:
• Теоретически это возможно, но:
• Есть ограничения на используемые версии
прошивок (они должны соответствовать
матрице HyperFlex)
• Нужно помнить, что данные кластера HyperFlex
доступны только узлам кластера (сегодня 8
узлов с дисками + 4 без дисков)
26. Data Сenter Design&Deploy Forum 2016 | Moscow
Design подключений в LAN и SAN
• HyperFlex включает UCS Fabric Interconnect
для внутренней коммутации и агрегации
внешних подключений
• Подключения во внешние сети LAN и SAN
обеспечиваются в режиме end-host mode, т.е.:
• интеграция с любым оборудованием любого
вендора
• много вариантов топологий, в т.ч.
тривиальные
• без усложнения сети LAN и SAN (STP,
Domain ID и т.д. и т.п.)
27. Data Сenter Design&Deploy Forum 2016 | Moscow
Итого
• По сути Design системы HyperFlex сводится к
выбору типа и числа нужных кубиков
• Поддерживаются разные варианты
масштабирования и интеграции с другими
системами
• Design взаимодействия с внешними сетями по
сути сводится к выбору числа проводов
• Безусловно не стоит забывать о логической сетевой
топологии
29. Data Сenter Design&Deploy Forum 2016 | Moscow
Быстрая и простая инсталляция
Шаг 0
• VMware и HX Data Platform Software установлены на
серверах на фабрике или интегратором перед отправкой к
Заказчику
Шаг 1
• Установка, кабелирование, включение
• Автоматизированная настройка UCSM
• Настройка ESX и vCenter
• Автоматизированное создание кластера
• Создание датасторов
• Разворачивание VM
60
минут и
меньше
30. Data Сenter Design&Deploy Forum 2016 | Moscow
UCS: Встроенная автоматизация
Быстрое развертывание HyperFlex при помощи сервисных профилей
Uplink portconfiguration,
VLAN, VSAN, QoS, and
EtherChannels
Server portconfiguration
including LAN and SAN
settings
Network interface card (NIC)
configuration:MAC address,
VLAN, and QoSsettings;
hostbus adapter HBA configuration:
worldwide names (WWNs),VSANs,
and bandwidth constraints;
and firmware revisions
Unique user ID (UUID),
firmware revisions,
and RAID controller settings
Service profile assigned to server,
chassis slot,or pool
c onfiguration:M AC
addres s ,
VLAN, and QoS s ettings;
hos t bus adapter HBA
c onfiguration:
worldwide nam es (WWNs),
VSANs ,
c onfiguration:M AC
addres s ,
VLAN, and QoS s ettings;
hos t bus adapter HBA
c onfiguration:
worldwide nam es (WWNs),
VSANs ,
c onfiguration:M AC
addres s
VLAN, and QoS s ettings;
hos t bus adapter HBA
c onfiguration:
worldwide nam es (WWNs),
VSANs ,
Application Profiles
Virtualization Policy
Network Policy
Storage Policy
Server Policy
Storage SMENetwork SMEServer SME
1
ЭКСПЕРТЫ
ОПРЕДЕЛЯЮТ
ПОЛИТИКИ
2
ПОЛИТИКИ
ИСПОЛЬЗУЮТСЯ ДЛЯ
СОЗДАНИЯ
ШАБЛОНОВ
3
ИЗ ШАБЛОНОВ
СОЗДАЮТСЯ
СЕРВИСНЫЕ
ПРОФИЛИ
4
АССОЦИИРОВАНИЕ СЕРВИСНОГО
ПРОФИЛЯ С ОБОРУДОВАНИЕМ
АВТОМАТИЧЕСКИ КОНФИГУРИРУЕТ
СЕРВЕР (И СЕТЬ)
Шаблоны сервисных
профилей HyperFlex
преднастроены на заводе
31. Data Сenter Design&Deploy Forum 2016 | Moscow
Интегрированная UCS сетевая
инфраструктура HyperFlex
CVM Mgmt Port Group
CVM DataPort GroupData vSwitch
CONTROLLER
VM
CONTROLLER
VM
CONTROLLER
VM
CONTROLLER
VM
Management
vSwitch
• Поставляется с завода с
интегрированной сетевой
инфраструктурой
• Производительная, «плоская» и
предсказуемая по задержкам
фабрика
• Простое внедрение
• Никаких специализированных
требований вроде IPv6, Multicast
• Унифицированная фабрика UCS
• Меньше сложность, выше
эффективность
Predefined DC Network Policies
ESX
hv-mgmt
Storage-
data
vm-
network
hv-
vmotion
33. Data Сenter Design&Deploy Forum 2016 | Moscow
Интегрированные возможности
управления
• Клоны и snapshot-ы создаются
на базе указателей и не
занимают места
• Создание и удаление клонов и
snapshot-ов не влияет на
производительность системы
• Развертывание, клонирование
и snapshot-ы виртуальных
машин из vCenter
• Никакой отдельной консоли,
никакого дополнительного
обучения
• UCS Manager – средство
управления знакомое более
чем 50,000 Заказчиков
• Конфигурация серверов И
сети преднастроена в
сервисных шаблонах
34. Data Сenter Design&Deploy Forum 2016 | Moscow
Управление
• Управление, 100% базирующееся на vCenter
• Отсутствие необходимости отдельно управлять СХД и сетьюSAN
• Отсутствие необходимости переключаться между консолями
• Единая система мониторинга и сбора событий
• Программируемость
37. Data Сenter Design&Deploy Forum 2016 | Moscow
Эффективные Snapshots для резервного
копирования
• Быстрое создание и удаление
SnapShot
• Экономия дискового
пространства
• Создание политик SnapShot
• Определение периодичности
создания
• Задание количества и
продолжительность хранения
• Интегрировано с vCenter
Snapshot Manager
38. Data Сenter Design&Deploy Forum 2016 | Moscow
• Моментальное создание
нужного количества клонов
VM
• Возможность задания
нужного имени и IP-адреса
Клонирование виртуальных машин
39. Data Сenter Design&Deploy Forum 2016 | Moscow
Дедупликация и компрессия
Дедупликация
• 20-30% сокращение объема
хранимых данных
Компрессия на уровне
файловой системы
• 30–50% сокращение
объема хранимых данных
• Не требует дополнительных
аппаратных компонентов
• Не снижает
производительность
40. Data Сenter Design&Deploy Forum 2016 | Moscow
Эффективность компрессии и
дедупликации (возможны варианты)
42. Data Сenter Design&Deploy Forum 2016 | Moscow
Возможности по масштабированию
HyperFlex
Новый
сервер
HX Data Platform
Новый узелНаращивание емкости внутри узлов
HX Data Platform
CONTROLLERHYPERVISORCONTROLLERHYPERVISOR CONTROLLERHYPERVISOR CONTROLLERHYPERVISOR
IOVisorIOVisor
IOVisorIOVisor
IOVisorIOVisor
IOVisorIOVisor
VM VM VM VM
Подключение
бездисковых
хостов через
IOVisor
VM VMVM VM VMVM VM VMVM VM VMVM
44. Data Сenter Design&Deploy Forum 2016 | Moscow
• Это действительно просто и быстро как при планировании, так и
при внедрении (час на запуск и начало использования – это
вполне реально)
• Хорошая производительность (до 1 МИЛЛИОНА IOPS на кластер
из 8 узлов на синтетических тестах) за счет равномерного
распределения данных и задействования всех узлов, дисков и
кэша
• Высокая надежность (до 3 копий каждого блока)
• Корпоративный функционал (снапшоты, клоны, дедупликация,
компрессия, и все это без негативного влияния на
производительность)
• Сеть – интегрированная часть HyperFlex, не требующая
дополнительных усилий и не создающая головной боли
Плюсы HyperFlex
45. Data Сenter Design&Deploy Forum 2016 | Moscow
• HyperFlex VSI CVD
• HyperFlex whitepaper – VDI Citrix
• HyperFlex whitepaper – VDI Vmware
• HyperFlex performance whitepaper (NDA)
• dcloud.cisco.com– HyperFlex Operations
Что может пригодиться при Design и Deploy