VMware vSAN как платформа для
высоконагруженных критичных
для бизнеса приложений
Олег Летаев
Региональный менеджер VMware
oletaev@vmware.com
Гиперконвергентность (HCI)
Стоимость
Масштабирование
Простота управления
Традиционная архитектура
Сервера SAN/NAS
СХД
Сеть
Гиперконвергентная
инфраструктура
Единое управление
Виртуализация
Вычислители | СХД | Сеть
Сервер+СХД Сеть
Построено на базе
стандартного оборудования
Виртуализация
HCI самый быстро растущий сегмент в мире СХД
Hyperscale
HCI
(Server SAN)
Традиционные СХД
2012 2026 2015 2016 2017 2018 2019
$4.8B
$4.B
$3.1B
$1.9B
$.9B
0
$10B
$20B
$30B
$40B
$50B
Рынок СХД HCI
Source: IDC Hyperconverged Systems 2015-2019 Forecast, February, 2016Source: Wikibon Server SAN Research Project, 2016
$60B
3
Самое популярное и быстро растущее
решение на рынке
Q1'14 Q2'14 Q3'14 Q4'14 Q1'15 Q2'15 Q3'15 Q4'15 Q1'16 Q2'16 Q3'16 Q4'16
Количество заказчиков vSAN
Рост - 150% YoY
Оборот
$300M
8,000+ заказчиков
Быстрейший рост со времен ESX
400
Компаний из Fortune 1000 (US)
2014 г
Первые промышленные
внедрения в России
Основные нагрузки размещенные на vSAN
63%
49%
40%
23% [VALUE]
18%
3%
Business Critical
Applications
Test and Development Management
Infrastructure
Disaster Recovery
Infrastructure
Virtual Desktop
Infrastructure (VDI)
Remote Office/Branch
Office (ROBO)
Other
Source: 2016 VMware vSAN Survey
Истории успеха
HCI POWERED BY VIRTUAL SAN
300,000 сенсоров на борту отправляют
данные на систему аналитики (Big Data
Analytics System), которая работает на
VMware vSAN
Аналитика ускоряет обслуживание и
уменьшает время простоя самолета
Каждый час простоя самолета на земле стоит
25 000 долларов США
VMware vSAN помогает летать A380
© 2017 VMware Inc. All rights reserved.
VMware vSAN помогает Dominos захватить мир
Экономия затрат на ИТ инфраструктуру
Более 300 кластеров в Европе для обслуживания заказов
Многократное сокращение время выхода на рынок в
новой стране или городе за счет стандартизации
40%
ROBO
TTM
VMware vSAN закрывает все задачи для ch2m
Ch2m – инжиниринговая компания из списка
Fortune 500
ЦОД построен только на vSAN
2 и 6-8 узловые кластера в филиалах
Резервный ЦОД на vSAN и vSphere Replication
100%
ROBO
DR
ИТ-система выдерживает потерю носа
или кормы корабля
Отсутствие квалифицированного
персонала и отсутствие тех.поддержки
на рейде
Целевой срок работы системы -
8 лет
Растянутый кластер на военном корабле :)
© 2017 VMware Inc. All rights reserved.
VMworld US 2016 - STO8568
Технические основы
Что такое VMware vSAN
Работает на любом стандартном x86 сервере
Объединяет локальные HDD/SSD в общий
datastore
Высочайшая производительность и
масштабируемость
Управление политиками per-VM
Глубокая интеграция со стеком VMware
vSphere vSAN
vSAN Datastore
Количество допустимых отказов (FTT)
• Определяет количество допустимых отказов любых компонентов, которые система
может прозрачно выдержать
17
esxi-01 esxi-02 esxi-03 esxi-04
vSAN Policy: “Number of failures to tolerate = 1”
~50% of I/O
vmdk witness
~50% of I/O
RAID-1
vmdk
Fault Domains
• Определяет зоны/сервера доступности – компоненты инфраструктуры, которые могут
«упасть» одновременно
18
FD2 FD3 FD4
vmdk vmdk witness
FD1
RAID-1
esxi-01
esxi-02
esxi-03
esxi-04
esxi-05
esxi-06
esxi-07
esxi-08
vSAN
6.5+6.6
Оптимизация
алгоритмов
Растянутые
кластера
Улучшено
управление
Увеличена
производительность
vSAN 6.6 – самый большой релиз в истории
А ваши СХД так обновляются?
3/2014
v5.5
• Distributed RAID
• Per-VM SPBM
• Set and change FTT via
policy
• In-kernel hyper-
convergence engine
• RVC and Observer
3/2015
v6.0
• All-flash architecture
• Perf improvements (4x
IOPS)
• 64-node support
• High density storage
blades
• Fault domain awareness
• Scalable snapshots and
clones
• Disk enclosure
management
8/2015
v6.1
• Windows Failover
Clustering
• Oracle RAC support
• HW checksum and
encryption
• 2-node ROBO mode
• UltraDIMM and NVMe
support
• Stretch clusters
• 5 min RPO (vSphere Rep)
• SMP-FT support
• Health Check, vROps,
LogInsight
2/2016
v6.2
• IPv6 support
• Software checksum
• Nearline dedup and
compression on all-
flash
• Erasure coding on
all-flash
• Qos: IOPS limits
• Performance
monitoring service
10/2016
v6.5
• iSCSI
• 2-Node direct connect
• PowerCLI
• Public APIs and SDK
• 512e support
• All-Flash to all editions
• Native encryption for data-at-rest
• Compliance certifications
• Resilient management independent of vCenter
• Degraded Disk Handling v2.0 (DDHv2)
• Smart repairs and enhanced rebalancing
• Intelligent rebuilds using partial repairs
• Certified file service & data protection solutions
• Stretched clusters with local failure protection
• Site affinity for stretched clusters
• 1-click witness change for Stretched Cluster
• vSAN Management Pack for vRealize
• Enhanced vSAN SDK and PowerCLI
• Simple networking with Unicast
• vSAN Cloud Analytics with real-time support
notification and recommendations
• vSAN Config Assist with 1-click hardware
lifecycle management
• Extended vSAN Health Services
• vSAN Easy Install with 1-click fixes
• Up to 50% greater IOPS for all-flash with
optimized checksum and dedupe
• Support for new next-gen workloads
• vSAN for Photon in Photon Platform 1.1
• Day 0 support for latest flash technologies
• Expanded caching tier choice
• Docker Volume Driver 1.1
4/2017
v6.6
(vSphere 6.5 EP02 Patch)
Улучшения подсистемы хранения
Блочный доступ к vSAN через iSCSI
vSAN iSCSI Target Service предоставляет Блочное
хранилище!
– Поддержка Oracle RAC
– Поддержка физических серверов
Параметры
– Максимальный размер LUN - 62TB
– Поддержка CHAP
Поддерживает всю основную функциональность vSAN:
– Дедупликация и компрессия
– RAID-1
– RAID-5, RAID-6
– Checksum
iSCSI Target
iSCSI Initiator iSCSI Initiator
iSCSI Network
iSCSI Object
iSCSI Object
vSAN
Datastore
Улучшения производительности и алгоритмов vSAN
• Значительно улучшен алгоритм
checksum
• Оптимизация алгоритмов destaging
• Улучшения управления и размещения
объектов
• Улучшения производительности iSCSI
• Улучшения алгоритмов балансировки и
ребилдов
• Улучшенное определение пред-сбойных
дисков
vSphere vSAN
vSAN Datastore
Встроенное в vSAN шифрование Data-at-Rest
• Включается на уровне datastore для
всех объектов (не только vmdk)
• Поддержка hybrid, all-flash и
растянутых кластеров (причем, не
шифрует witness во избежание утечки
ключей)
• Не требуются специальные SED
• Работает со всеми функциями vSAN,
включая дедупликацию и компрессию
• Работает со стандартными KMIP
(например, SafeNet, Hytrust, Thales,
Vormetric)
vSphere vSAN
vSAN Datastore
VMware vSAN All Flash
© 2017 VMware Inc. All rights reserved.
Классические AFA плохо масштабируются по IOPS
SolidFire/NetApp Field CTO Val Bercovici:
VB: Честно говоря, практически любой контроллер
сегодня от любого производителя будет ограничен
всего несколькими SSD. <>
El Reg: Должны ли мы ждать более быстрых
контроллеров следующего поколения?
VB: Нет.<> В некоторых случаях контроллер
«следующего поколения» уже здесь, в форме
масштабируемой архитектуры хранения, которая
добавляет вычислительные ресурсы каждый раз, когда
добавляется емкость. Производительность
контроллера контроллера не является фиксированной
величиной.
https://www.theregister.co.uk/2017/01/31/netapp_and_nvme_drives_and_f
abric_access/
IOPS
Количество SSD
IOPS и Количество SSD
Классические СХД vSAN
• 4 сервера с E5-2690v4– 112 ядер на 2.6GHz и 2TB RAM.
• 8 серверов – 224 ядра и 4TB RAM.
• 16 серверов – 448 ядер и 8TB RAM.
vSphere vSAN
Архитектура и идея vSAN All-flash
• Предпосылки:
– На чтении все SSD достаточно быстрые
– На запись - разница между ними на порядок
– Задержки не уменьшаются от увеличения
количества SSD, только от их качества
– Производительность + износостойкость напрямую
влияет GB/$
• Идея – быстрые, дорогие, но маленькие Write-
Intensive (WI) SSD под кэш + дешевые, большие и
Read Intensive (RI) SSD для хранения.
• Реализация:
– Пишем, как Hybrid
– Читаем напрямую с Capacity SSD без кэширования
• Результат – производительность на запись, как у
WI SSD, а стоимость за GB, как у RI. И стабильные
суб-миллисекундные задержки
vmdk vmdk
vmdk
esxi-01 esxi-02 esxi-03
vSphere vSAN
esxi-01 esxi-02 esxi-03
• Nearline дедупликация и компрессия на уровне дисковой группы
– Включается на кластер
– Дедупликация работает в момент сброса данных их кэша на уровень хранения
– 4KB блок постоянной длины
– Таблица дедупликации «размазана» по всем Capacity дискам
• Компрессия (LZ4) работает после дедупликации (если есть, что сжимать)
– Только если сжимается <= 2KB
– Если нет, то пишем весь 4KB блок
для уменьшения overhead при чтении
Beta
Дедупликация и компрессия (SE)
vmdk vmdk
vmdk
All Flash Only
Включение SE практически не влияет на
производительность by-design. Минимальный
RAM+CPU overhead
36
RAID-5/6 Inline Erasure Coding
• Per-VM. Если Number of Failures to Tolerate = 1 и Failure Tolerance Method = Capacity 
RAID-5
– 3+1 (4 узла минимум)
– Занимаемая емкость 1.33x вместо 2x
– Для FTT=2 (RAID-6) – 1.5x вместо 3.x
RAID-5
ESXi Host
parity
data
data
data
All Flash Only
ESXi Host
data
parity
data
data
ESXi Host
data
data
parity
data
ESXi Host
data
data
data
parity
37
Максимально быстрое применение последних технологий
vSAN Storage
vSphere vSAN
Managed by vCenter
+
Сравнение Intel P3700 SSD и Intel Optane DC P4800X
100% sequential writes, 64KB IO, 1x 1/7 disk group
SSD DC P4800X уже сертифицирован и
поддерживается
Катастрофоустойчивость с vSAN
Today
• Репликация между vSAN datastores или между SAN/NAS и vSAN с 5 минутным RPO
• Site Recovery Manager для растянутых кластеров и резервных площадок
vSphere vSAN
Site Recovery Manager
vSphere Replication
vSphere vSAN
Site Recovery Manager
vSphere Replication
async
replication
Any distance
allowing >=5
min RPO
<=5ms RTT, 10GbE
vSAN – лучший растянутый кластер в индустрии
Настоящий Active-Active
• vSAN кластер между 2 площадками
Или больше ;)
• Каждая площадка - Fault Domain (FD)
• Нулевая потеря данных
• Автоматическое восстановление
Today
• Что нового:
– vSphere 6.5 HA Orchestrated
Restart
– vSAN 6.6 Local and Remote
Protection
– vSAN 6.6 Site Affinity
vSphere VSAN
Круто! Хочу еще!
FREE vSAN
ASSESSMENT
HANDS
ON LABS
STORAGEHUB
RESOURCES
nkulikov@vmware.com

VMware vSAN как платформа для высоконагруженных критичных для бизнеса приложений

  • 1.
    VMware vSAN какплатформа для высоконагруженных критичных для бизнеса приложений Олег Летаев Региональный менеджер VMware oletaev@vmware.com
  • 2.
    Гиперконвергентность (HCI) Стоимость Масштабирование Простота управления Традиционнаяархитектура Сервера SAN/NAS СХД Сеть Гиперконвергентная инфраструктура Единое управление Виртуализация Вычислители | СХД | Сеть Сервер+СХД Сеть Построено на базе стандартного оборудования Виртуализация
  • 3.
    HCI самый быстрорастущий сегмент в мире СХД Hyperscale HCI (Server SAN) Традиционные СХД 2012 2026 2015 2016 2017 2018 2019 $4.8B $4.B $3.1B $1.9B $.9B 0 $10B $20B $30B $40B $50B Рынок СХД HCI Source: IDC Hyperconverged Systems 2015-2019 Forecast, February, 2016Source: Wikibon Server SAN Research Project, 2016 $60B 3
  • 4.
    Самое популярное ибыстро растущее решение на рынке Q1'14 Q2'14 Q3'14 Q4'14 Q1'15 Q2'15 Q3'15 Q4'15 Q1'16 Q2'16 Q3'16 Q4'16 Количество заказчиков vSAN Рост - 150% YoY Оборот $300M 8,000+ заказчиков Быстрейший рост со времен ESX 400 Компаний из Fortune 1000 (US) 2014 г Первые промышленные внедрения в России
  • 5.
    Основные нагрузки размещенныена vSAN 63% 49% 40% 23% [VALUE] 18% 3% Business Critical Applications Test and Development Management Infrastructure Disaster Recovery Infrastructure Virtual Desktop Infrastructure (VDI) Remote Office/Branch Office (ROBO) Other Source: 2016 VMware vSAN Survey
  • 6.
  • 7.
    300,000 сенсоров наборту отправляют данные на систему аналитики (Big Data Analytics System), которая работает на VMware vSAN Аналитика ускоряет обслуживание и уменьшает время простоя самолета Каждый час простоя самолета на земле стоит 25 000 долларов США VMware vSAN помогает летать A380 © 2017 VMware Inc. All rights reserved.
  • 8.
    VMware vSAN помогаетDominos захватить мир Экономия затрат на ИТ инфраструктуру Более 300 кластеров в Европе для обслуживания заказов Многократное сокращение время выхода на рынок в новой стране или городе за счет стандартизации 40% ROBO TTM
  • 9.
    VMware vSAN закрываетвсе задачи для ch2m Ch2m – инжиниринговая компания из списка Fortune 500 ЦОД построен только на vSAN 2 и 6-8 узловые кластера в филиалах Резервный ЦОД на vSAN и vSphere Replication 100% ROBO DR
  • 10.
    ИТ-система выдерживает потерюноса или кормы корабля Отсутствие квалифицированного персонала и отсутствие тех.поддержки на рейде Целевой срок работы системы - 8 лет Растянутый кластер на военном корабле :) © 2017 VMware Inc. All rights reserved. VMworld US 2016 - STO8568
  • 11.
  • 12.
    Что такое VMwarevSAN Работает на любом стандартном x86 сервере Объединяет локальные HDD/SSD в общий datastore Высочайшая производительность и масштабируемость Управление политиками per-VM Глубокая интеграция со стеком VMware vSphere vSAN vSAN Datastore
  • 13.
    Количество допустимых отказов(FTT) • Определяет количество допустимых отказов любых компонентов, которые система может прозрачно выдержать 17 esxi-01 esxi-02 esxi-03 esxi-04 vSAN Policy: “Number of failures to tolerate = 1” ~50% of I/O vmdk witness ~50% of I/O RAID-1 vmdk
  • 14.
    Fault Domains • Определяетзоны/сервера доступности – компоненты инфраструктуры, которые могут «упасть» одновременно 18 FD2 FD3 FD4 vmdk vmdk witness FD1 RAID-1 esxi-01 esxi-02 esxi-03 esxi-04 esxi-05 esxi-06 esxi-07 esxi-08
  • 15.
  • 16.
    vSAN 6.6 –самый большой релиз в истории А ваши СХД так обновляются? 3/2014 v5.5 • Distributed RAID • Per-VM SPBM • Set and change FTT via policy • In-kernel hyper- convergence engine • RVC and Observer 3/2015 v6.0 • All-flash architecture • Perf improvements (4x IOPS) • 64-node support • High density storage blades • Fault domain awareness • Scalable snapshots and clones • Disk enclosure management 8/2015 v6.1 • Windows Failover Clustering • Oracle RAC support • HW checksum and encryption • 2-node ROBO mode • UltraDIMM and NVMe support • Stretch clusters • 5 min RPO (vSphere Rep) • SMP-FT support • Health Check, vROps, LogInsight 2/2016 v6.2 • IPv6 support • Software checksum • Nearline dedup and compression on all- flash • Erasure coding on all-flash • Qos: IOPS limits • Performance monitoring service 10/2016 v6.5 • iSCSI • 2-Node direct connect • PowerCLI • Public APIs and SDK • 512e support • All-Flash to all editions • Native encryption for data-at-rest • Compliance certifications • Resilient management independent of vCenter • Degraded Disk Handling v2.0 (DDHv2) • Smart repairs and enhanced rebalancing • Intelligent rebuilds using partial repairs • Certified file service & data protection solutions • Stretched clusters with local failure protection • Site affinity for stretched clusters • 1-click witness change for Stretched Cluster • vSAN Management Pack for vRealize • Enhanced vSAN SDK and PowerCLI • Simple networking with Unicast • vSAN Cloud Analytics with real-time support notification and recommendations • vSAN Config Assist with 1-click hardware lifecycle management • Extended vSAN Health Services • vSAN Easy Install with 1-click fixes • Up to 50% greater IOPS for all-flash with optimized checksum and dedupe • Support for new next-gen workloads • vSAN for Photon in Photon Platform 1.1 • Day 0 support for latest flash technologies • Expanded caching tier choice • Docker Volume Driver 1.1 4/2017 v6.6 (vSphere 6.5 EP02 Patch)
  • 17.
  • 18.
    Блочный доступ кvSAN через iSCSI vSAN iSCSI Target Service предоставляет Блочное хранилище! – Поддержка Oracle RAC – Поддержка физических серверов Параметры – Максимальный размер LUN - 62TB – Поддержка CHAP Поддерживает всю основную функциональность vSAN: – Дедупликация и компрессия – RAID-1 – RAID-5, RAID-6 – Checksum iSCSI Target iSCSI Initiator iSCSI Initiator iSCSI Network iSCSI Object iSCSI Object vSAN Datastore
  • 19.
    Улучшения производительности иалгоритмов vSAN • Значительно улучшен алгоритм checksum • Оптимизация алгоритмов destaging • Улучшения управления и размещения объектов • Улучшения производительности iSCSI • Улучшения алгоритмов балансировки и ребилдов • Улучшенное определение пред-сбойных дисков vSphere vSAN vSAN Datastore
  • 20.
    Встроенное в vSANшифрование Data-at-Rest • Включается на уровне datastore для всех объектов (не только vmdk) • Поддержка hybrid, all-flash и растянутых кластеров (причем, не шифрует witness во избежание утечки ключей) • Не требуются специальные SED • Работает со всеми функциями vSAN, включая дедупликацию и компрессию • Работает со стандартными KMIP (например, SafeNet, Hytrust, Thales, Vormetric) vSphere vSAN vSAN Datastore
  • 21.
    VMware vSAN AllFlash © 2017 VMware Inc. All rights reserved.
  • 22.
    Классические AFA плохомасштабируются по IOPS SolidFire/NetApp Field CTO Val Bercovici: VB: Честно говоря, практически любой контроллер сегодня от любого производителя будет ограничен всего несколькими SSD. <> El Reg: Должны ли мы ждать более быстрых контроллеров следующего поколения? VB: Нет.<> В некоторых случаях контроллер «следующего поколения» уже здесь, в форме масштабируемой архитектуры хранения, которая добавляет вычислительные ресурсы каждый раз, когда добавляется емкость. Производительность контроллера контроллера не является фиксированной величиной. https://www.theregister.co.uk/2017/01/31/netapp_and_nvme_drives_and_f abric_access/ IOPS Количество SSD IOPS и Количество SSD Классические СХД vSAN • 4 сервера с E5-2690v4– 112 ядер на 2.6GHz и 2TB RAM. • 8 серверов – 224 ядра и 4TB RAM. • 16 серверов – 448 ядер и 8TB RAM.
  • 23.
    vSphere vSAN Архитектура иидея vSAN All-flash • Предпосылки: – На чтении все SSD достаточно быстрые – На запись - разница между ними на порядок – Задержки не уменьшаются от увеличения количества SSD, только от их качества – Производительность + износостойкость напрямую влияет GB/$ • Идея – быстрые, дорогие, но маленькие Write- Intensive (WI) SSD под кэш + дешевые, большие и Read Intensive (RI) SSD для хранения. • Реализация: – Пишем, как Hybrid – Читаем напрямую с Capacity SSD без кэширования • Результат – производительность на запись, как у WI SSD, а стоимость за GB, как у RI. И стабильные суб-миллисекундные задержки vmdk vmdk vmdk esxi-01 esxi-02 esxi-03
  • 24.
    vSphere vSAN esxi-01 esxi-02esxi-03 • Nearline дедупликация и компрессия на уровне дисковой группы – Включается на кластер – Дедупликация работает в момент сброса данных их кэша на уровень хранения – 4KB блок постоянной длины – Таблица дедупликации «размазана» по всем Capacity дискам • Компрессия (LZ4) работает после дедупликации (если есть, что сжимать) – Только если сжимается <= 2KB – Если нет, то пишем весь 4KB блок для уменьшения overhead при чтении Beta Дедупликация и компрессия (SE) vmdk vmdk vmdk All Flash Only Включение SE практически не влияет на производительность by-design. Минимальный RAM+CPU overhead 36
  • 25.
    RAID-5/6 Inline ErasureCoding • Per-VM. Если Number of Failures to Tolerate = 1 и Failure Tolerance Method = Capacity  RAID-5 – 3+1 (4 узла минимум) – Занимаемая емкость 1.33x вместо 2x – Для FTT=2 (RAID-6) – 1.5x вместо 3.x RAID-5 ESXi Host parity data data data All Flash Only ESXi Host data parity data data ESXi Host data data parity data ESXi Host data data data parity 37
  • 26.
    Максимально быстрое применениепоследних технологий vSAN Storage vSphere vSAN Managed by vCenter + Сравнение Intel P3700 SSD и Intel Optane DC P4800X 100% sequential writes, 64KB IO, 1x 1/7 disk group SSD DC P4800X уже сертифицирован и поддерживается
  • 27.
    Катастрофоустойчивость с vSAN Today •Репликация между vSAN datastores или между SAN/NAS и vSAN с 5 минутным RPO • Site Recovery Manager для растянутых кластеров и резервных площадок vSphere vSAN Site Recovery Manager vSphere Replication vSphere vSAN Site Recovery Manager vSphere Replication async replication Any distance allowing >=5 min RPO <=5ms RTT, 10GbE
  • 28.
    vSAN – лучшийрастянутый кластер в индустрии Настоящий Active-Active • vSAN кластер между 2 площадками Или больше ;) • Каждая площадка - Fault Domain (FD) • Нулевая потеря данных • Автоматическое восстановление Today • Что нового: – vSphere 6.5 HA Orchestrated Restart – vSAN 6.6 Local and Remote Protection – vSAN 6.6 Site Affinity vSphere VSAN
  • 29.
    Круто! Хочу еще! FREEvSAN ASSESSMENT HANDS ON LABS STORAGEHUB RESOURCES nkulikov@vmware.com