Software Defined Storage

1. © Copyright 2014 EMC Corporation. All rights reserved. 1
Software Defined Storage
EMC ViPR

2. © Copyright 2014 EMC Corporation. All rights reserved. 2
Рост данных меняет подход к хранению
Емкость хранилищ растет на 53% ежегодно
Source: IDC EMC Digital Universe Study 2014
•
Чрезмерная сложность
–
Большое количество разных технологий защиты данных, протоколов, средств управления
•
Отсутствие экономической гибкости
–
Высокие накладные расходы в распределенных архитектурах, необходимость удешевления аппаратной платформы
•
Отсутствие облачных технологий
–
Стандартная архитектура, отсутствие самообслуживания

3. © Copyright 2014 EMC Corporation. All rights reserved. 3
Сегодняшние инфраструктуры хранения
BLOCK
FILE
FILE
BLOCK
FILE
OBJECT
HDFS

4. © Copyright 2014 EMC Corporation. All rights reserved. 4
Современные приложения меняют подход к хранению
•
Слишком сложная архитектура
–
Блокировки, репликация, высокая доступность, распределенная архитектура
•
Сложность работы сWebи при наличии межсетевых экранов
–
Сложность доступа в распределённых сетях
•
Сложность разработки
–
Различное оборудование и технологии для различных типов данных

5. © Copyright 2014 EMC Corporation. All rights reserved. 5
И становится только хуже …
НОВЫЕ ПЛАТФОРМЫ ИМЕТОДЫ
ОТСУТСТВИЕ САМООБСЛУЖИВАНИЯ
МАССИВНЫЙ РОСТ ДАННЫХ

6. © Copyright 2014 EMC Corporation. All rights reserved. 6
Как это исправить?
Стоимость
Выбор
Облака

7. © Copyright 2014 EMC Corporation. All rights reserved. 7
Программно-ориентированный означает наличие коммодити компонент
Платформа
из коммодити компонент
Программно-ориентированное
хранилище

8. © Copyright 2014 EMC Corporation. All rights reserved. 8
Преимущество стандартных платформ
•
Использование стандартизированных и открытых технологий
•
Проприетарные компоненты дают меньшую экономическую гибкость
•
Стандартные компоненты дают большую экономическую эффективность при использовании специализированного ПО
Экономическая гибкость

9. © Copyright 2014 EMC Corporation. All rights reserved. 9
EMC ViPR: Software-Defined Storage
Commodity Hardware
ECS Appliances
Protect Current Investments
Provisioning
Self-Service
Reporting
Automation
ViPR
Controller
ViPR
Services
EMC
Non-EMC
Array Support via OpenStack

10. © Copyright 2014 EMC Corporation. All rights reserved. 10
Гибкое, отказоустойчивое, экономически эффективное хранилище на основе стандартных компонент

11. © Copyright 2014 EMC Corporation. All rights reserved. 11
Хранилище на основе стандартной платформы
Коммодити
платформа
ViPR
Services
BLOCK
STORAGE
HDFS
STORAGE
OBJECT
STORAGE

12. © Copyright 2014 EMC Corporation. All rights reserved. 12
•
Меньшая стоимость относительно публичного облака
•
Комбинирование эффективности хранения и доступности данных
•
Упрощение разработки приложений –доступность по принципу active-active read/write из любой точки
•
Отсутствие единой точки отказа увеличивает продуктивность и доступность
•
Универсальный стандартизированный доступ позволяет отказаться от ETL процессов
•
Множество методов доступа для разных приложений
Облачная платформа хранения «из коробки»

13. © Copyright 2014 EMC Corporation. All rights reserved. 13
Распределенное управление данными
•
Сбои оборудования и всего ЦОД
–
Disk, Node, Rack, Data Center
•
Ребилдбез перегрузок на каналах связи
•
Снижение нагрузки и затрат
Защита от локальных и глобальных сбоев, active-active read/write
Site 1
Site 3
Site 2

14. © Copyright 2014 EMC Corporation. All rights reserved. 14
Потери емкости на защиту данных
1,33
2,67
2,00
1,77
1,67
1,60
1,55
1,52
0,00
0,50
1,00
1,50
2,00
2,50
3,00
1
2
3
4
5
6
7
8
Overhead
# of Data Centers
Оптимизация доступа, защиты и эффективности

15. © Copyright 2014 EMC Corporation. All rights reserved. 15
Единая платформа для всех типов доступа
•
Различные интерфейсы доступаделают ненужным ETL
–
Object, HDFS , File (Future)
•
HDFS совместимостьсCloudera, Hortonworks, Pivotal etc.
•
Поддержка S3, Swift, Atmos и Centera CAS API
•
Расширения API
–
Byte-Range updates, Atomic appends, Rich ACLs etc.
Совместимость с стандартнымиAPI
HDFS

16. © Copyright 2014 EMC Corporation. All rights reserved. 16
Стандартные компоненты как платформа
•
Поддержка серверов сторонних производителей и DAS
•
Управление оборудованием как кластерной системой
•
Полный цикл управления сторонним оборудованием
VIRTUAL ARRAY
Commodity
Commodity
Commodity
…

17. © Copyright 2014 EMC Corporation. All rights reserved. 17
•
Облачные архивы
•
Контент-репозитории
•
Распределенные отказоустойчивые платформы для больших данных и распределенных вычислений
•
Платформа хранения для мобильных и веб приложений
•
Гибридные облака хранения
Области применения ViPR Services

18. © Copyright 2014 EMC Corporation. All rights reserved. 18
Software-Defined Storage –ViPR Block
ViPR Block (На основе ScaleIO)

ViPR Block на основеScale IO

Управление аналогичное ViPR Services

Создание виртуальных пулов хранение различных уровней

Расширяемость до тысяч узлов

19. © Copyright 2014 EMC Corporation. All rights reserved. 19
•
Платформа хранения данных на основе стандартных компонент
–
ПО для создания SAN из локальных носителей серверов
–
СХД и вычислительные ресурсы на единой платформе
–
Поддержка любых серверов и носителей: HDDs, SSDs, & PCIe flash cards
–
Поддержка физических и виртуальных серверов
Масштабируемая объединенная архитектура

20. © Copyright 2014 EMC Corporation. All rights reserved. 20
Трансформация имеющихся ресурсов
•
ОбъединениеСХД и вычислительных ресурсов
•
Масштабируемость –архитектура из тысяч серверов
•
Гибкость –добавление/удаление серверов/емкости «на лету»
•
Производительность – множественная параллелизация операций

21. © Copyright 2014 EMC Corporation. All rights reserved. 21
8k IOPS
1 TB
8k IOPS
1 TB
8k IOPS
1 TB
8k IOPS
1 TB
8k IOPS
1 TB
8k IOPS
1 TB
8k IOPS
1 TB
8k IOPS
1 TB
8k IOPS
1 TB
8k IOPS
1 TB
•
8k IOPS каждого сервера
•
1TB емкостикаждого сервера
•
Отсутствие защиты данных при недоступности диска или сервера
Пример производительности10 x SSD’sбезScaleIO…

22. © Copyright 2014 EMC Corporation. All rights reserved. 22
10k IOPS
1TB
10k IOPS
1TB
10k IOPS
1TB
10k IOPS
1TB
10k IOPS
1TB
10k IOPS
1TB
10k IOPS
1TB
10k IOPS
1TB
10k IOPS
1TB
10k IOPS
1TB
•
80,000 IOPS
•
10TB общей емкости
•
Защита данных при недоступности компонент
Пример производительности10 x SSD’sScaleIO…

23. © Copyright 2014 EMC Corporation. All rights reserved. 23
Ограничение IOPS/Bandwidth
Для QoS
ДляInfrastructure as a Service
Расширенные возможности
Снэпшоты для резервного копирования
Выделенные домены
Пулы дисков для тиринга
Контроль производительности, емкости, иразмещения данных
Безопасность путем Data Masking
APP 1
APP 2
APP 3

24. © Copyright 2014 EMC Corporation. All rights reserved. 24
Преимущества
Server SAN
МеньшийOpEx
Уменьшение TCO
Миграции данных
Больше пространства
Программная, расширяемая, объединенная архитектура хранилища
#EMCSCALEIO

25. © Copyright 2014 EMC Corporation. All rights reserved. 25
Преимущества
•
Встроенные носители
•
Отсутствие специализированных компонент СХД
•
Экономия ресурсов энергопотребления, охлаждения и физического пространства
•
Отстутствие необходимости в обновлении EOL оборудования
•
Низкие расходы на администрирование
•
Линейные инвестиции с возможностью прогнозирования

26. © Copyright 2014 EMC Corporation. All rights reserved. 26
Области применения ScaleIO
•
Платформа для Test&Dev
•
Виртуализация VDI/VSI
•
Кластерные распределенные web приложения
•
Высокопроизводительные базы данных для сред web приложений и Scale-out сервисов

27. © Copyright 2014 EMC Corporation. All rights reserved. 27
ViPR
Enterprise & SPs
2ndto 3rdPlatform with Arrays
DIY 3rdPlatform with Commodity
ECS Appliance
Enterprise & SPs
3rdPlatform appliance

28. © Copyright 2014 EMC Corporation. All rights reserved. 28

Стоечные конфигурации
–
Unstructured for Object & HDFS
–
Mixed Workload for Block, Object, HDFS

Различная емкость для каждой стойки

Расширяемость до сотен петабайт
Конфигурации

29. © Copyright 2014 EMC Corporation. All rights reserved. 29
Конфигурации
RU
ECS DENSE
40
GbE
39
10 GbE
38
10 GbE
37
2u4 node
36
35
2u4 node
34
33
60 Disk x 6TB
32
31
30
29
60 Disk x 6TB
28
27
26
25
60 Disk x 6TB
24
23
22
21
60 Disk x 6TB
20
19
18
17
60 Disk x 6TB
16
15
14
13
60 Disk x 6TB
12
11
10
9
60 Disk x 6TB
8
7
6
5
60 Disk x 6TB
4
3
2
1
Not Used
RU
ECSMEDIUM
40
GbE
39
10 GbE
38
10GbE
37
Empty
36
35
2u4 node
34
33
Blank
32
31
30
29
Blank
28
27
26
25
Blank
24
23
22
21
Blank
20
19
18
17
60 Disk x 6TB
16
15
14
13
60 Disk x 6TB
12
11
10
9
60 Disk x 6TB
8
7
6
5
60 Disk x 6TB
4
3
2
1
Not Used
RU
ECS SMALL
40
GbE
39
10 GbE
38
10GbE
37
Empty
36
35
2u4 node
34
33
Blank
32
31
30
29
Blank
28
27
26
25
Blank
24
23
22
21
Blank
20
19
18
17
15 Disk x 6TB
16
15
14
13
15 Disk x 6TB
12
11
10
9
15 Disk x 6TB
8
7
6
5
15 Disk x 6TB
4
3
2
1
Not Used
2.9PB
1.4PB
360TB
RU
ECSMEDIUM
40
GbE
39
10 GbE
38
10 GbE
37
2u4 node
36
35
2u4 node
34
33
30 Disk x 1TB
32
31
30
29
30 Disk x 1TB
28
27
26
25
30 Disk x 1TB
24
23
22
21
30 Disk x 1TB
20
19
18
17
60 Disk x 6TB
16
15
14
13
60 Disk x 6TB
12
11
10
9
60 Disk x 6TB
8
7
6
5
60 Disk x 6TB
4
3
2
1
Not Used
1.4PB Object
+120TB
Unstructured (Object and HDFS)
Mixed Workload (Object, HDFS, Block)
RU
ECSSMALL
40
GbE
39
10 GbE
38
10GbE
37
2u4 node
36
35
2u4 node
34
33
30 Disk x 1TB
32
31
30
29
30 Disk x 1TB
28
27
26
25
30 Disk x 1TB
24
23
22
21
30 Disk x 1TB
20
19
18
17
15 Disk x 6TB
16
15
14
13
15 Disk x 6TB
12
11
10
9
15 Disk x 6TB
8
7
6
5
15 Disk x 6TB
4
3
2
1
Not Used
360TB Object
+ 120TB