Документ представляет собой технический обзор Red Hat Storage 3.0, открытого и масштабируемого программного обеспечения для создания сетевого хранилища. Он описывает архитектуру, технологии и возможности решения, включая управление томами, алгоритмы хэширования и новые функции, такие как создание снимков и мониторинг с помощью Nagios. Также упоминаются улучшения, поддержка различных протоколов и обновления с предыдущих версий.

1. RED HAT STORAGE 3.0
Технический обзор
Андрей Маркелов
Старший системный архитектор,
Red Hat

2. 2
Что такое RED HAT STORAGE?
Открытое, расширяемое и высокомасштабируемое
программное обеспечение для создания Network Attached
Storage (NAS)
● Локальный ЦОД
● Виртуализованная среда
● Облачная среда
Базируется на открытом проекте GlusterFS (gluster.org)

3. 3
ПУЛ СЕРВЕРОВ RED HAT STORAGE
Глобальное пространство имен – POSIX ФС (GlusterFS)
Red Hat
Storage Server
NFS
CIFS POSIX
REST
Hadoop
OpenStack
On-premise
physical
On-premise
physical
On-premise
physical
On-premise
virtual
On-premise
virtual
On-premise
virtual
Облако (AMI) Виртуализация Сервер
x TB
EBS EBS EBSRAID6 RAID6 RAID6
Масштабирование-объем
Масштабирование – объем, производительность, доступность

4. 4
СТЕК ТЕХНОЛОГИЙ RED HAT STORAGE

5. 5
БЛОКИ (BRICKS)
• Brick – это комбинация узла и файловой системы на данном узле:
hostname:/dir
• Максимальный размер brick-а – это максимальный размер ФС (xfs)
• RHS оперирует на уровне brick, а не на уровне узлов level
• В идеале – каждый brick в кластере должен иметь одинаковый размер
Storage Node
/export1
Storage Node
/export2
/export3
/export1
/export2
/export3
/export4
/export5
Storage Node
/export1
/export2
/export3
/export4

6. 6
ТОМА (VOLUMES)
ТОМ – ЭТО НЕСКОЛЬКО BRICK-ов => 2, ОБЪЕДИНЕННЫХ В КЛАСТЕ И
ЭКСПОРТИРОВАННЫХ ПРИ ПОМОЗИ GLUSTER.
• Имена томам присваиваются администратором (имя экспорта)
• Brick может входить только в один том
• Глобальное пространство имен может собираться из реплецируемых и
распределенных томов
• Данные в разных томах физически располагаются на разных brick-ах
• Тома доступны клиентам по протоколам NFS, CIFS и/или Glusterfs
СТРУКТУРА КАТАЛОГОВ ТОМА ПРИСУТСТВУЕТ НА КАЖДОМ
BRICK В ТОМЕ
Storage Node
/export1
Storage Node
/export2
/export3
/export1
/export2
/export3
/export4
/export5
Storage Node
/export1
/export2
/export3
/export4
3 bricks 5 bricks 4 bricks
Том
“homeshares”:
6 brick с репликацией
Экспортированных как
/homeshares
Том
“scratchspace”
6 распределенных brick,
Экспортированных как
/scratchspace

7. 7
КАК МЫ ДОСТИГАЕМ МАСШТАБИРОВАНИЯ?
СВОЙСТВО АЛГОРИТМА ВМЕСТО СЕРВЕРА МЕТАДАННЫХ
• Уликальный хэш-тэг для
каждого файла
• Месторасположение
определяется хэшем
• Тэги храняться на той-же
ФС
• Нет сервера метаданных
• Файлы распределяются на
основе расчета

8. 8
АЛГОРИТМ ХЭШИРОВАНИЯ - 1

9. 9
АЛГОРИТМ ХЭШИРОВАНИЯ - 2

10. 10
АЛГОРИТМ ХЭШИРОВАНИЯ - 3

11. 11
РАСПРЕДЕЛЕННЫЙ ТОМ
• НЕТ ОТКАЗОУСТОЙЧИВОСТИ На уровне brick!
• Сбой brick или всего узла означает недоступность данных с этого brick.
• Операция записи файла, который должен располагаться на этом brick
завершится ошибкой
● Настоятельно рекомендуется аппаратный отказоустойчивый RAID

12. 12
РЕПЛИЦИРУЕМЫЙ ТОМ

13. 13
РАСПРЕДЕЛЕННО-РЕПЛИЦИРУЕМЫЙ ТОМ

14. 14
ЗАПИСЬ ДАННЫХ КЛИЕНТОМ GLUSTERFS
(РАСПРЕДЕЛЕННО-РЕПЛИЦИРУЕМЫЙ ТОМ)

15. 15
ЗАПИСЬ ДАННЫХ КЛИЕНТОМ NFS/CIFS
(РАСПРЕДЕЛЕННО-РЕПЛИЦИРУЕМЫЙ ТОМ)

16. 16
УПРАВЛЕНИЕ – КОМАНДНАЯ СТРОКА
# gluster peer probe HOSTNAME
# gluster volume info
# gluster volume create VOLNAME [stripe COUNT]
[replica COUNT] [transport tcp | rdma] BRICK …
# gluster volume delete VOLNAME
# gluster volume add-brick VOLNAME NEW-BRICK ...
# gluster volume rebalance VOLNAME start

17. 17
КОНСОЛЬ УПРАВЛЕНИЯ RHS-C

18. 18
ВАРИАНТЫ ИСПОЛЬЗОВАНИЯ
RED HAT STORAGE
Объем данных
БУДЕТ ДА
Гб Тб Пб
РАСПРЕДЕ-
ЛЕННЫЙ
КОНТЕНТ ВМ и
ХРАНЕНИЕ
ДАННЫХ
ПРИЛО-
ЖЕНИЙ
NoSQL
АНАЛИТИКА
HADOOP/SPLUNK
HPC
БОЛЬШОЕ
ХРАНИЛИЩЕ
ВИДЕО
И
ФОТО
СУБД и
OLTP
РЕЗЕРВНОЕ
КОПИРОВАНИЕ
И
АРХИВ
НЕТ
I/OСлучайноеПоследовательно

19. 19
Что нового в Red Hat Storage 3?
• Снимки состояния на уровне тома для создания точки
восстановления
• На основе LVM2
• Только для “тонких дисков”
• 256 снимков на том
• Одновременно на дном томе
• Пользовательские снимки (Tech Preview)

20. 20
Что нового в Red Hat Storage 3?
• Мониторинг с использованием Nagios
• Мониторинг физческих и логических объектов
• SNMP в случае падения критических компонентов
• Отчеты и тренды
• Планирование нагрузки
• Интеграция с Nagios Web Console и/или Red Hat
Storage Server console
• Подключаемый модуль Hadoop

21. 21
Что нового в Red Hat Storage 3?
• Улучшнеия в журналировании
• ID/каталог
• Рекомендованные действия в случае ошибок
• Обновления через CDN
• NFS (Technical preview)
• NFS v4 ACL
• NFS v4 псевдо-файловая система
• Аутентификация при помощи Kerberos для NFS v3/v4

22. 22
Что нового в Red Hat Storage 3?
• Поддержка 60 дисков
• Поддержка SSD
• Возможность обновления с 2.1 на 3.0 без переустановки

23. 23
ЗАКАЗЧИКИ

24. 24
Спасибо!