Файловые системы для вычислительных кластеров

1. Файловые системы для
вычислительных кластеров
Краткий обзор

2. Файловые системы для HPC
Зачем нужны?
Чем различаются?
Какие самые известные?
Сколько стоят?
2

3. Распределенные файловые системы
Нет монополизации LUN конкретным сервером
•сохраняются возможности блокировки
отдельных файлов на чтение и запись
Высокая масштабируемость
•по данным и метаданным
Высокая надёжность
Относительная дешевизна
3

4. Особенности масштабируемых ФС
Производительность
? single-thread (GB/s)
? multi-thread (GB/s)
? обработка коротких
операций ввода-вывода
? метаданные
Совместимость
? операционные системы и
их версии
Масштабируемость
? по данным
? по метаданным
Надёжность
? kernel space / user space
? репликация данных
? снэпшоты
Функциональность
? снэпшоты
? пулы ресурсов и HSM
? дедупликация
Стабильность
? количество внедрений
? SLA службы поддержки
Стоимость
4

5. Самые известные масштабируемые ФС
IBM GPFS
Lustre File System
Hadoop Distributed File System (HDFS)
Fraunhofer File System (BeeGFS)
----
Panasas File System (PanFS)
Quantum StorNext File System
5

6. IBM GPFS
6

7. IBM GPFS — архитектура
7

8. IBM GPFS — сильные и слабые стороны
Сильные стороны:
•высокая производительность
•мгновенные снимки, пулы ресурсов
Слабые стороны:
•сложность настройки
•множество недокументированных параметров
•отсутствие графической консоли управления
•дороговизна лицензий и техподдержки
•перегрузка служб техподдержки
8

9. GPFS --- клиенты в нефтегазовом секторе
Petrobras
Exxon Mobil
ENI
British Petroleum
Подробности недоступны!
9

10. IBM GPFS --- стоимость (List Price)
Сервер:
•лицензия + 1 год поддержки — 184 USD
•доп. 1 год поддержки — 36.75 USD
Клиент:
•лицензия + 1 год поддержки — 2.20 USD
•доп. 1 год поддержки — 0.45 USD
Все цены — за 10 PVU
•в типичном современном Intel Xeon
--- 70 PVU на 1 ядро
10

11. LUSTRE (IEEL)
11

12. Lustre --- архитектура
12

13. Lustre — сильные и слабые стороны
Сильные стороны:
•высочайшая производительность
•высочайшая масштабируемость
•графическая консоль управления
•бесплатность лицензий и дешевизна
коммерческой техподдержки
•возможность работы с любыми массивами
Слабые стороны:
•нет снимков, пулов хранения, дедупликации
•мало публичных историй успеха
в нефтегазовой отрасли
13

14. Масштабируемость Lustre — 1.5 ТБ/с
14

15. Внутри инсталляции LLNL --- NetApp E5400
15

16. Lustre + ZFS --- потеря производительности
16

17. Lustre --- клиенты в нефтегазовом секторе
DownUnder Geosolutions (Australia)
•Сluster size: 12’000 cores
•Storage size: 1.5 PB
•I/O performance: 10 GB/s
Total S. A. (France)
•Сluster size: 110’592 cores
•Storage size: 7 PB
•Pangea --- крупнейший коммерческий
суперкомпьютер в мире!
17

18. Lustre File System — история и команда
1999 --- Университет Карнеги-Мелон
2003 — Cluster File Systems, Inc.
2007 --- Sun Microsystems, Inc.
2010 --- Oracle Corporation
2010 --- Whamcloud
2012 --- Intel Corporation
18
Peter Braam
Eric Barton Andreas DilgerBrent Gorda

19. «СетьПроект» — партнёр Intel в России
19

20. Intel Lustre --- стоимость (List Price)
Сервер (OSS):
•1 год поддержки — 7000 USD
Клиент:
•бесплатно
20

21. APACHE HDFS
21

22. HDFS --- архитектура
22

23. HDFS — сильные и слабые стороны
Сильные стороны:
•широкая распространенность
•социальные сети, поисковые машины
•масса вариантов коммерческой поддержки
•возможность работы с любыми массивами
•бесплатность лицензий и дешевизна
коммерческой техподдержки
Слабые стороны:
•плохая производительность по операциям
записи
•плохая масштабируемость
•множество несовместимых версий
•нет историй успеха в нефтегазовой отрасли
23

24. HDFS --- крупнейшие внедрения
24

25. FRAUNHOFER GFS (BEEGFS)
25

26. BeeGFS --- архитектура
26

27. BeeGFS --- сильные и слабые стороны
Сильные стороны:
•универсальность (полностью в user space)
•распределенные серверы метаданных
•высочайшая производительность
•особенно single-thread
•графическая консоль управления
•бесплатность лицензий и дешевизна
коммерческой техподдержки
•возможность работы с любыми массивами
Слабые стороны:
•нет снимков, пулов хранения, дедупликации
•мало публичных историй успеха
в нефтегазовой отрасли
27

28. BeeGFS--- клиенты в нефтегазовом секторе
Det norske oljeselskap (Норвегия)
RockSolidImages (США)
Lundin (Норвегия)
Подробности недоступны!
28

29. BeeGFS --- типичная инсталляция
29

30. BeeGFS --- производит-сть Single-Thread
30
Оборудование:
•5 storage servers по 36 дисков RAID60
Тест:
•iozone 1-thread, 1-node
Результаты BeeGFS:
•2’484’441.50 Kbytes/sec, Sequential Write
•1’087’680.75 Kbytes/sec, Sequential Read
Результаты Lustre (для сравнения):
•465’339.94 Kbytes/sec, Sequential Write
•378’283.56 Kbytes/sec, Sequential Read

31. BeeGFS --- производит-сть Multi-Thread
31
Оборудование:
•5 storage servers по 36 дисков RAID60
Тест:
•IOB_5 (8 threads on 8 nodes)
Результаты BeeGFS:
•5’623’611.31 Kbytes/sec, Sequential Write
•7’913’005.2 Kbytes/sec, Sequential Read
Результаты Lustre (для сравнения):
•3’494’379.44 Kbytes/sec, Sequential Write
•2’750’521.81 Kbytes/sec, Sequential Read

32. BeeGFS --- стоимость (List Price)
Сервер (multi-target):
•1 год поддержки — 1600 EUR
Сервер (single-target):
•1 год поддержки — 1100 EUR
Клиент:
•бесплатно
32

33. Услуги «СетьПроекта»
Помощь в постановке задачи
•уточнение
исходных данных
•выявление
неочевидных ограничений
•организация
тестовых стендов
Внедрение СХД
•проектирование
•поставка
•развертывание
Сопровождение СХД
33

34. 34
Знаем и умеем --- проверено!
Интернет: http://www.netproject.ru
Электр. почта: info@netproject.ru
Телефон: (495) 969-24-30
Факс: (499) 969-80-63
Адрес: 119334, Москва, 5-й Донской
проезд, 15 стр. 8

35. Дешевизна масштабируемых ФС
Задача --- файловая система для вычислительного
кластера:
•200 ТБ полезной емкости
•6 ГБ/с скорость последовательной записи
Расчет в ценах List Price
NetApp FAS (IO size = 32К):
•FAS8060
•8 узлов, 576 дисков 900 ГБ SAS 10K --- $4.4М
NetApp E-Series + Lustre (IO size = 256K):
•E2700
•6 узлов, 247 дисков 2 ТБ SATA --- $350K
35