Обзор систем хранения данных, применяемых для обработки сейсмоданных. Доклад на конференции "Геологоразведка-2016"

1. 1

2. CХД для обработки сейсмики
Сравнительный обзор
Всеволод Шабад, генеральный директор
vshabad@netproject.ru (985) 765-76-03
Конференция «Геологоразведка-2016» – Москва, октябрь 2016

3. Типичные пакеты обработки сейсмики
Вычислительный кластер
с разделяемой файловой системой (СХД)
•Paradigm Echos / Geodepth / ES 360
•Schlumberger Omega
•Landmark SeisSpace / ProMAX
Вычислительный кластер
с локальными СХД на вычислительных узлах
•CGG Geovation / Geocluster
3

4. Ключевые факторы выбора СХД
Производительность (ГБ/с)
Емкость (ТБ)
Способ подключения (FC, SAS, Infiniband)
Цена (USD)
Масштабируемость
•по производительности
•по ёмкости
Функциональность
•мгновенные снимки, HSM, RDMA, …
Качество техподдержки в России
4

5. Масштабируемость: пример (2011 год)
250 000
NFS IOPS
500 000
NFS IOPS
1 000 000
NFS IOPS
дисков ТБ дисков ТБ дисков ТБ
NetApp
FAS
288 48 576
x2
96 1152
x4
192
EMC
Isilon
672 172.3 1344
x2
344.5 3360
x5
864
5
Из http://www.spec.org/sfs2008/results/sfs2008nfs.html

6. Функциональность: мгновенные снимки
Традиционные резервные копии
(ленты):
•500 ТБ данных,
верификация после записи
•на 4 приводах LTO-7 (300 МБ/с):
•500 000 000 / (4 * 300
* 2 * 3600) = 58 часов
в идеальных условиях
Инновационные резервные копии
(мгновенные снимки RoW):
•10 минут вне зависимости от объема
6

7. Функциональность: поддержка RDMA
7
Источник: http://cto.vmware.com/wp-
content/uploads/2012/09/RDMAonvSphere.pdf

8. Типичные масштабируемые СХД
Параметр EMC Isilon
Huawei 9000
NetApp FAS
Panasas
ActiveStor
Lenovo GSS
IBM ESS
DDN GRIDscaler
Универсальные СХД:
EMC VNX Unified
IBM Storwize v7000 Unified
Hitachi HNAS
Технология NFS PanFS Spectrum Scale NFS
Масштаби-
руемость
Хорошая Отличная Отличная Умеренная
Поддержка
RDMA на
клиенте
Нет Нет Есть Нет
HSM
(миграция на
ленты)
Нет Нет Есть Нет
Сложность
настройки
Низкая Низкая Умеренная Умеренная
8

9. Типичные файловые системы
Параметр IBM
Spectrum
Scale
(GPFS)
Lustre
(+ ZFS)
BeeGFS Panasas
PanFS
EMC Isilon
Huawei 9000
NetApp FAS
(NFS)
Поддержка RDMA
на клиенте
Есть Есть Есть Нет Нет
Поддержка
снапшотов
Redirect-On-Write
Есть Есть
(через ZFS)
Нет Есть Есть
HSM
(миграция на ленты)
Есть Нет Нет Нет Нет
Коммерческая
поддержка
Есть «Есть»
(для ZFS-on-
Linux нет)
Есть Есть Есть
Сложность
настройки
Высокая Высокая Высокая Низкая Низкая
Производительность
Single-Thread
Умеренная Низкая Высокая Низкая Низкая
9

10. Профессионализм интегратора
Узкая специализация в выбранной нише рынка
Знание отраслевой специфики и прикладного ПО
Знание инфраструктурных ИТ-продуктов
и технологий
Передовая методология управления проектами
Систематизированный опыт прежних проектов
Высокая инженерная культура персонала
Активное вовлечение в проект персонала
заказчика
10
Конференция «Геологоразведка-2016» – Москва, октябрь 2016

11. 11
Бежим вместе? Будет быстро - проверено!
http://www.netproject.ru
Конференция «Геологоразведка-2016» – Москва, октябрь 2016