Андрей Николаенко, IBS. NVMf: 5 млн IOPS по сети своими рукамиIBS
Андрей Николаенко, системный архитектор в IBS, выступил на конференции HighLoad++ 2016.
Тезисы
В выпуске 4.8 ядра Linux появилась поддержка NVMf (NVM Express over Fabrics) — стандартизованной возможности присоединять по сети как блочные устройства твердотельные накопители, установленные в разъёмы PCI Express. NVMf лишён многих недостатков iSCSI, повторяющего по сети SCSI-команды со всеми их издержками времён дисковых накопителей, и главное — позволяет по полной использовать возможности сетей с прямым доступом к оперативной памяти (RDMA). Таким образом, можно под управлением одного узла собрать сверхбыстрый и сверхотзывчивый пул блочных устройств, не прибегая к покупке дорогого флэш-массива. Но как воспользоваться этим пулом, не загубив теоретические показатели программными обёртками?
В докладе будут рассмотрены варианты применения NVMf для различных конфигураций PostgreSQL, Oracle Database, Hadoop, файловых хранилищ, о разработках в направлении «программно-определяемой памяти» с применением NVMe-устройств, доступных по сети, обсуждены текущие проблемы, ограничения и перспективы. Особое внимание будет уделено практическим способам измерения производительности ввода-вывода с учётом задачи, решаемой подсистемой хранения.
Защита датацентров и данных от катастроф на базе технологий Nutanix / Максим ...Ontico
* RTO - Recovery Time Objective - максимальное время, за которое все ваши бизнес-задачи должны полностью быть восстановлены в работоспособное состояние после полной катастрофы ДЦ
RPO - Recovery Point Objective - максимально приемлемый для ваших задач промежуток времени, за который вы готовы потерять данные.
* Стратегии защиты и репликации ДЦ (1 to 1, 1 to many, many to many).
далее см. - http://rootconf.ru/2015/abstracts/1817
Тест-драйв «NetApp – технологии завтрашнего дня, доступные уже сейчас»
http://www.croc.ru/action/detail/44117/
Презентация Александра Миклашевича, инженер департамента вычислительных систем
Андрей Николаенко, IBS. NVMf: 5 млн IOPS по сети своими рукамиIBS
Андрей Николаенко, системный архитектор в IBS, выступил на конференции HighLoad++ 2016.
Тезисы
В выпуске 4.8 ядра Linux появилась поддержка NVMf (NVM Express over Fabrics) — стандартизованной возможности присоединять по сети как блочные устройства твердотельные накопители, установленные в разъёмы PCI Express. NVMf лишён многих недостатков iSCSI, повторяющего по сети SCSI-команды со всеми их издержками времён дисковых накопителей, и главное — позволяет по полной использовать возможности сетей с прямым доступом к оперативной памяти (RDMA). Таким образом, можно под управлением одного узла собрать сверхбыстрый и сверхотзывчивый пул блочных устройств, не прибегая к покупке дорогого флэш-массива. Но как воспользоваться этим пулом, не загубив теоретические показатели программными обёртками?
В докладе будут рассмотрены варианты применения NVMf для различных конфигураций PostgreSQL, Oracle Database, Hadoop, файловых хранилищ, о разработках в направлении «программно-определяемой памяти» с применением NVMe-устройств, доступных по сети, обсуждены текущие проблемы, ограничения и перспективы. Особое внимание будет уделено практическим способам измерения производительности ввода-вывода с учётом задачи, решаемой подсистемой хранения.
Защита датацентров и данных от катастроф на базе технологий Nutanix / Максим ...Ontico
* RTO - Recovery Time Objective - максимальное время, за которое все ваши бизнес-задачи должны полностью быть восстановлены в работоспособное состояние после полной катастрофы ДЦ
RPO - Recovery Point Objective - максимально приемлемый для ваших задач промежуток времени, за который вы готовы потерять данные.
* Стратегии защиты и репликации ДЦ (1 to 1, 1 to many, many to many).
далее см. - http://rootconf.ru/2015/abstracts/1817
Тест-драйв «NetApp – технологии завтрашнего дня, доступные уже сейчас»
http://www.croc.ru/action/detail/44117/
Презентация Александра Миклашевича, инженер департамента вычислительных систем
Ceph является одной из мнообещающих архитектур для построения облачных хранилищ данных. В презентации приведены основные возможности, описана архитектура, дан краткий обзор команд CLI
Погружение в виртуальную память и большие страницы / Константин Новаковский (...Ontico
РИТ++ 2017, HighLoad Junior
Зал Сингапур, 5 июня, 12:00
Тезисы:
http://junior.highload.ru/2017/abstracts/2688.html
Современные приложения часто используют большое количество памяти, ещё чаще разработчики не задумываются, как именно приложение работает с памятью, и откуда она берётся. Просим ядро дать кусок памяти и начинаем с ним что-то делать... Но что за память нам выделяет ядро операционной системы? Память на самом деле виртуальная и делится на единицы, называемые страницами. Страницы бывают маленькими, бывают большими и очень большими.
...
Вычислительная инфраструктура без американских производителей: реалии и возмо...КРОК
Семинар «Вендорозамещение на 100%: инфраструктура, телеком и все-все-все»
http://www.croc.ru/action/detail/50595/
Презентация Антона Семчишена, менеджера по продвижению комплексных решений компании КРОК
Модернизация хранилища данных для использования передовой аналитикиYuri Yashkin
Обновление хранилища, предназначенного для обработки и анализа больших объемов данных, не должно нарушать функционирования вашей информационной среды. Благодаря низкой стоимости, высокой скорости и масштабируемости массивно-параллельной архитектуры колоночная база данных, в частности HPE Vertica, способна стать важнейшим элементом гибридной архитектуры Больших данных.
Резервное копирование не только виртуальных сред при помощи продуктов VeeamYaryomenko
- Возможности среды обеспечения доступности предприятия на базе решения Veeam Availability Suite 9.0, новые возможности и функционал продукта.
- Глубокая интеграция с решением хранения данных EMC Data Domain и VNX/VNXe.
- Возможности решения в гранулярном восстановлении объектов приложений.
Защита данных от Dell Software: бэкап и восстановление так, как это хочет видеть бизнес
Дмитрий Крайнов, менеджер по работе с корпоративными клиентами и партнерами, Dell Software
Форум решений Dell — 2014 (Dell Solutions Forum 2014).
Москва, 14 ноября 2014 г.
Ceph является одной из мнообещающих архитектур для построения облачных хранилищ данных. В презентации приведены основные возможности, описана архитектура, дан краткий обзор команд CLI
Погружение в виртуальную память и большие страницы / Константин Новаковский (...Ontico
РИТ++ 2017, HighLoad Junior
Зал Сингапур, 5 июня, 12:00
Тезисы:
http://junior.highload.ru/2017/abstracts/2688.html
Современные приложения часто используют большое количество памяти, ещё чаще разработчики не задумываются, как именно приложение работает с памятью, и откуда она берётся. Просим ядро дать кусок памяти и начинаем с ним что-то делать... Но что за память нам выделяет ядро операционной системы? Память на самом деле виртуальная и делится на единицы, называемые страницами. Страницы бывают маленькими, бывают большими и очень большими.
...
Вычислительная инфраструктура без американских производителей: реалии и возмо...КРОК
Семинар «Вендорозамещение на 100%: инфраструктура, телеком и все-все-все»
http://www.croc.ru/action/detail/50595/
Презентация Антона Семчишена, менеджера по продвижению комплексных решений компании КРОК
Модернизация хранилища данных для использования передовой аналитикиYuri Yashkin
Обновление хранилища, предназначенного для обработки и анализа больших объемов данных, не должно нарушать функционирования вашей информационной среды. Благодаря низкой стоимости, высокой скорости и масштабируемости массивно-параллельной архитектуры колоночная база данных, в частности HPE Vertica, способна стать важнейшим элементом гибридной архитектуры Больших данных.
Резервное копирование не только виртуальных сред при помощи продуктов VeeamYaryomenko
- Возможности среды обеспечения доступности предприятия на базе решения Veeam Availability Suite 9.0, новые возможности и функционал продукта.
- Глубокая интеграция с решением хранения данных EMC Data Domain и VNX/VNXe.
- Возможности решения в гранулярном восстановлении объектов приложений.
Защита данных от Dell Software: бэкап и восстановление так, как это хочет видеть бизнес
Дмитрий Крайнов, менеджер по работе с корпоративными клиентами и партнерами, Dell Software
Форум решений Dell — 2014 (Dell Solutions Forum 2014).
Москва, 14 ноября 2014 г.
Центр решений ФОРС. Презентации продуктов и технологий. Демонстрационный зал аппаратных средств. Проведение тренингов и тестирований. Проработка и оптимизация решений на стеке Oracle. Oracle Big Data Appliance
NVMf: 5 млн IOPS по сети своими руками / Андрей Николаенко (IBS)Ontico
В выпуске 4.8 ядра Linux появилась поддержка NVMf (NVM Express over Fabrics) — стандартизованной возможности присоединять по сети как блочные устройства твердотельные накопители, установленные в разъёмы PCI Express. NVMf лишён многих недостатков iSCSI, повторяющего по сети SCSI-команды со всеми их издержками времён дисковых накопителей, и главное — позволяет по полной использовать возможности сетей с прямым доступом к оперативной памяти (RDMA). Таким образом, можно под управлением одного узла собрать сверхбыстрый и сверхотзывчивый пул блочных устройств, не прибегая к покупке дорогого флэш-массива. Но как воспользоваться этим пулом, не загубив теоретические показатели программными обёртками?
В докладе будут рассмотрены варианты применения NVMf для различных конфигураций PostgreSQL, Oracle Database, Hadoop, файловых хранилищ, о разработках в направлении «программно-определяемой памяти» с применением NVMe-устройств, доступных по сети, обсуждены текущие проблемы, ограничения и перспективы. Особое внимание будет уделено практическим способам измерения производительности ввода-вывода с учётом задачи, решаемой подсистемой хранения.
Защита данных от Dell Software: бэкап и восстановление так, как это хочет видеть бизнес
Дмитрий Крайнов, менеджер по работе с корпоративными клиентами и партнерами, Dell Software
2. Технологическое лидерство
систем хранения NetApp
Gartner Midrange & High End Modular Disk
Array Magic Quadrant
Согласно исследованию компании Gartner
Midrange & High End Modular Disk Array Magic
Quadrant («Магический квадрат» для
модульных дисковых массивов среднего и
высшего уровня) компания NetApp
устойчиво входит в группу лидеров и
является компанией с наилучшим
соотношением показателей «Полнота
видения» и «Возможности».
Источник: Gartner, Inc. Nov 2011.
5. NetApp - номер 1 среди СХД
корпоративного уровня в 2011 г.
6. Netapp используют и небольшие
компании и крупные корпорации
• Продано ~ 200 000 СХД
• Масштабы систем – до более чем 1000 ТБ;
• Технологии NetApp сэкономили заказчикам
почти
• 4 экзабайта емкости (более 10 млрд. USD)
16. Технологии Netapp
• Операционная система Data ONTAP 8
• Обеспечение постоянно доступной среды
хранения данных.
• Администрирование десятков петабайт
хранящихся данных в качестве единого
масштабируемого объекта.
• Динамическая оптимизация рабочих
нагрузок и помощь в устранении
проблемных точек.
• Возможности расширения и перемещения
данных без нарушения работы
пользователей.
• Использование единой структуры
управления системой для повышения
эффективности работы.
17. Технологии Netapp
• RAID-DP
Двойная четность или диагональная четность
Основные факты:
• Защита от двойных сбоев дисков за
счет двойной проверки четности
(RAID 6)
• Защита данных без снижения
производительности
• Возможность надежного
использования более дешевых
дисков SATA для обеспечения
работы корпоративных приложений
18. Технологии Netapp
• WAFL
Write Anywhere File Layout
«Файловая структура с записью повсюду»
Единожды записанный блок данных в
составе файла в дальнейшем не
перезаписывается. Он может быть только
удален (очищен), но не перезаписан.
19. Технологии Netapp
• Пишу, куда хочу.
1) Файл занимает три блока: A, B и C.
2) Данные в блоке B изменяются.
3) WAFL записывает изменения в новый пустой
блок.
4) WAFL переставляет указатель используемых
файлом блоков на записанный блок B' с блока B.
Блок B становиться новым пустым.
• Преимущества:
Превратить случайные (random) записи на систему
хранения в последовательные (sequental).
• Очень просто и эффективно организовать так
называемые Snapshots, снэпшоты, или мгновенные
«снимки» состояния данных на дисках.
20. Технологии Netapp
• Snapshot
Мгновенный снимок состояния блоков
данных
• Мгновенное резервное копирование без
снижения производительности и
прерывания работы приложений
• Возможность частого копирования
важных данных (до 255 мгновенных
копий Snapshot на том) при
минимальном использовании ресурсов
хранения
• Совместимость с ПО
SnapMirror®, SnapRestore®, SnapManager®
и SnapVault® для построения
необходимого решения защиты данных