Ceph является одной из мнообещающих архитектур для построения облачных хранилищ данных. В презентации приведены основные возможности, описана архитектура, дан краткий обзор команд CLI
Тюним память и сетевой стек в Linux: история перевода высоконагруженных серве...odnoklassniki.ru
В процессе обновления высоконагруженных серверов раздачи видео (40Gbit/s с каждого сервера) со старого OpenSuSE 10.2 на новый CentOS 7 (время между релизами - 7 лет) мы столкнулись с рядом проблем - необъяснимый свопинг и запуски OOM killer, неравномерное распределение нагрузки по ядрам, обрывы соединений, скачки системной нагрузки на CPU.
В докладе будет рассказано о том, как мы боролись с этими проблемами и какие технологии для этого использовали.
Ceph является одной из мнообещающих архитектур для построения облачных хранилищ данных. В презентации приведены основные возможности, описана архитектура, дан краткий обзор команд CLI
Тюним память и сетевой стек в Linux: история перевода высоконагруженных серве...odnoklassniki.ru
В процессе обновления высоконагруженных серверов раздачи видео (40Gbit/s с каждого сервера) со старого OpenSuSE 10.2 на новый CentOS 7 (время между релизами - 7 лет) мы столкнулись с рядом проблем - необъяснимый свопинг и запуски OOM killer, неравномерное распределение нагрузки по ядрам, обрывы соединений, скачки системной нагрузки на CPU.
В докладе будет рассказано о том, как мы боролись с этими проблемами и какие технологии для этого использовали.
Вычислительная инфраструктура без американских производителей: реалии и возмо...КРОК
Семинар «Вендорозамещение на 100%: инфраструктура, телеком и все-все-все»
http://www.croc.ru/action/detail/50595/
Презентация Антона Семчишена, менеджера по продвижению комплексных решений компании КРОК
Платформа для видео сроком в квартал. Александр Тоболь.odnoklassniki.ru
A talk from jokerconf.com conference. "Video Platform in 3 months. Delivered." by Alexander Tobol.
Доклад не затронет какую-то особенную технологию или волшебный алгоритм. Речь пойдет о том, как чуть больше чем за квартал совсем небольшая команда перезапустила работающий в режиме 24/7 совсем немаленький видео-сервис на Одноклассниках на написанной с нуля платформе, развернутой на парке из свыше 200 серверов, распределенных между несколькими центрами обмена данными.
Я бы хотел поделиться успехами и неудачами в ходе решения задачи по обеспечению бесперебойных загрузки, трансформации, хранения, раздачи видео и мониторинга, а также остановиться на особенностях, связанных с нагрузкой в 1000 просмотров в секунду, размером ежедневной аудитории в 8 миллионов географически распределенных в и за пределами РФ. Я также остановлюсь на некоторых использованных нами технологиях.
Резервное копирование не только виртуальных сред при помощи продуктов VeeamYaryomenko
- Возможности среды обеспечения доступности предприятия на базе решения Veeam Availability Suite 9.0, новые возможности и функционал продукта.
- Глубокая интеграция с решением хранения данных EMC Data Domain и VNX/VNXe.
- Возможности решения в гранулярном восстановлении объектов приложений.
Андрей Николаенко, IBS. NVMf: 5 млн IOPS по сети своими рукамиIBS
Андрей Николаенко, системный архитектор в IBS, выступил на конференции HighLoad++ 2016.
Тезисы
В выпуске 4.8 ядра Linux появилась поддержка NVMf (NVM Express over Fabrics) — стандартизованной возможности присоединять по сети как блочные устройства твердотельные накопители, установленные в разъёмы PCI Express. NVMf лишён многих недостатков iSCSI, повторяющего по сети SCSI-команды со всеми их издержками времён дисковых накопителей, и главное — позволяет по полной использовать возможности сетей с прямым доступом к оперативной памяти (RDMA). Таким образом, можно под управлением одного узла собрать сверхбыстрый и сверхотзывчивый пул блочных устройств, не прибегая к покупке дорогого флэш-массива. Но как воспользоваться этим пулом, не загубив теоретические показатели программными обёртками?
В докладе будут рассмотрены варианты применения NVMf для различных конфигураций PostgreSQL, Oracle Database, Hadoop, файловых хранилищ, о разработках в направлении «программно-определяемой памяти» с применением NVMe-устройств, доступных по сети, обсуждены текущие проблемы, ограничения и перспективы. Особое внимание будет уделено практическим способам измерения производительности ввода-вывода с учётом задачи, решаемой подсистемой хранения.
Тест-драйв «Расширяя границы возможного с EMC XtremIO»
Презентация Вадима Болотнова, директора Центра решений КРОК на базе технологий EMC, и Антона Семчишена, менеджера по продвижению решений КРОК
Эволюция High availability: Windows Server 2016 Failover ClusteringYuriy Denisov
Вспомним, как все начиналось и развивалось
Посмотрим, что появилось нового и изменилось
Узнаем, как обновиться, да так, чтобы без простоя
И немножко про то, чем многие не пользуются: Cluster-Aware Updating
Тест-драйв «Флеш СХД: битва титанов на сверхбыстрых скоростях» http://www.croc.ru/action/test-drives/42143/
Презентация Дмитрия Лямина, директора Центра решений КРОК на базе технологий Hitachi Data Systems
Вычислительная инфраструктура без американских производителей: реалии и возмо...КРОК
Семинар «Вендорозамещение на 100%: инфраструктура, телеком и все-все-все»
http://www.croc.ru/action/detail/50595/
Презентация Антона Семчишена, менеджера по продвижению комплексных решений компании КРОК
Платформа для видео сроком в квартал. Александр Тоболь.odnoklassniki.ru
A talk from jokerconf.com conference. "Video Platform in 3 months. Delivered." by Alexander Tobol.
Доклад не затронет какую-то особенную технологию или волшебный алгоритм. Речь пойдет о том, как чуть больше чем за квартал совсем небольшая команда перезапустила работающий в режиме 24/7 совсем немаленький видео-сервис на Одноклассниках на написанной с нуля платформе, развернутой на парке из свыше 200 серверов, распределенных между несколькими центрами обмена данными.
Я бы хотел поделиться успехами и неудачами в ходе решения задачи по обеспечению бесперебойных загрузки, трансформации, хранения, раздачи видео и мониторинга, а также остановиться на особенностях, связанных с нагрузкой в 1000 просмотров в секунду, размером ежедневной аудитории в 8 миллионов географически распределенных в и за пределами РФ. Я также остановлюсь на некоторых использованных нами технологиях.
Резервное копирование не только виртуальных сред при помощи продуктов VeeamYaryomenko
- Возможности среды обеспечения доступности предприятия на базе решения Veeam Availability Suite 9.0, новые возможности и функционал продукта.
- Глубокая интеграция с решением хранения данных EMC Data Domain и VNX/VNXe.
- Возможности решения в гранулярном восстановлении объектов приложений.
Андрей Николаенко, IBS. NVMf: 5 млн IOPS по сети своими рукамиIBS
Андрей Николаенко, системный архитектор в IBS, выступил на конференции HighLoad++ 2016.
Тезисы
В выпуске 4.8 ядра Linux появилась поддержка NVMf (NVM Express over Fabrics) — стандартизованной возможности присоединять по сети как блочные устройства твердотельные накопители, установленные в разъёмы PCI Express. NVMf лишён многих недостатков iSCSI, повторяющего по сети SCSI-команды со всеми их издержками времён дисковых накопителей, и главное — позволяет по полной использовать возможности сетей с прямым доступом к оперативной памяти (RDMA). Таким образом, можно под управлением одного узла собрать сверхбыстрый и сверхотзывчивый пул блочных устройств, не прибегая к покупке дорогого флэш-массива. Но как воспользоваться этим пулом, не загубив теоретические показатели программными обёртками?
В докладе будут рассмотрены варианты применения NVMf для различных конфигураций PostgreSQL, Oracle Database, Hadoop, файловых хранилищ, о разработках в направлении «программно-определяемой памяти» с применением NVMe-устройств, доступных по сети, обсуждены текущие проблемы, ограничения и перспективы. Особое внимание будет уделено практическим способам измерения производительности ввода-вывода с учётом задачи, решаемой подсистемой хранения.
Тест-драйв «Расширяя границы возможного с EMC XtremIO»
Презентация Вадима Болотнова, директора Центра решений КРОК на базе технологий EMC, и Антона Семчишена, менеджера по продвижению решений КРОК
Эволюция High availability: Windows Server 2016 Failover ClusteringYuriy Denisov
Вспомним, как все начиналось и развивалось
Посмотрим, что появилось нового и изменилось
Узнаем, как обновиться, да так, чтобы без простоя
И немножко про то, чем многие не пользуются: Cluster-Aware Updating
Тест-драйв «Флеш СХД: битва титанов на сверхбыстрых скоростях» http://www.croc.ru/action/test-drives/42143/
Презентация Дмитрия Лямина, директора Центра решений КРОК на базе технологий Hitachi Data Systems
Presentation from the 2014 Waterloo iGEM team at the Giant Jamboree in Boston. Read more about Staphylocide, our microbe engineered to silence antiobiotic resistance, on our 2014 wiki: http://2014.igem.org/Team:Waterloo.
This presentation is also available on the iGEM website: http://2014.igem.org/files/presentation/Waterloo_Championship.pdf
Waterloo iGEM's 2015 Open House Presentation. Learn about synthetic biology, the iGEM competition and the history of the Waterloo iGEM team. We also have information about each of our subteams (Lab & Design, Mathematical Modelling, Business and Policy & Practices) and what they're looking for in new members. Hope to see many applications! Visit our Get Involved page to learn more: http://igem.uwaterloo.ca/get-involved/
Gustame is an app I developed as a class project for the Data Mining course I took during the fall of 2014 at University of Rochester.
By signing in to the site using their Facebook account, users are able to see a list of their friends and for each of those friends, get recommendations based on the Facebook Pages related to books they already liked. Sounds tricky huh? Then I should not mention that it uses Freebase to disambiguate redundant entities and that it uses a Collaborative Filtering technique based on your closed graph of contacts to do the recommendation…
ETERNUS DX S3 – новые рекорды производительностиFujitsu Russia
Благодаря сочетанию высокопроизводительной архитектуры и автоматизированного регулирования качества обслуживания системы ETERNUS DX, предлагаемые компанией Fujitsu, обеспечивают соответствие параметров хранения данных бизнес-потребностям, что повышает коэффициент использования систем, увеличивает возможности их консолидации и ускоряет окупаемость инвестиций.
Новые дисковые массивы ETERNUS DX S3 позволяют беспрепятственно подстраиваться под нужды пользователей, предоставляя повышенный уровень обслуживания и сокращая издержки. Эти преимущества стали результатом ряда достижений, включая пятикратное увеличение производительности и интеллектуальное управление данными по приоритетам, т.е. системы могут сами определять последовательность создания резервных копий в соответствии с задачами бизнеса.
На вебинаре Александр Яковлев обсудил возможности использования флеш-памяти в современном дисковом массиве.
Третье поколение бизнес-ориентированных систем ETERNUS DX S3 начального уровняFujitsu Russia
Третье поколение бизнес-ориентированных систем ETERNUS DX S3 начального уровня. Материалы вебинара 18 марта 2015 г.
Александр Яковлев, менеджер по развитию бизнеса СХД Fujitsu.
Современные серверы DEPO Storm и системы хранения DEPO StorageDEPO Computers
Сергей Сенько, руководитель направления по серверной продукции компании DEPO Computers, обозначил тенденции в изменениях требований к инфраструктуре и серверному оборудованию ЦОД и презентовал новые модели серверов DEPO Storm с примерами решений для внедрения виртуализации и частного облака от десятков до тысяч пользователей.
Технологии хранения для больших проектов / Сергей Платонов (RAIDIX)Ontico
HighLoad++ 2017
Зал «Пекин+Шанхай», 7 ноября, 18:00
Тезисы:
http://www.highload.ru/2017/abstracts/2990.html
Мы ежедневно сталкиваемся с тем, что даже работающие более 15 лет в индустрии специалисты, путаются в понятиях и преимуществах и недостатках тех или иных архитектур больших СХД.
В своем докладе мы расскажем о разнице между distributed (распределенными), shared (общими) и параллельными файловыми системами, покажем, в каких задачах Scale In-системы превосходят Scale Out и наоборот.
...
Файловое хранилище Hitachi NAS 3200. Спецификация.Hitachi Nas
Файловое хранилище Hitachi NAS 3200. Спецификация.
Сетевая система хранения данных (NAS) от Hitachi предлагает масштабируемые решения для консолидации высокопроизводительных приложений корпоративного уровня, а также расширенные функциональные возможности для решений по консолидации файловых серверов организаций среднего размера.
Ключевые особенности:
Интеллектуальное перемещение файлов по уровням хранения позволяет реализовать иерархическое управление системами хранения данных (HSM) для платформ NAS и Content Platform от Hitachi
Сетевая система хранения данных с аппаратным ускорением, обеспечивающая пропускную способность до 700 Мбайт/с для последовательных операций и до 40 000 операций ввода/вывода в секунду
Возможность увеличения емкости хранилища до 4 петабайт
Интеграция с пакетом Hitachi Data Discovery Suite для эффективной индексации и поиска контента
Поэтапная модернизация, более быстрые переключения в случае аварий; сокращение времени плановых и внеплановых простоев
Кластеризация с включением по схеме «Active-Active» до двух узлов, обеспечивающая близкий к линейному рост производительности
Кэширование операций чтения для масштабируемой обработки запросов к NFS в случае большой доли таких операций
Кластерное пространство имен в целях унифицированной структуры каталогов
До 16 миллионов объектов на каталог
До 1024 «мгновенных снимков» на каждую файловую систему
Динамическое расширение файловых систем
До 64 виртуальных серверов с уникальными идентификаторами для аутентификации в AD, LDAP или NIS
http://hnas.hds.ru
Файловое хранилище Hitachi NAS 3080. Спецификация.Hitachi Nas
Файловое хранилище Hitachi NAS 3090. Спецификация.
Сетевая система хранения данных (NAS) от Hitachi предлагает масштабируемые решения для консолидации высокопроизводительных приложений корпоративного уровня, а также расширенные функциональные возможности для решений по консолидации файловых серверов организаций среднего размера.
Ключевые особенности:
Интеллектуальное перемещение файлов по уровням хранения позволяет реализовать иерархическое управление системами хранения данных (HSM) для платформ NAS и Content Platform от Hitachi
Сетевая система хранения данных с аппаратным ускорением, обеспечивающая пропускную способность до 700 Мбайт/с для последовательных операций и до 40 000 операций ввода/вывода в секунду
Возможность увеличения емкости хранилища до 4 петабайт
Интеграция с пакетом Hitachi Data Discovery Suite для эффективной индексации и поиска контента
Поэтапная модернизация, более быстрые переключения в случае аварий; сокращение времени плановых и внеплановых простоев
Кластеризация с включением по схеме «Active-Active» до двух узлов, обеспечивающая близкий к линейному рост производительности
Кэширование операций чтения для масштабируемой обработки запросов к NFS в случае большой доли таких операций
Кластерное пространство имен в целях унифицированной структуры каталогов
До 16 миллионов объектов на каталог
До 1024 «мгновенных снимков» на каждую файловую систему
Динамическое расширение файловых систем
До 64 виртуальных серверов с уникальными идентификаторами для аутентификации в AD, LDAP или NIS
http://hnas.hds.ru
Файловое хранилище Hitachi NAS 3090. Спецификация.Hitachi Nas
Файловое хранилище Hitachi NAS 3090. Спецификация.
Сетевая система хранения данных (NAS) от Hitachi предлагает масштабируемые решения для консолидации высокопроизводительных приложений корпоративного уровня, а также расширенные функциональные возможности для решений по консолидации файловых серверов организаций среднего размера.
Ключевые особенности:
Интеллектуальное перемещение файлов по уровням хранения позволяет реализовать иерархическое управление системами хранения данных (HSM) для платформ NAS и Content Platform от Hitachi
Сетевая система хранения данных с аппаратным ускорением, обеспечивающая пропускную способность до 700 Мбайт/с для последовательных операций и до 40 000 операций ввода/вывода в секунду
Возможность увеличения емкости хранилища до 4 петабайт
Интеграция с пакетом Hitachi Data Discovery Suite для эффективной индексации и поиска контента
Поэтапная модернизация, более быстрые переключения в случае аварий; сокращение времени плановых и внеплановых простоев
Кластеризация с включением по схеме «Active-Active» до двух узлов, обеспечивающая близкий к линейному рост производительности
Кэширование операций чтения для масштабируемой обработки запросов к NFS в случае большой доли таких операций
Кластерное пространство имен в целях унифицированной структуры каталогов
До 16 миллионов объектов на каталог
До 1024 «мгновенных снимков» на каждую файловую систему
Динамическое расширение файловых систем
До 64 виртуальных серверов с уникальными идентификаторами для аутентификации в AD, LDAP или NIS
http://hnas.hds.ru
Использование ленточных технологий для сокращения стоимости файловых хранилищ
1. для сокращения стоимости файловых хранилищ
Александр Рейтман
27 апреля 2016
Использование ленточных технологий
2. Предпосылки - технические
LTO7
– анонсирован
20.10.2015
– 6ТБ на кассете
(без учета сжатия)
– 300МБ/сек
скорость
чтениязаписи
IBM TS1150
(Jaguar Gen5)
– анонсирован
06.10.2014
– 10ТБ на кассете
(без учета сжатия)
– 360МБ/сек скорость
чтениязаписи
– переформатировани
е старых кассет
4ТБ -> 7ТБ
HDD HGST
Ultrastar® He10
– анонсирован
02.12.2015
– 10ТБ диск
– 249МБ/сек
скорость
чтениязаписи
3. Предпосылки - цена
TS4500 LTO7 (4.3PB )
Цена $792 629
Одна кассета $522.9
Месячная поддержка
$2 166
DCS3700 HDD 6TB (4.3PB)
Цена $2 259 592
Один диск $2 322
Месячная поддержка
$5 986
3
"В качестве цены на продукцию IBM, приведенную в данном документе, указана так называемая «базовая цена»
(“list price”, применяемая при прямых закупках у IBM World Trade Corporation), которая не учитывает налогов и
сборов, определяемых законодательством Российской Федерации, а также прочих накладных расходов.
Окончательная цена для Вас устанавливается в Вашем договоре с соответствующим продавцом. Для получения
коммерческого предложения Вы можете обратиться к Бизнес - Партнеру компании IBM.
5. Ограничения
Задержки
– Доставка кассеты – 5.5 сек для TS3500TS4500 (другие – 10-20 сек)
– Монтирование – 10сек (Unload+Load – 30сек)
– Поиск – 56 сек (максимум 109 сек)
Производительность при многопоточной записи
Один поток чтения на накопитель
Заполняемость кассет
Проблема файлов малого размера
Удаление файлов обычно не приводит к освобождению места
5
6. Реализация - ПО IBM Spectrum для интеграции
Возможность использования бесплатных и коммерческих версий
Стандартизация формата кассет и простая интеграция
IBM Spectrum Archive (LTFS)
– Single Drive Edition – перенос файлов
– Library Edition - управление роботом
– Enterprise Edition – интеграция с GPFS (Spectrum Scale)
Интеграция с существующими схемами и расширенные возможности
IBM Spectrum Protect (TSM)
Специализированные решения (AREMA и т.п.)
6
9. ПО IBM Spectrum Archive Enterprise Edition
9
GPFS
Global Namespace
LTFS EE
User / Application
Disk Tier Tape Tier
File
Migration
File
Recall
Cartridge
Export
Cartridge
Import
Tape
10. Movie1.mpg
Memo.txt
Database.db2
Перемещение файлов по правилам
C:/user defined namespace
FileStorageTiersFileNamespace
Single file system view
LTFS
Pool 1
LTFS
Pool 2 LTFSLTFSLTFS
Policy Based Tier Migration
Manuf
Repair.mpg
Inv02.txt
Sales.db2
G:/
Dept0A
Subdir 1
Video1.mpg
One.txt
Manuf
Repair.mpg
Inv02.txt
Sales.db2
G:/
Dept0A
Movie1.mpg
Memo.txt
Subdir 1
Database.db2
Video1.mpg
One.txt
Move files older than X
Move files named *.mpg
Never move files named *.db2
Move files opened for modification
One.txt
Memo.txt
Inv02.txt
Video1.mpg
Movie1.mpg
Repair.mpg
Memo.txt
11. IBM Systems Lab Services
Работа вместе с департаментом IBM Systems Storage
Действующий стенд с Spectrum Archive Spectrum Scale Spectrum Protect
PoC по применимости ленточных технологий
Имплементация решений на базе продуктов IBM (аппаратура и ПО)
Реализация нестандартных сценариев для Storwize V7000 Unified, SONAS, ESS
11