Андрей Николаенко, IBS. NVMf: 5 млн IOPS по сети своими рукамиIBS
Андрей Николаенко, системный архитектор в IBS, выступил на конференции HighLoad++ 2016.
Тезисы
В выпуске 4.8 ядра Linux появилась поддержка NVMf (NVM Express over Fabrics) — стандартизованной возможности присоединять по сети как блочные устройства твердотельные накопители, установленные в разъёмы PCI Express. NVMf лишён многих недостатков iSCSI, повторяющего по сети SCSI-команды со всеми их издержками времён дисковых накопителей, и главное — позволяет по полной использовать возможности сетей с прямым доступом к оперативной памяти (RDMA). Таким образом, можно под управлением одного узла собрать сверхбыстрый и сверхотзывчивый пул блочных устройств, не прибегая к покупке дорогого флэш-массива. Но как воспользоваться этим пулом, не загубив теоретические показатели программными обёртками?
В докладе будут рассмотрены варианты применения NVMf для различных конфигураций PostgreSQL, Oracle Database, Hadoop, файловых хранилищ, о разработках в направлении «программно-определяемой памяти» с применением NVMe-устройств, доступных по сети, обсуждены текущие проблемы, ограничения и перспективы. Особое внимание будет уделено практическим способам измерения производительности ввода-вывода с учётом задачи, решаемой подсистемой хранения.
Вычислительная инфраструктура без американских производителей: реалии и возмо...КРОК
Семинар «Вендорозамещение на 100%: инфраструктура, телеком и все-все-все»
http://www.croc.ru/action/detail/50595/
Презентация Антона Семчишена, менеджера по продвижению комплексных решений компании КРОК
Технологии хранения для больших проектов / Сергей Платонов (RAIDIX)Ontico
HighLoad++ 2017
Зал «Пекин+Шанхай», 7 ноября, 18:00
Тезисы:
http://www.highload.ru/2017/abstracts/2990.html
Мы ежедневно сталкиваемся с тем, что даже работающие более 15 лет в индустрии специалисты, путаются в понятиях и преимуществах и недостатках тех или иных архитектур больших СХД.
В своем докладе мы расскажем о разнице между distributed (распределенными), shared (общими) и параллельными файловыми системами, покажем, в каких задачах Scale In-системы превосходят Scale Out и наоборот.
...
Андрей Николаенко, IBS. NVMf: 5 млн IOPS по сети своими рукамиIBS
Андрей Николаенко, системный архитектор в IBS, выступил на конференции HighLoad++ 2016.
Тезисы
В выпуске 4.8 ядра Linux появилась поддержка NVMf (NVM Express over Fabrics) — стандартизованной возможности присоединять по сети как блочные устройства твердотельные накопители, установленные в разъёмы PCI Express. NVMf лишён многих недостатков iSCSI, повторяющего по сети SCSI-команды со всеми их издержками времён дисковых накопителей, и главное — позволяет по полной использовать возможности сетей с прямым доступом к оперативной памяти (RDMA). Таким образом, можно под управлением одного узла собрать сверхбыстрый и сверхотзывчивый пул блочных устройств, не прибегая к покупке дорогого флэш-массива. Но как воспользоваться этим пулом, не загубив теоретические показатели программными обёртками?
В докладе будут рассмотрены варианты применения NVMf для различных конфигураций PostgreSQL, Oracle Database, Hadoop, файловых хранилищ, о разработках в направлении «программно-определяемой памяти» с применением NVMe-устройств, доступных по сети, обсуждены текущие проблемы, ограничения и перспективы. Особое внимание будет уделено практическим способам измерения производительности ввода-вывода с учётом задачи, решаемой подсистемой хранения.
Вычислительная инфраструктура без американских производителей: реалии и возмо...КРОК
Семинар «Вендорозамещение на 100%: инфраструктура, телеком и все-все-все»
http://www.croc.ru/action/detail/50595/
Презентация Антона Семчишена, менеджера по продвижению комплексных решений компании КРОК
Технологии хранения для больших проектов / Сергей Платонов (RAIDIX)Ontico
HighLoad++ 2017
Зал «Пекин+Шанхай», 7 ноября, 18:00
Тезисы:
http://www.highload.ru/2017/abstracts/2990.html
Мы ежедневно сталкиваемся с тем, что даже работающие более 15 лет в индустрии специалисты, путаются в понятиях и преимуществах и недостатках тех или иных архитектур больших СХД.
В своем докладе мы расскажем о разнице между distributed (распределенными), shared (общими) и параллельными файловыми системами, покажем, в каких задачах Scale In-системы превосходят Scale Out и наоборот.
...
Умножаем матрицы на CPU и GPU, пробрасываем видеоркарту внутрь ВМ, обходим возникшие проблемы, и решаем будем ли мы майнить или играть.
https://www.meetup.com/ru-RU/OpenStack-Russia-St-Petersburg/events/249005137/
Тест-драйв «Флеш СХД: битва титанов на сверхбыстрых скоростях» http://www.croc.ru/action/test-drives/42143/
Презентация Дмитрия Лямина, директора Центра решений КРОК на базе технологий Hitachi Data Systems
Защита данных и датацентров от катастроф. Подход Nutanix / Максим Шапошников ...Ontico
+ Защита данных — это не "одна кнопка", нет годного любому единого решения. Задача всегда диктует выбор средств и решений.
+ RTO — Recovery Time Objective — максимальное время, за которое все ваши бизнес-задачи должны полностью быть восстановлены в работоспособное состояние после полной катастрофы ДЦ.
+ RPO — Recovery Point Objective — максимально приемлемый для ваших задач промежуток времени, за который вы готовы потерять данные.
+ Защита на уровне приложений. Приложение лучше всех знает, как защищать и реплицировать свои данные.
+ Асинхронная репликация — наилучший выход с точки зрения производительности, единственно возможный вариант в случае значительного географического разнесения дата-центров (сотни и более километров). Работает на уровне виртуальных машин.
+ Метро / "растянутые" кластеры и синхронная репликация — нулевой RPO, минимальный RTO, большие потери производительности и множество ограничений. Но иногда — единственный выход, если уровень приложения не умеет реплицировать данные.
+ Лучший подход — комбинация из репликации на уровне приложений, асинхронной и синхронной репликации средствами хранилища.
+ Что есть у Nutanix для решения подобных задач: DR (Async replication), Metro availability cluster, Timestream Backup.
+ Реализация решения с использованием Nutanix на примере FBI: крупнейший VDI в США. Защищенная, mission-critical инфраструктура на 70 тысяч виртуальных десктопов. Асинхронная репликация дата-центров на 1500 миль, защита данных от катастроф.
Чем заняться вечером, если я знаю сколько будет ++i + ++i / Андрей Бородин (Y...Ontico
HighLoad++ 2017
Зал «Пекин + Шанхай», 8 ноября, 18:00
Тезисы:
http://www.highload.ru/2017/abstracts/2960.html
При изучении алгоритмов и структур данных я предлагаю студентам закрепить знания и попытаться сделать мир лучше, выполнив небольшие проекты по внедрению эффективных алгоритмов в свободное программное обеспечение. В этом докладе я расскажу несколько идей для таких проектов.
Мы рассмотрим существующие фрагменты исходного кода, поговорим о том, что в нём можно допилить, и обсудим, сколько баллов за это надо давать.
Реализацией идей могут заняться, разумеется, все желающие.
DPDK в виртуальном коммутаторе Open vSwitch / Александр Джуринский (Selectel)Ontico
Intel DPDK (Data Plane Development Kit) — набор драйверов и библиотек, позволяющих приложениям взаимодействовать с сетевым устройством напрямую, минуя сетевой стек Linux. Это значительно увеличивает скорость обработки пакетов. DPDK интегрируется с рядом популярных программных решений, например, c виртуальным коммутатором Open vSwitch.
Возможностям и перспективам использования связи Open vSwitch + DPDK в облачных проектах и будет посвящен наш доклад. Мы подробно остановимся на проведённых тестах производительности и интерпретируем их результаты. Отдельное внимание будет уделено анализу трудностей и ограничений, с которыми пришлось столкнуться в ходе экспериментов.
Практический семинар «Новые технологии для непрерывности бизнеса и защиты данных».
Подробнее о мероприятии http://www.croc.ru/action/detail/2487/
Презентация Бориса Черных, ведущего инженера компании КРОК
Тюним память и сетевой стек в Linux: история перевода высоконагруженных серве...Ontico
В процессе обновления высоконагруженных серверов раздачи видео (40Gbit/s с каждого сервера) со старого OpenSuSE 10.2 на новый CentOS 7 (время между релизами — 7 лет) мы столкнулись с рядом проблем — необъяснимый свопинг и запуски OOM killer, неравномерное распределение нагрузки по ядрам, обрывы соединений, скачки системной нагрузки на CPU.
В докладе будет рассказано о том, как мы боролись с этими проблемами и какие технологии для этого использовали.
Умножаем матрицы на CPU и GPU, пробрасываем видеоркарту внутрь ВМ, обходим возникшие проблемы, и решаем будем ли мы майнить или играть.
https://www.meetup.com/ru-RU/OpenStack-Russia-St-Petersburg/events/249005137/
Тест-драйв «Флеш СХД: битва титанов на сверхбыстрых скоростях» http://www.croc.ru/action/test-drives/42143/
Презентация Дмитрия Лямина, директора Центра решений КРОК на базе технологий Hitachi Data Systems
Защита данных и датацентров от катастроф. Подход Nutanix / Максим Шапошников ...Ontico
+ Защита данных — это не "одна кнопка", нет годного любому единого решения. Задача всегда диктует выбор средств и решений.
+ RTO — Recovery Time Objective — максимальное время, за которое все ваши бизнес-задачи должны полностью быть восстановлены в работоспособное состояние после полной катастрофы ДЦ.
+ RPO — Recovery Point Objective — максимально приемлемый для ваших задач промежуток времени, за который вы готовы потерять данные.
+ Защита на уровне приложений. Приложение лучше всех знает, как защищать и реплицировать свои данные.
+ Асинхронная репликация — наилучший выход с точки зрения производительности, единственно возможный вариант в случае значительного географического разнесения дата-центров (сотни и более километров). Работает на уровне виртуальных машин.
+ Метро / "растянутые" кластеры и синхронная репликация — нулевой RPO, минимальный RTO, большие потери производительности и множество ограничений. Но иногда — единственный выход, если уровень приложения не умеет реплицировать данные.
+ Лучший подход — комбинация из репликации на уровне приложений, асинхронной и синхронной репликации средствами хранилища.
+ Что есть у Nutanix для решения подобных задач: DR (Async replication), Metro availability cluster, Timestream Backup.
+ Реализация решения с использованием Nutanix на примере FBI: крупнейший VDI в США. Защищенная, mission-critical инфраструктура на 70 тысяч виртуальных десктопов. Асинхронная репликация дата-центров на 1500 миль, защита данных от катастроф.
Чем заняться вечером, если я знаю сколько будет ++i + ++i / Андрей Бородин (Y...Ontico
HighLoad++ 2017
Зал «Пекин + Шанхай», 8 ноября, 18:00
Тезисы:
http://www.highload.ru/2017/abstracts/2960.html
При изучении алгоритмов и структур данных я предлагаю студентам закрепить знания и попытаться сделать мир лучше, выполнив небольшие проекты по внедрению эффективных алгоритмов в свободное программное обеспечение. В этом докладе я расскажу несколько идей для таких проектов.
Мы рассмотрим существующие фрагменты исходного кода, поговорим о том, что в нём можно допилить, и обсудим, сколько баллов за это надо давать.
Реализацией идей могут заняться, разумеется, все желающие.
DPDK в виртуальном коммутаторе Open vSwitch / Александр Джуринский (Selectel)Ontico
Intel DPDK (Data Plane Development Kit) — набор драйверов и библиотек, позволяющих приложениям взаимодействовать с сетевым устройством напрямую, минуя сетевой стек Linux. Это значительно увеличивает скорость обработки пакетов. DPDK интегрируется с рядом популярных программных решений, например, c виртуальным коммутатором Open vSwitch.
Возможностям и перспективам использования связи Open vSwitch + DPDK в облачных проектах и будет посвящен наш доклад. Мы подробно остановимся на проведённых тестах производительности и интерпретируем их результаты. Отдельное внимание будет уделено анализу трудностей и ограничений, с которыми пришлось столкнуться в ходе экспериментов.
Практический семинар «Новые технологии для непрерывности бизнеса и защиты данных».
Подробнее о мероприятии http://www.croc.ru/action/detail/2487/
Презентация Бориса Черных, ведущего инженера компании КРОК
Тюним память и сетевой стек в Linux: история перевода высоконагруженных серве...Ontico
В процессе обновления высоконагруженных серверов раздачи видео (40Gbit/s с каждого сервера) со старого OpenSuSE 10.2 на новый CentOS 7 (время между релизами — 7 лет) мы столкнулись с рядом проблем — необъяснимый свопинг и запуски OOM killer, неравномерное распределение нагрузки по ядрам, обрывы соединений, скачки системной нагрузки на CPU.
В докладе будет рассказано о том, как мы боролись с этими проблемами и какие технологии для этого использовали.
Комплексное Предложение Linux Wizard для школ Санкт-Петербурга и Ленинградско...Penguin Tux
Из презентации, посвященной Школьному проекту LinuxWizard, Вы узнаете о специфике перехода школ на СПО, познакомитесь с комплексом продуктов и услуг, предлагаемых проектом для ОУ. Также Вашему вниманию предлагается история и достижения проекта (актуальные данные по школам Санкт-Петербурга и Ленинградской области, участвующим в проекте).
Комплексное решение Linux Wizard для ОУ (1 марта 2012)Penguin Tux
Из презентации, посвященной Школьному проекту LinuxWizard, Вы узнаете о специфике перехода школ на СПО, познакомитесь с комплексом продуктов и услуг, предлагаемых проектом для ОУ. Также Вашему вниманию предлагается история и достижения проекта (актуальные данные по школам Санкт-Петербурга и Ленинградской области, участвующим в проекте).
В семинаре 1 марта 2012 года принял участие один из участников Школьного проекта LinuxWizard, ГОУ СОШ №111. Заместитель директора по УВР и ИКТ, А. О. Евгеньев, поделился опытом перехода на СПО.
Семинар «Вендорозамещение: сокращая инфраструктурные затраты» http://www.croc.ru/action/detail/42283/
Презентация Беляева Александра, руководителя направления open-source решений в ИТ-инфраструктуре
Решения КРОК для виртуализации рабочих станций и организации терминального доступа КРОК реализует комплексные проекты по построению инфраструктур виртуальных рабочих станций и терминальных решений на базе продуктов от ведущих произво- дителей Citrix, VMware, Dell Software, Microsoft, Parallels (2X Software) и Cendio, тесно интегрируя их с существующей ИТ-инфраструктурой организации.
Подробнее http://www.croc.ru/solution/ikt-infrastructure/it_infrastructure/terminal/
12-13 октября 2011 LinuxWizard поделился со слушателями 6-й ежегодной межрегиональной научно-практической конференции «Развитие региональной образовательной информационной среды» своим опытом внедрения СПО в образовательном учреждении.
Семинар «ITSM и частное «облако» — просто созданы друг для друга!» http://www.croc.ru/action/detail/23917/
Презентация Александра Лозукова, технического менеджера компании КРОК
Современные серверы DEPO Storm и системы хранения DEPO StorageDEPO Computers
Сергей Сенько, руководитель направления по серверной продукции компании DEPO Computers, обозначил тенденции в изменениях требований к инфраструктуре и серверному оборудованию ЦОД и презентовал новые модели серверов DEPO Storm с примерами решений для внедрения виртуализации и частного облака от десятков до тысяч пользователей.
Эволюция программно-аппаратного обеспечения хранения фотографий в Badoo / Дми...Ontico
На примере нашей системы хранения фотографий мы хотим рассказать о проблемах, с которыми столкнулись в течение прошедших семи лет, связанных с ее программными и аппаратными компонентами, и о путях их решений.
В данном докладе речь пойдет о том, как сохранить независимость от поставщика и построить масштабируемую систему хранения с длительным сроком эксплуатации и способностью к оперативному внесению изменений в конфигурацию. Как сделать изменения на аппаратном уровне прозрачными для разработчиков, а также о том, как упростить развертывание и обслуживание.
В общих чертах изложен опыт и проблемы, которые мы получили в ходе эксплуатации классических мультиконтроллерных СХД. Основная тема - построение собственных хранилищ на базе общедоступных компонентов (полки, адаптеры, экспандеры, интерпозеры, диски, ЦПУ и т.д.) с потенциальной возможностью замены любого из выше перечисленного на другую модель. Дублирование критически важных узлов в рамках одной СХД. Обзор используемых транспортов - SRP, FC, iSCSI и описание того, каким образом можно быстро адаптировать такое хранилище под один или несколько транспортов, с минимальными вложениями. Обзор ПО для реализации СХД (SCST/LIO или проприетарные решения в области Software Defined Storage ). Автоматизация развертывания (инсталляция/управление с помощью Puppet). Тестирование перед вводом в эксплуатацию. Multipath I/O и упрощение именования экспортируемых блочных устройств. Политика составления наборов firmware для стабильной работы. Мониторинг. Расследование сбоев (Order of failure и т.п.).
Машины баз данных: таксономия, анатомия, эволюция, ареал, воспроизведение / А...Ontico
РИТ++ 2017, Web-scale IT Сonference
Зал Владивосток, 6 июня, 16:00
Тезисы:
http://webscaleconf.ru/2017/abstracts/2555.html
Teradata, Exadata, Netezza и другие представители мира машин баз данных в этом докладе будут классифицированы, препарированы, а также будет обсуждена задача создания новых таких машин.
Все эти машины — не просто сбалансированные комплекты из серверных узлов с предустановленной СУБД в той или иной конфигурации. Во всех случаях в них реализованы программные специфики, подразумевающие применение архитектурных или аппаратных возможностей, недоступных «вразвалку» (хотя в некоторых случаях есть возможности по воссозданию отдельных их элементов в лабораторных условиях, и об этом тоже будет в докладе). Таким образом, этот материал не столько о том, в шкаф какого цвета разные вендоры упаковали свою продукцию, сколько об идеях, заложенных внутри этих комплексов.
...
Новые модели серверов DEPO Storm на базе Intel Xeon. Практический опыт постро...DEPO Computers
Андрей Состин, руководитель направления по серверной продукции компании DEPO Computers, представил обзор линейки серверов DEPO Storm и более подробно рассказал о специальных моделях серверов компании DEPO Computers, разработанных для применения в первой российской конвергентной вычислительной платформе СКАЛА-Р.
Александр Устюжанин, представитель компании ETegro, представил стойку Therascale и решение, совместно разработанное Etegro и Mirantis. Тестовая стойка ETegro Therascale высотой 44U, вмещает до 40 вычислительных узлов, до трех коммутаторов и модуль управления стойкой для централизованного контроля состояния оборудования в стойке. Вычислительный узел ETegro Therascale – это двухпроцессорный сервер на процессорах Intel Xeon E5- 2600 v2 полной ширины c поддержкой до 16 модулей памяти DDR3 ECC Reg. и до 6 дисков размером 3,5”. Порты сетевые (2 x 1GbE), USB и управления выведены на переднюю панель, на которой также находится световая индикация состояния узла и сетевых портов. В случае отказа, вычислительный модуль легко заменяется, работы проводятся из «холодного коридора».
Updated: April 25 2014 Key Points:
Introduce yourself, be yourself
Sample Talk track: Software defined storage is a hot topic these days. EMC and NetApp have both unveiled their software defined storage strategies in the last few months. VMware has announced their VSAN product. My goal today is for us to have an informative discussion for you around all this software defined storage hype.
Transition to next slide: DataCore is in a unique position to comment on this subject…
Что представляет из себя виртуальная СХД от DataCore и базовая схема ее работы.
Это фактически эмуляция СХД, СХД с блочным доступом и состоит она минимально из двух узлов, контроллеров, назовем их так.
2 узла-контроллера. Контроллер – сервер т.н. стандартной архитектуры х86, под управлением ОС Windows Server (2012), сверху работает ПО DataCore.
Выбор «аппаратной части-- свободный, практически нет ограничений или определенных рекомендаций по поводу производителей, совместимости и т.д.. Единственное исключение – HBA, есть список совместимых ХБА, которые могут применяться для узла ДатаКор, причина простая СанСимфониВи ставит свои драйверы. При этом конфигурации узлов могут быть разными – продукты разных производителей, разных поколений и т.п. Важно придерживаться правила, чтобы производительность узлов была примерно одинаковая, т.е. чтобы узел с самой низкой производительностью не тащил вниз всю систему.
ОЗУ серверов используется как кэш-память контроллеров, благодаря чему существенно увеличивается производительность системы хранения данных.
К узлам подключаются ресурсы хранения – СХД, внутренние диски и пр. – тоже могут быть разные.
Между узлами есть соединение, через которое узлы работают в режиме синхронной репликации: реплицируются данные и на дисках и в кэше (макс. Размер кэша может быть 1 ТБ); контроллеры могут быть территориально разнесены на расстояние до 100 км (это число условно, на самом деле речь идет о требованиях по задержки от приложений, которое работает с этой виртуальной СХД).
Ресурсы предоставляются «клиентской стороне» -- т.е. серверам приложений, гипервизорам и т.д. – в виде виртуальных дисков, виртуальных логических единиц SCSI-устройств, виртуальных Лунах. Данные этих виртуальных дисков присутствуют в двух идентичных экземплярах на контроллерах этой виртуальной СХД и особым образом – о чем будет позже – располагаются на физических ресурсах хранения, которые предоставляются контроллеру от любых поддерживаемых физических устройств и систем в виде абстрактных логических ресурсов хранения. Какие поддерживаются виды систем и устройств хранения, я покажу позже.
Важно, что оба узла работают в активном режиме и данные одновременно доступны с обоих узлов. Выбор копии, с которой будет работать подключенный к этой виртуальной СХД сервер приложений в данный момент обеспечивает драйвер MPIO, работающий на этом сервере. Есть написанный DataCore драйвер МПИО для ОС Windows, а также поддерживаются родные драйвера почти всех широко употребляемых ОС – AIX, Solaris, HP-UX, Linux-ы, VMware, Citrix и др. – есть рекомендации по настройке и выборы оптимального режима работы драйвера.
Вместе эта система – два узла в режиме синхронной репликации, резервированные подключения и MPIO – обеспечивают не только отказоустойчивость системы, но и, что более важно, высокую доступность данных для приложений. Т.е. высокая доступность, непрерывная доступность.
При этом еще и виртуальная СХД обеспечивает ряд интеллектуальных функций по отношению к хранимым на ней данным, рациональному использованию ресурсов хранения, защите данных и пр. Еще раз хочу подчеркнуть, что все это единообразно для разных и разнородных, старых и новых, поддерживающих и не поддерживающих. Вашим СХД не нужно этого уметь – это умеем мы.
В случае выхода из строя одного из узлов или ресурсов хранения происходит переключение на резервный путь и дальше при восстановлении узла происходит ресинхронизация и переключение обратно. Все это в автоматическом режиме и практически незаметно для приложения, в рамках таймаута (одного перезапроса к данным от приложения). Функциональная схема чуть более лаконично изображает систему хранения и я хочу обратить ваше внимание – что есть вариант построения катастрофоустойчивого решения с созданием резервного сайта и асинхронной репликацией на него. И еще нужно отметить – в качестве ресурсов хранения данных используются совершенно разные, как вы видите, ресурсы, начиная от внутренних дисков, от PCI-SSD дисков и заканчивая облачным хранилищем от провайдеров облачных услуг.
Протоколы подключения: iSCSI, FC, FCoE, SAS (backend). Опять же, могут быть смешанные конфигурации.
