Андрей Николаенко, IBS. NVMf: 5 млн IOPS по сети своими рукамиIBS
Андрей Николаенко, системный архитектор в IBS, выступил на конференции HighLoad++ 2016.
Тезисы
В выпуске 4.8 ядра Linux появилась поддержка NVMf (NVM Express over Fabrics) — стандартизованной возможности присоединять по сети как блочные устройства твердотельные накопители, установленные в разъёмы PCI Express. NVMf лишён многих недостатков iSCSI, повторяющего по сети SCSI-команды со всеми их издержками времён дисковых накопителей, и главное — позволяет по полной использовать возможности сетей с прямым доступом к оперативной памяти (RDMA). Таким образом, можно под управлением одного узла собрать сверхбыстрый и сверхотзывчивый пул блочных устройств, не прибегая к покупке дорогого флэш-массива. Но как воспользоваться этим пулом, не загубив теоретические показатели программными обёртками?
В докладе будут рассмотрены варианты применения NVMf для различных конфигураций PostgreSQL, Oracle Database, Hadoop, файловых хранилищ, о разработках в направлении «программно-определяемой памяти» с применением NVMe-устройств, доступных по сети, обсуждены текущие проблемы, ограничения и перспективы. Особое внимание будет уделено практическим способам измерения производительности ввода-вывода с учётом задачи, решаемой подсистемой хранения.
Велосипед уже изобретен. Что умеют промышленные СХД? / Антон Жбанков (Nutanix)Ontico
Зачем мы каждый раз изобретаем велосипед, только потому что можем? Корпоративные СХД существуют более 25 лет и умеют очень многое.
Защита данных, качество обслуживания, многоуровневое хранение и кэширование на флэш-памяти. Система хранения данных - это не только гигабайт по минимальной цене, но так же и гарантированная производительность и отказоустойчивость.
Вы узнаете, как можно обеспечить своим данным высокую степень защиты, значительно сократив время реализации проекта. Или, наоборот, убедитесь в том, что СХД корпоративного класса вашему проекту не подходят.
Оптимизация производительности: магия или методикаКРОК
13 октября 2016
Бизнес-завтрак «Контроль производительности приложений — ключ к успешному взаимодействию с бизнесом»
http://www.croc.ru/action/detail/66468/
Андрей Николаенко, IBS. NVMf: 5 млн IOPS по сети своими рукамиIBS
Андрей Николаенко, системный архитектор в IBS, выступил на конференции HighLoad++ 2016.
Тезисы
В выпуске 4.8 ядра Linux появилась поддержка NVMf (NVM Express over Fabrics) — стандартизованной возможности присоединять по сети как блочные устройства твердотельные накопители, установленные в разъёмы PCI Express. NVMf лишён многих недостатков iSCSI, повторяющего по сети SCSI-команды со всеми их издержками времён дисковых накопителей, и главное — позволяет по полной использовать возможности сетей с прямым доступом к оперативной памяти (RDMA). Таким образом, можно под управлением одного узла собрать сверхбыстрый и сверхотзывчивый пул блочных устройств, не прибегая к покупке дорогого флэш-массива. Но как воспользоваться этим пулом, не загубив теоретические показатели программными обёртками?
В докладе будут рассмотрены варианты применения NVMf для различных конфигураций PostgreSQL, Oracle Database, Hadoop, файловых хранилищ, о разработках в направлении «программно-определяемой памяти» с применением NVMe-устройств, доступных по сети, обсуждены текущие проблемы, ограничения и перспективы. Особое внимание будет уделено практическим способам измерения производительности ввода-вывода с учётом задачи, решаемой подсистемой хранения.
Велосипед уже изобретен. Что умеют промышленные СХД? / Антон Жбанков (Nutanix)Ontico
Зачем мы каждый раз изобретаем велосипед, только потому что можем? Корпоративные СХД существуют более 25 лет и умеют очень многое.
Защита данных, качество обслуживания, многоуровневое хранение и кэширование на флэш-памяти. Система хранения данных - это не только гигабайт по минимальной цене, но так же и гарантированная производительность и отказоустойчивость.
Вы узнаете, как можно обеспечить своим данным высокую степень защиты, значительно сократив время реализации проекта. Или, наоборот, убедитесь в том, что СХД корпоративного класса вашему проекту не подходят.
Оптимизация производительности: магия или методикаКРОК
13 октября 2016
Бизнес-завтрак «Контроль производительности приложений — ключ к успешному взаимодействию с бизнесом»
http://www.croc.ru/action/detail/66468/
Резервное копирование не только виртуальных сред при помощи продуктов VeeamYaryomenko
- Возможности среды обеспечения доступности предприятия на базе решения Veeam Availability Suite 9.0, новые возможности и функционал продукта.
- Глубокая интеграция с решением хранения данных EMC Data Domain и VNX/VNXe.
- Возможности решения в гранулярном восстановлении объектов приложений.
Виртуализация баз данных с КРОК и Delphix. Кейс ИнгосстрахКРОК
25 августа 2016
Бизнес-ужин «Современный подход к хранению баз данных, или как сократить время на развертывание с 5 дней до 5 минут»
Подробнее http://www.croc.ru/action/detail/65761/
Практический семинар «Новые технологии для непрерывности бизнеса и защиты данных».
Подробнее о мероприятии http://www.croc.ru/action/detail/2487/
Презентация Бориса Черных, ведущего инженера компании КРОК
Как и зачем создавать NginX-модуль — теория, практика, профит. Часть 2 / Васи...Ontico
HighLoad++ 2017
Зал Дели + Калькутта, 7 ноября, 15:00
Тезисы:
http://www.highload.ru/2017/abstracts/2940.html
Почти год назад я выступил с докладом 'Как и зачем создавать NginX-модуль - теория, практика, профит'. У меня не получилось рассказать обо всех возможностях Nginx и, уверяю вас, в этом докладе у меня это тоже не получится - тема слишком большая!
Сразу перейдем к делу. "Так что нового будет в этом докладе?" - спросите вы. В нем будут ответы на вопросы, на которые я не успел ответить в прошлом году, а именно:
- Как и зачем создавать upstream-модули?
...
Настройка kubernetes: tips and tricks / Михаил Прокопчук (Avito)Ontico
HighLoad++ 2017
Зал «Пекин+Шанхай», 7 ноября, 15:00
Тезисы:
http://www.highload.ru/2017/abstracts/2967.html
Мы в Avito уже более года используем Kubernetes в качестве платформы для микросервисов.
За это время мы столкнулись с рядом проблем, с которыми может столкнуться каждый, кто использует эту платформу.
В докладе поделюсь опытом решения проблем и настройки кластера для обеспечения его эффективной работы (низкий и стабильный latency для сервисов, использование ресурсов CPU, RAM): настройки аппаратного обеспечения (сеть, CPU), ОС, настройки самих инфраструктурных компонентов kubernetes и о том, что и как необходимо мониторить.
Inspur Smartrack – инновационное решение для горизонтального масштабирования ...IBS
Конференция "InterLab Forum. Системная интеграция нового поколения" прошла в октябре 2015 года. В центре внимания форума были новые решения в области ИТ-инфраструктуры и информационной безопасности, недавно появившиеся на российском рынке и прошедшие апробацию в IBS.
Подробности: http://www.ibs.ru
Современные флэш-технологии – от концепции к преимуществам использования // А...IBS
Конференция "InterLab Forum. Системная интеграция нового поколения" прошла в октябре 2015 года. В центре внимания форума были новые решения в области ИТ-инфраструктуры и информационной безопасности, недавно появившиеся на российском рынке и прошедшие апробацию в IBS.
Подробности: http://www.ibs.ru
Центр решений ФОРС. Презентации продуктов и технологий. Демонстрационный зал аппаратных средств. Проведение тренингов и тестирований. Проработка и оптимизация решений на стеке Oracle. Oracle Big Data Appliance
Резервное копирование не только виртуальных сред при помощи продуктов VeeamYaryomenko
- Возможности среды обеспечения доступности предприятия на базе решения Veeam Availability Suite 9.0, новые возможности и функционал продукта.
- Глубокая интеграция с решением хранения данных EMC Data Domain и VNX/VNXe.
- Возможности решения в гранулярном восстановлении объектов приложений.
Виртуализация баз данных с КРОК и Delphix. Кейс ИнгосстрахКРОК
25 августа 2016
Бизнес-ужин «Современный подход к хранению баз данных, или как сократить время на развертывание с 5 дней до 5 минут»
Подробнее http://www.croc.ru/action/detail/65761/
Практический семинар «Новые технологии для непрерывности бизнеса и защиты данных».
Подробнее о мероприятии http://www.croc.ru/action/detail/2487/
Презентация Бориса Черных, ведущего инженера компании КРОК
Как и зачем создавать NginX-модуль — теория, практика, профит. Часть 2 / Васи...Ontico
HighLoad++ 2017
Зал Дели + Калькутта, 7 ноября, 15:00
Тезисы:
http://www.highload.ru/2017/abstracts/2940.html
Почти год назад я выступил с докладом 'Как и зачем создавать NginX-модуль - теория, практика, профит'. У меня не получилось рассказать обо всех возможностях Nginx и, уверяю вас, в этом докладе у меня это тоже не получится - тема слишком большая!
Сразу перейдем к делу. "Так что нового будет в этом докладе?" - спросите вы. В нем будут ответы на вопросы, на которые я не успел ответить в прошлом году, а именно:
- Как и зачем создавать upstream-модули?
...
Настройка kubernetes: tips and tricks / Михаил Прокопчук (Avito)Ontico
HighLoad++ 2017
Зал «Пекин+Шанхай», 7 ноября, 15:00
Тезисы:
http://www.highload.ru/2017/abstracts/2967.html
Мы в Avito уже более года используем Kubernetes в качестве платформы для микросервисов.
За это время мы столкнулись с рядом проблем, с которыми может столкнуться каждый, кто использует эту платформу.
В докладе поделюсь опытом решения проблем и настройки кластера для обеспечения его эффективной работы (низкий и стабильный latency для сервисов, использование ресурсов CPU, RAM): настройки аппаратного обеспечения (сеть, CPU), ОС, настройки самих инфраструктурных компонентов kubernetes и о том, что и как необходимо мониторить.
Inspur Smartrack – инновационное решение для горизонтального масштабирования ...IBS
Конференция "InterLab Forum. Системная интеграция нового поколения" прошла в октябре 2015 года. В центре внимания форума были новые решения в области ИТ-инфраструктуры и информационной безопасности, недавно появившиеся на российском рынке и прошедшие апробацию в IBS.
Подробности: http://www.ibs.ru
Современные флэш-технологии – от концепции к преимуществам использования // А...IBS
Конференция "InterLab Forum. Системная интеграция нового поколения" прошла в октябре 2015 года. В центре внимания форума были новые решения в области ИТ-инфраструктуры и информационной безопасности, недавно появившиеся на российском рынке и прошедшие апробацию в IBS.
Подробности: http://www.ibs.ru
Центр решений ФОРС. Презентации продуктов и технологий. Демонстрационный зал аппаратных средств. Проведение тренингов и тестирований. Проработка и оптимизация решений на стеке Oracle. Oracle Big Data Appliance
«Селектел», один из крупнейших операторов коммерческих дата–центров в России, стал официальным партнером программы поддержки стартапов Start Fellows. Компания обеспечит перспективные интернет–проекты грантами на развитие IT–инфраструктуры на сумму 350 тысяч рублей.
Гранты «Селектел» финалистам Start Fellows составят 200 тысяч рублей за первое место, 100 тысяч рублей за второе и 50 тысяч рублей за третье. Эти средства стартапы смогут использовать для оплаты хостинговых услуг, которые компания оказывает под брендом Selectel. Среди них: выделенные серверы, облачное хранилище, CDN и другие. Таким образом, у начинающих интернет–компаний появится возможность создать технологическую инфраструктуру, идеально подходящую для воплощения их идей.
Презентация Защита данных от Dell Software: краткий обзор и планы развития ...Marina Gryshko
Презентация Дмитрия Крайнова, региональный менеджер по развитию бизнеса в России и странах СНГ на мероприятии Dell Data Protection Seminar (2015/05/28).
Защита данных от Dell Software: краткий обзор и планы развития продуктов BAKOTECH
Презентация Дмитрия Крайнова, регионального менеджера по развитию бизнеса в России и странах СНГ на мероприятии Dell Data Protection Seminar (2015/05/28).
Сейчас OpenStack на слуху, но детальных отзывов и описаний дизайна инфраструктуры все еще не много. Постараемся немного упростить задачу для тех, кто еще только планирует развертывание инфраструктуры виртуализации, и расскажем, как это делали мы в некоторых наших проектах:
погрузимся в нюансы реализации окружения OpenStack в боевой среде;
поговорим об отказоустойчивости;
рассмотрим варианты организации резервного копирования;
обратим внимание на конфигурацию «железок»: СХД и сети.
Защита данных от Dell Software: бэкап и восстановление так, как это хочет видеть бизнес
Дмитрий Крайнов, менеджер по работе с корпоративными клиентами и партнерами, Dell Software
Форум решений Dell — 2014 (Dell Solutions Forum 2014).
Москва, 14 ноября 2014 г.
Защита данных от Dell Software: бэкап и восстановление так, как это хочет видеть бизнес
Дмитрий Крайнов, менеджер по работе с корпоративными клиентами и партнерами, Dell Software
Распространенные ошибки применения баз данныхSergey Xek
Доклад не про БД в чистом виде а про архитектуру веб-приложений, использующих БД.
Выбор хранилища данных — сложная задача, с которой часто сталкиваются разработчики. Чаще всего результат этого выбора — это компромисс. Я расскажу о собственном опыте, набитых «шишках», рассмотрю важные, на мой взгляд, связанные с этой задачей проблемы.
Подробно:
• Зачастую в стартапе изначально проектируется архитектура вокруг БД, рассчитанная на огромные нагрузки, на большое масштабирование, которые потом в реальной жизни никогда не понадобятся.
• Или проектируется архитектура, которая якобы дает отказоустойчивость, но при этом проблемы нижних уровней абстракции во внимание не принимаются.
• При выборе основной БД для проекта выбирается БД, которая не дает большого запаса фич в будущем, появляется дороговизна и сложность изменения.
• Используйте инструменты, которые вы хорошо изучили. «Психологическая» популярность NoSQL. Достоинства и недостатки SQL и NoSQL БД.
• Проблемы использования БД как хранилища/движка обработки событий зачастую не оправдано. Альтернативы.
• Использование БД для поиска, плюсы и минусы.
• Eventual consistency рулит, и как из этого можно извлечь пользу.
Целевая аудитория:
Доклад будет интересен веб-разработчикам, особенно из стартапов и небольших команд, техническим руководителям.
Similar to UCloud™- примеры использования облака (20)
2. 4 независимых георазнесенных
ЦОД
3 млн IOPS СХД
2 Пбайт СХД (включая All Flash)
3.0 ГГц частота CPU Intel Gold
ХАРАКТЕРИСТИКИ ОБЛАКА
24/7 Техническая поддержка
7 Лет на рынке облаков
30 Дней тестового периода
3. КЕЙС 1: BACK-UP
Проблема:
• Back-up сервер размещен в офисе
• Back-up хранится в коммерческом
ЦОД вместе со всей
инфраструктурой
Задача:
• Получить возможность
восстановления при «потере»
офиса или ЦОД
4. КЕЙС 1: BACK-UP
Решение:
• Back-up сервер вынесен в облако
UCloud в Варшаве
• Back-up изолирован от основной
инфраструктуры и хранится в
облаке на дисках размером 6ТБ.
HDD диск с SSD тирингом HDD диск
+ - + -
Быстрые Более дорогие Дешевые Медленные
5. BACK-UP
Резервирование данных И мы быстрые как Flash ;)
✓ 24/7 доступ к данным;
✓ зашифрованое, безопасное хранение данных;
✓ поддержка для баз данных;
✓ система мониторинга мощностей;
✓ поддержка платформ Linux и Windows.
Мы доставим диски с «backup» на
физических носителях из Варшавы за
12 часов в Украину!
6. КЕЙС 2: ОБЛАЧНЫЙ ЦОД
Проблема:
• Вся ИТ-инфраструктура размещена
на физических серверах
• Георазнесенные офисы
Задача:
• Построить такую ИТ-
инфраструктуру, при которой все
офисы могли бы бесперебойно
работать
7. КЕЙС 2: ОБЛАЧНЫЙ ЦОД
Решение:
• Во всех офисах внедрены «тонкие
клиенты»
• Основные сервисы вынесены на
изолированные облачные сервера
(1С, телефония, файлообменник,
CRM, ERP)
• Внедрен Office 365
• Back-up хранится отдельно на
дисках 6ТБ
L2
VPN через
Интернет
8. КЕЙС 3: УВЕЛИЧЕНИЕ
МОЩНОСТЕЙ
Проблема:
• Резкие скачки (до х40) нагрузки
инфраструктуры
Задача:
• Построить такую инфраструктуру,
которая сможет бесперебойно
работать при скачках загрузки и не
будет стоить все деньги мира
9. КЕЙС 3: УВЕЛИЧЕНИЕ
МОЩНОСТЕЙ
Решение:
• Вынесение сервисов высокой
нагрузки в облако
• Изменение количества ресурсов по
необходимости
• Ресурсы обеспечения офиса
остались на физических серверах и
соединены с облачной
инфраструктурой
10. КЕЙС 4: ГИБРИДНАЯ
ИНФРАСТРУКТУРА
Проблема:
• Вся инфраструктура размещена на
физических серверах, но их
ресурсов не хватает.
Задача:
• Построить бесперебойно
работающую инфраструктуру с
возможностью использования
физических серверов
11. КЕЙС 4: ГИБРИДНАЯ
ИНФРАСТРУКТУРА
Решение:
• Основной сайт – виртуальный ЦОД
Польша
• Сайт резервного восстановления –
виртуальный ЦОД Украина
• Резервные копии на площадку
клиента
• Прямые каналы передачи данных в
ЦОДы Польши и Украины
12. КЕЙС 5: ВЫДЕЛЕННОЕ ЧАСТНОЕ
ОБЛАКО
Проблема:
• Вся инфраструктура размещена на
физических серверах, которые
устарели и не могут обеспечить
производительность 50К IOPS.
Задача:
• Построить изолированную
облачную инфраструктуру
требуемой производительности.
13. КЕЙС 5: ВЫДЕЛЕННОЕ ЧАСТНОЕ
ОБЛАКО
Решение:
• Физически выделенный кластер
(3072 ГБ RAM, 240 vCPU)
• 2 луна на СХД на «чистых» SSD
(500К IOPS чтение и 50К IOPS
запись) объемом 5 ТБ
• Обслуживание и поддержка
инфраструктуры: клиент имеет
доступ к VMM
• Резервное копирование, защита и
мониторинг входят в стоимость
14. КЕЙС 6: ВИДЕОНАБЛЮДЕНИЕ
Проблема:
• Видео с камер наблюдения
занимает катастрофически много
места и его негде хранить
• Нет аналитики
• Нет возможности просмотра online
Задача:
• Сервер видеоархива для 100 камер
15. КЕЙС 6: ВИДЕОНАБЛЮДЕНИЕ
Решение:
• Виртуальный сервер с ПО HikVision
(производитель камер) + диски
объемом 6 ТБ для хранения
• Разработано решение, которое
снижает объем видео без потери
качества
Клиент получил:
• Стоимость 1 камеры 7 $/мес
• Хранение записей 30 дней
• Качество FullHD
• Online просмотр и аналитика