Защита датацентров и данных от катастроф на базе технологий Nutanix / Максим ...Ontico
* RTO - Recovery Time Objective - максимальное время, за которое все ваши бизнес-задачи должны полностью быть восстановлены в работоспособное состояние после полной катастрофы ДЦ
RPO - Recovery Point Objective - максимально приемлемый для ваших задач промежуток времени, за который вы готовы потерять данные.
* Стратегии защиты и репликации ДЦ (1 to 1, 1 to many, many to many).
далее см. - http://rootconf.ru/2015/abstracts/1817
Велосипед уже изобретен. Что умеют промышленные СХД? / Антон Жбанков (Nutanix)Ontico
Зачем мы каждый раз изобретаем велосипед, только потому что можем? Корпоративные СХД существуют более 25 лет и умеют очень многое.
Защита данных, качество обслуживания, многоуровневое хранение и кэширование на флэш-памяти. Система хранения данных - это не только гигабайт по минимальной цене, но так же и гарантированная производительность и отказоустойчивость.
Вы узнаете, как можно обеспечить своим данным высокую степень защиты, значительно сократив время реализации проекта. Или, наоборот, убедитесь в том, что СХД корпоративного класса вашему проекту не подходят.
Андрей Николаенко, IBS. NVMf: 5 млн IOPS по сети своими рукамиIBS
Андрей Николаенко, системный архитектор в IBS, выступил на конференции HighLoad++ 2016.
Тезисы
В выпуске 4.8 ядра Linux появилась поддержка NVMf (NVM Express over Fabrics) — стандартизованной возможности присоединять по сети как блочные устройства твердотельные накопители, установленные в разъёмы PCI Express. NVMf лишён многих недостатков iSCSI, повторяющего по сети SCSI-команды со всеми их издержками времён дисковых накопителей, и главное — позволяет по полной использовать возможности сетей с прямым доступом к оперативной памяти (RDMA). Таким образом, можно под управлением одного узла собрать сверхбыстрый и сверхотзывчивый пул блочных устройств, не прибегая к покупке дорогого флэш-массива. Но как воспользоваться этим пулом, не загубив теоретические показатели программными обёртками?
В докладе будут рассмотрены варианты применения NVMf для различных конфигураций PostgreSQL, Oracle Database, Hadoop, файловых хранилищ, о разработках в направлении «программно-определяемой памяти» с применением NVMe-устройств, доступных по сети, обсуждены текущие проблемы, ограничения и перспективы. Особое внимание будет уделено практическим способам измерения производительности ввода-вывода с учётом задачи, решаемой подсистемой хранения.
Защита датацентров и данных от катастроф на базе технологий Nutanix / Максим ...Ontico
* RTO - Recovery Time Objective - максимальное время, за которое все ваши бизнес-задачи должны полностью быть восстановлены в работоспособное состояние после полной катастрофы ДЦ
RPO - Recovery Point Objective - максимально приемлемый для ваших задач промежуток времени, за который вы готовы потерять данные.
* Стратегии защиты и репликации ДЦ (1 to 1, 1 to many, many to many).
далее см. - http://rootconf.ru/2015/abstracts/1817
Велосипед уже изобретен. Что умеют промышленные СХД? / Антон Жбанков (Nutanix)Ontico
Зачем мы каждый раз изобретаем велосипед, только потому что можем? Корпоративные СХД существуют более 25 лет и умеют очень многое.
Защита данных, качество обслуживания, многоуровневое хранение и кэширование на флэш-памяти. Система хранения данных - это не только гигабайт по минимальной цене, но так же и гарантированная производительность и отказоустойчивость.
Вы узнаете, как можно обеспечить своим данным высокую степень защиты, значительно сократив время реализации проекта. Или, наоборот, убедитесь в том, что СХД корпоративного класса вашему проекту не подходят.
Андрей Николаенко, IBS. NVMf: 5 млн IOPS по сети своими рукамиIBS
Андрей Николаенко, системный архитектор в IBS, выступил на конференции HighLoad++ 2016.
Тезисы
В выпуске 4.8 ядра Linux появилась поддержка NVMf (NVM Express over Fabrics) — стандартизованной возможности присоединять по сети как блочные устройства твердотельные накопители, установленные в разъёмы PCI Express. NVMf лишён многих недостатков iSCSI, повторяющего по сети SCSI-команды со всеми их издержками времён дисковых накопителей, и главное — позволяет по полной использовать возможности сетей с прямым доступом к оперативной памяти (RDMA). Таким образом, можно под управлением одного узла собрать сверхбыстрый и сверхотзывчивый пул блочных устройств, не прибегая к покупке дорогого флэш-массива. Но как воспользоваться этим пулом, не загубив теоретические показатели программными обёртками?
В докладе будут рассмотрены варианты применения NVMf для различных конфигураций PostgreSQL, Oracle Database, Hadoop, файловых хранилищ, о разработках в направлении «программно-определяемой памяти» с применением NVMe-устройств, доступных по сети, обсуждены текущие проблемы, ограничения и перспективы. Особое внимание будет уделено практическим способам измерения производительности ввода-вывода с учётом задачи, решаемой подсистемой хранения.
SAM за 7 шагов. Рецепт для небольших компанийValery Bychkov
21 июня в сообществе Смартсорсинг прошел вебинар «SAM за 7 шагов. Рецепт для небольших компаний» на котором Дмитрий Исайченко (Cleverics), рассказал о том, как организовать процесс управления активами ПО в небольшой компании. Весь вебинар – рассказ о том, как в компании Cleverics решали задачи учёта ПО, инвентаризации, управления лицензионными соглашениями и т.д. Так что, никаких абстрактных теорий и рекомендаций – только практический опыт.
Эволюция High availability: Windows Server 2016 Failover ClusteringYuriy Denisov
Вспомним, как все начиналось и развивалось
Посмотрим, что появилось нового и изменилось
Узнаем, как обновиться, да так, чтобы без простоя
И немножко про то, чем многие не пользуются: Cluster-Aware Updating
Inspur Smartrack – инновационное решение для горизонтального масштабирования ...IBS
Конференция "InterLab Forum. Системная интеграция нового поколения" прошла в октябре 2015 года. В центре внимания форума были новые решения в области ИТ-инфраструктуры и информационной безопасности, недавно появившиеся на российском рынке и прошедшие апробацию в IBS.
Подробности: http://www.ibs.ru
Современные флэш-технологии – от концепции к преимуществам использования // А...IBS
Конференция "InterLab Forum. Системная интеграция нового поколения" прошла в октябре 2015 года. В центре внимания форума были новые решения в области ИТ-инфраструктуры и информационной безопасности, недавно появившиеся на российском рынке и прошедшие апробацию в IBS.
Подробности: http://www.ibs.ru
Оптимизация производительности: магия или методикаКРОК
13 октября 2016
Бизнес-завтрак «Контроль производительности приложений — ключ к успешному взаимодействию с бизнесом»
http://www.croc.ru/action/detail/66468/
Настройка kubernetes: tips and tricks / Михаил Прокопчук (Avito)Ontico
HighLoad++ 2017
Зал «Пекин+Шанхай», 7 ноября, 15:00
Тезисы:
http://www.highload.ru/2017/abstracts/2967.html
Мы в Avito уже более года используем Kubernetes в качестве платформы для микросервисов.
За это время мы столкнулись с рядом проблем, с которыми может столкнуться каждый, кто использует эту платформу.
В докладе поделюсь опытом решения проблем и настройки кластера для обеспечения его эффективной работы (низкий и стабильный latency для сервисов, использование ресурсов CPU, RAM): настройки аппаратного обеспечения (сеть, CPU), ОС, настройки самих инфраструктурных компонентов kubernetes и о том, что и как необходимо мониторить.
Вебинар «EMC VNX: преображение во флеш» http://www.croc.ru/action/detail/23755/
Презентация Александра Овчинникова, эксперта группы внедрения и эксплуатации СХД компании КРОК
Резервное копирование не только виртуальных сред при помощи продуктов VeeamYaryomenko
- Возможности среды обеспечения доступности предприятия на базе решения Veeam Availability Suite 9.0, новые возможности и функционал продукта.
- Глубокая интеграция с решением хранения данных EMC Data Domain и VNX/VNXe.
- Возможности решения в гранулярном восстановлении объектов приложений.
Виртуализация инфраструктуры ЦОД российской разработки // Владимир Порохов (O...IBS
Конференция "InterLab Forum. Системная интеграция нового поколения" прошла в октябре 2015 года. В центре внимания форума были новые решения в области ИТ-инфраструктуры и информационной безопасности, недавно появившиеся на российском рынке и прошедшие апробацию в IBS.
Подробности: http://www.ibs.ru
Как и зачем создавать NginX-модуль — теория, практика, профит. Часть 2 / Васи...Ontico
HighLoad++ 2017
Зал Дели + Калькутта, 7 ноября, 15:00
Тезисы:
http://www.highload.ru/2017/abstracts/2940.html
Почти год назад я выступил с докладом 'Как и зачем создавать NginX-модуль - теория, практика, профит'. У меня не получилось рассказать обо всех возможностях Nginx и, уверяю вас, в этом докладе у меня это тоже не получится - тема слишком большая!
Сразу перейдем к делу. "Так что нового будет в этом докладе?" - спросите вы. В нем будут ответы на вопросы, на которые я не успел ответить в прошлом году, а именно:
- Как и зачем создавать upstream-модули?
...
Cохранить замещая. IBS и Huawei // Максим Исаев (IBS) на InterLab Forum 2015IBS
Конференция "InterLab Forum. Системная интеграция нового поколения" прошла в октябре 2015 года. В центре внимания форума были новые решения в области ИТ-инфраструктуры и информационной безопасности, недавно появившиеся на российском рынке и прошедшие апробацию в IBS.
Подробности: http://www.ibs.ru
Nutanix - IT инфраструктура ЦОД нового поколенияKonstantin Vanin
NUTANIX предоставляет технологии для создания прозрачных корпоративных IT инфраструктур нового поколения, путем объединения функций обработки, хранения данных и виртуализации в готовое "под ключ" гиперконвергентное решение на базе процессоров x86, объединенных в горизонтально-масштабируемые кластера. За счет этого значительно сокращается потребление электроэнергии и места в ЦОД-ах, нивелируются проблемы традиционных подходов к хранению данных. Наиболее передовые дата-центры в мире полагаются на веб-масштабируемые облачные технологии Nutanix для поддержки своих критически важных приложений любого масштаба и уровня сложности.
Объединяя функции хранения и виртуализации в едином решении, устраняется зависимость от устаревших "раздутых" гипервизоров, обеспечивается прозрачность виртуализации. Спроектированный для работы поверх распределенной, интеллектуальной, ориентированной на виртуализацию технологии хранения данных, встроенный бесплатный гипервизор ACROPOLIS обеспечивает быструю, стабильную, безопасную виртуализацию, а интегрированная платформа управления PRISM обеспечивает реальное управление инфраструктурой "одним щелчком", включая аналитику и автоматическое устранение сбоев.
Бизнес-преимущества
Снижение капитальных и эксплуатационных расходов на 40-60%.
Безграничное и предсказуемое масштабирование инфраструктуры.
Ввод в эксплуатацию при покупке, развертывании и управлении происходит в 8 раз быстрее.
Снижение энергопотребления, охлаждения и уменьшение места в серверной стойке с форм-фактором 2U до 90%.
Исследования IDC
Возврат 510% инвестиций за 5 лет ROI, Экономия до 58% за 5 лет на совокупной стоимости в�
Контейнеры в OpenStack: простое решение сложных проблемYandex
В настоящее время в OpenStack есть хорошая поддержка гипервизорной виртуализации, но пока нет работающего решения для использования контейнеров. Я расскажу, почему так получилось, сравню гипервизорную и контейнерную технологии в контексте OpenStack и рассмотрю, насколько проще будет выполнять некоторые операции в OpenStack при использовании контейнеров, а также какие новые возможности появятся в OpenStack при использовании этого типа виртуализации.
SAM за 7 шагов. Рецепт для небольших компанийValery Bychkov
21 июня в сообществе Смартсорсинг прошел вебинар «SAM за 7 шагов. Рецепт для небольших компаний» на котором Дмитрий Исайченко (Cleverics), рассказал о том, как организовать процесс управления активами ПО в небольшой компании. Весь вебинар – рассказ о том, как в компании Cleverics решали задачи учёта ПО, инвентаризации, управления лицензионными соглашениями и т.д. Так что, никаких абстрактных теорий и рекомендаций – только практический опыт.
Эволюция High availability: Windows Server 2016 Failover ClusteringYuriy Denisov
Вспомним, как все начиналось и развивалось
Посмотрим, что появилось нового и изменилось
Узнаем, как обновиться, да так, чтобы без простоя
И немножко про то, чем многие не пользуются: Cluster-Aware Updating
Inspur Smartrack – инновационное решение для горизонтального масштабирования ...IBS
Конференция "InterLab Forum. Системная интеграция нового поколения" прошла в октябре 2015 года. В центре внимания форума были новые решения в области ИТ-инфраструктуры и информационной безопасности, недавно появившиеся на российском рынке и прошедшие апробацию в IBS.
Подробности: http://www.ibs.ru
Современные флэш-технологии – от концепции к преимуществам использования // А...IBS
Конференция "InterLab Forum. Системная интеграция нового поколения" прошла в октябре 2015 года. В центре внимания форума были новые решения в области ИТ-инфраструктуры и информационной безопасности, недавно появившиеся на российском рынке и прошедшие апробацию в IBS.
Подробности: http://www.ibs.ru
Оптимизация производительности: магия или методикаКРОК
13 октября 2016
Бизнес-завтрак «Контроль производительности приложений — ключ к успешному взаимодействию с бизнесом»
http://www.croc.ru/action/detail/66468/
Настройка kubernetes: tips and tricks / Михаил Прокопчук (Avito)Ontico
HighLoad++ 2017
Зал «Пекин+Шанхай», 7 ноября, 15:00
Тезисы:
http://www.highload.ru/2017/abstracts/2967.html
Мы в Avito уже более года используем Kubernetes в качестве платформы для микросервисов.
За это время мы столкнулись с рядом проблем, с которыми может столкнуться каждый, кто использует эту платформу.
В докладе поделюсь опытом решения проблем и настройки кластера для обеспечения его эффективной работы (низкий и стабильный latency для сервисов, использование ресурсов CPU, RAM): настройки аппаратного обеспечения (сеть, CPU), ОС, настройки самих инфраструктурных компонентов kubernetes и о том, что и как необходимо мониторить.
Вебинар «EMC VNX: преображение во флеш» http://www.croc.ru/action/detail/23755/
Презентация Александра Овчинникова, эксперта группы внедрения и эксплуатации СХД компании КРОК
Резервное копирование не только виртуальных сред при помощи продуктов VeeamYaryomenko
- Возможности среды обеспечения доступности предприятия на базе решения Veeam Availability Suite 9.0, новые возможности и функционал продукта.
- Глубокая интеграция с решением хранения данных EMC Data Domain и VNX/VNXe.
- Возможности решения в гранулярном восстановлении объектов приложений.
Виртуализация инфраструктуры ЦОД российской разработки // Владимир Порохов (O...IBS
Конференция "InterLab Forum. Системная интеграция нового поколения" прошла в октябре 2015 года. В центре внимания форума были новые решения в области ИТ-инфраструктуры и информационной безопасности, недавно появившиеся на российском рынке и прошедшие апробацию в IBS.
Подробности: http://www.ibs.ru
Как и зачем создавать NginX-модуль — теория, практика, профит. Часть 2 / Васи...Ontico
HighLoad++ 2017
Зал Дели + Калькутта, 7 ноября, 15:00
Тезисы:
http://www.highload.ru/2017/abstracts/2940.html
Почти год назад я выступил с докладом 'Как и зачем создавать NginX-модуль - теория, практика, профит'. У меня не получилось рассказать обо всех возможностях Nginx и, уверяю вас, в этом докладе у меня это тоже не получится - тема слишком большая!
Сразу перейдем к делу. "Так что нового будет в этом докладе?" - спросите вы. В нем будут ответы на вопросы, на которые я не успел ответить в прошлом году, а именно:
- Как и зачем создавать upstream-модули?
...
Cохранить замещая. IBS и Huawei // Максим Исаев (IBS) на InterLab Forum 2015IBS
Конференция "InterLab Forum. Системная интеграция нового поколения" прошла в октябре 2015 года. В центре внимания форума были новые решения в области ИТ-инфраструктуры и информационной безопасности, недавно появившиеся на российском рынке и прошедшие апробацию в IBS.
Подробности: http://www.ibs.ru
Nutanix - IT инфраструктура ЦОД нового поколенияKonstantin Vanin
NUTANIX предоставляет технологии для создания прозрачных корпоративных IT инфраструктур нового поколения, путем объединения функций обработки, хранения данных и виртуализации в готовое "под ключ" гиперконвергентное решение на базе процессоров x86, объединенных в горизонтально-масштабируемые кластера. За счет этого значительно сокращается потребление электроэнергии и места в ЦОД-ах, нивелируются проблемы традиционных подходов к хранению данных. Наиболее передовые дата-центры в мире полагаются на веб-масштабируемые облачные технологии Nutanix для поддержки своих критически важных приложений любого масштаба и уровня сложности.
Объединяя функции хранения и виртуализации в едином решении, устраняется зависимость от устаревших "раздутых" гипервизоров, обеспечивается прозрачность виртуализации. Спроектированный для работы поверх распределенной, интеллектуальной, ориентированной на виртуализацию технологии хранения данных, встроенный бесплатный гипервизор ACROPOLIS обеспечивает быструю, стабильную, безопасную виртуализацию, а интегрированная платформа управления PRISM обеспечивает реальное управление инфраструктурой "одним щелчком", включая аналитику и автоматическое устранение сбоев.
Бизнес-преимущества
Снижение капитальных и эксплуатационных расходов на 40-60%.
Безграничное и предсказуемое масштабирование инфраструктуры.
Ввод в эксплуатацию при покупке, развертывании и управлении происходит в 8 раз быстрее.
Снижение энергопотребления, охлаждения и уменьшение места в серверной стойке с форм-фактором 2U до 90%.
Исследования IDC
Возврат 510% инвестиций за 5 лет ROI, Экономия до 58% за 5 лет на совокупной стоимости в�
Контейнеры в OpenStack: простое решение сложных проблемYandex
В настоящее время в OpenStack есть хорошая поддержка гипервизорной виртуализации, но пока нет работающего решения для использования контейнеров. Я расскажу, почему так получилось, сравню гипервизорную и контейнерную технологии в контексте OpenStack и рассмотрю, насколько проще будет выполнять некоторые операции в OpenStack при использовании контейнеров, а также какие новые возможности появятся в OpenStack при использовании этого типа виртуализации.
Презентация технологии веб-кластеров
Основные задачи, которые решает веб-кластер:
Обеспечение высокой доступности сервиса (так называемые HA - High Availability или Failover кластеры)
Масштабирование веб-проекта в условиях возрастающей нагрузки (HP - High Performance кластеры)
Балансирование нагрузки, трафика, данных между несколькими серверами
Создание целостной резервной копии данных для MySQL
Вебинар «Дедупликация vs Hеконтролируемый рост данных»
Подробнее о мероприятии http://www.croc.ru/action/detail/5668/
Презентация Дмитрия Дощаного, директора центра решений КРОК на базе технологий EMC
Защита данных от Dell Software: краткий обзор и планы развития продуктов BAKOTECH
Презентация Дмитрия Крайнова, регионального менеджера по развитию бизнеса в России и странах СНГ на мероприятии Dell Data Protection Seminar (2015/05/28).
Презентация Защита данных от Dell Software: краткий обзор и планы развития ...Marina Gryshko
Презентация Дмитрия Крайнова, региональный менеджер по развитию бизнеса в России и странах СНГ на мероприятии Dell Data Protection Seminar (2015/05/28).
One-cloud — система управления дата-центром в Одноклассниках / Олег Анастасье...Ontico
HighLoad++ 2017
Зал «Калининград», 8 ноября, 15:00
Тезисы:
http://www.highload.ru/2017/abstracts/2964.html
Одноклассники состоят из более чем восьми тысяч железных серверов, расположенных в нескольких дата-центрах. Каждая из этих машин была специализированной под конкретную задачу - как для обеспечения изоляции отказов, так и для обеспечения автоматизированного управления инфраструктурой.
...
Масштабируя DNS / Артем Гавриченков (Qrator Labs)Ontico
HighLoad++ 2017
Зал «Калининград», 8 ноября, 16:00
Тезисы:
http://www.highload.ru/2017/abstracts/3032.html
Протокол DNS на семь лет старше, чем Всемирная паутина. Стандарты RFC 882 и 883, определяющие основную функциональность системы доменных имён, появились в конце 1983 года, а первая реализация последовала уже годом позже. Естественно, что у технологии столь старой и при этом по сей день активнейшим образом используемой просто не могли не накопиться особенности, неочевидные обыкновенным пользователям.
...
Создание BigData-платформы для ФГУП Почта России / Андрей Бащенко (Luxoft)Ontico
HighLoad++ 2017
Зал «Калининград», 8 ноября, 13:00
Тезисы:
http://www.highload.ru/2017/abstracts/3010.html
В этом докладе я расскажу, как BigData-платформа помогает трансформировать Почту России, как мы управляем построением и развитием платформы. Расскажу про найденные удачные решения, например, как разбиение на продукты с понятными SLA и интерфейсами между ними помогло нам сохранять управляемость с ростом масштабов проекта.
...
Готовим тестовое окружение, или сколько тестовых инстансов вам нужно / Алекса...Ontico
HighLoad++ 2017
Зал «Кейптаун», 8 ноября, 10:00
Тезисы:
http://www.highload.ru/2017/abstracts/2914.html
Казалось бы, что нужно для организации тестового окружения? Тестовая железка и копия боевого окружения - и тестовый сервер готов. Но как быть, когда проект сложный? А когда большой? А если нужно тестировать одновременно много версий? А если все это вместе?
Организация тестирования большого развивающегося проекта, где одновременно в разработке и тестировании около полусотни фич - достаточно непростая задача. Ситуация обычно осложняется тем, что иногда есть желание потрогать еще не полностью готовый функционал. В таких ситуациях часто возникает вопрос: "А куда это можно накатить и где покликать?"
...
Новые технологии репликации данных в PostgreSQL / Александр Алексеев (Postgre...Ontico
HighLoad++ 2017
Зал «Кейптаун», 8 ноября, 18:00
Тезисы:
http://www.highload.ru/2017/abstracts/2854.html
Из этого доклада вы узнаете о возможностях репликации и автофейловера PostgreSQL, в том числе о возможностях, ставших доступных в PostgreSQL 10.
Среди прочих, будет затронуты следующие темы:
* Виды репликации и решаемые с ее помощью проблемы.
* Настройка потоковой репликации.
* Настройка логической репликации.
* Настройка автофейловера / HA средствами Stolon и Consul.
После прослушивания доклада вы сможете самостоятельно настраивать репликацию и автофейловер PostgreSQL.
PostgreSQL Configuration for Humans / Alvaro Hernandez (OnGres)Ontico
HighLoad++ 2017
Зал «Кейптаун», 8 ноября, 17:00
Тезисы:
http://www.highload.ru/2017/abstracts/3096.html
PostgreSQL is the world’s most advanced open source database. Indeed! With around 270 configuration parameters in postgresql.conf, plus all the knobs in pg_hba.conf, it is definitely ADVANCED!
How many parameters do you tune? 1? 8? 32? Anyone ever tuned more than 64?
No tuning means below par performance. But how to start? Which parameters to tune? What are the appropriate values? Is there a tool --not just an editor like vim or emacs-- to help users manage the 700-line postgresql.conf file?
Join this talk to understand the performance advantages of appropriately tuning your postgresql.conf file, showcase a new free tool to make PostgreSQL configuration possible for HUMANS, and learn the best practices for tuning several relevant postgresql.conf parameters.
Inexpensive Datamasking for MySQL with ProxySQL — Data Anonymization for Deve...Ontico
HighLoad++ 2017
Зал «Кейптаун», 8 ноября, 16:00
Тезисы:
http://www.highload.ru/2017/abstracts/3115.html
During this session we will cover the last development in ProxySQL to support regular expressions (RE2 and PCRE) and how we can use this strong technique in correlation with ProxySQL's query rules to anonymize live data quickly and transparently. We will explain the mechanism and how to generate these rules quickly. We show live demo with all challenges we got from the Community and we finish the session by an interactive brainstorm testing queries from the audience.
Опыт разработки модуля межсетевого экранирования для MySQL / Олег Брославский...Ontico
HighLoad++ 2017
Зал «Кейптаун», 8 ноября, 15:00
Тезисы:
http://www.highload.ru/2017/abstracts/2957.html
Расскажем о нашем опыте разработки модуля межсетевого экрана для MySQL с использованием генератора парсеров ANTLR и языка Kotlin.
Подробно рассмотрим следующие вопросы:
— когда и почему целесообразно использовать ANTLR;
— особенности разработки ANTLR-грамматики для MySQL;
— сравнение производительности рантаймов для ANTLR в рамках задачи синтаксического анализа MySQL (C#, Java, Kotlin, Go, Python, PyPy, C++);
— вспомогательные DSL;
— микросервисная архитектура модуля экранирования SQL;
— полученные результаты.
ProxySQL Use Case Scenarios / Alkin Tezuysal (Percona)Ontico
HighLoad++ 2017
Зал «Кейптаун», 8 ноября, 14:00
Тезисы:
http://www.highload.ru/2017/abstracts/3114.html
ProxySQL aims to be the most powerful proxy in the MySQL ecosystem. It is protocol-aware and able to provide high availability (HA) and high performance with no changes in the application, using several built-in features and integration with clustering software. During this session we will quickly introduce its main features, so to better understand how it works. We will then describe multiple use case scenarios in which ProxySQL empowers large MySQL installations to provide HA with zero downtime, read/write split, query rewrite, sharding, query caching, and multiplexing using SSL across data centers.
MySQL Replication — Advanced Features / Петр Зайцев (Percona)Ontico
HighLoad++ 2017
Зал «Кейптаун», 8 ноября, 13:00
Тезисы:
http://www.highload.ru/2017/abstracts/2954.html
MySQL Replication is powerful and has added a lot of advanced features through the years. In this presentation we will look into replication technology in MySQL 5.7 and variants focusing on advanced features, what do they mean, when to use them and when not, Including.
When should you use STATEMENT, ROW or MIXED binary log format?
What is GTID in MySQL and MariaDB and why do you want to use them?
What is semi-sync replication and how is it different from lossless semi-sync?
...
Внутренний open-source. Как разрабатывать мобильное приложение большим количе...Ontico
HighLoad++ 2017
Зал «Кейптаун», 8 ноября, 12:00
Тезисы:
http://www.highload.ru/2017/abstracts/3120.html
Количество разработчиков мобильных приложений Сбербанк Онлайн с начала 2016 года выросло на порядок. Для того чтобы продолжать выпускать качественный продукт, мы кардинально перестраиваем процесс разработки.
Количество внутренних заказчиков тех или иных доработок в какой-то момент выросло настолько, что разработчики стали узким местом. Мы внедрили культуру разработки, которую можно условно назвать "внутренним open-source", сохранив за собой контроль над архитектурой и качеством проекта, но позволив разрабатывать новые фичи всем желающим.
...
Подробно о том, как Causal Consistency реализовано в MongoDB / Михаил Тюленев...Ontico
HighLoad++ 2017
Зал «Мумбай», 8 ноября, 18:00
Тезисы:
http://www.highload.ru/2017/abstracts/2836.html
При использовании Eventually Consistent распределенных баз данных нет гарантий, что чтение возвращает результаты последних изменений данных, если чтение и запись производятся на разных узлах. Это ограничивает пропускную способность системы. Поддержка свойства Causal Consistency снимает это ограничение, что позволяет улучшить масштабируемость, не требуя изменений в коде приложения.
...
Балансировка на скорости проводов. Без ASIC, без ограничений. Решения NFWare ...Ontico
HighLoad++ 2017
Зал «Мумбай», 8 ноября, 16:00
Тезисы:
http://www.highload.ru/2017/abstracts/2858.html
Аудитория Одноклассников превышает 73 миллиона человек в России, СНГ и странах дальнего зарубежья. При этом ОК.ru - первая социальная сеть по просмотрам видео в рунете и крупнейшая сервисная платформа.
Качественный и количественный рост DDoS-атак за последние годы превращает их в одну из первоочередных проблем для крупнейших интернет-ресурсов. В зависимости от вектора атаки “узким” местом становится та или иная часть инфраструктуры. В частности, при SYN-flood первый удар приходится на систему балансировки трафика. От ее производительности зависит успех в противостоянии атаке.
...
Перехват трафика — мифы и реальность / Евгений Усков (Qrator Labs)Ontico
HighLoad++ 2017
Зал «Мумбай», 8 ноября, 15:00
Тезисы:
http://www.highload.ru/2017/abstracts/3008.html
Никогда не было и вот снова случилось! Компания Google в результате перенаправления трафика сделала недостпуными в Японии несколько тысяч различных сервисов, большинство из которых никак не связано с самой компанией Google. Однако, подобные инциденты происходят с завидной регулярностью, вот только не всегда попадают в большие СМИ. У таких инцидентов могут быть разные причины, начиная от ошибок сетевых инженеров и заканчивая государственным регулированием.
...
И тогда наверняка вдруг запляшут облака! / Алексей Сушков (ПЕТЕР-СЕРВИС)Ontico
HighLoad++ 2017
Зал «Мумбай», 8 ноября, 14:00
Тезисы:
http://www.highload.ru/2017/abstracts/2925.html
Облака и виртуализация – современные тренды развития IT-технологий. Операторы связи строят свои TelcoClouds на стандартах NFV (Network Functions Virtualization) и SDN (Software-Defined Networking). В докладе начнем с основ виртуализации, далее разберемся, для чего используются NFV и SDN, потом полетим к облакам и вернемся на землю для решения практических задач!
...
Как мы заставили Druid работать в Одноклассниках / Юрий Невиницин (OK.RU)Ontico
HighLoad++ 2017
Зал «Мумбай», 8 ноября, 10:00
Тезисы:
http://www.highload.ru/2017/abstracts/3045.html
Как мы заставили Druid работать в Одноклассниках.
«Druid is a high-performance, column-oriented, distributed data store» http://druid.io.
Мы расскажем о том, как, внедрив Druid, мы справились с ситуацией, когда MSSQL-based система статистики на 50 терабайт стала:
- медленной: средняя скорость ответа была в разы меньше требуемой (и увеличилась в 20 раз);
- нестабильной: в час пик статистика отставала до получаса (теперь ничего не отстает);
- дорогой: изменилась политика лицензирования Microsoft, расходы на лицензии могли составить миллионы долларов.
...
Разгоняем ASP.NET Core / Илья Вербицкий (WebStoating s.r.o.)Ontico
HighLoad++ 2017
Зал «Рио-де-Жанейро», 8 ноября, 18:00
Тезисы:
http://www.highload.ru/2017/abstracts/2905.html
Прошло более года с того момента, как Microsoft выпустила первую версию своего нового фреймворка для разработки web-приложений ASP.NET Core, и с каждым днем он находит все больше поклонников. ASP.NET Core базируется на платформе .NET Core, кроссплатформенной версии платформы .NET c открытым исходным кодом. Теперь у С#-разработчиков появилась возможность использовать Mac в качестве среды разработки, и запускать приложения на Linux или внутри Docker-контейнеров.
...
100500 способов кэширования в Oracle Database или как достичь максимальной ск...Ontico
HighLoad++ 2017
Зал «Рио-де-Жанейро», 8 ноября, 14:00
Тезисы:
http://www.highload.ru/2017/abstracts/2913.html
Изначально будут раскрыты базовые причины, которые заставили появиться такой части механизма СУБД, как кэш результатов, и почему в ряде СУБД он есть или отсутствует.
Будут рассмотрены различные варианты кэширования результатов как sql-запросов, так и результатов хранимой в БД бизнес-логики. Произведено сравнение способов кэширования (программируемые вручную кэши, стандартный функционал) и даны рекомендации, когда и в каких случаях данные способы оптимальны, а порой опасны.
...
Apache Ignite Persistence: зачем Persistence для In-Memory, и как он работает...Ontico
HighLoad++ 2017
Зал «Рио-де-Жанейро», 8 ноября, 13:00
Тезисы:
http://www.highload.ru/2017/abstracts/2947.html
Apache Ignite — Open Source платформа для высокопроизводительной распределенной работы с большими данными с применением SQL или Java/.NET/C++ API. Ignite используют в самых разных отраслях. Сбербанк, ING, RingCentral, Microsoft, e-Therapeutics — все эти компании применяют решения на основе Ignite. Размеры кластеров разнятся от всего одного узла до нескольких сотен, узлы могут быть расположены в одном ЦОД-е или в нескольких геораспределенных.
...
HighLoad++ 2017
Зал «Рио-де-Жанейро», 8 ноября, 12:00
Тезисы:
http://www.highload.ru/2017/abstracts/3005.html
Когда мы говорим о нагруженных системах и базах данных с большим числом параллельных коннектов, особый интерес представляет практика эксплуатации и сопровождения таких проектов. В том числе инструменты и механизмы СУБД, которые могут быть использованы DBA и DevOps-инженерами для решения задач мониторинга жизнедеятельности базы данных и ранней диагностики возможных проблем.
...
3. Google изменил все в ранних
2000
Physical transforms
to virtual
Converged architecture
Services delivered via software
Commodity hardware
alters economics
Традиционные (ранняя Yahoo, Altavista)
Сервера, коммутаторы, SAN, NAS
Модульные (Google, Amazon, Facebook)
Стандартное оборудование, Map/Reduce, NoSQL
4. Google File System
• Масштабируемость. Датацентры – как кубики лего.
• Производительность. Скорость ответа на запросы миллисекунды.
• Управляемость. Простые, идентичные компоненты, для легкости управления в любом
масштабе.
• Отказоустойчивость. Репликация данных и замена аппаратных компонент на лету.
5. RAID надежен?
MythBusters могли бы
возразить ;)
• RAID6 практически гарантирует потерю данных в единой рейд-группе размером
>500TB менее чем за год (вероятность 99.999%)
• MTBF – маркетинг, на самом деле диски умирают партиями и не вовремя
• Современные СХД могут восстанавливаться после сбоев дисков сутками и даже
неделями, подъем из бэкапа – еще дольше
• Отказ двух контроллеров в большинстве случаев – потеря данных или
долговременный отказ в обслуживании
6. NDFS: Задачи и их решение
•
Создать ФС, подобную GFS, но спроектированную для общих задач /
виртуализацию
Создана NDFS, работающая «поверх» KVM, vmWare, HyperV
•
Предложить распределенную ФС на недорогом, стандарном X86
оборудовании высокой плотности размещения
Поместили в 2 юнита сверхбыструю СХД + 4 «сервера»
•
Предоставить разделяемый доступ к датастору для всего кластера через
стандартные протоколы
NDFS способна работать через NFS, iSCSI, SMB3
Решить проблему split-brain
Используем paxos, наиболее продвинутый алгоритм на
сегодняшний день
•
7. NDFS: Задачи и их решение
•
Решить множество проблем cтандартных IT инфраструктур
Увеличили скорость ввода в эксплуатацию до минут, уменьшили
стоимость и сложность, понизили энергопотребление, требуемое
охлаждение, стойко-места
•
Предоставить реальную масштабируемость – от маленьких до очень
больших проектов
NDFS не имеет центральных точек отказа, использует NoSQL решения
для работы с метаданными, масштабируется от 3-х узлов и не имеет
теоритических лимитов расширения
•
Не использовать RAID ввиду устарелости, медленности и ненадежности
Используется технология «размазывания данных» (dispersed data)
8. Кстати, нужна ли
виртуализация?
(«у нас много денег на железо»)
• Постоянная головная боль для всей команды – высчитывать оптимальную аппаратную
конфигруацию под конкретные задачи (или тратить $$$)
• Считаем ядрами процессоров, гибайтами памяти и IOPS – сервера дешевле всего покупать одинаковые (память
лишней не бывает)
• Переезд сервисов на другое «железо» - трагикомедия
• Пара команд из CLI или «кликов» мышкой, ни единого разрыва (с)!
• «Мы тут чуть код улучшили в пятницу вечером» – требования к конфигурации могут
кардинально измениться
• Автоматически перераспределяемая нагрузка между аппаратными серверами (вплоть до времени суток) – как в
сторону уменьшения, так и увеличения ресурсов, с учетом приоритетов
• Множество точек управления, сложности развертывания ОС и ПО
• Практически мнговенный деплой любых виртуальных машин и ПО, линкованный клон автоматически кэшируется
на нужных аппаратных серверах, апдейт ОС всех VM кластера за минуты, загрузка ОС на них – секунды
• Изоляция сервисов – условна, безопаснее разносить аппаратно
• В пределах одного физического сервера абсолютно безопасно может находиться множество различных задач,
вплоть до смешения разработки и продакшена
9. Новое поколение ДЦ?
Универсальная платформа для гибридных облаков
Гибкое управление нагрузками
Общий интерфейс управления
Управление данными ориентированное на виртуальные машины
11. Distributed File System (NDFS)
Распределенная Файловая Система
Распределенная Файловая Система Nutanix является масштабируемой, децентрализованной
распределенной файловой системой, изначально разработанной для целей виртуализации.
NUTANIX INC. – CONFIDENTIAL AND PROPRIETARY
17. Distributed File System (NDFS)
Резервирование данных в кластере
VM
ABC
Контроллерная VM
данные
Гипервизор
VM
данные
DEF
VM
данные
GHI
Контроллерная VM
Контроллерная VM
Гипервизор
Гипервизор
18. Distributed File System (NDFS)
Как работает высокая доступность (HA)?
VM
данные
ABC
VM
VM
ABC
данные данные
DEF
VM
данные
GHI
Контроллерная VM
Контроллерная VM
Контроллерная VM
Гипервизор
Гипервизор
Гипервизор
19. Distributed File System (NDFS)
Как работает миграция VM?
VM
данные
ABC
VM
данные
DEF
VM
данные
GHI
Контроллерная VM
Контроллерная VM
Контроллерная VM
Гипервизор
Гипервизор
Гипервизор
20. Distributed File System (NDFS)
Оптимизация размещения данных
Гостевая
Гостевая
VM
Гостевая
VM
Гостевая
VM
VM
cVM
NFS датастор
Гипервизор
Горячие данные
SATA
SSD
SATA
SSD
HDD
HDD
HDD
HDD
Холодные данные
•
•
•
Данные попадают на SSD
Передвигаются на более медленные диски «Куратором»
Поднимаются обратно на SSD в зависимости от количества и частоты обращений
21. Distributed File System (NDFS)
Оптимизация ёмкости СХД. Сжатие.
•
•
•
Данные сжимаются при записи (синхронно)
Идеально для архивации
Высокая производительность для
последовательных нагрузок
•
Данные сжимаются после того как стали
«холодными» и мигрировали на
низкопроизводительные уровни СХД
Осуществляется (только) когда есть свободные
вычислительные ресурсы
Нет негативного эффекта на скорость вводавывода данных
Идеально для нагрузок со случайным доступом
•
•
•
23. Линейное масштабирование
Виртуальных машин
В едином кластере могут независимо масштабироваться процессорные
мощности и СХД
Количество модулей (4 модуля на блок)
NUTANIX INC. – CONFIDENTIAL AND PROPRIETARY