UP2IT 2017, DEV&QA Stream 1
Володимир Смірнов, Managing Director, Apptimized Operations (Суми)
"Складнощі і специфіка побудови систем роздачі адалт контенту"
Meet Magento Belarus - Andrew Klochkov spoke on Building Scalable and Reliable cluster in Cloud Environment (Based on Amazon and Rackspace installations)
http://by.meet-magento.com/
http://amasty.com/
Настройка kubernetes: tips and tricks / Михаил Прокопчук (Avito)Ontico
HighLoad++ 2017
Зал «Пекин+Шанхай», 7 ноября, 15:00
Тезисы:
http://www.highload.ru/2017/abstracts/2967.html
Мы в Avito уже более года используем Kubernetes в качестве платформы для микросервисов.
За это время мы столкнулись с рядом проблем, с которыми может столкнуться каждый, кто использует эту платформу.
В докладе поделюсь опытом решения проблем и настройки кластера для обеспечения его эффективной работы (низкий и стабильный latency для сервисов, использование ресурсов CPU, RAM): настройки аппаратного обеспечения (сеть, CPU), ОС, настройки самих инфраструктурных компонентов kubernetes и о том, что и как необходимо мониторить.
Как и зачем создавать NginX-модуль — теория, практика, профит. Часть 2 / Васи...Ontico
HighLoad++ 2017
Зал Дели + Калькутта, 7 ноября, 15:00
Тезисы:
http://www.highload.ru/2017/abstracts/2940.html
Почти год назад я выступил с докладом 'Как и зачем создавать NginX-модуль - теория, практика, профит'. У меня не получилось рассказать обо всех возможностях Nginx и, уверяю вас, в этом докладе у меня это тоже не получится - тема слишком большая!
Сразу перейдем к делу. "Так что нового будет в этом докладе?" - спросите вы. В нем будут ответы на вопросы, на которые я не успел ответить в прошлом году, а именно:
- Как и зачем создавать upstream-модули?
...
Meet Magento Belarus - Andrew Klochkov spoke on Building Scalable and Reliable cluster in Cloud Environment (Based on Amazon and Rackspace installations)
http://by.meet-magento.com/
http://amasty.com/
Настройка kubernetes: tips and tricks / Михаил Прокопчук (Avito)Ontico
HighLoad++ 2017
Зал «Пекин+Шанхай», 7 ноября, 15:00
Тезисы:
http://www.highload.ru/2017/abstracts/2967.html
Мы в Avito уже более года используем Kubernetes в качестве платформы для микросервисов.
За это время мы столкнулись с рядом проблем, с которыми может столкнуться каждый, кто использует эту платформу.
В докладе поделюсь опытом решения проблем и настройки кластера для обеспечения его эффективной работы (низкий и стабильный latency для сервисов, использование ресурсов CPU, RAM): настройки аппаратного обеспечения (сеть, CPU), ОС, настройки самих инфраструктурных компонентов kubernetes и о том, что и как необходимо мониторить.
Как и зачем создавать NginX-модуль — теория, практика, профит. Часть 2 / Васи...Ontico
HighLoad++ 2017
Зал Дели + Калькутта, 7 ноября, 15:00
Тезисы:
http://www.highload.ru/2017/abstracts/2940.html
Почти год назад я выступил с докладом 'Как и зачем создавать NginX-модуль - теория, практика, профит'. У меня не получилось рассказать обо всех возможностях Nginx и, уверяю вас, в этом докладе у меня это тоже не получится - тема слишком большая!
Сразу перейдем к делу. "Так что нового будет в этом докладе?" - спросите вы. В нем будут ответы на вопросы, на которые я не успел ответить в прошлом году, а именно:
- Как и зачем создавать upstream-модули?
...
Андрей Николаенко, IBS. NVMf: 5 млн IOPS по сети своими рукамиIBS
Андрей Николаенко, системный архитектор в IBS, выступил на конференции HighLoad++ 2016.
Тезисы
В выпуске 4.8 ядра Linux появилась поддержка NVMf (NVM Express over Fabrics) — стандартизованной возможности присоединять по сети как блочные устройства твердотельные накопители, установленные в разъёмы PCI Express. NVMf лишён многих недостатков iSCSI, повторяющего по сети SCSI-команды со всеми их издержками времён дисковых накопителей, и главное — позволяет по полной использовать возможности сетей с прямым доступом к оперативной памяти (RDMA). Таким образом, можно под управлением одного узла собрать сверхбыстрый и сверхотзывчивый пул блочных устройств, не прибегая к покупке дорогого флэш-массива. Но как воспользоваться этим пулом, не загубив теоретические показатели программными обёртками?
В докладе будут рассмотрены варианты применения NVMf для различных конфигураций PostgreSQL, Oracle Database, Hadoop, файловых хранилищ, о разработках в направлении «программно-определяемой памяти» с применением NVMe-устройств, доступных по сети, обсуждены текущие проблемы, ограничения и перспективы. Особое внимание будет уделено практическим способам измерения производительности ввода-вывода с учётом задачи, решаемой подсистемой хранения.
Защита датацентров и данных от катастроф на базе технологий Nutanix / Максим ...Ontico
* RTO - Recovery Time Objective - максимальное время, за которое все ваши бизнес-задачи должны полностью быть восстановлены в работоспособное состояние после полной катастрофы ДЦ
RPO - Recovery Point Objective - максимально приемлемый для ваших задач промежуток времени, за который вы готовы потерять данные.
* Стратегии защиты и репликации ДЦ (1 to 1, 1 to many, many to many).
далее см. - http://rootconf.ru/2015/abstracts/1817
"What is available for Ukrainian developers in IaaS?"
What is available for Ukrainian developers in IaaS?
Difference in IaaS vs PaaS
Advantages and Disadvantages of AWS as IaaS provider in Ukrainian market context
Possibilities of Ukrainian IaaS operators for software developers
Резервное копирование не только виртуальных сред при помощи продуктов VeeamYaryomenko
- Возможности среды обеспечения доступности предприятия на базе решения Veeam Availability Suite 9.0, новые возможности и функционал продукта.
- Глубокая интеграция с решением хранения данных EMC Data Domain и VNX/VNXe.
- Возможности решения в гранулярном восстановлении объектов приложений.
Сергей Аверин "Распространенные ошибки применения баз данных"Tanya Denisyuk
Выбор хранилища данных — сложная задача, с которой часто сталкиваются разработчики. Чаще всего результат этого выбора — это компромисс. Я расскажу о собственном опыте, набитых «шишках», рассмотрю важные, на мой взгляд, связанные с этой задачей проблемы.
Микросервисы: опыт использования в нагруженном проекте / Вадим Мадисон (М-Тех)Ontico
Мы прошли довольно большой путь в разработке через микросервисы.
Начинали разработку, когда это за рубежом только входило в тренд. По сути, не было никакой информации о том, как это делать правильно и, вообще, стоит ли это делать. Не было понятно, имеем ли мы дело с очередной модной штукой, или парадигма действительно решает часть проблем, характерных для больших нагруженных проектов.
Мы прошли путь от того, когда 100 микросервисов казалось много ... Сейчас цифры в 1000, 2000 кажутся чем-то обыденным.
В ходе доклада я постараюсь сделать упор на эксплуатацию системы, работающей на микросервисах. Расскажу, какой инструментарий показал себя хорошо на больших объемах, а от какого пришлось отказаться. Покажу на примерах, как эволюционировала наша система управления конфигурацией системы в целом и отдельными сервисами. Расскажу, как корректно предоставлять API сервиса и правильно поставлять его клиентские библиотеки, чтобы избегать внутренних и искусственных зависимостей. Покажу, как мы работаем с распределенными сервисами и обеспечиваем отказоустойчивость.
Андрей Николаенко, IBS. NVMf: 5 млн IOPS по сети своими рукамиIBS
Андрей Николаенко, системный архитектор в IBS, выступил на конференции HighLoad++ 2016.
Тезисы
В выпуске 4.8 ядра Linux появилась поддержка NVMf (NVM Express over Fabrics) — стандартизованной возможности присоединять по сети как блочные устройства твердотельные накопители, установленные в разъёмы PCI Express. NVMf лишён многих недостатков iSCSI, повторяющего по сети SCSI-команды со всеми их издержками времён дисковых накопителей, и главное — позволяет по полной использовать возможности сетей с прямым доступом к оперативной памяти (RDMA). Таким образом, можно под управлением одного узла собрать сверхбыстрый и сверхотзывчивый пул блочных устройств, не прибегая к покупке дорогого флэш-массива. Но как воспользоваться этим пулом, не загубив теоретические показатели программными обёртками?
В докладе будут рассмотрены варианты применения NVMf для различных конфигураций PostgreSQL, Oracle Database, Hadoop, файловых хранилищ, о разработках в направлении «программно-определяемой памяти» с применением NVMe-устройств, доступных по сети, обсуждены текущие проблемы, ограничения и перспективы. Особое внимание будет уделено практическим способам измерения производительности ввода-вывода с учётом задачи, решаемой подсистемой хранения.
Защита датацентров и данных от катастроф на базе технологий Nutanix / Максим ...Ontico
* RTO - Recovery Time Objective - максимальное время, за которое все ваши бизнес-задачи должны полностью быть восстановлены в работоспособное состояние после полной катастрофы ДЦ
RPO - Recovery Point Objective - максимально приемлемый для ваших задач промежуток времени, за который вы готовы потерять данные.
* Стратегии защиты и репликации ДЦ (1 to 1, 1 to many, many to many).
далее см. - http://rootconf.ru/2015/abstracts/1817
"What is available for Ukrainian developers in IaaS?"
What is available for Ukrainian developers in IaaS?
Difference in IaaS vs PaaS
Advantages and Disadvantages of AWS as IaaS provider in Ukrainian market context
Possibilities of Ukrainian IaaS operators for software developers
Резервное копирование не только виртуальных сред при помощи продуктов VeeamYaryomenko
- Возможности среды обеспечения доступности предприятия на базе решения Veeam Availability Suite 9.0, новые возможности и функционал продукта.
- Глубокая интеграция с решением хранения данных EMC Data Domain и VNX/VNXe.
- Возможности решения в гранулярном восстановлении объектов приложений.
Сергей Аверин "Распространенные ошибки применения баз данных"Tanya Denisyuk
Выбор хранилища данных — сложная задача, с которой часто сталкиваются разработчики. Чаще всего результат этого выбора — это компромисс. Я расскажу о собственном опыте, набитых «шишках», рассмотрю важные, на мой взгляд, связанные с этой задачей проблемы.
Микросервисы: опыт использования в нагруженном проекте / Вадим Мадисон (М-Тех)Ontico
Мы прошли довольно большой путь в разработке через микросервисы.
Начинали разработку, когда это за рубежом только входило в тренд. По сути, не было никакой информации о том, как это делать правильно и, вообще, стоит ли это делать. Не было понятно, имеем ли мы дело с очередной модной штукой, или парадигма действительно решает часть проблем, характерных для больших нагруженных проектов.
Мы прошли путь от того, когда 100 микросервисов казалось много ... Сейчас цифры в 1000, 2000 кажутся чем-то обыденным.
В ходе доклада я постараюсь сделать упор на эксплуатацию системы, работающей на микросервисах. Расскажу, какой инструментарий показал себя хорошо на больших объемах, а от какого пришлось отказаться. Покажу на примерах, как эволюционировала наша система управления конфигурацией системы в целом и отдельными сервисами. Расскажу, как корректно предоставлять API сервиса и правильно поставлять его клиентские библиотеки, чтобы избегать внутренних и искусственных зависимостей. Покажу, как мы работаем с распределенными сервисами и обеспечиваем отказоустойчивость.
NVMf: 5 млн IOPS по сети своими руками / Андрей Николаенко (IBS)Ontico
В выпуске 4.8 ядра Linux появилась поддержка NVMf (NVM Express over Fabrics) — стандартизованной возможности присоединять по сети как блочные устройства твердотельные накопители, установленные в разъёмы PCI Express. NVMf лишён многих недостатков iSCSI, повторяющего по сети SCSI-команды со всеми их издержками времён дисковых накопителей, и главное — позволяет по полной использовать возможности сетей с прямым доступом к оперативной памяти (RDMA). Таким образом, можно под управлением одного узла собрать сверхбыстрый и сверхотзывчивый пул блочных устройств, не прибегая к покупке дорогого флэш-массива. Но как воспользоваться этим пулом, не загубив теоретические показатели программными обёртками?
В докладе будут рассмотрены варианты применения NVMf для различных конфигураций PostgreSQL, Oracle Database, Hadoop, файловых хранилищ, о разработках в направлении «программно-определяемой памяти» с применением NVMe-устройств, доступных по сети, обсуждены текущие проблемы, ограничения и перспективы. Особое внимание будет уделено практическим способам измерения производительности ввода-вывода с учётом задачи, решаемой подсистемой хранения.
Вычислительная инфраструктура без американских производителей: реалии и возмо...КРОК
Семинар «Вендорозамещение на 100%: инфраструктура, телеком и все-все-все»
http://www.croc.ru/action/detail/50595/
Презентация Антона Семчишена, менеджера по продвижению комплексных решений компании КРОК
«Сетевые протоколы для веб разработчика — выжимаем максимум» Гузель Рахимова
Автор: Александр Сербул, руководитель направления контроля качества и внедрений компании "1С-Битрикс".
Pасскажет об эффективной работе с сетевыми технологиями (tcp/ip, dns, tls, spdy, websockets, long polling, http 2.0) при разработке
Запись вебинара: http://ciscoclub.ru/novosti-giperkovergencii
В ходе доклада будут рассмотрены новые возможности гиперконвергентной платформы Cisco HyperFlex, включая расширенный функционал системного программного обеспечения, обновление аппаратной платформы, а также обзор новых валидированных дизайнов, существенно расширяющих спектр сценариев применения HyperFlex.
Готовые решения Cisco для построения «частного облака»Cisco Russia
Что делать с рутинными операциями над инфраструктурой ЦОД, которые администраторам инфраструктуры приходится выполнять чаще чем один раз в три месяца? Ответ простой – автоматизировать при помощи IaaS-платформы. Что делать с такими же рутинными операциями, которые администраторы приложений вынуждены в свою очередь снова и снова повторять на элементах инфраструктуры, подготовленных с нуля их коллегами "инфраструктурщиками"? Ответ такой же простой – автоматизировать при помощи PaaS платформы. В презентации речь пойдет о готовом решении Cisco, которое позволяет реализовать IaaS и PaaS сценарии автоматизации при помощи продуктов Cisco UCS Director (UCS-D) и Cisco Prime Service Catalog (PSC). Изюминкой готового решения является механизм изящной и бесшовной интеграции между IaaS (UCS-D) и PaaS (PSC) платформами Cisco, которая драматически упрощает процесс развертывания и сокращает затраты на внедрение и адаптацию.
«Селектел», один из крупнейших операторов коммерческих дата–центров в России, стал официальным партнером программы поддержки стартапов Start Fellows. Компания обеспечит перспективные интернет–проекты грантами на развитие IT–инфраструктуры на сумму 350 тысяч рублей.
Гранты «Селектел» финалистам Start Fellows составят 200 тысяч рублей за первое место, 100 тысяч рублей за второе и 50 тысяч рублей за третье. Эти средства стартапы смогут использовать для оплаты хостинговых услуг, которые компания оказывает под брендом Selectel. Среди них: выделенные серверы, облачное хранилище, CDN и другие. Таким образом, у начинающих интернет–компаний появится возможность создать технологическую инфраструктуру, идеально подходящую для воплощения их идей.
Сочетание классической и гибкой методологий управления проектамиUP2IT
UP2IT 2017, PRODUCT pannel
Олена Гладка, Practicing project manager, IPMA Level D (Дніпро)
"Поєднання класичної та гнучкої методологій управління проектами"
Модели OPEN SOURCE компаний и можно ли выжить без OPEN CORE и ENTERPRISE EDITIONUP2IT
UP2IT 2017, DEV&QA Stream 2
Євген Патлань, Build/Release Engineer, Percona (Чернігів)
"Моделі OPEN SOURCE компаній та чи можливо вижити без OPEN CORE та ENTERPRISE EDITION?"
UP2IT 2017, PRODUCT pannel
Влад Четирко, Customer Relations Manager, PortaOne (Черкаси)
"Обмін інформацією H2H: Яка користь від людської комунікації в IT?"
12. Как сделать правильный
transcoding cloud
• Сервер с процессором с поддержкой Intel
QuickSync
• Linux Ubuntu 17.10
• Intel Media SDK
• Ffmpeg 2.7 собранный с поддержкой Intel QS VA-
API
• Task queue - Celery
15. Условия
• Час 1080p видеоконтента занимает ±15-18 GB во всех
вариациях
• Работа на типовом железе
• Размер библиотеки при запуске - 1 500 часов
• Репликация и резервное хранение данных создает
оверхед > 300%
• Проигрывание 400 роликов в 1080p - 4.5 Gbps и ±12000
IOPS
• Экономия на инфраструктуре, использование хранилища
для docker контейнеров, хранилища конфигураций
• Удобный программный интерфейс для доступа к
хранилищу
16. • Варианты:
• Распределенные ФС: GlusterFS, Ceph, Lustre
• Объектное файловое хранилище: Сeph, OpenStack Swift,
Sheepdog, Nimbus, Riak Cloud Storage
• Решение: Ceph
• Причины:
• Open-source & всегда бесплатно, активное коммьюнити
• 3 модели хранения: object, block & VFS
• Используется в продакшне: Yahoo, Redhat Cloud, Dropbox,
Cisco, CERN, Deutsche Telekom, Canonical, Suse.
• S3-совместимое API для объектного хранилища
• Стабильная работа в условиях низких скоростей между
нодами
17. Uploader Rados Gateway
Ceph MDS
STOR 1
HP DL580
SSD
SAS HDD
SAS HDD
…
STOR 2
HP DL580
SSD
SAS HDD
SAS HDD
…
STOR 3
HP DL580
SSD
SAS HDD
SAS HDD
…
CDN
Transcoders
Кластер хранения
21. Условия
• Unicast :(
• Усредненная нагрузка - 10 Gbps
• Пиковая нагрузка - 80 Gbps
• Задержка старта проигрывания - не больше 1.5
секунды
• Разные цены на трафик в зависимости от региона
22. Решение
• Сложная HTTP балансировка с 302 ответом
• Munin
• MaxMind GeoIP
• Внутренняя система статистики с поддержкой A/B тестирования
• Кеширование результатов для географических зон - город,
область, страна
• nginx + lua-nginx-module
• Форк nginx-rtmp-module
• Pull контента через librados и 3 уровня кеша:
• RAM
• SSD
• HDD
• Использование edge серверов от сторонних провайдеров для
быстрого и дешевого масштабирования