Обзор технологий Microsoft Hyper-V: введение в виртуализациюSkillFactory
Евгений Павленко – эксперт по технологиям Microsoft – о том, какие возможности дает специалисту гипервизор Windows, чем он отличается от других популярных платформ виртуализации, а также как развернуть Hyper-V на Windows Server.
Cautious: IPv6 is here / Александр Азимов (Qrator Labs)Ontico
Многим известна проблема исчерпания адресного пространства IPv4, из года в год делаются доклады о том, что адреса кончаются, кончаются, да никак не кончатся. На этом фоне польза от внедрения IPv6 кажется абсолютно неочевидной.
В докладе пойдет речь о причинах неизбежности прихода и массового внедрения IPv6 вне зависимости от судьбы адресного пространства IPv4, с описанием как пользы от использования Dual Stack, так и возникающих рисков.
«Сетевые протоколы для веб разработчика — выжимаем максимум» Гузель Рахимова
Автор: Александр Сербул, руководитель направления контроля качества и внедрений компании "1С-Битрикс".
Pасскажет об эффективной работе с сетевыми технологиями (tcp/ip, dns, tls, spdy, websockets, long polling, http 2.0) при разработке
Обзор технологий Microsoft Hyper-V: введение в виртуализациюSkillFactory
Евгений Павленко – эксперт по технологиям Microsoft – о том, какие возможности дает специалисту гипервизор Windows, чем он отличается от других популярных платформ виртуализации, а также как развернуть Hyper-V на Windows Server.
Cautious: IPv6 is here / Александр Азимов (Qrator Labs)Ontico
Многим известна проблема исчерпания адресного пространства IPv4, из года в год делаются доклады о том, что адреса кончаются, кончаются, да никак не кончатся. На этом фоне польза от внедрения IPv6 кажется абсолютно неочевидной.
В докладе пойдет речь о причинах неизбежности прихода и массового внедрения IPv6 вне зависимости от судьбы адресного пространства IPv4, с описанием как пользы от использования Dual Stack, так и возникающих рисков.
«Сетевые протоколы для веб разработчика — выжимаем максимум» Гузель Рахимова
Автор: Александр Сербул, руководитель направления контроля качества и внедрений компании "1С-Битрикс".
Pасскажет об эффективной работе с сетевыми технологиями (tcp/ip, dns, tls, spdy, websockets, long polling, http 2.0) при разработке
Видео + Конференция. Сетевые технологии ВКС. Стас СолдатовTrueConf__
Уже стало традицией, что каждую весну и осень мы проводим семинары. На прошедшем семинаре мы говорили о:
- применяемых сегодня технологиях и архитектурах ВКС систем.
- тонкостях работы ВКС систем на сетевом уровне.
- продемонстрировали новые возможности в области унифицированных коммуникаций.
- оптимальной настроитке аудио- и видеоподсистемы, а так же выбрать периферийное оборудование.
Провели практическую демонстрацию различных вариантов оборудования рабочих мест и конференц-залов.
Подробнее на http://trueconf.ru/company/news-events/videoconferencing-seminar/
Многие сайты измеряют время формирования странички, хотя на самом деле надо измерять время у пользователя. Тут рассказывается как это делать, и почему доставка страничек может занимать 10 секунд, при ping 100ms
NVMf: 5 млн IOPS по сети своими руками / Андрей Николаенко (IBS)Ontico
В выпуске 4.8 ядра Linux появилась поддержка NVMf (NVM Express over Fabrics) — стандартизованной возможности присоединять по сети как блочные устройства твердотельные накопители, установленные в разъёмы PCI Express. NVMf лишён многих недостатков iSCSI, повторяющего по сети SCSI-команды со всеми их издержками времён дисковых накопителей, и главное — позволяет по полной использовать возможности сетей с прямым доступом к оперативной памяти (RDMA). Таким образом, можно под управлением одного узла собрать сверхбыстрый и сверхотзывчивый пул блочных устройств, не прибегая к покупке дорогого флэш-массива. Но как воспользоваться этим пулом, не загубив теоретические показатели программными обёртками?
В докладе будут рассмотрены варианты применения NVMf для различных конфигураций PostgreSQL, Oracle Database, Hadoop, файловых хранилищ, о разработках в направлении «программно-определяемой памяти» с применением NVMe-устройств, доступных по сети, обсуждены текущие проблемы, ограничения и перспективы. Особое внимание будет уделено практическим способам измерения производительности ввода-вывода с учётом задачи, решаемой подсистемой хранения.
Виртуализированные сетевые сервисы на line rate в серверном окружении / Алекс...Ontico
Технологии NFV идут вперед и никого уже нельзя удивить тем, что сетевые сервисы вместо специализированного оборудования запускают на обычных серверах с хорошей пропускной способностью. Мир уже привык к тому, что на сервере можно обрабатывать 100 Гбит сетевого трафика. Однако эти числа характерны только тогда, когда запускают единственный сервис на сервере, например, только коммутацию пакетов (vSwitch), только NAT, только балансировку нагрузки и т.п. Сейчас же появляется потребность в запуске нескольких сервисов на одной машине, выстраивать сложные pipeline, которые учитывают различные сетевые функции, ACL, L2, L3, QoS, интегрированных с виртуальными машинами и контейнерами.
Для этого в сообществах разрабатываются более сложные фреймворки по обработке сетевых сервисов, которые позволяют разбивать задачи на этапы (stage) — каждый со своей сложностью и временем обработки, автоматически распределять такие этапы по вычислительным мощностям, планировать обработку пакетов так, чтобы увеличить суммарную пропускную способность.
В докладе будет представлен сравнительный обзор таких фреймворков: Intel DPDK Packet Framework, FD.io, Open Dataplane, Open Virtual Network (от проекта Open vSwtich). Будут представлены числовые характеристики и рекомендованные сценарии применения. Также будет освещена интеграция с системами виртуализации.
Платформа для видео сроком в квартал. Александр Тоболь.odnoklassniki.ru
A talk from jokerconf.com conference. "Video Platform in 3 months. Delivered." by Alexander Tobol.
Доклад не затронет какую-то особенную технологию или волшебный алгоритм. Речь пойдет о том, как чуть больше чем за квартал совсем небольшая команда перезапустила работающий в режиме 24/7 совсем немаленький видео-сервис на Одноклассниках на написанной с нуля платформе, развернутой на парке из свыше 200 серверов, распределенных между несколькими центрами обмена данными.
Я бы хотел поделиться успехами и неудачами в ходе решения задачи по обеспечению бесперебойных загрузки, трансформации, хранения, раздачи видео и мониторинга, а также остановиться на особенностях, связанных с нагрузкой в 1000 просмотров в секунду, размером ежедневной аудитории в 8 миллионов географически распределенных в и за пределами РФ. Я также остановлюсь на некоторых использованных нами технологиях.
Кадры решают все, или стриминг видео в «Одноклассниках». Александр Тобольodnoklassniki.ru
Я расскажу, как нам удалось более чем в 10 раз ускорить старт просмотра кино и сериалов с использованием технологий адаптивного стриминга MPEG-DASH и HLS. Вы узнаете, какие технологии попали в поле зрения команды, как ин-фраструктурные особенности, размер аудитории и специфика потребления на разных пользовательских устройствах повлияли на принятие решения о выборе технологии. Естественно, будет дан и подробный отчет о результатах внедрения решения и полученном эффекте.
То есть около 50 млн. роликов, которые есть на «Одноклассниках», нужно раздать пользователям по стриминг-протоколу на скорости 40 Гбит/с с одного сервера и не хранить копии видео в разных форматах
Микросервисы: опыт использования в нагруженном проекте / Вадим Мадисон (М-Тех)Ontico
Мы прошли довольно большой путь в разработке через микросервисы.
Начинали разработку, когда это за рубежом только входило в тренд. По сути, не было никакой информации о том, как это делать правильно и, вообще, стоит ли это делать. Не было понятно, имеем ли мы дело с очередной модной штукой, или парадигма действительно решает часть проблем, характерных для больших нагруженных проектов.
Мы прошли путь от того, когда 100 микросервисов казалось много ... Сейчас цифры в 1000, 2000 кажутся чем-то обыденным.
В ходе доклада я постараюсь сделать упор на эксплуатацию системы, работающей на микросервисах. Расскажу, какой инструментарий показал себя хорошо на больших объемах, а от какого пришлось отказаться. Покажу на примерах, как эволюционировала наша система управления конфигурацией системы в целом и отдельными сервисами. Расскажу, как корректно предоставлять API сервиса и правильно поставлять его клиентские библиотеки, чтобы избегать внутренних и искусственных зависимостей. Покажу, как мы работаем с распределенными сервисами и обеспечиваем отказоустойчивость.
Обновленный и дополненный доклад о микросервисах, специально для конференции DevOpsPro.ru
http://www.devopspro.ru/ivan-evtukhovich/?lang=ru
Углубил и расширил тему оргдизайна согласно закону Конвея, рассказал про смерть "аналоговых" компаний, и про платформы и DCOS-ы.
Рельсы прекрасный инструмент, но в некоторых ситуациях они не справляются.
В этом докладе рассказывается о таких ситуациях и одном из вариантов решения
Видео + Конференция. Сетевые технологии ВКС. Стас СолдатовTrueConf__
Уже стало традицией, что каждую весну и осень мы проводим семинары. На прошедшем семинаре мы говорили о:
- применяемых сегодня технологиях и архитектурах ВКС систем.
- тонкостях работы ВКС систем на сетевом уровне.
- продемонстрировали новые возможности в области унифицированных коммуникаций.
- оптимальной настроитке аудио- и видеоподсистемы, а так же выбрать периферийное оборудование.
Провели практическую демонстрацию различных вариантов оборудования рабочих мест и конференц-залов.
Подробнее на http://trueconf.ru/company/news-events/videoconferencing-seminar/
Многие сайты измеряют время формирования странички, хотя на самом деле надо измерять время у пользователя. Тут рассказывается как это делать, и почему доставка страничек может занимать 10 секунд, при ping 100ms
NVMf: 5 млн IOPS по сети своими руками / Андрей Николаенко (IBS)Ontico
В выпуске 4.8 ядра Linux появилась поддержка NVMf (NVM Express over Fabrics) — стандартизованной возможности присоединять по сети как блочные устройства твердотельные накопители, установленные в разъёмы PCI Express. NVMf лишён многих недостатков iSCSI, повторяющего по сети SCSI-команды со всеми их издержками времён дисковых накопителей, и главное — позволяет по полной использовать возможности сетей с прямым доступом к оперативной памяти (RDMA). Таким образом, можно под управлением одного узла собрать сверхбыстрый и сверхотзывчивый пул блочных устройств, не прибегая к покупке дорогого флэш-массива. Но как воспользоваться этим пулом, не загубив теоретические показатели программными обёртками?
В докладе будут рассмотрены варианты применения NVMf для различных конфигураций PostgreSQL, Oracle Database, Hadoop, файловых хранилищ, о разработках в направлении «программно-определяемой памяти» с применением NVMe-устройств, доступных по сети, обсуждены текущие проблемы, ограничения и перспективы. Особое внимание будет уделено практическим способам измерения производительности ввода-вывода с учётом задачи, решаемой подсистемой хранения.
Виртуализированные сетевые сервисы на line rate в серверном окружении / Алекс...Ontico
Технологии NFV идут вперед и никого уже нельзя удивить тем, что сетевые сервисы вместо специализированного оборудования запускают на обычных серверах с хорошей пропускной способностью. Мир уже привык к тому, что на сервере можно обрабатывать 100 Гбит сетевого трафика. Однако эти числа характерны только тогда, когда запускают единственный сервис на сервере, например, только коммутацию пакетов (vSwitch), только NAT, только балансировку нагрузки и т.п. Сейчас же появляется потребность в запуске нескольких сервисов на одной машине, выстраивать сложные pipeline, которые учитывают различные сетевые функции, ACL, L2, L3, QoS, интегрированных с виртуальными машинами и контейнерами.
Для этого в сообществах разрабатываются более сложные фреймворки по обработке сетевых сервисов, которые позволяют разбивать задачи на этапы (stage) — каждый со своей сложностью и временем обработки, автоматически распределять такие этапы по вычислительным мощностям, планировать обработку пакетов так, чтобы увеличить суммарную пропускную способность.
В докладе будет представлен сравнительный обзор таких фреймворков: Intel DPDK Packet Framework, FD.io, Open Dataplane, Open Virtual Network (от проекта Open vSwtich). Будут представлены числовые характеристики и рекомендованные сценарии применения. Также будет освещена интеграция с системами виртуализации.
Платформа для видео сроком в квартал. Александр Тоболь.odnoklassniki.ru
A talk from jokerconf.com conference. "Video Platform in 3 months. Delivered." by Alexander Tobol.
Доклад не затронет какую-то особенную технологию или волшебный алгоритм. Речь пойдет о том, как чуть больше чем за квартал совсем небольшая команда перезапустила работающий в режиме 24/7 совсем немаленький видео-сервис на Одноклассниках на написанной с нуля платформе, развернутой на парке из свыше 200 серверов, распределенных между несколькими центрами обмена данными.
Я бы хотел поделиться успехами и неудачами в ходе решения задачи по обеспечению бесперебойных загрузки, трансформации, хранения, раздачи видео и мониторинга, а также остановиться на особенностях, связанных с нагрузкой в 1000 просмотров в секунду, размером ежедневной аудитории в 8 миллионов географически распределенных в и за пределами РФ. Я также остановлюсь на некоторых использованных нами технологиях.
Кадры решают все, или стриминг видео в «Одноклассниках». Александр Тобольodnoklassniki.ru
Я расскажу, как нам удалось более чем в 10 раз ускорить старт просмотра кино и сериалов с использованием технологий адаптивного стриминга MPEG-DASH и HLS. Вы узнаете, какие технологии попали в поле зрения команды, как ин-фраструктурные особенности, размер аудитории и специфика потребления на разных пользовательских устройствах повлияли на принятие решения о выборе технологии. Естественно, будет дан и подробный отчет о результатах внедрения решения и полученном эффекте.
То есть около 50 млн. роликов, которые есть на «Одноклассниках», нужно раздать пользователям по стриминг-протоколу на скорости 40 Гбит/с с одного сервера и не хранить копии видео в разных форматах
Микросервисы: опыт использования в нагруженном проекте / Вадим Мадисон (М-Тех)Ontico
Мы прошли довольно большой путь в разработке через микросервисы.
Начинали разработку, когда это за рубежом только входило в тренд. По сути, не было никакой информации о том, как это делать правильно и, вообще, стоит ли это делать. Не было понятно, имеем ли мы дело с очередной модной штукой, или парадигма действительно решает часть проблем, характерных для больших нагруженных проектов.
Мы прошли путь от того, когда 100 микросервисов казалось много ... Сейчас цифры в 1000, 2000 кажутся чем-то обыденным.
В ходе доклада я постараюсь сделать упор на эксплуатацию системы, работающей на микросервисах. Расскажу, какой инструментарий показал себя хорошо на больших объемах, а от какого пришлось отказаться. Покажу на примерах, как эволюционировала наша система управления конфигурацией системы в целом и отдельными сервисами. Расскажу, как корректно предоставлять API сервиса и правильно поставлять его клиентские библиотеки, чтобы избегать внутренних и искусственных зависимостей. Покажу, как мы работаем с распределенными сервисами и обеспечиваем отказоустойчивость.
Обновленный и дополненный доклад о микросервисах, специально для конференции DevOpsPro.ru
http://www.devopspro.ru/ivan-evtukhovich/?lang=ru
Углубил и расширил тему оргдизайна согласно закону Конвея, рассказал про смерть "аналоговых" компаний, и про платформы и DCOS-ы.
Рельсы прекрасный инструмент, но в некоторых ситуациях они не справляются.
В этом докладе рассказывается о таких ситуациях и одном из вариантов решения
Развитие DevOps/NoOps инструментов. Что было, что есть, что будет.Ivan Evtukhovich
Доклад для конференции SQADays 20, обзорно рассказывает про DevOps, переход к NoOps и микросервисной архитектуре, а также почему ручное тестирование умрет.
Применение блокчейна в RTB. Можно ли масштабировать децентрализованную базу д...Ontico
HighLoad++ 2017
Зал «Москва», 7 ноября, 17:00
Тезисы:
http://www.highload.ru/2017/abstracts/3001.html
Очень часто можно услышать миф про легкие и дешевые транзакции на блокчейне, однако из коробки в большинстве популярных сетей транзакции медленные и дорогие.
В докладе мы попробуем разобраться, какие же есть все-таки варианты масштабирования блокчейна, чтобы миф стал правдой, что такое офчейн-решения и энкоринг, а также есть ли смысл в поддержке приватных блокчейнов, и как хранить терабайты данных с помощью блокчейна. Практическое применение рассмотрим на примере добавления блокчейна в экосистему RTB.
Андрей Николаенко, IBS. NVMf: 5 млн IOPS по сети своими рукамиIBS
Андрей Николаенко, системный архитектор в IBS, выступил на конференции HighLoad++ 2016.
Тезисы
В выпуске 4.8 ядра Linux появилась поддержка NVMf (NVM Express over Fabrics) — стандартизованной возможности присоединять по сети как блочные устройства твердотельные накопители, установленные в разъёмы PCI Express. NVMf лишён многих недостатков iSCSI, повторяющего по сети SCSI-команды со всеми их издержками времён дисковых накопителей, и главное — позволяет по полной использовать возможности сетей с прямым доступом к оперативной памяти (RDMA). Таким образом, можно под управлением одного узла собрать сверхбыстрый и сверхотзывчивый пул блочных устройств, не прибегая к покупке дорогого флэш-массива. Но как воспользоваться этим пулом, не загубив теоретические показатели программными обёртками?
В докладе будут рассмотрены варианты применения NVMf для различных конфигураций PostgreSQL, Oracle Database, Hadoop, файловых хранилищ, о разработках в направлении «программно-определяемой памяти» с применением NVMe-устройств, доступных по сети, обсуждены текущие проблемы, ограничения и перспективы. Особое внимание будет уделено практическим способам измерения производительности ввода-вывода с учётом задачи, решаемой подсистемой хранения.
Эволюция программно-аппаратного обеспечения хранения фотографий в Badoo / Дми...Ontico
На примере нашей системы хранения фотографий мы хотим рассказать о проблемах, с которыми столкнулись в течение прошедших семи лет, связанных с ее программными и аппаратными компонентами, и о путях их решений.
В данном докладе речь пойдет о том, как сохранить независимость от поставщика и построить масштабируемую систему хранения с длительным сроком эксплуатации и способностью к оперативному внесению изменений в конфигурацию. Как сделать изменения на аппаратном уровне прозрачными для разработчиков, а также о том, как упростить развертывание и обслуживание.
В общих чертах изложен опыт и проблемы, которые мы получили в ходе эксплуатации классических мультиконтроллерных СХД. Основная тема - построение собственных хранилищ на базе общедоступных компонентов (полки, адаптеры, экспандеры, интерпозеры, диски, ЦПУ и т.д.) с потенциальной возможностью замены любого из выше перечисленного на другую модель. Дублирование критически важных узлов в рамках одной СХД. Обзор используемых транспортов - SRP, FC, iSCSI и описание того, каким образом можно быстро адаптировать такое хранилище под один или несколько транспортов, с минимальными вложениями. Обзор ПО для реализации СХД (SCST/LIO или проприетарные решения в области Software Defined Storage ). Автоматизация развертывания (инсталляция/управление с помощью Puppet). Тестирование перед вводом в эксплуатацию. Multipath I/O и упрощение именования экспортируемых блочных устройств. Политика составления наборов firmware для стабильной работы. Мониторинг. Расследование сбоев (Order of failure и т.п.).
Системный администратор Vkontakte. Как? / Антон Кирюшкин (Vkontakte)Ontico
Достаточно давно уже был какой-то доклад о том, что собой представляет Вконтакте изнутри. В своем докладе я хотел быть отчасти обновить те знания и рассказать, какие из общедоступных инструментов есть в руках системных администраторов социальной сети. Разумеется, кроме чистой головы и прямых рук (лишнее зачеркнуть).
Я намереваюсь коснуться таких вопросов, как:
- Управление конфигурацией на очень большом числе серверов.
- Разграничение доступа.
- Развертывание кода на рабочей площадке.
- Мониторинг.
- Как мы, вообще, справляемся с таким гигантом малым числом людей?
1. Вещание видео
на 10 гбит/с
Макс Лапшин,
CTO Flussonic LLC.
Sunday, October 27, 13
2. Стриминг видеофайлов
•
•
•
•
•
Sunday, October 27, 13
Пользователь хочет посмотреть видео
Надо показать ему в реальном времени
Пользователь хочет управлять просмотром
Уникальные данные для каждого пользователя
Для каждого из 10 000 пользователей онлайн
3. Седая древность в IPTV
•
•
•
•
•
Sunday, October 27, 13
Constant bitrate
каждая секунда — фиксированное количество байт
легкая перемотка и т.п.
планирование capacity сервиса (на всех 50 абонентов)
многие так живут до сих пор
4. Хайтек от IPTV (RTSP)
•
•
•
•
Sunday, October 27, 13
Контроль по TCP с поддержкой реконнекта
Данные по UDP с возможностью ретрансмита
Энтерпрайзно и неподъёмно
Доживает свой век у 3G операторов
5. Псевдостриминг
•
•
•
•
•
•
Sunday, October 27, 13
variable bitrate в видео и аудио
примитивный flv контейнер и ещё примитивнее flash player
mod_flv в nginx — основное средство вещания
никакого мультибитрейта или мультиязыка
примитивное управление проигрыванием
популярно и сегодня (весь «html5 video»)
6. Хайтек от Адоби (RTMP)
•
•
•
•
•
Sunday, October 27, 13
Закрытый недокументированный протокол
Не получилось ничего
Попытка решить и риалтайм доставку и широковещание
Сумрачный индусский гений придумал делать уникальный поток
для каждого пользователя
Адоб закрыли программу RTMP, но не все ещё догадались
7. Потребности сегодня
•
•
•
•
Sunday, October 27, 13
FullHD, а следовательно и мультибитрейт
Выбор языков, субтитров. За что и любим torrents.ru
Управление проигрыванием (пауза, перемотка и т.п.)
3D, больше FPS и т.п.
8. Возможности сегодня
•
•
•
•
Sunday, October 27, 13
Процессоры за 5 лет особо быстрее не стали
Подешевели 10G линки (до 200 тыс рублей в месяц)
SSD бегут по планете и спотыкаются об трупы HDD
Стремительный переход на HTTP стриминг (HDS/HLS)
9. Экономика проблемы
•
•
•
•
•
Sunday, October 27, 13
1G линк — 25 000 рублей в месяц
10G линк — 200 000 рублей в месяц
сервер — 10-20 000 рублей в месяц
каждый сервер требует обслуживания
больше линков, меньше серверов
10. Цифры при 10G вещании
•
•
•
•
Sunday, October 27, 13
1 мбит/с контент
10 000 онлайн пользователей
5 000 запросов в секунду за 200 Кб сегментами
ощущаются проседания на международных каналах
12. Память
•
•
•
•
Sunday, October 27, 13
Под кеш всё равно не хватит
LRU пищит и всё портит
Изредка влезает самый свежак, но всё ломает LRU
32 Гб за глаза хватает под сетевые буферы
13. Процессор
•
•
•
Sunday, October 27, 13
Хватит масштабироваться, работать надо
Гигагерцы лучше ядер
Одного процессора хватает для чтения, перепаковки, посылки и
учета пользователей на 10 Гбит/с
14. Сеть
•
•
•
Sunday, October 27, 13
Intel, как будто бы есть другие варианты
Самые свежие драйвера
Балансировка прерываний по ядрам
15. Диски
•
•
•
•
•
Sunday, October 27, 13
Основная нагруженная часть
10 Гбит без SSD не потянуть, но HDD дешевле
Лучше меньше да больше: у SSD есть предел скорости
Аппаратные рейды оставьте продавцам
Спасибо Unix за удобное управление очередью диска
16. Проблемы с софтом
•
•
•
•
•
Sunday, October 27, 13
Псевдостриминг дает перерасход трафика до 30%
Для переключения контента нужен стриминг, причем HTTP
HDS/HLS для флеш-плеера и остальных
Предсегментация ломает префетч и перерасходует диск
Сегментация на лету — вариант
17. Выбранные решения
•
•
•
•
•
•
Sunday, October 27, 13
JBOD HDD для хранения контента
или HTTP сетевое хранилище (Swift)
SSD для промежуточного кеша
старые новые рекомендации по упаковке mp4
сегментация на лету
постоянный самоконтроль
18. Flussonic
(эрливидео)
•
•
•
•
Sunday, October 27, 13
Быстрое mp4 чтение: распаковка индекса только на лету
Никакого покадрового чтения: только GOP
Агрегация дисковых запросов
Контроль за использованием ресурсов
19. Дисковое чтение
•
•
•
•
Sunday, October 27, 13
Открытый файл держит в памяти весь moov (индекс данных)
У каждого файла плавающий пул воркеров на чтение
Все воркеры проходят через единую очередь чтения с диска
На любом запросе может прийти HTTP 503 Overloaded
20. Нерешенные проблемы
•
•
•
•
Sunday, October 27, 13
Правильное вычисление дискового устройства по имени файла
Автобалансировка между HDD при чтении одного файла
Кластерная балансировка пользователей
40G
21. Резюме
•
•
•
•
•
Sunday, October 27, 13
Вещание более 2G с сервера стало рентабельным
Старые техники не годятся, нужны новые (HTTP стриминг, SSD)
Новые подходы есть, отлажены и пинают трупы старых
Важно не только работать, но и не перерабатывать
Flussonic (эрливидео) прекрасно справляется