Тюним память и сетевой стек в Linux: история перевода высоконагруженных серве...odnoklassniki.ru
В процессе обновления высоконагруженных серверов раздачи видео (40Gbit/s с каждого сервера) со старого OpenSuSE 10.2 на новый CentOS 7 (время между релизами - 7 лет) мы столкнулись с рядом проблем - необъяснимый свопинг и запуски OOM killer, неравномерное распределение нагрузки по ядрам, обрывы соединений, скачки системной нагрузки на CPU.
В докладе будет рассказано о том, как мы боролись с этими проблемами и какие технологии для этого использовали.
Кадры решают все, или стриминг видео в «Одноклассниках». Александр Тобольodnoklassniki.ru
Я расскажу, как нам удалось более чем в 10 раз ускорить старт просмотра кино и сериалов с использованием технологий адаптивного стриминга MPEG-DASH и HLS. Вы узнаете, какие технологии попали в поле зрения команды, как ин-фраструктурные особенности, размер аудитории и специфика потребления на разных пользовательских устройствах повлияли на принятие решения о выборе технологии. Естественно, будет дан и подробный отчет о результатах внедрения решения и полученном эффекте.
То есть около 50 млн. роликов, которые есть на «Одноклассниках», нужно раздать пользователям по стриминг-протоколу на скорости 40 Гбит/с с одного сервера и не хранить копии видео в разных форматах
Тюним память и сетевой стек в Linux: история перевода высоконагруженных серве...odnoklassniki.ru
В процессе обновления высоконагруженных серверов раздачи видео (40Gbit/s с каждого сервера) со старого OpenSuSE 10.2 на новый CentOS 7 (время между релизами - 7 лет) мы столкнулись с рядом проблем - необъяснимый свопинг и запуски OOM killer, неравномерное распределение нагрузки по ядрам, обрывы соединений, скачки системной нагрузки на CPU.
В докладе будет рассказано о том, как мы боролись с этими проблемами и какие технологии для этого использовали.
Кадры решают все, или стриминг видео в «Одноклассниках». Александр Тобольodnoklassniki.ru
Я расскажу, как нам удалось более чем в 10 раз ускорить старт просмотра кино и сериалов с использованием технологий адаптивного стриминга MPEG-DASH и HLS. Вы узнаете, какие технологии попали в поле зрения команды, как ин-фраструктурные особенности, размер аудитории и специфика потребления на разных пользовательских устройствах повлияли на принятие решения о выборе технологии. Естественно, будет дан и подробный отчет о результатах внедрения решения и полученном эффекте.
То есть около 50 млн. роликов, которые есть на «Одноклассниках», нужно раздать пользователям по стриминг-протоколу на скорости 40 Гбит/с с одного сервера и не хранить копии видео в разных форматах
Платформа для видео сроком в квартал. Александр Тоболь.odnoklassniki.ru
A talk from jokerconf.com conference. "Video Platform in 3 months. Delivered." by Alexander Tobol.
Доклад не затронет какую-то особенную технологию или волшебный алгоритм. Речь пойдет о том, как чуть больше чем за квартал совсем небольшая команда перезапустила работающий в режиме 24/7 совсем немаленький видео-сервис на Одноклассниках на написанной с нуля платформе, развернутой на парке из свыше 200 серверов, распределенных между несколькими центрами обмена данными.
Я бы хотел поделиться успехами и неудачами в ходе решения задачи по обеспечению бесперебойных загрузки, трансформации, хранения, раздачи видео и мониторинга, а также остановиться на особенностях, связанных с нагрузкой в 1000 просмотров в секунду, размером ежедневной аудитории в 8 миллионов географически распределенных в и за пределами РФ. Я также остановлюсь на некоторых использованных нами технологиях.
Франкенштейнизация Voldemort или key-value данные в Одноклассниках. Роман Ан...odnoklassniki.ru
A talk from jokerconf.com conference.
"Frankenstaining of Voldemort" or "key-value storage evolution at Odnoklassniki"
В докладе освещены Java-технологии хранения данных, обслуживающие десятки миллионов пользователей и работающие на сотнях серверов.
На примере социальной сети "Одноклассники" мы рассмотрим эволюцию хранилищ данных с высоким уровнем конкурентного доступа и с соблюдением требования постоянной доступности.
Мы разберём сильные и слабые стороны каждого из решений, начиная от технологии master-slave репликации на основе Berkeley DB и заканчивая симбиозом распределенных хранилищ Voldemort и Cassandra.
Bitcoin, Ethereum и другие блокчейн-сети растут экстенсивно за счёт количества предлагаемых приложений. Существенные темпы роста количества активных пользователей и транзакций приводят к тому, что блокчейн-сети начинают не справляться с качественным исполнением своей базовой функции быстрого создания и передачи ценности.
Проблема хорошо известна и понятна разработчикам, которые пытаются подойди к её решению сразу с нескольких сторон. В докладе доступно описаны современные подходы к масштабированию блокчейн-сетей — эффективные алгоритмы консенсуса, блокчейн-сети второго уровня, шардинг и другие.
Chronicle Map — key-value хранилище для трейдинга на Java / Левентов Роман (C...Ontico
Сфера финансовых приложений и трейдинга выдвигает особые требования к системам обработки данных: ультракороткие задержки, конкурентные обновления (в т.ч. из разных процессов), репликация высокочастотных обновлений.
Существовавшие открытые key-value хранилища не справлялись, поэтому мы сделали свое — Chronicle Map.
В докладе я отвечу на вопросы:
+ Почему бывает эффективнее разбить систему, работающую с общим состоянием, на несколько отдельных процессов?
+ Зачем вам может захотеться распилить JVM на несколько частей?
+ Как добиться от key-value хранилища медианной latency меньше 1 микросекунды?
+ Как сделать репликацию, если она упирается в пропускную способность сети из-за слишком частых обновлений?
Развею миф о том, что Java — это медленно :)
Также, в докладе будет сравнение Chronicle Map с redis, one-nio и ConcurrentHashMap.
SETCON'18 - Aliaksander Stsepaniuk - Effective CPUNadzeya Pus
Обсудим, как устроен микропроцессор и как заставить его работать максимально эффективно: быстро обрабатывать код и тратить как можно меньше энергии. Знание этих принципов поможет написать хороший код и избежать трудноуловимых ошибок.
MLUG 2013 Июнь
Доклад об опыте, подготовки презентаций в Beamer-е, когда её нужно сделать в некотором корпоротивном стиле. О том, как раздраконить PowerPoint pptx, и подготовить стиль для TeX-а. Сама презентация практически пустая, всё самое интересное в исходниках самой презентации: https://github.com/max-posedon/talk-corp-beamer
Платформа для видео сроком в квартал. Александр Тоболь.odnoklassniki.ru
A talk from jokerconf.com conference. "Video Platform in 3 months. Delivered." by Alexander Tobol.
Доклад не затронет какую-то особенную технологию или волшебный алгоритм. Речь пойдет о том, как чуть больше чем за квартал совсем небольшая команда перезапустила работающий в режиме 24/7 совсем немаленький видео-сервис на Одноклассниках на написанной с нуля платформе, развернутой на парке из свыше 200 серверов, распределенных между несколькими центрами обмена данными.
Я бы хотел поделиться успехами и неудачами в ходе решения задачи по обеспечению бесперебойных загрузки, трансформации, хранения, раздачи видео и мониторинга, а также остановиться на особенностях, связанных с нагрузкой в 1000 просмотров в секунду, размером ежедневной аудитории в 8 миллионов географически распределенных в и за пределами РФ. Я также остановлюсь на некоторых использованных нами технологиях.
Франкенштейнизация Voldemort или key-value данные в Одноклассниках. Роман Ан...odnoklassniki.ru
A talk from jokerconf.com conference.
"Frankenstaining of Voldemort" or "key-value storage evolution at Odnoklassniki"
В докладе освещены Java-технологии хранения данных, обслуживающие десятки миллионов пользователей и работающие на сотнях серверов.
На примере социальной сети "Одноклассники" мы рассмотрим эволюцию хранилищ данных с высоким уровнем конкурентного доступа и с соблюдением требования постоянной доступности.
Мы разберём сильные и слабые стороны каждого из решений, начиная от технологии master-slave репликации на основе Berkeley DB и заканчивая симбиозом распределенных хранилищ Voldemort и Cassandra.
Bitcoin, Ethereum и другие блокчейн-сети растут экстенсивно за счёт количества предлагаемых приложений. Существенные темпы роста количества активных пользователей и транзакций приводят к тому, что блокчейн-сети начинают не справляться с качественным исполнением своей базовой функции быстрого создания и передачи ценности.
Проблема хорошо известна и понятна разработчикам, которые пытаются подойди к её решению сразу с нескольких сторон. В докладе доступно описаны современные подходы к масштабированию блокчейн-сетей — эффективные алгоритмы консенсуса, блокчейн-сети второго уровня, шардинг и другие.
Chronicle Map — key-value хранилище для трейдинга на Java / Левентов Роман (C...Ontico
Сфера финансовых приложений и трейдинга выдвигает особые требования к системам обработки данных: ультракороткие задержки, конкурентные обновления (в т.ч. из разных процессов), репликация высокочастотных обновлений.
Существовавшие открытые key-value хранилища не справлялись, поэтому мы сделали свое — Chronicle Map.
В докладе я отвечу на вопросы:
+ Почему бывает эффективнее разбить систему, работающую с общим состоянием, на несколько отдельных процессов?
+ Зачем вам может захотеться распилить JVM на несколько частей?
+ Как добиться от key-value хранилища медианной latency меньше 1 микросекунды?
+ Как сделать репликацию, если она упирается в пропускную способность сети из-за слишком частых обновлений?
Развею миф о том, что Java — это медленно :)
Также, в докладе будет сравнение Chronicle Map с redis, one-nio и ConcurrentHashMap.
SETCON'18 - Aliaksander Stsepaniuk - Effective CPUNadzeya Pus
Обсудим, как устроен микропроцессор и как заставить его работать максимально эффективно: быстро обрабатывать код и тратить как можно меньше энергии. Знание этих принципов поможет написать хороший код и избежать трудноуловимых ошибок.
MLUG 2013 Июнь
Доклад об опыте, подготовки презентаций в Beamer-е, когда её нужно сделать в некотором корпоротивном стиле. О том, как раздраконить PowerPoint pptx, и подготовить стиль для TeX-а. Сама презентация практически пустая, всё самое интересное в исходниках самой презентации: https://github.com/max-posedon/talk-corp-beamer
Fedora Virtualization Day 2013. Moscow.
June 01, 2013.
Sartakov A. Vasily (Василий Сартаков).
Language: russian.
Виртуализация - основные сведения.
https://www.youtube.com/watch?v=bVRM7eZAdmM&index=1&list=PLTWTWm0uA2fLok6RlpJYy350FDQiRXYbS
Микроядра и способы виртуализации.
https://www.youtube.com/watch?v=nvbKs-aMubY&index=2&list=PLTWTWm0uA2fLok6RlpJYy350FDQiRXYbS
Максим Щепелин - Доставляя веб-контент в игруFDConf
За 7 лет развития World of Tanks, сложность игрового клиента и сервера значительно выросла. Если сервер можно разделить на сервисы, то клиент остается огромным монолитом в миллионы строк кода на ActionScript, C++ и Python.
Мы решили проблему сложности, встаиванием браузера в игровой клиент и заменив частично на нативные интерфесы на веб-контент. О преимуществах и недостатках этого подхода я расскажу в своём докладе.
Тандемные DDoS-атаки / Проблематика уязвимостей в спецификации TCP/IP (фундам...HLL
Презентация к докладу Артёма Гавриченкова (ximaera), ведущего разработчика сети фильтрации трафика Qrator, для конференции HighLoad++ (25-26 октября 2010, Москва).
В данном докладе описывается потенциальная тандемная атака, включающая в себя одновременно SYN flood и одну из атак на FIN-WAIT-2 или Sockstress.
Широко известная атака на отказ в обслуживании протокола TCP — SYN Flood — хорошо изучена, существуют популярные методы борьбы с ней, включая, например, технологию SYN cookies [1]. Важным свойством этого вида атак является их влияние на модули отслеживания соединений (connection tracking). Даже при использовании SYN cookies каждый входящий TCP-сегмент с выставленным флагом SYN создаёт запись в базе отслеживаемых соединений, что спустя некоторое время может привести к переполнению базы и потере новых запросов на соединения.
Менее известная атака, носящая кодовое название FIN-WAIT-2 attack, эксплуатирует особенности алгоритма закрытия TCP-соединения. Данная атака подробно разбирается в CPNI Technical Note 3/2009: Security Assessment of the Transmission Control Protocol. Её основная цель — исчерпание памяти, используемой TCP-соединениями, находящимися в фазе FIN-WAIT-2 закрытия соединения. При определённых условиях соединение может находиться в этом состоянии продолжительное время, при этом все ресурсы, задействованные соединением, не будут доступны активным компонентам атакуемой системы.
1. Dave Dittrich, Some TCP/IP Vulnerabilities: Weaknesses, attack tools, defenses [HTML] (http://staff.washington.edu/dittrich/talks/agora/index.html).
В докладе я расскажу, как выглядит World of Tanks Server (кластер кластеров) со всеми веб-сервисами, которые существуют вокруг. Какие узкие места с точки зрения отказоустойчивости есть внутри кластера, между кластерами, во взаимодействии с внешними веб-сервисами. Как мы решаем возникающие проблемы технически, процессно, проектно.
Константин Трушкин. Использование платформы Эльбрус в информационно-защищённы...Kaspersky
Константин Трушкин, Заместитель генерального директора в АО «МЦСТ», в своем докладе рассказывает о платформе Эльбрус — 6 поколений процессоров с российской архитектурой. Это не только логика ядер, но и система команд, разработанные в России. Более того, сам принцип построения вычислительного процесса — иной, чем на других распространённых архитектурах. Что это может дать при обеспечении информационной безопасности? В докладе рассказывается про основные характерные черты Эльбруса, экосистему ПО, примеры решений и внедрений, и возможности взаимного усиления полезных характеристик вместе с продуктами «Лаборатории Касперского».
Подробнее о конференции: https://kas.pr/kicsconf2021
Архитектура и уникальные особенности магистральной платформы Cisco NCS 6000Cisco Russia
1. Архитектура линейного шасси
2. Линейные карты для Cisco NCS6000
3. Оптические трансиверы
4. Архитектура мультистоечной конфигурации
5. Особенности операционной системы
«Сетевые протоколы для веб разработчика — выжимаем максимум» Гузель Рахимова
Автор: Александр Сербул, руководитель направления контроля качества и внедрений компании "1С-Битрикс".
Pасскажет об эффективной работе с сетевыми технологиями (tcp/ip, dns, tls, spdy, websockets, long polling, http 2.0) при разработке
Сравнение TCP/IP стека Windows Vista / Server 2008 и Windows XP / Server 2003Andrey Beshkov
В данном докладе мы посмотрим какие новые возможности появились в стеке TCP/IP нового поколения ОС Windows Server 2008 и Windows Vista. Так же мы сравним новый стек TCP/IP со старым стеком ОС Windows XP/ Windows Server 2003.
Эксплуатация container-based-инфраструктур / Николай Сивко (okmeter.io)Ontico
HighLoad++ 2017
Зал «Мумбай», 7 ноября, 10:00
Тезисы:
http://www.highload.ru/2017/abstracts/2899.html
На каждой конференции мы слушаем интереснейшие доклады про CI/CD, service discovery, docker, kubernetes и т.д. Практически все эти доклады рассказывают нам о "разработческой" стороне проблемы: как собрать образ контейнера, быстро его протестировать и задеплоить, как контейнеры друг о друге узнают, как добавится новый upstream в конфиг nginx и т.д.
Но никто нам не рассказал, как потом с этим "облачным" счастьем жить (тем более под нагрузкой).
...
2. КТО Я
Wargaming.net
Order of War
Order of War: Challenge
World of Tanks developer
Linux Mobile hobbyist
Openmoko
systemd
telepathy
Gentoo
World of Tanks: на пути к 1M CCU, Максим Мельников
3. WORLD OF TANKS СЕГОДНЯ
800k одновременно играющих в пике
8M сообщений в секунду
300 серверов для обслуживания игры
60M посещений игрового портала в месяц
5PB (петабайт) на установку и обновления игрового клиента в месяц
World of Tanks: на пути к 1M CCU, Максим Мельников
5. АРХИТЕКТУРА WORLD OF TANKS
клиент игры — тонкий клиент, плеер
сервер — расчёт игрового мира
кластер — сотни процессов работающих как единое целое (сервер)
игровой мир — пошаговый, шаги очень маленькие
World of Tanks: на пути к 1M CCU, Максим Мельников
8. РАЗРАБОТКА СЕРВЕРА
1. обычный Python
2. GC выключен
3. немного C++
4. RPC - на базе сообщений
5. UDP-based протокол с гарантией доставки
World of Tanks: на пути к 1M CCU, Максим Мельников
12. ПРОБЛЕМЫ РОСТА
совсем не угадали размер аудитории на старте
постоянный рост аудитории
недоработки и нехватка оборудования
постоянный аврал
предел масштабирования кластера
World of Tanks: на пути к 1M CCU, Максим Мельников
16. ВЕБ
регистрация
новости
статьи и описания
медиа контент
платёжная форма
обработка платежей
раздача обновлений
управление пользователями
профиль игрока
статистика
рейтинги
...
World of Tanks: на пути к 1M CCU, Максим Мельников
17. ИНТЕГРАЦИЯ С ИГРОВЫМ СЕРВЕРОМ
AMQP — протокол взаимодействия с игровым сервером
XML-RPC обёртка над AMQP
реплика данных игры в реляционном виде
World of Tanks: на пути к 1M CCU, Максим Мельников
20. ОБНОВЛЕНИЕ КЛИЕНТА
отдельный процесс который занимается обновлениями
поддержка http и torrent протоколов
2M игроков
размер обновления 1GB
нет возможности раздавать обновление заранее
короткая сессия участия игроков в раздаче
World of Tanks: на пути к 1M CCU, Максим Мельников
24. ИДЕИ
главное — скорость и простота разработки
не стоит боятся гетерогенной среды
синхронный подход везде где можно
асинхронный — только там, где это необходимо
AMQP — отличный протокол для реализации RPC
работа с объектами в памяти самая быстрая
World of Tanks: на пути к 1M CCU, Максим Мельников
25. СПАСИБО ЗА ВНИМАНИЕ. ВОПРОСЫ
Максим Мельников
mailto:m_melnikau@wargaming.net
https://plus.google.com/114669104565190507739/
https://twitter.com/max_posedon
http://wargaming.com
26. КОНФИГУРАЦИЯ ТИПИЧНОГО СЕРВЕРА
2 cpu ∗ 8 core ∗ 2 threads
64 GB RAM
4 ethernet
World of Tanks: на пути к 1M CCU, Максим Мельников
27. ОСНОВНАЯ ИГРОВАЯ БАЗА
размер базы: 300 GB
384 GB RAM
Percona 5.5 (разогрев кэша — 1GBps)
40k select-ов, 1k insert-ов, 1k update-ов в секунду
24 HDD ∗ 600 GB ∗ 0.5 = 6 TB
World of Tanks: на пути к 1M CCU, Максим Мельников
28. ДОПОЛНИТЕЛЬНАЯ ИГРОВАЯ БАЗА
размер базы: 4 TB
64 GB RAM
MySQL 5.5
100 GB, 350 млн записей (в день); 1k insert-ов в секунду
24 HDD ∗ 600 GB ∗ 0.5 = 6 TB
ext4
World of Tanks: на пути к 1M CCU, Максим Мельников