kudinov

What's hot

Мы проговорим про связь приложения и ОС, какие компоненты есть в современной ОС на примере Linux, как настройки этих компонент могут повлиять на приложение. Я расскажу про планировщик процессов, дисковый и сетевой ввод-вывод и соответствующие планировщики, управление памятью - как это все в общих чертах работает и как его потюнить.

Современная операционная система: что надо знать разработчику / Александр Кри...

Ontico

Все мы знаем, что NGINX – отличный прокси, который может качественно и эффективно распределять нагрузку между бэкендами и фильтровать запросы по определенным условиям. Но при этом часто на практике возникают задачи, которые не решаются его декларативной моделью описания конфигурации: иногда для принятия решения нам нужно сходить в базу данных (в Redis или даже в MySQL), другой сервис или произвести какую-то более сложную обработку запроса/ответа. Именно здесь к нам на помощь приходит мощь Lua и OpenResty. Из доклада вы узнаете: * зачем нам Lua внутри NGINX, и почему из седьмого айфона убрали разъем под наушники; * в каких ситуациях NGINX в паре с Lua справятся с задачей лучше вашего любимого PHP/NodeJS/Ruby/Python/Visual Basic и о прелестях асинхронного ввода-вывода без callback'ов; * как залезть к NGINX под капот, используя только высокоуровневый язык; * при чем здесь Openresty, или как упростить себе жизнь; * примеры бизнес-кейсов: от "умного" прокси до самостоятельного веб-приложения; * как оно ведет себя в продакшне под большой нагрузкой.

OpenResty: превращаем NGINX в полноценный сервер приложений / Владимир Прота...

Ontico

Веб-сайт нужно делать так, чтобы о перипетиях его разработки и поддержки бессонными ночами через пару лет можно было рассказать на конференции Highload++, а тамошнюю аудиторию сложно удивить велосипедом с треугольными каменными колесами. Большинство разработчиков свято следуют этому принципу то ли в силу природной любознательности и трудолюбия, то ли по причине отсутствия конференции LowLoad--. Примерно такие мысли приходят в голову практически любому специалисту по хранилищам данных, когда он видит успешный веб-проект, испытывающий стандартные проблемы с базой данных. В этом докладе я расскажу о 10-ти очень распространенных ошибках проектирования и эксплуатации хранилища в веб-проекте — от преждевременного шардирования базы и непродуманной системы архивации ненужных данных до особенностей работы всеми любимых фреймворков. Про каждую из них я расскажу подробно и поделюсь рецептами, как такие ошибки исправлять.

10 способов достижения HighLoad'а и BigData на ровном месте / Илья Космодемья...

Ontico

Всем известно о существовании временных таблиц в PostgreSQL, но как они устроены, и чем грозит их некорректное использование - не столь очевидно. На примере одного известного приложения, активно и некорректно использующего временные таблицы, мы расскажем о создаваемой ими проблеме фрагментации памяти. Что такое фрагментация памяти, по каким признакам можно определить ее наличие, чем она грозит, почему она возникает при активном использовании временных таблиц, и как мы пропатчили PostgreSQL, чтобы ее избежать - обо всем этом можно узнать из нашего доклада.

Внутреннее устройство PostgreSQL: временные таблицы и фрагментация памяти / Г...

Ontico

Какая вообще в природе бывает репликация (sync vs. async vs. semisync, master-master vs. master-slave), как оно устроено конкретно в MySQL, в каких версиях что добавили. Про binary/relay log, про SBR/RBR/mixed форматы, про глупости с позициями и про GTID, про то, как из-за всяких бед возникают дополнительные продукты типа Tungsten и Galera. Несколько занятных фактов и парочка фокусов, которые можно учинять конкретно с MySQL-репликацией. Доклад вчистую про внутреннее устройство, по результатам должно появляться общее понимание того, как оно работает внутри и почему именно так. Конкретные SQL-операторы подробно рассматривать НЕ будем, эти скучные мелочи необходимо будет затем самостоятельно смотреть в документации (или не смотреть).

Как устроена MySQL-репликация / Андрей Аксенов (Sphinx)

Ontico

Консольные приложения на Go

Andrey Smirnov

Некоторое время назад, когда в очередной раз встал вопрос о производительности большого парка mysql sharding серверов, мы не захотели покупать новые сервера и производить resharding. Мы обнаружили, что компания facebook выпустила в opensource большое количество своих разработок, в том числе и модуль ядра flashcache. Flashcache — модуль для кэширования блоков блочного устройства, предоставляющий 4 разных режима кэширования. В данном докладе я расскажу, как мы тестировали, поэтапно проверяя под нагрузкой, 3 из 4 режимов кэширования, сравнивая и выбирая оптимальный. Итогом данной работы стало внедрение данного модуля в нашу архитектуру (фотосервера, сервера БД).

Flashcache в mamba.ru / Яковлев Александр Юрьевич (ЗАО Мамба)

Ontico

Twisted Framework - фреймворк для написания сетевых приложений на Python (Анд...

Ontico

Twisted Framework - сетевые приложения в Python

Andrey Smirnov

Анатомия веб сервиса (HighLoad-2014)

Andrey Smirnov

Порой в процессе развития высоконагруженного проекта наступает момент, когда необходимо масштабирование. Возможно, ваш проект впервые упёрся в производительность железа (и таким образом перешёл в разряд высоконагруженных); возможно, это уже не первое масштабирование — не важно. Какие же проблемы могут возникнуть? Во-первых, если вы увеличиваете количество бэкенд-серверов, и, соответственно, количество рабочих процессов, то с ростом количества одновременных клиентских подключений вырастают и накладные расходы на базах данных. Во-вторых, достаточно быстро может кончиться ресурс in-memory баз данных. Потребуется создать (либо увеличить) кластер, а это каждый раз влечёт за собой необходимость модифицировать логику приложения. В-третьих, чем больше серверов, тем больше вероятность, что один из них выйдет из строя. Поэтому неплохо задуматься о том, как обеспечить отказоустойчивость, а это, опять же, потребует модифицировать логику приложения. В этом докладе я расскажу, как и какими инструментами можно легко решить все вышеперечисленные проблемы: уменьшить накладные расходы от большого количества подключений к базам данных, создать/модифицировать кластер БД прозрачно для приложения, а также прозрачно добавить устойчивость к падениям серверов БД. План доклада: - Введение. Методы масштабирования БД: репликация, шардирование. - Создаём шардированные кластеры in-memory БД прозрачно для приложений: Twemproxy, Redis-proxy, Mcrouter. - Уменьшаем накладные расходы от большого количества одновременных подключений на PostgreSQL с помощью PgBouncer. - Создаём шардированный кластер PostgreSQL с помощью PL/Proxy. - Добавляем прозрачную для приложения отказо�

Кластеры баз данных делаем сложные вещи просто / Андрей Тихонов (Avito)

Ontico

В этом докладе мы поделимся опытом, полученным в ходе масштабного проекта по миграции Avito между дата-центрами: как мы осуществляли планирование, подготовку и непосредственно переезд с переключением площадки. Опишу общие особенности и специфику нашей миграции, "подводные камни" и неочевидные ограничения, с которыми приходилось справляться, в том числе, и в экстремальных условиях.

Опыт миграции между дата-центрами / Михаил Тюрин, Сергей Бурладян (Avito)

Ontico

Архитектурный шаблон проектирования конвейер (pipeline) хорошо зарекомендовал себя при проектировании высоконагруженных (highload) систем. Использование шины сообщений (message bus) при реализации каналов взаимодействия позволяет достигать хороших показателей масштабируемости (scalability), но при этом появляются дополнительные накладные расходы, которые сказываются на показателях производительности (performance). В докладе обсуждаются варианты использования системы обмена сообщениями RabbitMQ в качестве связующего программного обеспечения (middleware) для построения конвейерной архитектуры. Рассматриваются вопросы производительности и масштабирования как stateless так и statefull фильтров. В качестве примера рассматривается реализация системы обработки сложных событий (complex event processing) применительно к управлению журналированием (log management).

101 способ приготовления RabbitMQ и немного о pipeline архитектуре / Филонов ...

Ontico

Главная → Тезисы и презентации Балансировка нагрузки и отказоустойчивость в Одноклассниках Системное администрирование Доклад принят в Программу конференции Никита Духовный Одноклассники Ведущий системный администратор в Одноклассниках. Начинал IT-карьеру разработчиком, занимался релиз инженерией, выбрал системное администрирование. Возглавляет одну из команд. Занимается задачами, обеспечивающими работу портала - автоматизацией, запуском новых решений, поддержкой инфраструктуры. Ведёт несколько хардкорных проектов, в том числе - по повышению отказоустойчивости портала. Тезисы Проект Одноклассники начинал свою жизнь в одном датацентре. С ростом популярности растёт и нагрузка. С ростом нагрузки открываются проблемы: - Ни один, даже самый мощный, сервер больше не справляется в одиночку. - Нагрузка растёт, а в датацентре нет места для нового оборудования. - Падение датацентра безоговорочно приводит к даунтайму. - Сетевой сбой выводит портал из строя. - Пользователи в удалённых регионах страдают от низкой скорости. Я без прикрас расскажу вам, как мы в Одноклассниках решаем эти проблемы. Поговорим о следующем: - CDN - каким пользователям важен, его архитектура, устройство наших CDN-приложений, что происходит при авариях. - Датацентры - почему мы используем три основных датацентра, где они расположены (и почему именно там), распределение пользовательского трафика между ними. - Сеть - как и до чего мы балансируем трафик. - Балансировщики - как мы используем LVS, почему (и в каких случаях) используем и другие решения. Что делаем с приложениями, которые нельзя ставить за балансировщик. - Модули портала - о балансировке в нашем RPC протоколе, о том, что происходит с Одноклассниками при падении датацентра.

Балансировка нагрузки и отказоустойчивость в Одноклассниках

Ontico

В этом докладе я в подробностях расскажу о том, как устроено хранение фотографий в нашей компании (всего около ~1 Пб). Наша система была устроена достаточно просто — сами фотографии хранятся на SAN Storages, которые подключены через Fiber Channel к отдельной группе серверов, "*photos". На photos-серверах смонтированы разделы на соответствующих сетевых блочных устройствах, которые с точки зрения пользователя выглядят, как обычная файловая система. Мы не используем никакие «хитрые» системы для хранения фотографий и не храним всё в одном файле — каждый размер каждой фотографии представляет из себя обычный файл на файловой системе ext3/4. Фотографии отдаются через nginx напрямую из файловой системы. Такой способ хранения больших объемов данных весьма дешев, но приводил к проблемам, когда соответствующие SAN «падали», вплоть до повреждения файловой системы с потерей части данных пользователей. Поэтому, для решения этой проблемы, а также проблем с производительностью, мы решили сделать «софтверную репликацию» фотографий с кешированием данных на SSD. Также, в качестве эксперимента, мы решили попробовать ещё один способ — хранение на локальных дисках вместо использования SAN. По стоимости решение значительно дороже, но зато надежнее и проще в поддержке. Также, для обеспечения устойчивости к выходу из строя любой машины из такого кластера, мы решили сделать возможной балансировку всех поступающих запросов на весь кластер, то есть, в современных терминах, сделать «распределенное, отказоустойчивое, высокодоступное облачное хранилище».

Архитектура хранения фотографий в Badoo

Badoo Development

Юрий Насретдинов, Badoo

Ontico

На примере нашей системы хранения фотографий мы хотим рассказать о проблемах, с которыми столкнулись в течение прошедших семи лет, связанных с ее программными и аппаратными компонентами, и о путях их решений. В данном докладе речь пойдет о том, как сохранить независимость от поставщика и построить масштабируемую систему хранения с длительным сроком эксплуатации и способностью к оперативному внесению изменений в конфигурацию. Как сделать изменения на аппаратном уровне прозрачными для разработчиков, а также о том, как упростить развертывание и обслуживание. В общих чертах изложен опыт и проблемы, которые мы получили в ходе эксплуатации классических мультиконтроллерных СХД. Основная тема - построение собственных хранилищ на базе общедоступных компонентов (полки, адаптеры, экспандеры, интерпозеры, диски, ЦПУ и т.д.) с потенциальной возможностью замены любого из выше перечисленного на другую модель. Дублирование критически важных узлов в рамках одной СХД. Обзор используемых транспортов - SRP, FC, iSCSI и описание того, каким образом можно быстро адаптировать такое хранилище под один или несколько транспортов, с минимальными вложениями. Обзор ПО для реализации СХД (SCST/LIO или проприетарные решения в области Software Defined Storage ). Автоматизация развертывания (инсталляция/управление с помощью Puppet). Тестирование перед вводом в эксплуатацию. Multipath I/O и упрощение именования экспортируемых блочных устройств. Политика составления наборов firmware для стабильной работы. Мониторинг. Расследование сбоев (Order of failure и т.п.).

Эволюция программно-аппаратного обеспечения хранения фотографий в Badoo / Дми...

Ontico

Mysql vs postgresql

Daniel Podolsky

РИТ++ 2017, HighLoad Junior Зал Сингапур, 5 июня, 12:00 Тезисы: http://junior.highload.ru/2017/abstracts/2688.html Современные приложения часто используют большое количество памяти, ещё чаще разработчики не задумываются, как именно приложение работает с памятью, и откуда она берётся. Просим ядро дать кусок памяти и начинаем с ним что-то делать... Но что за память нам выделяет ядро операционной системы? Память на самом деле виртуальная и делится на единицы, называемые страницами. Страницы бывают маленькими, бывают большими и очень большими. ...

Погружение в виртуальную память и большие страницы / Константин Новаковский (...

Ontico

Оперативная память становится всё более дешёвой и производительной, что позволяет использовать её для хранения рабочего набора данных всё большего числа приложений. Хранение всех данных в оперативной памяти позволяет сделать их высоко доступными, а алгоритмы для работы с данными либо существенно упростить, либо ускорить, а иногда — и то, и другое. Тезисы - http://www.highload.ru/2015/abstracts/1964.html

Что особенного в СУБД для данных в оперативной памяти / Константин Осипов (Ta...

Ontico

What's hot (20)

Современная операционная система: что надо знать разработчику / Александр Кри...

OpenResty: превращаем NGINX в полноценный сервер приложений / Владимир Прота...

10 способов достижения HighLoad'а и BigData на ровном месте / Илья Космодемья...

Внутреннее устройство PostgreSQL: временные таблицы и фрагментация памяти / Г...

Как устроена MySQL-репликация / Андрей Аксенов (Sphinx)

Консольные приложения на Go

Flashcache в mamba.ru / Яковлев Александр Юрьевич (ЗАО Мамба)

Twisted Framework - фреймворк для написания сетевых приложений на Python (Анд...

Twisted Framework - сетевые приложения в Python

Анатомия веб сервиса (HighLoad-2014)

Кластеры баз данных делаем сложные вещи просто / Андрей Тихонов (Avito)

Опыт миграции между дата-центрами / Михаил Тюрин, Сергей Бурладян (Avito)

101 способ приготовления RabbitMQ и немного о pipeline архитектуре / Филонов ...

Балансировка нагрузки и отказоустойчивость в Одноклассниках

Архитектура хранения фотографий в Badoo

Юрий Насретдинов, Badoo

Эволюция программно-аппаратного обеспечения хранения фотографий в Badoo / Дми...

Mysql vs postgresql

Погружение в виртуальную память и большие страницы / Константин Новаковский (...

Что особенного в СУБД для данных в оперативной памяти / Константин Осипов (Ta...

Viewers also liked

Como Duele Extremos

aventuraextrema

Highload Begun Pankov

Ontico

Befor And After

Diana Vladova

20080225 Maria Tortaspe Vesion Gusedwin

eDev

Meu Coração

guest7dad69

PresentacióN1

cpiermattei

Viewers also liked (6)

Como Duele Extremos

Highload Begun Pankov

Befor And After

20080225 Maria Tortaspe Vesion Gusedwin

Meu Coração

PresentacióN1

Similar to kudinov

Hosting for forbes.ru_

drupalconf

Облако в Badoo год спустя - работа над ошибками, Юрий Насретдинов (Badoo)

Badoo Development

Облако в Badoo год спустя - работа над ошибками, Юрий Насретдинов (Badoo)

Ontico

Облако в Badoo год спустя

Yuriy Nasretdinov

Бэкенд, фронтенд — всё смешалось (nodkz)

Pavel Chertorogov

Бэкенд, Фронтенд — всё смешалось. Обзорная экскурсия в будущее веб-разработки

ITCrowd Almaty

Внедрение параллельного рендеринга в игровой движок

Roman_Lut

Android: Как написать приложение, которое не тормозит

Elena Kotina

Node.js Меньше сложности, больше надежности Holy.js 2021

Timur Shemsedinov

HighLoad++ 2017 Зал «Москва», 8 ноября, 13:00 Тезисы: http://www.highload.ru/2017/abstracts/3014.html Мы планируем поделиться с аудиторией примером SuccessStory создания BigData-инфраструктуры (Hadoop) в Почте России. Мы расскажем про выбранные решения, мотивацию их выбора, а также про то, куда развивается продукт в Почте. Доклад будет интересен всем проектам и компаниям, где только задумываются о развитии BigData-технологий, а также всем, кому интересно узнать, как устроена "внутри" современная Почта. ...

BigПочта: как мы строили DataLake в Почте России / Алексей Вовченко (Luxoft)

Ontico

Ec2 Rootconf2009

Liudmila Li

Волков не бояться! Бизнес логика и РСУБД

Sergey Melekhin

2013-01-05 01 Леонид Евдокимов. Web scale. Взорвется все

Омские ИТ-субботники

How to cook a blockchain and not get burned

Alexander Syrotenko

Практическое применение HTML5 в Я.Почте

Alexey Androsov

GetDev.NET: Снова Эрланг

Maxim Krentovskiy

Андрей Светлов. Aiohttp

Volha Banadyseva

Многопоточность в играх. Игорь Лобанчиков. CoreHard Spring 2019

corehard_by

(1 часть) 1С-Битрикс. Как настроить двухуровневую конфигурацию веб-приложения...

ForkConf

Catalyst – MVC framework на Perl (RIT 2008)

Sergey Skvortsov

Similar to kudinov (20)

Hosting for forbes.ru_

Облако в Badoo год спустя - работа над ошибками, Юрий Насретдинов (Badoo)

Облако в Badoo год спустя

Бэкенд, фронтенд — всё смешалось (nodkz)

Бэкенд, Фронтенд — всё смешалось. Обзорная экскурсия в будущее веб-разработки

Внедрение параллельного рендеринга в игровой движок

Android: Как написать приложение, которое не тормозит

Node.js Меньше сложности, больше надежности Holy.js 2021

BigПочта: как мы строили DataLake в Почте России / Алексей Вовченко (Luxoft)

Ec2 Rootconf2009

Волков не бояться! Бизнес логика и РСУБД

2013-01-05 01 Леонид Евдокимов. Web scale. Взорвется все

How to cook a blockchain and not get burned

Практическое применение HTML5 в Я.Почте

GetDev.NET: Снова Эрланг

Андрей Светлов. Aiohttp

Многопоточность в играх. Игорь Лобанчиков. CoreHard Spring 2019

(1 часть) 1С-Битрикс. Как настроить двухуровневую конфигурацию веб-приложения...

Catalyst – MVC framework на Perl (RIT 2008)

kudinov

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Viewers also liked

Viewers also liked (6)

Similar to kudinov

Similar to kudinov (20)

More from Ontico

More from Ontico (20)

kudinov