Чему мы научились разрабатывая микросервисы?Vadim Madison
Доклад с конференции Backend Conf 2016
Начав разработку нового продукта через микросервисы, мы неожиданно для себя обнаружили, что микросервисы — это не просто "вместо одного большого приложения теперь пишем много маленьких". При разработке большой системы она сама собой через какое-то время становится набором отдельных сервисов, которые должны взаимодействовать между собой, поэтому стабильная работа сервисов и их взаимодействие не стало чем-то новым. Неожиданностью стало то, что система стала значительно более динамической, она стала постоянно изменяться отдельными небольшими частями, сервисы стали часто перезапускаться, а количество запущенных нод сервисов стало расти по экспоненте.
Очень быстро стал актуальным вопрос конфигурирования — если раньше, выкатив новую версию монолита с единым конфигом, мы применяли правки на всю систему сразу, то с микросервисами все сложнее — пара сотен работающих нод и всем нужно применить изменения. Требования к деплою также поменялись — он стал частью процесса разработки, а тестирование стало частью деплоя. Количество необходимого ПО для функционирования системы также стало некоторым сюрпризом.
В докладе я расскажу о том, как в итоге это работает у нас, как мы решили такие вопросы как:
- конфигурирование сервисов;
- интеграция между собой;
- тестирование;
- версионирование;
- масштабирование.
Расскажу, какие тулзы мы в итоге используем, а от каких отказались.
Принципы и приёмы обработки очередей / Константин Осипов (Mail.ru)Ontico
Насколько повысится среднее время обработки одного запроса если увеличить нагрузку вдвое? Почему производительность базы данных может снизиться при росте числа клиентов? Как добиться эффективного распределения большого числа задач на весь кластер? О практике и о теории обработки очередей на которой основана практика в моём докладе.
ClickHouse: очень быстро и очень удобно / Виктор Тарнавский, Алексей Миловидо...Ontico
ClickHouse - высокопроизводительная база данных для больших данных и аналитики.
На ClickHouse основана Яндекс.Метрика - крупнейшая система веб-аналитики в России.
Ради чего мы написали свою базу данных? Ради скорости! ClickHouse работает невероятно быстро, быстрее всех известных нам конкурентов, и при этом может обрабатывать запросы по петабайтам данных.
Я расскажу про:
- Краткую историю создания проекта;
- Основные преимущества и особенности ClickHouse;
- Архитектура проекта; подход к хранению данных, отказоустойчивости, исполнению запросов;
- Как работает внутри, почему ClickHouse такой быстрый;
- Текущие кейсы использования в Метрике и других проектах Яндекса;
- Профит, который вы можете получить от ClickHouse.
Чему мы научились разрабатывая микросервисы?Vadim Madison
Доклад с конференции Backend Conf 2016
Начав разработку нового продукта через микросервисы, мы неожиданно для себя обнаружили, что микросервисы — это не просто "вместо одного большого приложения теперь пишем много маленьких". При разработке большой системы она сама собой через какое-то время становится набором отдельных сервисов, которые должны взаимодействовать между собой, поэтому стабильная работа сервисов и их взаимодействие не стало чем-то новым. Неожиданностью стало то, что система стала значительно более динамической, она стала постоянно изменяться отдельными небольшими частями, сервисы стали часто перезапускаться, а количество запущенных нод сервисов стало расти по экспоненте.
Очень быстро стал актуальным вопрос конфигурирования — если раньше, выкатив новую версию монолита с единым конфигом, мы применяли правки на всю систему сразу, то с микросервисами все сложнее — пара сотен работающих нод и всем нужно применить изменения. Требования к деплою также поменялись — он стал частью процесса разработки, а тестирование стало частью деплоя. Количество необходимого ПО для функционирования системы также стало некоторым сюрпризом.
В докладе я расскажу о том, как в итоге это работает у нас, как мы решили такие вопросы как:
- конфигурирование сервисов;
- интеграция между собой;
- тестирование;
- версионирование;
- масштабирование.
Расскажу, какие тулзы мы в итоге используем, а от каких отказались.
Принципы и приёмы обработки очередей / Константин Осипов (Mail.ru)Ontico
Насколько повысится среднее время обработки одного запроса если увеличить нагрузку вдвое? Почему производительность базы данных может снизиться при росте числа клиентов? Как добиться эффективного распределения большого числа задач на весь кластер? О практике и о теории обработки очередей на которой основана практика в моём докладе.
ClickHouse: очень быстро и очень удобно / Виктор Тарнавский, Алексей Миловидо...Ontico
ClickHouse - высокопроизводительная база данных для больших данных и аналитики.
На ClickHouse основана Яндекс.Метрика - крупнейшая система веб-аналитики в России.
Ради чего мы написали свою базу данных? Ради скорости! ClickHouse работает невероятно быстро, быстрее всех известных нам конкурентов, и при этом может обрабатывать запросы по петабайтам данных.
Я расскажу про:
- Краткую историю создания проекта;
- Основные преимущества и особенности ClickHouse;
- Архитектура проекта; подход к хранению данных, отказоустойчивости, исполнению запросов;
- Как работает внутри, почему ClickHouse такой быстрый;
- Текущие кейсы использования в Метрике и других проектах Яндекса;
- Профит, который вы можете получить от ClickHouse.
Примеры использования базы clickhouse для анализа данных.
Экспорт данных access.log в clickhouse. Примеры анализа скорости пользователей на основе логов сервера.
10 способов достижения HighLoad'а и BigData на ровном месте / Илья Космодемья...Ontico
Веб-сайт нужно делать так, чтобы о перипетиях его разработки и поддержки бессонными ночами через пару лет можно было рассказать на конференции Highload++, а тамошнюю аудиторию сложно удивить велосипедом с треугольными каменными колесами. Большинство разработчиков свято следуют этому принципу то ли в силу природной любознательности и трудолюбия, то ли по причине отсутствия конференции LowLoad--.
Примерно такие мысли приходят в голову практически любому специалисту по хранилищам данных, когда он видит успешный веб-проект, испытывающий стандартные проблемы с базой данных.
В этом докладе я расскажу о 10-ти очень распространенных ошибках проектирования и эксплуатации хранилища в веб-проекте — от преждевременного шардирования базы и непродуманной системы архивации ненужных данных до особенностей работы всеми любимых фреймворков. Про каждую из них я расскажу подробно и поделюсь рецептами, как такие ошибки исправлять.
FrontDays #1. Алексей Ульянов, React.js и методологии разработки на нёмFrontDays
От Flux к Redux. Расскажу о том, как и почему появилась методолгия Flux и какие проблемы она решила. А также почему стоит перейти или как минимум попробовать в деле Redux.
Методология DevOps - новое течение в управлении разработкой и эксплуатацией. DevOps дает возможность бизнесу быстрее добиваться своих целей, активнее меняться и постоянно пробовать новое.
Основные направления DevOps:
- новая инженерная культура, построенная на взаимной - ответственности коллектива;
- автоматизация и инструменты;
- управление изменениями и мониторинг;
- распространение знаний между всеми участниками технической команды.
Linux API с точки зрения разработчика веб-сервера / Валентин Бартенев (NGINX,...Ontico
РИТ++ 2017, Backend Conf
Зал Кейптаун, 6 июня, 15:00
Тезисы:
http://backendconf.ru/2017/abstracts/2710.html
В данном докладе я дам обзор системных интерфейсов, которые предоставляет Linux для эффективной обработки запросов. В частности, речь пойдет о мультиплексировании ввода-вывода, отправке файлов и многопоточной обработке входящих соединений. Расскажу о нюансах и недостатках в сравнении с аналогичными интерфейсами других unix-подобных операционных систем. Личный опыт показывает, что продуманность и качество реализации интерфейса для прикладных программ — это, к сожалению, довольно слабая сторона ядра Linux.
Tempesta FW: challenges, internals, use cases / Александр Крижановский (Tempe...Ontico
Tempesta FW — это Open Source гибрид Web-акселератора и файервола, специально разработанный для высокопроизводительной доставки контента вне зависимости от DDoS или наплыва посетителей.
В докладе будет рассказано про задачи, которые ставились при разработке проекта и пути их решения. Рассмотрим проблемы современных операционных систем в приложении к Web-стеку (система фильтрации, Web-сервер, application слой, БД), и как они решаются в Tempesta — некоторые уже решены, некоторые еще в процессе работы.
И самое главное — у нас появился рабочий прототип, и я расскажу про типовые примеры инсталляции, фичи и конфигурацию, а также покажу бенчмарки.
Игнат Корчагин "Как Cloudflare помогает справиться с крупнейшими атаками в Сети"Fwdays
В докладе отражены общая архитектура сети Cloudflare и обзор технических решений, которые помогают справиться с самыми крупными на сегодняшний день атаками. В частности:
- общий обзор сети Cloudflare
- Anycast и BGP и управление трафиком
- внутри датацентра Cloudflare: програмный стек
- эффективная фильтрация пакетов в Linux в обход ядра ОС
- автоматическая система управления состоянием firewall на серверах Cloudflare
Реализация механизма кеширования данных с автоматическим удалением кеша при изменении в источнике.
Плагин доступен по адресу: http://github.com/relo-san/dinCachePlugin
Оценка ИТ-проекта на ранней стадии. Практический опыт применения методологии ...Alexander Orlov
Оценка ИТ-проекта на ранней стадии. Практический опыт применения методологии COSMIC
Ведущий мастер-класса:
Максим Русаков – Управляющий партнер SRG-IT. Представитель Международного Консорциума Измерения Типичного Программного Обеспечения (COSMIC) в России. Двенадцать лет в ИТ. Более четырех лет опыта в оценке ИТ-проектов.
Описание мастер-класса:
Практичность мастер-класса основана на реальном примере и непосредственно примененных нами практиках и процедурах. В основе лежат реальные требования по разработке и цифры, полученные по результатам составления бюджета.
Наглядность мастер-класса подразумевает наглядную демонстрацию работы по построению бюджета проекта. Будет наглядно продемонстрирована работа со специализированными средствами оценки проекта:
SEER for Software, SEER for IT ( http://www.galorath.com/index.php/products/ )
Мы покажем как мы настраивали бюджетную модель под наш проект.
Интерактивность мастер-класса, за счет того, что мы предоставим возможность слушателям поучаствовать в процессе модификации модели так, как если бы они сами решили разработать наш продукт и планировали собственный бюджет:
Мы попросим слушателей описать некоторые ключевые особенности процессов разработки.
Покажем как эти конкретные особенности влияют на итоговый бюджет.
Продемонстрируем слушателям за счет чего они могли бы провести оптимизацию своего бюджета, например:
Как опыт специалистов влияет на скорость и стоимость проекта.
На сколько может затянуться работа по проекту, если команда разработчиков территориально разделена между несколькими офисами.
Как провести оценку самых существенных рисков проекта на ранней стадии.
Обзор протокола OAuth 2.0. Способы внедрения в различные типы приложенийVitebsk Miniq
Презентация подготовлена по материалам выступления Максима Дадеркина на Vitebsk MiniQ #1 “Организация аутентифицированного доступа к web-приложениям и REST – средства, методы и протоколы” (29.01.2014).
Управление производительностью на базе HP Performance Center. Опыт Альфа-банк...Ontico
Альфа-Банк основан в 1990 году, является универсальным банком, осуществляющим все основные виды банковских операций, включая обслуживание частных и корпоративных клиентов, инвестиционный банковский бизнес. Одним из основных принципов стратегии развития Альфа-Банка является привлечение и удержание клиентов за счет предоставления финансовых услуг высочайшего качества и комфортности. В соответствии с этой бизнес-стратегией существует значительный внутренний запрос на высокопроизводительные гибкие ИТ-решения для бизнеса и процесс контроля и управления производительностью этих ИТ-решений. Мы называем этот процесс процессом управления мощностями (capacity management или performance management).
Тезисы - http://www.highload.ru/2015/abstracts/1968.html
Примеры использования базы clickhouse для анализа данных.
Экспорт данных access.log в clickhouse. Примеры анализа скорости пользователей на основе логов сервера.
10 способов достижения HighLoad'а и BigData на ровном месте / Илья Космодемья...Ontico
Веб-сайт нужно делать так, чтобы о перипетиях его разработки и поддержки бессонными ночами через пару лет можно было рассказать на конференции Highload++, а тамошнюю аудиторию сложно удивить велосипедом с треугольными каменными колесами. Большинство разработчиков свято следуют этому принципу то ли в силу природной любознательности и трудолюбия, то ли по причине отсутствия конференции LowLoad--.
Примерно такие мысли приходят в голову практически любому специалисту по хранилищам данных, когда он видит успешный веб-проект, испытывающий стандартные проблемы с базой данных.
В этом докладе я расскажу о 10-ти очень распространенных ошибках проектирования и эксплуатации хранилища в веб-проекте — от преждевременного шардирования базы и непродуманной системы архивации ненужных данных до особенностей работы всеми любимых фреймворков. Про каждую из них я расскажу подробно и поделюсь рецептами, как такие ошибки исправлять.
FrontDays #1. Алексей Ульянов, React.js и методологии разработки на нёмFrontDays
От Flux к Redux. Расскажу о том, как и почему появилась методолгия Flux и какие проблемы она решила. А также почему стоит перейти или как минимум попробовать в деле Redux.
Методология DevOps - новое течение в управлении разработкой и эксплуатацией. DevOps дает возможность бизнесу быстрее добиваться своих целей, активнее меняться и постоянно пробовать новое.
Основные направления DevOps:
- новая инженерная культура, построенная на взаимной - ответственности коллектива;
- автоматизация и инструменты;
- управление изменениями и мониторинг;
- распространение знаний между всеми участниками технической команды.
Linux API с точки зрения разработчика веб-сервера / Валентин Бартенев (NGINX,...Ontico
РИТ++ 2017, Backend Conf
Зал Кейптаун, 6 июня, 15:00
Тезисы:
http://backendconf.ru/2017/abstracts/2710.html
В данном докладе я дам обзор системных интерфейсов, которые предоставляет Linux для эффективной обработки запросов. В частности, речь пойдет о мультиплексировании ввода-вывода, отправке файлов и многопоточной обработке входящих соединений. Расскажу о нюансах и недостатках в сравнении с аналогичными интерфейсами других unix-подобных операционных систем. Личный опыт показывает, что продуманность и качество реализации интерфейса для прикладных программ — это, к сожалению, довольно слабая сторона ядра Linux.
Tempesta FW: challenges, internals, use cases / Александр Крижановский (Tempe...Ontico
Tempesta FW — это Open Source гибрид Web-акселератора и файервола, специально разработанный для высокопроизводительной доставки контента вне зависимости от DDoS или наплыва посетителей.
В докладе будет рассказано про задачи, которые ставились при разработке проекта и пути их решения. Рассмотрим проблемы современных операционных систем в приложении к Web-стеку (система фильтрации, Web-сервер, application слой, БД), и как они решаются в Tempesta — некоторые уже решены, некоторые еще в процессе работы.
И самое главное — у нас появился рабочий прототип, и я расскажу про типовые примеры инсталляции, фичи и конфигурацию, а также покажу бенчмарки.
Игнат Корчагин "Как Cloudflare помогает справиться с крупнейшими атаками в Сети"Fwdays
В докладе отражены общая архитектура сети Cloudflare и обзор технических решений, которые помогают справиться с самыми крупными на сегодняшний день атаками. В частности:
- общий обзор сети Cloudflare
- Anycast и BGP и управление трафиком
- внутри датацентра Cloudflare: програмный стек
- эффективная фильтрация пакетов в Linux в обход ядра ОС
- автоматическая система управления состоянием firewall на серверах Cloudflare
Реализация механизма кеширования данных с автоматическим удалением кеша при изменении в источнике.
Плагин доступен по адресу: http://github.com/relo-san/dinCachePlugin
Оценка ИТ-проекта на ранней стадии. Практический опыт применения методологии ...Alexander Orlov
Оценка ИТ-проекта на ранней стадии. Практический опыт применения методологии COSMIC
Ведущий мастер-класса:
Максим Русаков – Управляющий партнер SRG-IT. Представитель Международного Консорциума Измерения Типичного Программного Обеспечения (COSMIC) в России. Двенадцать лет в ИТ. Более четырех лет опыта в оценке ИТ-проектов.
Описание мастер-класса:
Практичность мастер-класса основана на реальном примере и непосредственно примененных нами практиках и процедурах. В основе лежат реальные требования по разработке и цифры, полученные по результатам составления бюджета.
Наглядность мастер-класса подразумевает наглядную демонстрацию работы по построению бюджета проекта. Будет наглядно продемонстрирована работа со специализированными средствами оценки проекта:
SEER for Software, SEER for IT ( http://www.galorath.com/index.php/products/ )
Мы покажем как мы настраивали бюджетную модель под наш проект.
Интерактивность мастер-класса, за счет того, что мы предоставим возможность слушателям поучаствовать в процессе модификации модели так, как если бы они сами решили разработать наш продукт и планировали собственный бюджет:
Мы попросим слушателей описать некоторые ключевые особенности процессов разработки.
Покажем как эти конкретные особенности влияют на итоговый бюджет.
Продемонстрируем слушателям за счет чего они могли бы провести оптимизацию своего бюджета, например:
Как опыт специалистов влияет на скорость и стоимость проекта.
На сколько может затянуться работа по проекту, если команда разработчиков территориально разделена между несколькими офисами.
Как провести оценку самых существенных рисков проекта на ранней стадии.
Обзор протокола OAuth 2.0. Способы внедрения в различные типы приложенийVitebsk Miniq
Презентация подготовлена по материалам выступления Максима Дадеркина на Vitebsk MiniQ #1 “Организация аутентифицированного доступа к web-приложениям и REST – средства, методы и протоколы” (29.01.2014).
Управление производительностью на базе HP Performance Center. Опыт Альфа-банк...Ontico
Альфа-Банк основан в 1990 году, является универсальным банком, осуществляющим все основные виды банковских операций, включая обслуживание частных и корпоративных клиентов, инвестиционный банковский бизнес. Одним из основных принципов стратегии развития Альфа-Банка является привлечение и удержание клиентов за счет предоставления финансовых услуг высочайшего качества и комфортности. В соответствии с этой бизнес-стратегией существует значительный внутренний запрос на высокопроизводительные гибкие ИТ-решения для бизнеса и процесс контроля и управления производительностью этих ИТ-решений. Мы называем этот процесс процессом управления мощностями (capacity management или performance management).
Тезисы - http://www.highload.ru/2015/abstracts/1968.html
Встреча докладчиков, Программного комитета и активистов конференции разработчиков высоконагруженных систем HighLoad++. Обсудили результаты 2014 года и наметили планы на 2015-й.
Как Web-акселератор акселерирует ваш сайт / Александр Крижановский (Tempesta ...Ontico
В докладе я расскажу, что такое Web-акселератор, он же reverse proxy и он же - фронтенд. Как следует из названия, он ускоряет сайт. Но за счет чего он это делает? Какие они, вообще, бывают? Что они умеют, а что нет? В чем особенности каждого из решений? И, вообще, постараюсь рассказать о них вглубь и вширь.
Еще я расскажу про еще один Open Source Web-акселератор - Tempesta FW. Уникальность проекта в том, что это гибрид Web-акселератора и файервола, разрабатываемый специально для обработки и фильтрации больших объемов HTTP трафика. Основные сценарии использования системы — это защита от DDoS прикладного уровня и просто доставка больших объемов HTTP трафика малыми затратами на оборудование.
- Что такое Web-акселератор, зачем он был придуман и как понять когда он нужен;
- Типичный функционал reverse proxy, его отличия от Web-сервера;
- Упомянем про SSL акселераторы;
- Заглянем вглубь HTTP, и как он управляет кэшированием и проксированием, что может быть закэшированно, а что - нет;
- Мы сравним наиболее популярные акселераторы (Nginx, Varnish, Apache Traffic Server, Apache HTTPD, Squid) по фичам и внутренностям;
- Зачем нужен еще один Web-акселератор Tempesta FW, и в чем его отличие от других акселераторов.
ведение в систему управления пулом ресурсов Mesos и ее использование для создания масштабируемых приложений с помощью фреймворков Marathon, Chronos, Singularity
Презентация технологии веб-кластеров
Основные задачи, которые решает веб-кластер:
Обеспечение высокой доступности сервиса (так называемые HA - High Availability или Failover кластеры)
Масштабирование веб-проекта в условиях возрастающей нагрузки (HP - High Performance кластеры)
Балансирование нагрузки, трафика, данных между несколькими серверами
Создание целостной резервной копии данных для MySQL
Дмитрий Лазаренко-«Живая миграция и отказоустойчивость контейнеров в гибридно...Tanya Denisyuk
"Контейнеры могут динамически появляться и исчезать, являются легковесными, не резервируют все необходимые ресурсы при старте, потому их оркестрация дается не простой ценой. Каждый из виртуальных контейнеров в один момент времени может потребовать максимум доступных ему ресурсов и это может привести к тому, что закончатся все ресурсы на физическом сервере, на котором они размещаются. В докладе мы поговорим о механизме, который решает эту непростую задачу, и умеет проводить непрерывную балансировку нагрузки, перемещать контейнеры с одного физического сервера на другие для проведения технических работ без простоя приложений - умная живая миграция (Smart Live Migration).
Многие считают, что контейнеры не подходят для хранения важных данных, т.к. в любой момент они могут упасть и все данные пропадут навсегда. Мы расскажем как этого избежать с помощью технологии Software-defined-storage."
Solit 2014, MapReduce и машинное обучение на hadoop и mahout, Слисенко Конста...solit
Слисенко Константин, Минск. Компания JazzTeam, Senior Software Engineer
«Scrum для большого проекта. Как это работает на практике». Development секция. Agile отделение.
«MapReduce и машинное обучение на Hadoop и Mahout». Development секция. Для разработчиков. Высокий уровень подготовки.
ElasticSearch и Heka: как мы учились просеивать слона через сито / Адель Сачк...Ontico
HighLoad++ 2017
Зал «Конгресс-Холл», 8 ноября, 17:00
Тезисы:
http://www.highload.ru/2017/abstracts/2839.html
Год назад в Яндекс.Деньгах появилась система сбора логов в реальном времени на базе ElasticSearch и Heka. Сейчас она пропускает через себя 2 млрд сообщений в день. Сегодня я расскажу, как она была построена, почему выбран именно стек EHK, и почему мне не стыдно за свой выбор.
Рассказ о новых возможностях конференции разработчиков высоконагруженных систем HighLoad++: экспертной зоне, домашних заданиях, новом подходе к спонсорству и так далее!