Конференция Highload++ 2014, "Отказоустойчивый микрокластер своими руками", "...Lenvendo
inShare
0 views
Компания "Ленвендо" занимается созданием, развитием и поддержкой крупномасштабных онлайн-проектов.
Сегодня «Ленвендо» отвечает за работу ресурсов «Эльдорадо», «Связной», HomeMe, Газпромбанк, Эхо Москвы в Петербурге
Повышаем отказоустойчивость без дорогих решенийLenvendo
Презентация технического директора "Ленвендо" Виталия Гаврилова на конференции Failover Conference, 10 апреля 2015 года.
Компания "Ленвендо" занимается развитием и поддержкой онлайн-проектов.
Сегодня «Ленвендо» отвечает за работу ресурсов «Эльдорадо», «Связной», HomeMe, Газпромбанк, Два берега, oodji.
Конференция Highload++ 2014, "Отказоустойчивый микрокластер своими руками", "...Lenvendo
inShare
0 views
Компания "Ленвендо" занимается созданием, развитием и поддержкой крупномасштабных онлайн-проектов.
Сегодня «Ленвендо» отвечает за работу ресурсов «Эльдорадо», «Связной», HomeMe, Газпромбанк, Эхо Москвы в Петербурге
Повышаем отказоустойчивость без дорогих решенийLenvendo
Презентация технического директора "Ленвендо" Виталия Гаврилова на конференции Failover Conference, 10 апреля 2015 года.
Компания "Ленвендо" занимается развитием и поддержкой онлайн-проектов.
Сегодня «Ленвендо» отвечает за работу ресурсов «Эльдорадо», «Связной», HomeMe, Газпромбанк, Два берега, oodji.
Опенсорс-инструменты на страже безопасности бэкенда — Петр ВолковYandex
Антивирусная система Яндекса ежедневно обнаруживает тысячи взломанных сайтов. Периодически среди них встречаются крупные и известные интернет-ресурсы.
Администраторы сайтов часто оказываются не готовы к тому, что злоумышленник может пробраться через внешний периметр и исполнить произвольный код на стороне сервера. В результате перед ними встаёт нелегкая задача: обнаружить последствия и предотвратить дальнейшие проблемы.
Доклад посвящён практикам и инструментам, которые могут существенно повысить эффективность противодействия вредоносной активности, и профилактике её возникновения.
Что нового в nginx? / Максим Дунин (Nginx, Inc.)Ontico
HighLoad++ 2017
Зал Конгресс-Холл, 7.ноября, 11:00
Презентация и тезисы:
http://www.highload.ru/2017/abstracts/2981.html
Что нового появилось в nginx за последнее время, и для чего всё это нужно? В докладе - рассказ про основные новые функции в nginx 1.11.x (доступно в стабильной ветке 1.12.x) и 1.13.x. Для чего нужен параметр сборки --with-compat, что делает директива mirror, будет ли работать TLS 1.3, как обновлять кэш с помощью proxy_cache_background_update, что такое stale-while-revalidate, как логировать JSON и что делать, если после обновления конфигурации старые рабочие процессы долго не завершаются.
Читаем CHANGES вместе и разбираем на примерах.
Оптимизации поисковой выдачи Яндекса / Иван Хватов, Сергей Ляджин (Яндекс)Ontico
HighLoad++ 2017
Зал «Москва», 8 ноября, 17:00
Тезисы:
http://www.highload.ru/2017/abstracts/2880.html
Поисковая выдача Яндекса (СЕРП) - сложное многофункциональное веб-приложение с высокими требованиями к скорости загрузки. По ряду причин мобильный веб медленнее десктопа: ограничения по CPU/памяти в телефонах, нестабильность мобильных сетей.
В докладе расскажем, как с учётом этих особенностей, мы ускоряем мобильный СЕРП.
Dmitry Menshikov "Release after the year of development: fierce debug to the ...Fwdays
Usually, the last working day of the year means people raiding the shops and making last-minute purchases of presents for their loved ones, liquor and ingredients for all kinds of winter holiday foods. But that is a normal people story — people who don’t release the infrastructure update, that had been developed during the whole year 2017, on the year’s final week. And that is exactly what we did. We had 3 new services, a new stack of video streaming platform, new team members, and new hardware of all kinds. Not that I didn’t realize that it’s a bad idea, but if you’re taking responsibility for the result and pull anchor, you’ve got to be ready to accept the fate prepared for you by an iceberg.
And so it’s 31.12.2017, two days of fruitless troubleshooting of failing streams are over, and you’re looking at Champaign in a glass and thinking how to dig into this black box. The troubleshooting took days more and ended in a non-stop one-week long Go vs Node hackathon, which resulted in the complete rewriting of video streaming core, which was found out to be the problem.
Как защитить свой сайт, Пётр Волков, лекция в Школе вебмастеровYandex
Лекция Петра Волкова в Школе вебмастеров: «Как защитить свой сайт».
https://academy.yandex.ru/events/webmasters_school/yawebm2015/
Актуальные типы угроз и динамика их развития
Компрометация сервера и её последствия. Распределённые атаки типа «отказ в обслуживании». Подмена или добавление рекламы на стороне клиента. Атаки, направленные на пользователей. Проблемы, связанные со внешним содержимым.
Управление рисками безопасности веб-сайтов
Разные типы сайтов подвержены разным типам рисков информационной безопасности. Понимание целей и подходов злоумылшенников как ключ к эффективному снижению рисков. Методы монетизации атак на сайты.
Доступный инструментарий и методики для обеспечения безопасности
Открытые инструменты форензики для типовых и сложных проектов. Системы обнаружения вторжений, подходы к проектированию безопасности в архитектуре и процессах.
Опенсорс-инструменты на страже безопасности бэкенда — Петр ВолковYandex
Антивирусная система Яндекса ежедневно обнаруживает тысячи взломанных сайтов. Периодически среди них встречаются крупные и известные интернет-ресурсы.
Администраторы сайтов часто оказываются не готовы к тому, что злоумышленник может пробраться через внешний периметр и исполнить произвольный код на стороне сервера. В результате перед ними встаёт нелегкая задача: обнаружить последствия и предотвратить дальнейшие проблемы.
Доклад посвящён практикам и инструментам, которые могут существенно повысить эффективность противодействия вредоносной активности, и профилактике её возникновения.
Что нового в nginx? / Максим Дунин (Nginx, Inc.)Ontico
HighLoad++ 2017
Зал Конгресс-Холл, 7.ноября, 11:00
Презентация и тезисы:
http://www.highload.ru/2017/abstracts/2981.html
Что нового появилось в nginx за последнее время, и для чего всё это нужно? В докладе - рассказ про основные новые функции в nginx 1.11.x (доступно в стабильной ветке 1.12.x) и 1.13.x. Для чего нужен параметр сборки --with-compat, что делает директива mirror, будет ли работать TLS 1.3, как обновлять кэш с помощью proxy_cache_background_update, что такое stale-while-revalidate, как логировать JSON и что делать, если после обновления конфигурации старые рабочие процессы долго не завершаются.
Читаем CHANGES вместе и разбираем на примерах.
Оптимизации поисковой выдачи Яндекса / Иван Хватов, Сергей Ляджин (Яндекс)Ontico
HighLoad++ 2017
Зал «Москва», 8 ноября, 17:00
Тезисы:
http://www.highload.ru/2017/abstracts/2880.html
Поисковая выдача Яндекса (СЕРП) - сложное многофункциональное веб-приложение с высокими требованиями к скорости загрузки. По ряду причин мобильный веб медленнее десктопа: ограничения по CPU/памяти в телефонах, нестабильность мобильных сетей.
В докладе расскажем, как с учётом этих особенностей, мы ускоряем мобильный СЕРП.
Dmitry Menshikov "Release after the year of development: fierce debug to the ...Fwdays
Usually, the last working day of the year means people raiding the shops and making last-minute purchases of presents for their loved ones, liquor and ingredients for all kinds of winter holiday foods. But that is a normal people story — people who don’t release the infrastructure update, that had been developed during the whole year 2017, on the year’s final week. And that is exactly what we did. We had 3 new services, a new stack of video streaming platform, new team members, and new hardware of all kinds. Not that I didn’t realize that it’s a bad idea, but if you’re taking responsibility for the result and pull anchor, you’ve got to be ready to accept the fate prepared for you by an iceberg.
And so it’s 31.12.2017, two days of fruitless troubleshooting of failing streams are over, and you’re looking at Champaign in a glass and thinking how to dig into this black box. The troubleshooting took days more and ended in a non-stop one-week long Go vs Node hackathon, which resulted in the complete rewriting of video streaming core, which was found out to be the problem.
Как защитить свой сайт, Пётр Волков, лекция в Школе вебмастеровYandex
Лекция Петра Волкова в Школе вебмастеров: «Как защитить свой сайт».
https://academy.yandex.ru/events/webmasters_school/yawebm2015/
Актуальные типы угроз и динамика их развития
Компрометация сервера и её последствия. Распределённые атаки типа «отказ в обслуживании». Подмена или добавление рекламы на стороне клиента. Атаки, направленные на пользователей. Проблемы, связанные со внешним содержимым.
Управление рисками безопасности веб-сайтов
Разные типы сайтов подвержены разным типам рисков информационной безопасности. Понимание целей и подходов злоумылшенников как ключ к эффективному снижению рисков. Методы монетизации атак на сайты.
Доступный инструментарий и методики для обеспечения безопасности
Открытые инструменты форензики для типовых и сложных проектов. Системы обнаружения вторжений, подходы к проектированию безопасности в архитектуре и процессах.
Blogging To Create A More Engaged WorkforceRichard Hare
Slides from a presentation I gave at the Melcrum Social Media Forum in March 2007. After three years experimenting with blogging internally, we had six months earlier released a new tool which centralised blogging and opened it up for everyone in the organisation
This document discusses using MongoDB as a log collector. It provides examples of storing log data from syslog-ng in MongoDB collections, including filtering and parsing logs. It also gives examples of analyzing the log data through map-reduce to find top IP addresses and provides ideas for other uses like CAPTCHAs, error localization, and analytics.
Модным ныне словом «виртуализация» сейчас называют различные обёртки аппаратной виртуализации, однако этот термин намного старше и более всеохватывающий. На уровне ознакомления с технологией мы поговорим о виртуализации ресурсов в кластере и на примере pacemaker.
Процесс разработки и тестирования с Docker + gitlab ciАлександр Сигачев
Доклад - https://www.youtube.com/watch?v=lJsqRwULRVA
Какие проблемы решаем?
быстрый вход нового разработчика в проект
стандартизация настроек разработчиков
переключение между проектами - разные версии ПО и библиотек (mysql 5.6/5.7, node 0.12/7.2)
приучаем разработчиков к сетевому взаимодействию компонентов
Microservice - масштабирование/разделения разработки
Делим ресурсы staging среды между проектами
Движение по хрупкому дну / Сергей Караткевич (servers.ru)Ontico
Сегодня Интернет увлечен микросервисами, контейнерами и immutable-инфраструктурой. Очень сложно не поддаться искушению внедрить что-то подобное в компании, в которой вы работаете сейчас. Я попытаюсь отговорить вас использовать эти технологии во вред приложению, себе и бизнесу компании в целом. Я расскажу о типовом проекте, который был запущен в 20 странах за 4 месяца, проблемах, которые я встретил, и выводах, которые я сделал.
- Почему микросервисы не спасут, а похоронят ваш проект.
Я расскажу на основе собственного опыта, почему не стоит увлекаться микросервисами для небольших проектов, почему благие намерения — упрощение деплоя и увеличение числа деплоев, увеличение доступности и улучшение масштабирования ведут к отсутствию гибкости и критическому уменьшению стабильности системы.
- Почему ваша система слишком сложна для своих задач.
Я расскажу, почему не стоит усложнять систему, почему, скорее всего, ваша система слишком сложна для задач, которые она решает и почему вы не контролируете то, что происходит в системе. Я объясню, почему вы потратите все свое время на отладку сложной системы, вместо того чтобы решать задачи бизнеса.
- Почему Docker используется неправильно.
Будут предоставлены реальные примеры использования Docker для нового проекта и для портированного проекта, я объясню, с какими проблемами сталкиваются операторы при работе с Docker на живых примерах, объясню, почему вы, скорее всего, используете Docker неправильно, и предложу варианты, как этого избежать.
- Почему immutable слишком статичен для вашей компании.
Я расскажу про свой опыт работы с immutable и объясню, почему, на мой взгляд, переход к подобной инфраструкт
Александр Лямин, генеральный директор HLL, рассказал на конференции HighLoad++ 2009 о том, какие виды DDoS-атак являются наиболее популярными и как пережить их с минимальными потерями, используя известный и не очень инструментарий с открытым исходным кодом.
Экономика DDoS: во сколько вас оценили (предмет для гордости!) и чего можно ожидать (оценка эффективность атаки).
• DDoS – это просто и дешево;
• стоимость аренды ботнета;
• экономическое плечо атаки;
• выводы.
Посмотрим врагу в лицо: география и габариты ботнетов, встречающихся на просторах Рунета. Особенности ботнетов (конечность, тупость, жадность) и как их использовать при борьбе с атаками.
Кто к нам пришел: основные разновидности DDoS-атак, элементы LAMP-стека, на которые они направлены. Комбинированые атаки. Куда смотреть, что замечать и на что обращать особое внимание.
Домашнее задание: о каких элементах вашей архитектуры полезно позаботиться заранее, адекватность архитектуры и вашей рыночной стоимости (не жадничать).
Искусство художественной grepки: как настроить access.log, заголовок как улика, печеньки и зачем их едят, ловушки для бота, как выделить тело ботнета, используя однострочный шелл-скрипт.
Фильтруем базар: зачем нужен stateful файрволл, зачем он не нужен и как отфильтровать сто тысяч пятьсот ботов и не устать в ksoftirq.
Звонок NOC'у: как использовать географию и языковую сегментацию в своих целях. Как вежливо и грамотно получить blackhole на интересных направлениях. Печальное положение вещей в Телко.
Цена запроса: о стоимости запроса в терминах ресурсов сервера и жадности ботов.
DDоS: Практическое руководство к выживанию. (Часть 2: Работа над ошибками)HLL
В сети существует множество «поваренных рецептов» о том, как построить защиту от DDoS-атак своими руками. В докладе Александра Лямина, генерального директора HLL, презентованном на конференции «Российские интернет-технологии» (РИТ++/2012), проведен подробный анализ наиболее интересных из них, названы критерии эффективности системы защиты в целом и проведена оценка возможностей как отдельных методов противодействия, так и комбинированных.
Доклад рассматривает тонкости nodejs, а так же преимущества Evented I/O для серверных приложений. Будет предоставлен ряд рекоммендаций по правильному построению архитектуры, модульности, масштабированию, дизайну кода. Краткое введение в технологию программирования "волокнами" (fibers) и ряд других эффективных практик.
This document provides an overview of the vMix live video production software. It discusses the different editions of vMix and their pricing structures. It then covers installing vMix and becoming familiar with the main interface elements like the preview and output windows, input area, and transition bar. It also provides guidance on adding camera and other media sources as inputs and adjusting their settings.
This document provides a service manual for the MCS-8M Multi Format Compact Switcher. It includes sections on installation, location of main parts, replacement of parts, periodic checks, troubleshooting messages, software updates, circuit descriptions, spare parts lists, block diagrams, and schematic diagrams. The manual is intended for use by service engineers and provides the necessary information for servicing and repairing the unit at the board level.
YouTube, Facebook, Вконтакте, Одноклассники, Twitter, Instagram, Vimeo. Характеристики трансляций, варианты по оборудованию. Трансляции с мобильного телефона, вебкамеры, подключение карт захвата
Обсуждаем возможности facebook в деле организации онлайн-трансляций. Особенности и ограничения платформы. Также дополнительные материалы для индивидуального изучения
The ultimate guide to facebook live for your eventТранслируем.бел
This document provides guidance on using Facebook Live video to promote events. It recommends telling rich, intimate stories through live video, such as giving behind-the-scenes access, spotlighting event attendees, and broadcasting performances live. It also outlines best practices for live video production, including planning, scheduling broadcasts, tapping largest audiences, and encouraging participation. More advanced tactics are presented, like using "Live With" to add attendees' perspectives or going live from external cameras.
This document provides a guide to using Facebook Live for brands and marketers. It discusses why Facebook Live is a good option, how to get started, different types of content to create (such as behind-the-scenes, interviews, podcasts), tips for filming live videos, and how to broadcast a live video. The guide emphasizes that Facebook Live allows leveraging Facebook's social features and algorithms in real time to engage audiences.
Что сделать, чтобы сто раз все не переделыватьТранслируем.бел
Катя Немкович
PRODUCT MANAGER @ CAPTIV8.IO
Мне отлично знакомо чувство паники, которое возникает, когда не понимаешь, как подступиться к документации. Что делать в первую очередь? На что нет смысла тратить время? Как поддерживать все это потом?
Я расскажу о своем чеклисте, абсолютном минимуме того, что стоит делать, чтобы избежать ошеломляющих открытий в самый разгар проекта.
Когда сказать «нет»
Арсений Кравченко
MARKETING ENGINEER @ YANDEX
Проектам свойственно разрастаться. При планировании первой версии продукта или фичи есть соблазн добавить побольше всякого, закрывая глаза на сроки реализации. Мы поговорим, как бороться с этим соблазном, что нужно смело выкидывать, а на чем экономить не следует.
Презентация по классическому маркетингу для интернет-маркетологов от генерального директора портала TUT.by Александра Чекана.
Видеоверсия лекции для студентов института журналистики: https://youtu.be/-T31XPd_o5Y
3. Что такое DDoS?
DDoS-атака (от англ.
Distributed Denial of
Service, распределённая
атака типа «отказ в
обслуживании» — атака
на вычислительную
систему с целью довести
её до отказа, то есть
создание таких условий,
при которых легитимные
(правомерные)
пользователи системы не
могут получить доступ к
предоставляемым
системой ресурсам, либо
этот доступ затруднён.
4. Виды DDoS-атак
SYN-флуд - при данном виде атаки на атакуемый узел
направляется большое количество SYN-пакетов по
протоколу TCP (запросов на открытие соединения). При
этом на атакуемом сервере через некоторое время
исчерпывается количество свободных сокетов и сервер
перестаёт отвечать.
HTTP-флуд – в случае HTTP-флуда в рамках уже
установленного TCP-соединения к серверу происходят
множественные обращения, как простейшее GET /, так и
более сложные наподобие GET /index.php?
search=<gooooooooooogle>, приводящие, как правило, к
исчерпанию системных ресурсов.
UDP-флуд - этот тип флуда предназначен прежде всего
для затопления канала связи.
ICMP-флуд - то же, но с помощью ICMP-пакетов.
Другие виды DDoS (Distributed Reflection Attack, DNS
Amplification Attack, Smurf, Slowloris, JavaScript DDoS)
13. МОДЕЛЬ МНОГОУРОВНЕВОЙ ЗАЩИТЫ ОТ
DDOS-АТАК
Firewall Linux
Скрипты NGINX Apache
kernel
Олег Бойцев, mega-admin.com
LVEE 2011
14. IPTABLES
Устанавливаем лимит на количество новых соединений с
одного IP в единицу времени
iptables -A INPUT -p tcp -m hashlimit --hashlimit-upto 1/sec --
hashlimit-burst 3 --hashlimit-mode srcip --hashlimit-name
HTTPD_DOS -m tcp --dport 80 -m state --state NEW -j ACCEPT
Режем ботов с “неправильным” UserAgent
iptables -I INPUT 1 -p tcp --dport 80 -m string --string
"America Online Browser" --algo kmp -j DROP
Олег Бойцев, mega-admin.com
LVEE 2011
19. БАН-СКРИПТ
#!/bin/sh
counter=1
reqno=0
for i in `netstat -nap|grep 'SYN_RECV'|awk '{print $5}'|cut -d ':' -f 1|
sort|uniq -c|sort -gr|head`
do
if [ `expr $counter % 2` -ne 0 ]
then
reqno=$i
else
if [ $reqno -gt 4 ]
then route add $i reject
fi
fi
counter=`expr $counter + 1`
done
Олег Бойцев, mega-admin.com
LVEE 2011
20. NGINX
Общий тюнинг
# Увеличиваем максимальное количество используемых файлов
worker_rlimit_nofile 80000;
events {
# Увеличиваем максимальное количество возможных
соединений
worker_connections 65536;
}
http {
# Отключаем таймаут на закрытие keep-alive соединений
keepalive_timeout 0;
# Не отдаем версию nginx в заголовке ответа
server_tokens off;
# Сбрасываем полузакрытое соединение
reset_timedout_connection on;
Олег Бойцев, mega-admin.com
LVEE 2011
21. NGINX
Задаем лимит на количество одновременных соединений
с одного IP-адреса:
http {
include /usr/local/etc/nginx/mime.types;
default_type application/octet-stream;
access_log /var/log/nginx/access.log;
server_tokens off;
log_format IP '$remote_addr';
reset_timedout_connection on;
limit_zone one $binary_remote_addr 10m;
…
location / {
limit_conn one 3;
…
Олег Бойцев, mega-admin.com
LVEE 2011
22. APACHE
Общий тюнинг
# Уменьшаем таймауты на обработку соединений
Timeout 9 (default value is 300!)
KeepAliveTimeout 9 (default value is 15)
Олег Бойцев, mega-admin.com
LVEE 2011
23. APACHE
Cтавим mod_evasive - Apache модуль для организации
защиты от DDoS-атак:
cd /usr/local/src/
wget http://www.zdziarski.com/blog/wp-
content/uploads/2010/02/mod_evasive_1.10.1.tar.gz
tar -xzvf mod_evasive_1.10.1.tar.gz
cd mod_evasive/
apxs2 -c -i -a mod_evasive20.c
cd /etc/apache2/mods-available/
nano evasive20.load
LoadModule evasive20_module
/usr/lib/apache2/modules/mod_evasive20.so
nano evasive20.conf
a2enmod
apachectl configtest && /etc/init.d/apache2 restart
Олег Бойцев, mega-admin.com
LVEE 2011
24. APACHE
Рабочий пример конфигурации mod-evasive:
<IfModule mod_evasive20.c>
DOSHashTableSize 3097
DOSPageCount 2
DOSSiteCount 100
DOSPageInterval 1
DOSSiteInterval 1
DOSBlockingPeriod 5
DOSWhiteList 8.8.8.8
</IfModule>
Олег Бойцев, mega-admin.com
LVEE 2011
25. APACHE
Параметры mod_evasive
DOSHashTableSize is the size of the hash table that is created for the IP
addresses monitored.
DOSPageCount is the number of pages allowed to be loaded for the
DOSPageInterval setting. In our case, 2 pages per 1 second before the IP
gets flagged.
DOSSiteCount is the number of objects (ie: images, style sheets,
javascripts, SSI, etc) allowed to be accessed in the DOSSiteInterval
second. In our case, 50 objects per 1 second.
DOSPageInterval is the number of seconds the intervals are set for
DOSPageCount
DOSSiteInterval is the number of seconds the intervals are set for
DOSSiteCount
DOSBlockingPeriod is the number of seconds the IP address will recieve
the Error 403 (Forbidden) page when they have been flagged.
Олег Бойцев, mega-admin.com
LVEE 2011