Доклад о насущей и затертой до дыр теме кеширования не только сайтов на WordPress, но и сайтов в целом: от перегрузки js-скриптов и CSS в CDN до установки и настройки Varnish Cache
Доклад о насущей и затертой до дыр теме кеширования не только сайтов на WordPress, но и сайтов в целом: от перегрузки js-скриптов и CSS в CDN до установки и настройки Varnish Cache
Промышленное ускорение сайтов / Николай Мациевский (Айри.рф)Ontico
Идея: обеспечить реально высокую скорость загрузки нагруженного сайта (от 100 тысяч посетителей в день) для всех пользователей, ничего не сломав и уложившись в бюджет.
Введение. Подходы к оптимизации фронтенда:
* Классический: делаем по GPSI или WPT.
* Самостоятельный: прикрутили PageSpeed и CDN.
* Промышленный: PDSA (попробовали, измерили, внедрили, подсчитали).
* Кейс: открытие новостного сайта за 1 секунду на любом устройстве.
Часть 1. Мониторинг клиентской производительности
* Google Analytics / Яндекс.Метрика / Битрикс.
* New Relic / mPulse / Айри / Navigation Timing API.
* Resource Timing API / User Timing Api: собственные метрики.
* Кейс: как понять из метрик сайта, что и где тормозит.
Часть 2. Внедрение ускорения
* Как выбрать KPI скорости сайта.
* Базовые правила: как автоматизировать, внедрить, раскатать.
* "Бюджет" на ускорение страницы: как распределить.
* Поточное и отложенное ускорение: как выбрать.
* Некоторые типичные ошибки "оптимизации".
* Кейс: нестандартные подходы к оптимизации производительности.
Часть 3. Узкое профилирование
* Тестируем CDN: что смотрим, как измеряем.
* Тестируем мобильные устройства: тормозит CPU или GPRS ?
* Тестируем асинхронную загрузку: подводные камни.
* Кейс: сколько "стоит" ошибка в клиентской производительности.
Заключение. Промышленное внедрение
* Кейс: "швейцарский нож" для оптимизации изображений.
* Кейс: когда реально работает отложенная загрузка.
* Кейс: HTTP/2. Реальные данные.
* Кейс: как ускорить 2000 ресурсов в секунду?
NoSQL - что это? Новомодное словечко или современных подход, который позволяет обслуживать сотни миллионов запросов в день без использования супер-компьютеров? Почему все крупнейшие интернет-проекты используют базы данных, которые не поддерживают операций по связыванию данных, не гарантируют ACID при проведении транзакций и не имеют фиксированных схем хранения данных? В данном докладе будут проанализированы области применения NoSQL, раскрыты основные принципы, которые используются для хранения записей в неряционных БД, а также приведены характеристики по которым можно классифицировать сотни существующих на данный момент NoSQL базы данных.
Презентация Сафонова и Прусенка на семинаре "Продавайте больше"ActiveCloud
Александр Прусенок, технический пре-сейл консультант ActiveCloud, и Павел Богданов, руководитель отдела технической поддержки ActiveCloud: «10 способов улучшить работу сайта нашего клиента без затрат. Погружение в облако ActiveCloud. Размещение высоконагруженных веб-ресурсов. Платформа Bitrix VM. Практический кейс переноса в облако».
Выбор NoSQL базы данных для вашего проекта: "Не в свои сани не садись"Alexey Zinoviev
Alexey Zinoviev Алексей Зиновьев рассказывает о выборе одной из следующих баз данных CouchDB, Neo4j, Mongo, Cassandra, HBase, Riak на Happydev 2013
Article "Choice of NoSQL database for your project: Don't bite off more than you can chew" presented on HappyDev 2013 (IT-conference in Omsk) by Alexey Zinoviev
The main idea of this article is comparison of the most popular NoSQL databases: CouchDB, Cassandra, Mongodb, Riak, Neo4j, HBase
ClickHouse: очень быстро и очень удобно / Виктор Тарнавский, Алексей Миловидо...Ontico
ClickHouse - высокопроизводительная база данных для больших данных и аналитики.
На ClickHouse основана Яндекс.Метрика - крупнейшая система веб-аналитики в России.
Ради чего мы написали свою базу данных? Ради скорости! ClickHouse работает невероятно быстро, быстрее всех известных нам конкурентов, и при этом может обрабатывать запросы по петабайтам данных.
Я расскажу про:
- Краткую историю создания проекта;
- Основные преимущества и особенности ClickHouse;
- Архитектура проекта; подход к хранению данных, отказоустойчивости, исполнению запросов;
- Как работает внутри, почему ClickHouse такой быстрый;
- Текущие кейсы использования в Метрике и других проектах Яндекса;
- Профит, который вы можете получить от ClickHouse.
Промышленное ускорение сайтов / Николай Мациевский (Айри.рф)Ontico
Идея: обеспечить реально высокую скорость загрузки нагруженного сайта (от 100 тысяч посетителей в день) для всех пользователей, ничего не сломав и уложившись в бюджет.
Введение. Подходы к оптимизации фронтенда:
* Классический: делаем по GPSI или WPT.
* Самостоятельный: прикрутили PageSpeed и CDN.
* Промышленный: PDSA (попробовали, измерили, внедрили, подсчитали).
* Кейс: открытие новостного сайта за 1 секунду на любом устройстве.
Часть 1. Мониторинг клиентской производительности
* Google Analytics / Яндекс.Метрика / Битрикс.
* New Relic / mPulse / Айри / Navigation Timing API.
* Resource Timing API / User Timing Api: собственные метрики.
* Кейс: как понять из метрик сайта, что и где тормозит.
Часть 2. Внедрение ускорения
* Как выбрать KPI скорости сайта.
* Базовые правила: как автоматизировать, внедрить, раскатать.
* "Бюджет" на ускорение страницы: как распределить.
* Поточное и отложенное ускорение: как выбрать.
* Некоторые типичные ошибки "оптимизации".
* Кейс: нестандартные подходы к оптимизации производительности.
Часть 3. Узкое профилирование
* Тестируем CDN: что смотрим, как измеряем.
* Тестируем мобильные устройства: тормозит CPU или GPRS ?
* Тестируем асинхронную загрузку: подводные камни.
* Кейс: сколько "стоит" ошибка в клиентской производительности.
Заключение. Промышленное внедрение
* Кейс: "швейцарский нож" для оптимизации изображений.
* Кейс: когда реально работает отложенная загрузка.
* Кейс: HTTP/2. Реальные данные.
* Кейс: как ускорить 2000 ресурсов в секунду?
NoSQL - что это? Новомодное словечко или современных подход, который позволяет обслуживать сотни миллионов запросов в день без использования супер-компьютеров? Почему все крупнейшие интернет-проекты используют базы данных, которые не поддерживают операций по связыванию данных, не гарантируют ACID при проведении транзакций и не имеют фиксированных схем хранения данных? В данном докладе будут проанализированы области применения NoSQL, раскрыты основные принципы, которые используются для хранения записей в неряционных БД, а также приведены характеристики по которым можно классифицировать сотни существующих на данный момент NoSQL базы данных.
Презентация Сафонова и Прусенка на семинаре "Продавайте больше"ActiveCloud
Александр Прусенок, технический пре-сейл консультант ActiveCloud, и Павел Богданов, руководитель отдела технической поддержки ActiveCloud: «10 способов улучшить работу сайта нашего клиента без затрат. Погружение в облако ActiveCloud. Размещение высоконагруженных веб-ресурсов. Платформа Bitrix VM. Практический кейс переноса в облако».
Выбор NoSQL базы данных для вашего проекта: "Не в свои сани не садись"Alexey Zinoviev
Alexey Zinoviev Алексей Зиновьев рассказывает о выборе одной из следующих баз данных CouchDB, Neo4j, Mongo, Cassandra, HBase, Riak на Happydev 2013
Article "Choice of NoSQL database for your project: Don't bite off more than you can chew" presented on HappyDev 2013 (IT-conference in Omsk) by Alexey Zinoviev
The main idea of this article is comparison of the most popular NoSQL databases: CouchDB, Cassandra, Mongodb, Riak, Neo4j, HBase
ClickHouse: очень быстро и очень удобно / Виктор Тарнавский, Алексей Миловидо...Ontico
ClickHouse - высокопроизводительная база данных для больших данных и аналитики.
На ClickHouse основана Яндекс.Метрика - крупнейшая система веб-аналитики в России.
Ради чего мы написали свою базу данных? Ради скорости! ClickHouse работает невероятно быстро, быстрее всех известных нам конкурентов, и при этом может обрабатывать запросы по петабайтам данных.
Я расскажу про:
- Краткую историю создания проекта;
- Основные преимущества и особенности ClickHouse;
- Архитектура проекта; подход к хранению данных, отказоустойчивости, исполнению запросов;
- Как работает внутри, почему ClickHouse такой быстрый;
- Текущие кейсы использования в Метрике и других проектах Яндекса;
- Профит, который вы можете получить от ClickHouse.
Презентация технологии веб-кластеров
Основные задачи, которые решает веб-кластер:
Обеспечение высокой доступности сервиса (так называемые HA - High Availability или Failover кластеры)
Масштабирование веб-проекта в условиях возрастающей нагрузки (HP - High Performance кластеры)
Балансирование нагрузки, трафика, данных между несколькими серверами
Создание целостной резервной копии данных для MySQL
BigData Dive in Minsk / Altoros conference /
Windows Azure and BigData- autoscale, Linux, HDInsigh.
Options for developers and startups - BizSpark, msdn subscriptions, seed fund
Jelastic - гибридная платформа как сервис(PaaS) для компаний- разработчиков ПО на Java, Ruby, .NET, ASP.NET, PHP, Node.JS и Docker. Позволяет строить автомасштабируемые, отказоустойчивые среды для приложений, управлять множеством сред для разработки и тестирования
Высокопроизводительные приложения на базе Windows Azure. Пример реального про...UNETA
Презентация к докладу: «Высокопроизводительные приложения на базе Windows Azure. Пример реального проекта». Докладчик: Александр Фещенко – MVP (SQL Azure), .Net Team Lead в DCT.
В докладе будут рассмотрены методики поиска узких мест в веб-приложениях, их устранения, а также способы повышения производительности при помощи облачной инфраструктуры Windows Azure.
Облачные вычисления - игры кончились, началась работаКРОК
Ежегодная международная конференция «ЦОД-2010».
Подробнее о мероприятии http://www.croc.ru/action/partners/detail/3987/
Презентация Руслана Заединова, руководителя направления ЦОД компании КРОК
Как жить в облаке почти без админов: мониторинг и эксплуатация сотен виртуаль...Uptime community
Александр Демидов, директор направления облачных сервисов Битрикс24
1. Почему Битрикс24 и другие сервисы 1С-Битрикс живут в облаке, как мы администрируем всю нашу инфраструктуру и как справляемся с сотнями виртуальных машин и сервисов силами трех человек. Как коммуницируем с разработчиками и QA, как деплоим, да и вообще — как живем и развиваемся.
2. Мониторинг — наше всё! Распределенная система real-time мониторинга (был nagios, стал shinken), аналитика, автоматизация, работа с инцидентами.
3. Бонус — на какие самые серьезные грабли мы наступали за пять лет, прошедших с запуска «Битрикс24», и как научились их обходить.
Мониторинг веб-проектов real-time мониторинг и аналитика, поиск ошибок и боев...Ontico
Многие веб-студии не имеют в своем штате системных администраторов. И зачастую узнают о проблемах с запущенными проектами уже после того, как они случились.
В докладе рассмотрим:
- Явные и не очень потери на медленном / недоступном сайте.
- Общие принципы внедрения систем real-time мониторинга.
- Мониторинг нетипичных характеристик (наличие бэкапов, делегирование домена и т.п.).
- Автоматизацию типовых реакций на алерты.
- Зачем нужна аналитика в мониторинге (пробуем предугадать проблемы до того, как они случатся).
- Инструменты и общие подходы быстрого поиска "узких" мест.
(1 часть) 1С-Битрикс. Как настроить двухуровневую конфигурацию веб-приложения...
Highload: проблемы и решения
1. Highload: проблемы и решения
Что нужно знать, приступая к новому проекту?
Ufa Developer Community. Олег Шерыхалин, o.sherykhalin@gmail.com
2. Что такое highload?
10 запросов в секунду — это highload?
20 запросов?..
100?!
Highload — это когда система
не справляется с нагрузкой :)
Признаки проблемы:
увеличение времени обслуживания
отказ обслуживания
3. Кривая деградации сервиса
обслуженные
запросы
зона Highload
«падение»
сервиса
штатная
работа
поступившие запросы
4. Highload приходит внезапно…
Нагрузка растёт неравномерно. Возможные причины:
суточная и календарная цикличность посещаемости
внешние события (breaking news)
эффект от рекламной кампании
распродажи и акции, привлекающие посетителей
зона Highload Прогноз
посещаемость
посещаемости
Фактическая
посещаемость
время
5. Узкие места
Процессор
Оперативная память
Дисковая подсистема
Сеть
6. Масштабируемость
Вертикальная Горизонтальная
Улучшение Наращивание количества
характеристик, «расширение» компонентов системы,
«узкого места», добавление оборудования
апгрейд оборудования
7. Процессор: что внутри? Потоки.
Синхронная модель
Каждый запрос запускается в отдельном потоке
Количество потоков ограничено (пул потоков)
Ожидающие ресурс потоки могут заполнить весь пул
Пример: Apache, IIS
Асинхронная модель
Один поток (на каждое ядро процессора)
Диспетчер следит за событиями и вызывает обработчики
Количество обработчиков зависит от производительности
Пример: NginX, node.js
8. Кэширование данных
Задача: разгрузить дисковую подсистему и процессор
Решение: переместить данные в оперативную память
Что кэшировать?
частые выборки из базы
динамические фрагменты html
Как кэшировать?
memcached
Дополнительные решения:
использование Content Delivery Network (CDN)
кэширование данных на клиенте
9. Сборка HTML на клиенте
база шаблоны база шаблоны
данных страниц данных страниц
Обработка Подготовка Обработка
данных HTML данных
сервер сервер
клиент клиент
Отображе- Отображе- Подготовка
ние ние HTML
10. Оптимизация баз данных
Грамотное проектирование схемы
Использование индексов
Оптимизация SQL–запросов
Настройка параметров СУБД
11. NoSQL — нереляционная модель
Денормализация — это не баг, а фича
Key–value хранилища:
Redis, Cassandra
Документо–ориентированные СУБД:
MongoDB, CouchDB
Главные преимущества:
быстрый доступ к данным
простота горизонтального масштабирования
Нельзя просто взять и заменить SQL на NoSQL!
12. Кластеризация web–серверов
Распараллеливание, балансировка нагрузки
Балансировщи
к нагрузки
web- web- web-
сервер сервер сервер
Проблема: поддержка сессий клиентов
Решения: sessionless, хранение сессий в
БД, интеллектуальный балансировщик
13. Кластеризация баз данных
Репликация master-slave Репликация master-master
write
read only read read read
only only write write
replication replication
Шардинг — разделение данных на независимые объекты
read read read
write write write
Object A Object B Object C
14. «Облачные» решения
Ресурсы по требованию: подключаем дополнительные
мощности только на время пиковой нагрузки
Пример: Amazon Web Services (AWS)
Elastic Load Balancing — балансировка
CloudWatch — мониторинг
Auto Scaling — добавление серверов
Иллюстрация из статьи
«Архитектура Битрикс24
— взгляд изнутри»
, habrahabr.ru, 26.04.2012
15. Отказоустойчивость
Риски отказов
отказы серверов
отказы каналов связи
аварии датацентров
Управляемая деградация
«урезание» функционала ради сохранения
доступности системы для пользователей
Восстановление
План восстановления в случае аварии
Регулярные «учения» по восстановлению
Контроль доступности резервных копий
16. Сетевые атаки
Виды атак:
ICMP/UDP/SYN/ACK-флуд
Атаки на прикладном уровне
Цели атак:
Просто «положить» сайт на некоторое время
Получить доступ к конфиденциальным данным
Внедрить бота
Способы защиты:
Грамотная настройка ОС, серверов
Использование fierewall, специальных модулей
Услуги специализированных провайдеров
17. И это ещё не всё…
Мониторинг
Деплоймент
Нагрузочное тестирование