ТОП ошибок в инфраструктуре, мешающих высоким нагрузкам / Андрей Половов (Флант)

ТОП ошибок в
инфраструктуре,
мешающих
высоким нагрузкам
Андрей Половов
Андрей Колаштов

Привет!
# whoami
andrey.polovov
# hostname -d
flant.ru
# whoami
andrey.kolashtov
# hostname -d
flant.ru

24×7×365 L1/L2/L3/+ DevOps SLA
+ =

Наши клиенты
Первый канал Forbes.ru Лепра и Dirty Ситимобил
# capsh --print | grep clients

О чём доклад?
Проблемы с базами

Проблемы с кодом

Проблемы с архитектурой

Проблемы с сетью

Проблемы с сетью
Человеческий фактор

Распространённость
Влияние на производительность
Сложность решения
Проблемы с базами / Транзакции

SELECT # Получить текст
UPDATE # Обновить счётчик
UPDATE # Начислить автору денег
UPDATE # Списать деньги из бюджета
# Σ 4 Disk IO

START TRANSACTION;
SELECT # Получить текст
UPDATE # Обновить счётчик
UPDATE # Начислить автору денег
UPDATE # Списать деньги из бюджета
COMMIT;
# Σ 2 Disk IO

~ $ time php insert_300k_rows.php
real 6m13.465s
~ $ time php insert_300k_rows_transaction.php
real 0m32.298s

SET autocommit = 1;
mysql_query(“UPDATE `tbl` SET `a` = 1 WHERE `b` = 2”);

Изучайте лог запросов (binlog или general.log)
Диагностика:

Изучайте лог запросов (binlog или general.log)
N коммитов ≈ N апдейтов ➡ Cкорее всего проблема
Диагностика:

Проблемы с базами / Индексы

Мало данных – нет проблем

↑ Данные
↑ full scan
↑ t query
↑ Disk IO

Продумать индекс при создании таблицы
Как быть программисту:

Продумать индекс при создании таблицы
Изменили запрос — продумали индекс
Как быть программисту:

Вычисляете запрос (slow_log, newrelic, okmeter.io)
Как быть админу:

explain

explain
Добавляете индекс

Проблемы с базами / Жадные запросы

База
(200Mbit)
Фронт
(5Mbit)

Проблемы с базами / Жадные запросы
SELECT * FROM `t`;

Проблемы с базами / Итого
Будьте конкретнее в своих запросах

Помните об индексах

Помните об индексах
Транзакции помогут снять нагрузку с БД

Проблемы с кодом / HTTP-api

$resp = http_get(“http://news.example.com/api/last.php”);

Смерть apache:
1 запрос = 1 воркер

Воркеры долго висят

MaxClients

MaxClients
Connection Timed Out

Что делать?
Ищите workaround:

Кэшируйте запросы

Используйте MQ

Используйте MQ
Поставьте тайм-аут 1 сек

newrelic → web external (или любой профайлер)
Как диагностировать?
netstat -natup или tcpdump

Проблемы с кодом / cron

http://example.com/cron/action1.php

set_time_limit(0);

set_time_limit(0);
* * * * * www-data curl http://example.com/cron/action1.php

Что плохого?
Лишний воркер

Долго висят воркеры

Долго висят воркеры
MaxClients

Используйте cli

Устанавливайте таймауты

Устанавливайте таймауты
Ставьте локи (утилита setlock)

Проблемы с кодом / Итого
Будьте внимательны к cron-заданиям

Проблемы с кодом / Итого
Будьте внимательны к cron-заданиям
Не пользуйтесь HTTP-api напрямую

Архитектурные проблемы

Архитектурные проблемы / Одинокий apache

apache280

Статика (jpg, css, js, ...)

Медленные клиенты
Статика (jpg, css, js, ...)

Используйте nginx
location ~* ^/.+.(jpg|css|js)$ {
root /web/example.com/public/;
}

Apache 46%
nginx 20%
Microsoft IIS 8%
Google 8%
Other 18%
Доля веб-серверов, апрель 2017

Архитектурные проблемы / PHP-сессии

Храните PHP-сессии в памяти!

Архитектурные проблемы / stateful-код

Враги stateless:
Локальные файловые хранилища

Локальные файловые хранилища
Экзотические БД
Враги stateless:

Храните файлы в S3 (NFS только как временное решение!)
Не используйте экзотические БД
Как быть?

Архитектурные проблемы / HTTP-кеш

http://conf.ontico.ru/live/

GET /api/live/current.json?thread=436630
GET /api/live/next.json?thread=475171

location ~* "^/api/live/(current|next).json" {
proxy_cache conf_ontico_ru;
proxy_cache_key $request_uri;
proxy_cache_valid 1m;
...
proxy_pass http://web-conference;
}

Архитектурные проблемы / Итого
Кеш — главная помощь при highloadКеш — главная помощь при highload

Не оставляйте apache одного
Кеш — главная помощь при highload

Храните PHP-сессии в памяти

Храните PHP-сессии в памяти
Пишите stateless-приложения

Сетевые проблемы

Сетевые проблемы / persistent connect

Чем грозят “короткие” соединения
Оверхед CPU на создание сокетов
Оверхед на TCP syn, ack...

Оверхед CPU на инициализацию сессии в БД

Оверхед CPU на инициализацию сессии в БД
Обилие TIME_WAIT-сокетов

Решение для PG
PGBouncer

upstream backend {
keepalive 100;
server 10.1.1.5;
}
...
proxy_http_version 1.1;
proxy_set_header Connection "";
...

Сетевые проблемы / TIME_WAIT-сокеты

Оверхед CPU на проверку входящего пакета
Чем грозят TIME_WAIT-сокеты:

Чем грозят TIME_WAIT-сокеты:
Памяти почти не просят
Оверхеда CPU на исходящие пакеты нет
При этом:
Оверхед CPU на проверку входящего пакета

~ $ sudo netstat -natu | grep TIME_WAIT | wc -l
47572

net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_tw_recycle = 1
Решение:

net.ipv4.tcp_tw_reuse = 1
persistent connections
Правильное решение:

Сетевые проблемы / Плохой канал

Коммунальное облако

Сетевые проблемы / Итого
Используйте управляемую инфраструктуру

Используйте persistent connections

Используйте persistent connections
Не перестарайтесь в борьбе с TIME_WAIT

Человеческий фактор / Базовая настройка

%software% performance tuning

Человеческий фактор / Хабраэффект

Человеческий фактор / Хабраэффект
Loading...

Человеческий фактор / Пятничный выкат

Must have
Сбор бэкапов

Must have
Мониторинг важных параметров

Must have
Хотя бы базовая статистика

Must have
Грамотный деплой

Must have / Наша статистика

6 / 10

6 / 10
3 / 10

6 / 10
3 / 10
3 / 10Хотя бы базовая статистика

6 / 10
3 / 10
3 / 10
1 / 20

Итого
Транзакции Индексы Жадные запросы
Внешние запросы cron
PHP-сессии HTTP-кешОдинокий apache stateful-код
Базы
Код
Архитектура
Сеть
persistent connections TIME_WAIT rtt
Базовая настройка Хабраэффект Пятничный выкат

Наши Docker-проекты
github.com/flant/dapp
github.com/flant/pam_docker
Андрей Половов
andrey.polovov@flant.ru
Всем спасибо!
Наш блог на Хабрахабре
habrahabr.ru/company/flant/
Андрей Колаштов
andrey.kolashtov@flant.ru

Наш блог на Хабрахабре
habrahabr.ru/company/flant/
Тут мы рассказываем о нашем опыте
и актуальных технологиях.
Подписывайтесь, чтобы быть в курсе!

ТОП ошибок в инфраструктуре, мешающих высоким нагрузкам / Андрей Половов (Флант)

More Related Content

What's hot

Similar to ТОП ошибок в инфраструктуре, мешающих высоким нагрузкам / Андрей Половов (Флант)

More from Ontico

ТОП ошибок в инфраструктуре, мешающих высоким нагрузкам / Андрей Половов (Флант)