13 октября, DEV {web} - конференция о Highload веб-разработке. "Архитектура проекта на 30 млн. пользователей", Дмитрий Смирнов (Фотострана)

Архитектура проекта на 30М
пользователей

Интересно? Заходи на http://job.fotostrana.ru 1 из 50

Фотострана?
Не, не слышал.


— 35 000 000 зарегистрированных пользователей
— 1 500 000 уникальных посетителей в день.
— Больше 150 человек в команде
— Входим в ТОП-20 сайтов рунета


О чем расскажу?
• Общая архитектура и платформа
• Используемые технологии
• Обработка запросов
• Отдача статики
• Хранение данных
• Мониторинг


Общие цифры
• Один дата-центр
• Более 200 физических серверов
• В пике суммарный трафик больше 3 Гбит/c
• 70 Мб PHP кода
• 3 Гб статики


Разработка
• PHP, в основе лежал Zend Framework
• C(++) демоны и модули для PHP
• SVN (есть проблемы, хотим Git)
• Google Docs
• Redmine
• Fisheye
• Asana


Платформа
• FreeBSD (местами Debian Linux)
• nginx
• Apache + mod_php + APC
• Memcached
• Percona server
• Собственные демоны


Железо
• Средний сервер: 2 Xeon 16Gb RAM
• Сеть на Juniper
• 300 Гб кластер memcached
• 650 Гб базы данных MySQL
• 750 Гб данных в памяти демонов
• 50 Тб для хранения фотографий
• SSD где необходимо
• Сервера узкоспециализированные


Релизы
• Деплой раз в час (~30 секунд на 130
серверов)
• Есть QA отдел, но фактически тестирования
практически нет
• Новый функционал выкатываем на часть
пользователей
• PHP ошибки приходят в skype их автору 


Мониторинг
• Nagios + Cacti
• Самописные модули мониторинга
• Самописная система профилирования кода
и запросов
• Много смс уведомлений
• Бизнес статистика/аналитика для
менеджеров сервисов


Резервное копирование
• БД 3 раза в день
• Демоны каждые 2 часа
• Пользовательские фотографии раз в сутки


Обработка запросов


Питомцы, профили, поиск…

Нет разбиения на группы


Питомцы Профили Поиск

Есть разбиение на группы


• 130 PHP серверов
• 2.500 req/s
• Среднее время
ответа 0.06 сек


Управление серверами


Отдача статики
• Наша статика (css, js, swf, jpg…) из svn

• Пользовательский контент (аватарки,
фотки, превьюшки) – “Фотосхема”


Содержимое статики:

}
• 800 css
• 750 js
3 Гигабайта
• 3200 swf
• 48000 image

• 5000 req/s
• >1 Гбит/сек трафика в пике

Сервер определяется
на стороне PHP кода
по IP клиента


Интересное
• Контроль версий статический файлов
• Пробовали привязывать пользователей по
географическому признаку
• Lazyloader для динамической подгрузки js и
css
• 5 виртуальных субдоменов на каждый
сервер


Фотосхема
• 14 Тб - объем пользовательских фотографий
• +60 Гб (или 250.000) фотографий в сутки
• 4000 req/s
• >850 Мбит/сек трафика в пике


Фотосхема


• Проблема холодного старта
• Файлы реально удаляются с диска


Хранение данных
• MySQL
• Memcached
• Lemon – самописное key-value хранилище
• Демоны на C++


MySQL

• 14 серверов
• 100.000 / мин SELECT
• 40.000 / мин UPDATE

картинка про alter таблички на 30кк записей (15Гбайт)


• Можем на живую менять схему БД
• Используем pconnect
• Не используем транзакции
• Не используем JOIN и вторичные ключи
• Нет шардинга
• Особое внимание индексам и адекватности
запросов


Управление репликами


Memcached

• 5 серверов
• 300 Гбайт RAM
• 32.000 req/s


• Это не хранилище данных!
• 90% данных – кэш выборок из базы как есть
• Использовали ketama, отказались
• Рестарт сервера раз в несколько месяцев
• Локи на memcached::add


Подходим к NoSQL
MySQL плохо делает 3 вещи:

• Удаление большого количества данных

• Очень частые изменения данных

• Частые выборки


Решение – NoSQL.

 Lemon
Lemon:
• Простое key-value хранилище
• Все данные в памяти
• Периодический дамп данных на диск
• key = (string namespace, int64 key)
• Шардинг как запуск нескольких независимых
инстансов, namespace привязан к серверу.


Время обработки запроса


Демоны
Что сделали:
• Модуль PHP для взаимодействия с демонами
• Разработали протокол взаимодействия
• Своя бинарная сериализация данных

Всего разных демонов больше 30:
• Гости, контакты, мессенджер, питомцы, поиск,
встречи, голосвание, нотификации…


Пример: демон гостей
<?
$guests->call(‘add_guest’, array(
$toUserId,
$guestId,
$source,
));
$list = $guests->call(‘get_guest_list’, array(
$forUserId,
$limit,
$offset,
)); // $list = array(array(guestId, time, source), …)


HTTP демоны-серверы

/user/123 /chat/?userId=123


HTTP демоны
• Быстрее PHP, в 10 раз!
• > 50% запросов на балансер попадают к
демонам
• Всего 7 серверов


Мониторинг
• Профилирование PHP кода, запросов в БД,
memcache и других источников данных
• Единая система бизнес статистики для
менеджеров сервисов


Профилирование - CStat
• Модуль для PHP
• Все данные в разделяемой памяти
• Сбор данных со всех серверов (по крону) и сохранение в БД
• Похожа на pinba и XHprof

Пример:
<?
CStatStartUrl($requestUrl);
// some code
CStatStopUrl($isError);

CStatStartDB($mode, $dbName, $_method, $table);
// execute mysql_query
CStatStopDB($isError, $rowCount);


Статистика по URL


Кол-во запросов по URL


Профайлер для разработчика


Статистика
• Реализована на очередях в разделяемой памяти (на каждом PHP
сервере)
• Сбор данных из очереди со всех серверов (по крону) и их обработка
• Минимальное влияние на производительность скрипта
• История значений хранится в базе в нескольких таблицах, где они
сгруппированы по периоду (час, день, месяц).
• Есть возможность считать уников (например кол-во уникальных
пользователей загрузивших сегодня фотографии)

С точки зрения разработчика:
<?
Statistics::increment($statsType, $userId, $field, $value);

// Statistics::increment(MAIN_STATS, 2407325, ‘photos_upload_count’, 18);


SharedQueue сервер
Реализация очереди сообщений в оперативной памяти.

• Демон на скриптовом сервере
• Модуль для PHP
• На данный момент 200 очередей

Методы
<?
$result = SharedQueue::push($queueIndex, $data);

$allData = SharedQueue::popAll($queueIndex, $serverList);


Интерфейс статистики


Подводя итоги
• Нет преждевременной оптимизации
• Нет трендам, да цифрам
• Не бойтесь экспериментировать
• Проверяйте все сами
• Включайте мозг 


Спасибо за внимание!

Вопросы


13 октября, DEV {web} - конференция о Highload веб-разработке. "Архитектура проекта на 30 млн. пользователей", Дмитрий Смирнов (Фотострана)

Recommended

Recommended

More Related Content

What's hot

What's hot (19)

Viewers also liked

Viewers also liked (15)

Similar to 13 октября, DEV {web} - конференция о Highload веб-разработке. "Архитектура проекта на 30 млн. пользователей", Дмитрий Смирнов (Фотострана)

Similar to 13 октября, DEV {web} - конференция о Highload веб-разработке. "Архитектура проекта на 30 млн. пользователей", Дмитрий Смирнов (Фотострана) (20)

More from IT-Portfolio

More from IT-Portfolio (7)

13 октября, DEV {web} - конференция о Highload веб-разработке. "Архитектура проекта на 30 млн. пользователей", Дмитрий Смирнов (Фотострана)

Editor's Notes