Highload2009 Top100 V3

Модернизация высоконагруженного проекта на примере Рамблер ТОП100 Антон Горохов

Функции ТОП100
Каталог – сайты разделены по тематике
Рейтинг – каждый раздел ранжируется по посещаемости, обновление 1 раз в час
Статистика – для каждого ресурса в реальном времени:
хиты, хосты и уник. посетители за день
география посетителей
посещенные страницы сайта, рефереры, поиск.запросы
и т.д.

Устройство сайты пользователи backend logs pages counter
расчет статистики ресурсов
расчет глобальной статистики (разделы, все сайты)
формирование рейтингов
отображение рейтингов и главной страницы
отображение статистики
«личный кабинет» пользователя
отдача счетчиков
ведение и передача логов
упаковка логов
расчет статистики по страницам, реферерам, поисковым запросам

Проблемы
Надежность
Нагрузка на counter
Слишком много функций у backend
Нагрузка на pages
Нагрузка на backend

Прежде всего – мониторинг
состояние системы
влияние изменений

не успевает обработать дневные логи
статистика ресурсов независима, делим счетчики по диапазонам и разносим по серверам

синхронизация BerkeleyDB на серверах
scp раз в день
в течение дня:
http
+ надежно
– надо ждать ответ
smtp
+ несколько попыток отправки

Нагрузка на counter
весна 2008 года – 12000 хитов в секунду
настройка сервера +10% производительности
разделение на несколько серверов
делим счетчики по диапазонам
– не надежно при 2х серверах
– сложно управлять нагрузкой
– разные hostname: counter1, counter2, …
+ можно считать статистику online
запросы балансируются случайным образом
– нельзя считать статистику online
+ счетчиков с цифрами всего 3%

Нагрузка на counter: backend
обсчет логов нескольких counter
время - только вперед, т.е. Merge sort по времени
увеличение нагрузки на backend
работа только по времени в логе
+ backend сам знает, что делать и когда
+ не надо давать команды извне
+ может отстать от реального времени в течение дня, а ночью догнать

разделение на компоненты
учетные записи из BerkeleyDB в MySQL
+ можно добавлять еще сервера
+ небольшое число обращений (это не статистика!)
некоторое время 2 базы работали вместе, потом старую отключили
глобальная статистика – отдельный сервер
+ устранена причина для разделения backend’a
веб-интерфейс – отдельно
+ 90% запросов – главная страница и рейтинги

разделение backend’a на 2 по диапазонам счетчиков
все локальные базы со статистикой – по диапазонам:
stat.db -> stat.db.0, stat.db.1, … 10000 счетчиков в каждой
веб-фронтенд, глобальная статистика – уже отдельно
формирование рейтингов
считаем, что backend’ ы работают в реальном времени каждый час – список посещаемости ресурсов
– не честно, если один backend отстал
по времени в логе
– рейтинг готов, когда все обсчитали данный час

Модификация frontend backend db pages сайты пользователи backend logs frontend pages pages db db counter counter counter global

Итого:
Надежность – повышена
Нагрузка на counter – решена
Слишком много функций у backend – решена
Нагрузка на pages – решена
Нагрузка на backend – решена

Что дальше?
надежность и восстановление после сбоев
статистика
сбор счетчиком новых параметров
расширение набора отчетов
аналитика
интерфейс пользователя
поиск информации в каталоге

Спасибо за внимание frontend backend db pages сайты пользователи backend logs frontend pages pages db db counter counter counter global

http://www.highload.ru	286
http://highload.ru	226
http://profyclub.ru	25
http://new.profyclub.ru	21
http://www.profyclub.ru	19
http://www.slideshare.net	3

Highload2009 Top100 V3

by HighLoad2009 on Oct 11, 2009

Accessibility

Upload Details

Usage Rights

6 Embeds 580

Statistics

Highload2009 Top100 V3 — Presentation Transcript