Документ описывает методы поддержки высоких нагрузок на сервисах Mail.ru, включая почту и главную страницу, с 20 миллионами пользователей и более 500 миллионами хитами в день. Рассматриваются проблемы нагрузки инфраструктуры, организацией серверов и хранением данных, а также трудности администрирования MySQL и необходимость перехода на хранилища без SQL. Приводятся примеры высоконагруженных сервисов и технологий, используемых для обработки динамических данных и уведомлений.

2. Как мы выдерживаем высокую нагрузку

3. Аудитория Почты и Главной страницы
Mail.Ru
• 20 млн человек в день
• Более 500 млн хитов в день на
динамические страницы

4. Аспекты проблемы нагрузки
Инфраструктура Организация
Сервера Технологии

5. Традиционные решения не работают
WEB
= 50000
LAMP человек в
день
MySQL

6. Примеры проблем нагрузки
• Хранение быстроменяющихся данных
• Хранение и отдача счетчиков (чиселок)
• Уведомление о новых письмах в почте
• Проверка спама, доставленного в ящики; хранение
спама, не доставленного в ящики
• Хранение больших файлов (files.mail.ru)
• Установление большого количества сессий к MySQL

7. Хранение быстроменяющихся данных
Data WEB
10-100 KRPS

8. Хранение и отдача счетчиков (чиселок)
WEB
Data

9. Уведомление о новых письмах в почте
WEB
Data

10. Проверка спама, доставленного в ящики
Хранилищ
Антиспам
е

11. Хранение больших файлов (files.mail.ru)
Хранилище
Больших
файлов

12. Установление большого количества сессий к
MySQL
WEB WEB
WEB MySQL WEB
WEB WEB

13. Хранение сессий, статистики антиспама, базы
антирбутфорса
Сессии ? Стат
антиспама
База
Антибруфорса

14. Хранение сессий, статистики антиспама, базы
антирбутфорса
1KRPS
MySQL
3KRPS
MySQL
MySQL
MySQL
100KRPS MySQL
MySQL

15. Дороговизна администрирования
MySQL
MySQL
MySQL
MySQL
MySQL
MySQL

16. Неравномерность загрузки
MySQL
MySQL
MySQL
MySQL
MySQL

17. Сложность добавления новых шардов
MySQL
MySQL MySQL
MySQL
MySQL
MySQL

18. Общая дороговизна решения
RAM
RAM
RAM
RAM
RAM
MySQL
MySQL
MySQL
MySQL
MySQL
HDD
HDD
HDD
HDD
HDD

19. Высокий хитрейт – не повод для шардинга!
100Gb
20Gb 20Gb 20Gb 20Gb 20Gb

20. Зачем нам оверхеды СУБД?
Disk +
SQL Locks Threads DB-engine
cache
CPU

21. Хранение сессий, статистики антиспама, базы
антирбутфорса
Key-
100KRPS Value
storage
No SQL
No Locks
No Threads
No dbengine
No random disk access

22. Key-Value storage. Схема электрическая,
принципиальная.
CLIENT RAM
LOG SNAPSHOT

23. Хранение и отдача счетчиков на главной странице
и в шапке

24. Хранение и отдача счетчиков на главной странице
и в шапке
Сервер
счетчиков
Хранилище Веб
сервер

25. Уведомление о новых письмах в почте

26. Уведомление о новых письмах в почте
Веб Веб
сервер
сервер
Сервер
изменений
Хранилище
Хранилище

27. Проверка и удаление спама, уже доставленного в
ящики
Антиспам Хранилище Антиспам

28. Хранение спама, не доставленного в ящики
Хранилище
спама
Антиспам
Хранилище
писем

29. Хранение спама
Письмо 1 Письмо 4 Письмо 7
Письмо 2 Письмо 5 Письмо 8 Cron
Письмо 3 Письмо 6 Письмо 9

30. Хранение больших файлов (files.mail.ru)
User 1 File 1
User 2 File 2
User 3 File 3
Индекс
User 4 File 4
User 5 File 5
User 6 File 6

31. Соединения с MySQL
WEB WEB
WEB MySQL WEB
WEB WEB

32. Соединения с MySQL
В
Р
Е CP
М
Я
U
MySQL
RAM

33. Соединения с MySQL
LOCAL
WEB MySQL
(PERL/PYTHON) MySQL
Proxy
CONN CONN CONN

34. Соединения с MySQL
WEB WEB
MySQL
Proxy
WEB WEB

35. Как создавать высоконагруженные сервисы?
Perl
nginx PHP Apache
nginx
HTML/CSS/JS Python
Dynamic
nginx In memory
or database Tarantool
Critical similar Redis
dynamic Counters
Critical data
(чиселки)
MySQL
Big
Spread
Temporaryfiles Proxy
User files Non critical data
data

36. СПАСИБО!
Денис Аникин
Технический руководитель Почты@Mail.Ru
anikin@corp.mail.ru