Downloaded 16 times
Uploaded byBadoo Development
Ровная балансировка нагрузки на фронтенд-кластере
Документ описывает архитектуру и алгоритмы балансировки нагрузки на фронтенд-кластере Badoo, включая ручную и автоматическую балансировку серверов. Также рассматриваются различные алгоритмы, такие как round-robin и weighted round-robin, а также преимущества динамического задания весов для клиентов. В заключение, документ подчеркивает значительные улучшения в управлении нагрузкой и экономии ресурсов за счет автоматического подбора весов.
Ровная балансировка нагрузки на фронтенд-кластере
- 1.
- 2. О компании 2 5M загрузокфото в день 270M пользователей 70K RPS на PHP-FPM 3K серверов 400K регистраций в сутки 50 языков перевода
- 3. План • Архитектура Badoo •Алгоритмы балансировки • «Ручная» балансировка • Автоматический подбор весов • Выводы, open-source 3
- 4. План • Архитектура Badoo •Алгоритмы балансировки • «Ручная» балансировка • Автоматический подбор весов • Выводы, open-source 4
- 5. Архитектура Badoo 5 Local TrafficManager ®™ Global Traffic Manager ®™ mobile backend web backend
- 6. Архитектура Badoo • GTMвыбирает ДЦ • LTM передает мобильный трафик на nginx • Веб-трафик балансируется через LTM • Nginx проксирует запросы на мобильный кластер 6
- 7. План • Архитектура Badoo •Алгоритмы балансировки • «Ручная» балансировка • Автоматический подбор весов • Выводы, open-source 7
- 8. Балансировка нагрузки • Балансировка— распределение нагрузки по набору серверов • Чем равномернее распределение, тем меньше нужно серверов и лучше User Experience 8
- 9. Алгоритмы балансировки • “Dumb” •Round-robin • Weighted round-robin • “Smart” 9
- 10. “Dumb” • Simple: proxy_passserver1 • Sticky: client_ip % cnt • Random 10
- 11. Round-robin • Каждый следующийзапрос на следующий (живой) сервер • Равномерное распределение нагрузки в случае одинаковых запросов 11
- 12. Weighted Round-robin • Каждыйсервер имеет свой «вес» • Чем больше вес, тем больший процент запросов сервер получит 12
- 13. “Smart” • Least Connections •Weighted Least Connections • Weighted RR with dynamic weights • Response time balancing 13
- 14. План • Архитектура Badoo •Алгоритмы балансировки • «Ручная» балансировка • Автоматический подбор весов • Выводы, open-source 14
- 15.
- 16.
- 17. Ручная балансировка • Подборвесов делался админами при добавлении новых машин • Разброс CPU usage 20-30% 17
- 18. План • Архитектура Badoo •Алгоритмы балансировки • «Ручная» балансировка • Автоматический подбор весов • Выводы, open-source 18
- 19. Автоматический подбор весов •Статический: индекс производительности машины • Динамический: менять вес со временем, в зависимости от нагрузки 19
- 20.
- 21. Статический вес • Производительность непостоянна •Особенно на виртуальных машинах • Нужно брать макс. производительность? 21
- 22. Динамический вес • Постепенное«уточнение весов» • new = old * coef • coef = (avg cpu) / (cur cpu) • Предполагаем линейную зависимость %CPU от веса • Отрицательная обратная связь 22
- 23.
- 24.
- 25. Проблемы • Как неперегрузить машину? • Что делать, если веса не применяются? • Как удалять машины? • Максимальный вес для LTM — 100, как быть? 25
- 26. Как не перегрузитьмашину • Ограничение на множитель • coef > 0.9 — не меньше -10% за раз • coef < 1.05 — не больше +5% за раз • weight >= 20 — вес целый, поэтому 5% должно быть не меньше 1 • Обновление веса раз в 15 минут 26
- 27. Нарушение обратной связи •Ограничения на: Вес на ядро (max:min=3:1) Общий вес (max=1000) Число ядер (max=500) 27
- 28. Как удалять машины •Машина не отвечает на heartbeat • На кластере достаточно CPU, чтобы обработать пик трафика без этой машины 28
- 29. План • Архитектура Badoo •Алгоритмы балансировки • «Ручная» балансировка • Автоматический подбор весов • Выводы, open-source 29
- 30. Выводы • Взвешенный round-robinработает • Статические веса плохо работают • Динамическое выставление весов дало разброс всего 2,5% • Админы избавлены от задачи ручного подбора весов • Большая экономия за счёт масштаба (до 50 серверов в Badoo) 30
- 31. Open-source 31 Балансировщик: https://github.com/badoo/balancer/ Остальные проекты:https://tech.badoo.com/open-source/
- 32.