+ Функционал разных решений для балансировки. + Виды балансировщиков (DNS, hardware, software, облачные решения). + Поведение при скачках трафика и возможности скалирования сервиса. + Специфика трафика RTB в контексте балансировки. + Проблемы, которые возникали у нас, и как мы их решали.

1. Балансировка
высоконагруженных
систем
Евгений Пивень
IPONWEB

2. RTB

3. IPONWEB
• Вся инфраструктура в облаках (AWS и GCE)
• Миллионы HTTP-запросов в секунду
• Короткие ответы
• Кэширование не актуально
• Суточные и событийные колебания

4. Япония и другие страны

5. IPONWEB и RTB
• Вся инфраструктура в облаках (AWS и GCE)
• Миллионы HTTP-запросов в секунду
• Короткие ответы
• Кэширование не актуально
• Суточные и событийные колебания
• Разброс пользователей по всему миру
• Серверный и пользовательский трафик

6. Серверный и пользовательский трафик

7. Зачем балансировать?
• Масштабируемость
• Доступность

8. Что ещё?
• SSL offload

9. SSL offload

10. Что ещё?
• SSL offload
• Sticky / session affinity

11. Sticky балансировка

12. Что ещё?
• SSL offload
• Sticky / session affinity
• Fallback

13. Fallback

14. Нормальная балансировка

15. Что-то пошло не так

16. Метрики — это хорошо

18. Серверный трафик
• Гибкие возможности решения проблем
• Можно договориться с клиентом
• Возможность разделения
• Можно даже забанить

19. DNS-балансировка

20. google.com. A 173.194.122.194
google.com. A 173.194.122.201
google.com. A 173.194.122.199
google.com. A 173.194.122.195
google.com. A 173.194.122.196
google.com. A 173.194.122.193
google.com. A 173.194.122.197
google.com. A 173.194.122.200
google.com. A 173.194.122.198
google.com. A 173.194.122.192
google.com. A 173.194.122.206
}Round-robin DNS pool

21. Проблемы Round-Robin DNS
• Нет status checks
• Нет понимания гео-локации клиента
• Распределение не идеально для серверного трафика

22. gdnsd

23. gdnsd
• DYNA записи
• geoIP
• Status checks
• TTL

25. gdnsd: weighted
• weighted пулы можно разбивать
• веса можно использовать для staging / instance types
• DNS cache

27. > 253 хостов
• Проблема только у AWS DNS [уже нет]

28. Мы же в облаках!
• Вертикальное масштабирование — временное решение
• Облачные решения балансировки: ELB

29. ELB

30. ELB
• CNAME
• SSL offload
• Status checks
• Pre-warmup
• Балансировка по скорости ответа

31. ALB
• Path-based routing
• WebSocket, HTTP/2
• Контейнеры

32. GLB vs ELB/ALB
• 1 IP (!)

33. GLB

34. GLB vs ELB/ALB
• 1 IP (!)
• Sticky: по IP и cookie
• Instant warm-up
• Резкое изменение числа бэкендов
• 80/8080
• Нет SNI

35. А как же пользователи?

36. Требования
• Sticky
• Fallback

37. nginx + Lua
• Lua
• Sticky
• Hash Ring
• Fallback
upstream backend-1 {
server backend-1.local max_fails=x fail_timeout=y;
server unix:/var/run/nginx_fallback.sock backup;
}
upstream backend-2 {
server backend-2.local max_fails=x fail_timeout=y;
server unix:/var/run/nginx_fallback.sock backup;
}

38. Облака vs свои решения
• Vendor lock
• Проблемы с отладкой
• Всегда хочется больше возможностей
• Поддержка
• Стоимость серверов vs стоимость трафика

39. Какие ещё решения бывают?
• Hardware балансировщики
• lighttpd, haproxy, проприетарные приложения etc.

40. Выводы
• Облачные балансировщики - это удобно, но есть минусы
• Всегда смотрите на требования
• Периодически пересматривайте решения

41. Balance is good