Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Считаем Рунет или миллион pps в секунду / Дмитрий Смирнов (TNS Russia)

511 views

Published on

  • Be the first to comment

  • Be the first to like this

Считаем Рунет или миллион pps в секунду / Дмитрий Смирнов (TNS Russia)

  1. 1. Считаем Рунет илимиллион PPS в секундуДмитрий Смирнов
  2. 2. Счастье есть?Есть.
  3. 3. Что мы сегодня делаем?Создаём с нуля систему высокой доступностии нагрузки – от идеи до запуска в продакшн!
  4. 4. Ставим задачу• Обеспечить бесперебойную связанность каналов связи• Внутри ДЦ спроектировать 2х коммутацию с бондингом• Поднять систему массового деплоя фермы серверов• Обеспечить отказоустойчивость серверов балансировки• Минимизировать время вывода из балансировки почивших Real серверов• Оптимизировать все подсистемы под высокую нагрузку• Провести тесты на внешней коммутации, балансировке и отдаче контента
  5. 5. Внешние каналы связи• Ни один ДЦ не защищен от отказа в связанности:– Нарушения плана электропитания– Выход из строя магистрального оборудования– Нарушение конфигурации внутренней сетиРешение:- Два ДЦ и более- Собственная AS /23, разбитая в RIPE по /24- BGP маршрутизация через EXIST-MAP, NON-EXIST-MAP ( Cisco, non-Quagga )- Почему скорость смены маршрута не менее 21 секунды? О_о
  6. 6. Внешние каналы связи
  7. 7. Внутренняя коммутация в ДЦ• Двойное резервирование внутренней сети в ДЦ
  8. 8. Деплой в первую очередь• Что такое деплой?• Почему стоит начинать деплоить сразу до развёртования групп серверов?• Ну есть же Puppet, Chief, Clonzilla – почему SALT?• Что разворачиваем? Конфиги, бинарники, структуру папок, пользователей.• Шаблонизатор конфигов Pillar
  9. 9. Начинаем с балансировщиков• Сеть работает, деплой развернут! Начнём!• IPVS – тюнинг, управление, контроль• Отказоустойчивость – Keepalived• Тонкости типа балансировки – rr или wlc?• Persistence – как и что?• MISC_CHECK и MISC_DYNAMIC в Keepalived
  10. 10. Схема балансировки DR
  11. 11. Пора отдавать контент – Real!• Real сервер – самый тяжёлый в команде• Самый долгий пункт доклада – тюнинг• Можно выжать? Можно! Много!• HTTPS – а с этого места поподробнее• Я умер – удалите меня из кластера!
  12. 12. Тюнинг• Ядро Linux – что важно, а что персонально?• Параметры сетевых интерфейсов• Конфиг nginx – affinity, ssl_cache, mutex• HTTPS – это магия, но это дороже всего
  13. 13. Коротко о тестировании• Нужно? Да! Честно? Нет!• Почему в синтетике 120к, а в реале 50к?• Дропы? Нее, не знаю, зато я выжал 120к)• Если у нас есть тест – зачем его повторять?• Надо всё упрощать.
  14. 14. Ну и немного цифр• В Рунете 2 пика – в 10 утра и в 11 вечера• Минимальный пик трафика – с 3 до 4 ночи• 400 топов Рунета генерят не более 2.5М RPS• В сети мужчин 67%, женщин 22% – остальные неопределились• Минимальный RPS Top 400 Рунета – 850к RPS
  15. 15. Спасибо, что не заснули!Дмитрий Смирнов
  16. 16. Всем чмоки в этом чате!( ВВП )Дмитрий Смирнов

×