Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Эксплуатация high-load системы AdRiver.

690 views

Published on

Презентация про особенности администрирования и технического саппорта. Читал в январе 2011 на семинаре AdRiver в Минске в мою бытность директором по эксплуатации.

Published in: Technology
  • Be the first to comment

Эксплуатация high-load системы AdRiver.

  1. 1. 1
  2. 2. Содержание: Особенности эксплуатации высоконагруженных систем Январь 2011 Обслуживание Архитектура Производительность Отказоустойчивость Мониторинг Поддержка пользователей Уровни Чем поможем? Особенности эксплуатации высоконагруженных систем 2
  3. 3. Обслуживание Архитектура Производительность Отказоустойчивость Мониторинг 3
  4. 4. Особенности эксплуатации высоконагруженных систем Январь 2011 О системе • Баннерная крутилка • Гибкая платформа для построения коммерческих продуктов • Высоконагруженная реалтаймовая система • Универсальный инструмент для статистики - Неагрегированные данные доступны за 1 год - Real-time счетчики - Подробная статистика по всем объектам - 20Tb данных только для логов за год 4
  5. 5. Особенности эксплуатации высоконагруженных систем Январь 2011 Компоненты real-time системы • 15 взаимосвязанных компонентов, обеспечивающих работу кластера • Real-time часть сервиса 45 серверов - Intel 5670, 12 ядер по 3Ghz, 48Gb RAM 5
  6. 6. Архитектура платформы Выборка баннера Отгрузка контента 6
  7. 7. Особенности эксплуатации высоконагруженных систем Январь 2011 Выборка баннера ad.adriver.ru ad-serverad-serverad-serverad-server alg_module ad.adriver.ru alg_modulealg_modulealg_modulealg_modulealgorithm trait uu xp dbserver trait uu xp dbserverdbserverdbserverdbserverdbserver historyhistoryhistoryhistoryhistoryhistoryhistory statstatstatstatstatstatstatstatstatstat browser 7
  8. 8. Особенности эксплуатации высоконагруженных систем Январь 2011 1 запрос на показ это... • Запрос к 20 внутренним базам • Реалтаймовое обновление нескольких десятков счетчиков • Строка ~400 символов в логах 8
  9. 9. Особенности эксплуатации высоконагруженных систем Январь 2011 Отгрузка контента ad.adriver.ru banner storagebanner storagebanner storagebanner storagebanner storagebanner storagebanner storagebanner storagebanner storagebanner storagebanner storagebanner storagebanner storagebanner storagebanner storagebanner storagebanner storagebanner storage browser 9
  10. 10. Производительность 10
  11. 11. Особенности эксплуатации высоконагруженных систем Январь 2011 Производительность • Весь real-time софт написан в компании • http сервер - до 20.000 запросов/сек • algorithm module - до 10.000 запросов/сек • Общая производительность - время ответа в среднем 50мкс (0.00005сек) - десятки тысяч запросов без предвыборки - обновление информации о событии на всех серверах выборки <0.5сек 11
  12. 12. Особенности эксплуатации высоконагруженных систем Январь 2011 Живьем 6000 баннеров пока вы моргаете 12
  13. 13. Особенности эксплуатации высоконагруженных систем Январь 2011 Масштабируемость • Возможность установки региональных прокси-серверов • Почти линейная масштабируемость кластера • Гибкие возможности балансировки с обратной связью - Внешние компоненты - Вычислительные модули - Справочники 13
  14. 14. Отказоустойчивость 14
  15. 15. Особенности эксплуатации высоконагруженных систем Январь 2011 Отказоустойчивость. Концепция. • Обратная связь в системах балансировки - keepalived - load average based • Схемы N+N, N+1 • Надёжные дата-центры • uptime не меньше 99.9885% • Резервирование каналов - х4 по входящему трафику - х5 выдача контента на Россию - х100 выдача контента на Белорусь • Резервные копии - основная база - каждые 5 минут + по автоматически по сигналу - справочники - каждые 60 минут - время хранения логов показов 1 год 15
  16. 16. Особенности эксплуатации высоконагруженных систем Январь 2011 Пример отказоустойчивого сервиса. history. • Данные за 2 недели - 6х • Данные за 9 месяцев - 3х • Данные за 9-12 месяцев - 1.5х • Можем хранить и больше, если это будет востребовано 16
  17. 17. Особенности эксплуатации высоконагруженных систем Январь 2011 Отказоустойчивость. Выдача контента. • Баннер показывается только после закачки на большую часть зеркал • Закачка на зеркала за 1-3 минуты • Весь контент с зеркал кешируется благодаря правильным http header-ам • Ограничения на размер баннера установлены с 3х запасом от типовых размеров 17
  18. 18. Особенности эксплуатации высоконагруженных систем Январь 2011 Отказоустойчивость. Soſtware. • Использование linux платформы собственной сборки • Тестирование всего софта • Обкатка на резервном кластере 18
  19. 19. Особенности эксплуатации высоконагруженных систем Январь 2011 Отказоустойчивость. Hardware. • Все сервера с данными используют RAID массивы • Все железо проходит проверку - память, диски, сетевые карты - сервер основной базы работает на тесте минимум 1 месяц 19
  20. 20. Мониторинг 20
  21. 21. Особенности эксплуатации высоконагруженных систем Январь 2011 Мониторинг - оповещения • 1255 точек мониторинга с SMS информированием • Критичных около 30 • Проверка ответов системы с 4 серверов из других городов 21
  22. 22. Особенности эксплуатации высоконагруженных систем Январь 2011 Мониторинг - визуализация • >10 параметров на каждый сервер в кактусе • Сводные графики • Любые параметры 22
  23. 23. Особенности эксплуатации высоконагруженных систем Январь 2011 Пример анализа нагрузки 23
  24. 24. Особенности эксплуатации высоконагруженных систем Январь 2011 Мониторинг от А до Я • Доступность сервисов • Общесистемные параметры • Очередь баннеров • Наличие резервных копий • Терпература в серверной • Плазменная панель с критичными параметрами • Баланс на sms-шлюзе :) 24
  25. 25. Особенности эксплуатации высоконагруженных систем Январь 2011 Плановые операции • Проверка производительности • Проверка выдачи баннеров с мирроров • Проверка доступности мирроров из регионов • Проверка целостности резервных копий 25
  26. 26. Поддержка пользователей Уровни Чем поможем? 26
  27. 27. Особенности эксплуатации высоконагруженных систем Январь 2011 Наша служба и опасна и трудна 27
  28. 28. Особенности эксплуатации высоконагруженных систем Январь 2011 Уровни 1. Документация, демо-ролики 2. Отдел технической поддержки 3. Разработчики 28
  29. 29. Особенности эксплуатации высоконагруженных систем Январь 2011 Документация • Четкая структура • Написана под задачи • Поддерживается в актуальном состоянии • Обратная связь 29
  30. 30. Особенности эксплуатации высоконагруженных систем Январь 2011 Демо-ролики • Объясняют работу с интерфейсом • Показывают базовые возможности интерфейса 30
  31. 31. Особенности эксплуатации высоконагруженных систем Январь 2011 Миссия отдела поддержки • Мы стараемся дать вам то, что вам действительно нужно, а не только что, что вы просите. 31
  32. 32. Особенности эксплуатации высоконагруженных систем Январь 2011 Постулаты • Вопросы - это нормально. Плохо, если их нет. • Мы терпеливо объясним вам как вы сможете достичь результата, но не всегда сможем сделать это за вас. 32
  33. 33. Особенности эксплуатации высоконагруженных систем Январь 2011 Ещё о поддержке • Сотрудники прошли профессиональные тренинги • Им не всё равно 33
  34. 34. Особенности эксплуатации высоконагруженных систем Январь 2011 Если даже нам нужна помощь... • Близость разработчиков позволяет оперативно решать любые вопросы • Клиент всегда получит ответ 34
  35. 35. Особенности эксплуатации высоконагруженных систем Январь 2011 Типовой вопрос разработчикам Jan 12 00:00:00 127.0.0.1 algorithm[0]: A0[0]: s*erle*0*123992*0*0*0*0*0*0*0*0*421249*16*20*14*79.111.80.140*0*' Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US) AppleWebKit/532.0 (KHTML, like Gecko) Chrome/3.0.197.11 Safari/532.0'*'http:// www.interfax.ru/society/txt.asp? id=172678/'*7*38*1*0*0*1294779600*''*0.000470****0.000008*3048D95 B48.4D12C16E.3063*1813388126* Почему в 18-м поле 0? 35
  36. 36. Особенности эксплуатации высоконагруженных систем Январь 2011 Мы готовы помочь Ждём вас на support@adriver.ru 36
  37. 37. Особенности эксплуатации высоконагруженных систем Январь 2011 А тем временем... За время рассказа AdRiver показал ~55млн баннеров 37
  38. 38. Система управления интернет-рекламой www.adriver.ru Владимир Мосин vmosin@adriver.ru Директор департамента эксплуатации 38

×