Презентация про особенности администрирования и технического саппорта. Читал в январе 2011 на семинаре AdRiver в Минске в мою бытность директором по эксплуатации.
Презентация iVengo Mobile на семинаре IAB 30 июля iVengo Mobile
30 июля iVengo Mobile приняла участие в семинаре Touch Mobile, организованном IAB Russia, членом которой является мобильная рекламная сеть. Семинар на тему «Performance в Mobile» стал частью образовательной программы ассоциации.
PWC опубликовал прогноз развития индустрии развлечений и медиа в период с 2014 по 2018 гг.
В прогнозе рассказывается о том, как потребители и рекламодатели будут тратить свои деньги в этих сегментах в следующие 5 лет.
Прогноз подготовлен для 54 стран, и затрагивает 13 развлекательных и медиа индустрий. Среди них: издательство книг, журналов и газет, производство радио, кино, музыки и телевидения, видеоигр.
Отдельное внимание в прогнозе, уже традиционно, отведено интернету и интернет-рекламе.
Презентация iVengo Mobile на семинаре IAB 30 июля iVengo Mobile
30 июля iVengo Mobile приняла участие в семинаре Touch Mobile, организованном IAB Russia, членом которой является мобильная рекламная сеть. Семинар на тему «Performance в Mobile» стал частью образовательной программы ассоциации.
PWC опубликовал прогноз развития индустрии развлечений и медиа в период с 2014 по 2018 гг.
В прогнозе рассказывается о том, как потребители и рекламодатели будут тратить свои деньги в этих сегментах в следующие 5 лет.
Прогноз подготовлен для 54 стран, и затрагивает 13 развлекательных и медиа индустрий. Среди них: издательство книг, журналов и газет, производство радио, кино, музыки и телевидения, видеоигр.
Отдельное внимание в прогнозе, уже традиционно, отведено интернету и интернет-рекламе.
Тендеции видеорекламы 2013. Исследование Digi Media AdVideoUMH Digital
Основные тезисы исследования:
- Украина - один из самых быстрорастущих рынков по использованию видео форматов в интернете среди стран Восточной Европы.
- Переход от экспериментов с форматами видеорекламы к поиску аудитории.
- Креативная реклама демонстрирует впечатляющие результаты в Интернете.
03 Starlight Digital Sales Dmitriy Panasyuk_workshop#4Марина Белоголовая
Интернет = Телевизор. Ну, почти) Эту формулу раскрыл и доказал Дмитрий Панасюк, Account-director, STARLIGHT DIGITAL SALES в докладе «Нестандартные проекты в Интернет для детских брендов».
IAB Russia Digital Advertisers Barometer - 2015Roman Smolyakov
Некоммерческое Партнерство развития интерактивной рекламы IAB Russia публикует результаты второго ежегодного исследования мнений рекламодателей об интерактивной рекламе в России - IAB Russia Digital Advertisers Barometer - 2015.
Доклад является обобщением моего опыт по работе с системами мониторинга серверных приложений в Qiwi.
Цель доклада:
- Получить общее представление о подходах к мониторингу серверных приложений
- Разобраться с популярными средствами для мониторинга серверных приложений
Оглавление:
- Мотивация
- Теория
---- Определение
---- Модель системы с точки зрения мониторинга
---- Классификация систем мониторинга
---- Уровни мониторинга
---- Инструменты мониторинга
- Практика
---- Системы мониторинга и сбора логов
---- Интерфейсы мониторинга
---- Инструменты мониторинга в JVM-based приложениях
Роман Приходько, Владимир Беспрозванных, «Сбербанк-Технологии» — Платформа ЕФСDev_Party
Роман Приходько, «Сбербанк-Технологии» — Платформа ЕФС — принципы построения и инструменты реализации.
Конференция Dev Party (http://devparty.ru).
Вологда, 02.04.2016.
Презентация аналитической системы для ритейла СуперМаг BIОникс Софт
СуперМаг BI отвечает на основные вопросы:
Что будет происходить - прогнозные отчеты.
Почему это происходит - статистические отчеты.
Что следует предпринять - сигналы.
Как часто, как много, где и когда - отчеты "на лету".
Что произошло - простые отчеты.
Основная задача BI - повышение конкурентноспособности, повышение удовлетворенности клиента и оптимизация работы.
Тендеции видеорекламы 2013. Исследование Digi Media AdVideoUMH Digital
Основные тезисы исследования:
- Украина - один из самых быстрорастущих рынков по использованию видео форматов в интернете среди стран Восточной Европы.
- Переход от экспериментов с форматами видеорекламы к поиску аудитории.
- Креативная реклама демонстрирует впечатляющие результаты в Интернете.
03 Starlight Digital Sales Dmitriy Panasyuk_workshop#4Марина Белоголовая
Интернет = Телевизор. Ну, почти) Эту формулу раскрыл и доказал Дмитрий Панасюк, Account-director, STARLIGHT DIGITAL SALES в докладе «Нестандартные проекты в Интернет для детских брендов».
IAB Russia Digital Advertisers Barometer - 2015Roman Smolyakov
Некоммерческое Партнерство развития интерактивной рекламы IAB Russia публикует результаты второго ежегодного исследования мнений рекламодателей об интерактивной рекламе в России - IAB Russia Digital Advertisers Barometer - 2015.
Доклад является обобщением моего опыт по работе с системами мониторинга серверных приложений в Qiwi.
Цель доклада:
- Получить общее представление о подходах к мониторингу серверных приложений
- Разобраться с популярными средствами для мониторинга серверных приложений
Оглавление:
- Мотивация
- Теория
---- Определение
---- Модель системы с точки зрения мониторинга
---- Классификация систем мониторинга
---- Уровни мониторинга
---- Инструменты мониторинга
- Практика
---- Системы мониторинга и сбора логов
---- Интерфейсы мониторинга
---- Инструменты мониторинга в JVM-based приложениях
Роман Приходько, Владимир Беспрозванных, «Сбербанк-Технологии» — Платформа ЕФСDev_Party
Роман Приходько, «Сбербанк-Технологии» — Платформа ЕФС — принципы построения и инструменты реализации.
Конференция Dev Party (http://devparty.ru).
Вологда, 02.04.2016.
Презентация аналитической системы для ритейла СуперМаг BIОникс Софт
СуперМаг BI отвечает на основные вопросы:
Что будет происходить - прогнозные отчеты.
Почему это происходит - статистические отчеты.
Что следует предпринять - сигналы.
Как часто, как много, где и когда - отчеты "на лету".
Что произошло - простые отчеты.
Основная задача BI - повышение конкурентноспособности, повышение удовлетворенности клиента и оптимизация работы.
Мониторинг в высоконагруженных (и не только) проектах: сравнительный анализ с...Ontico
Выбор системы мониторинга - это практически holy-war-ная тема среди администраторов и разработчиков. Какая система лучше? Что удобнее? Какая система сможет выдержать большое количество статистики, а какая - лучше собрать и представить данные?
В своем докладе мы попробуем предельно непредвзято рассмотреть существующие решения и понять, что и когда можно использовать.
См. тезисы - http://rootconf.ru/2015/abstracts/1746
Мониторинг в высоконагруженных (и не только) проектах: сравнительный анализ с...Anton Baranov
Выбор системы мониторинга - это практически holy-war-ная тема среди администраторов и разработчиков. Какая система лучше? Что удобнее? Какая система сможет выдержать большое количество статистики, а какая - лучше собрать и представить данные?
В своем докладе мы попробуем предельно непредвзято рассмотреть существующие решения и понять, что и когда можно использовать.
Прежде всего, мы постараемся сделать доклад не сравнением feature-листов, а рассмотреть особенности практического применения разных систем для конкретной задачи - для сайта, который не должен падать (а точнее - для возможности оперативно отреагировать на аварию, понять что к ней привело, и как можно ее исправить).
В «Одноклассниках» логируются любые действия пользователей, любой вызов классов и методов, любые взаимодействия компонентов системы. Через несколько минут эти данные уже видны на графиках системы статистики. Данные собирает, хранит и обрабатывет хранилище данных, построенное на базе MS SQL Server.
Для адмистраторов, разработчиков и менеджеров построены универсальные интерактивные графики. Эти графики можно настроить так, чтобы они показывали любую подвыборку данных, агрегированных по периодам, начиная с 5 минут и заканчивая годом. Из графиков составлены тематические страницы (дэшборды), которые наглядно показывают состояние всего сайта или его отдельного компонента.
В докладе будут рассмотрены архитектура, основные компоненты и примененные алгоритмы обработки данных.
Передовой опыт создания Инфраструктуры SharePointMichael Noel
Существует бесчисленное множество далеко не идеальных подходов к дизайну и архитектуре серверной среды SharePoint. Поскольку именно это является определяющим фактором последующей производительности и функциональной эффективности SharePoint, архитекторам инфраструктуры SharePoint чрезвычайно важно хорошо ориентироваться в:
• Различных вариантах инсталлирования SharePoint
• Различиях между моделями архитектуры поиска в SharePoint
• Методах и приемах виртуализации SharePoint
• Способах оптимизации баз данных SQL серверов SharePoint.
Практический опыт автора по созданию сотен SharePoint серверных ферм
обобщен в виде готовых к немедленному применению руководящих и методических рекомендаций по физической и виртуальной архитектуре, и параметрах конфигурации SharePoint 2010 и 2013. Кроме того, в общих чертах обрисованы изменения в архитектуре SharePoint 2013 и SQL Server 2012.
Продвижение «1С:Автоматизированное обновление измененных конфигураций» среди ...Ex1s
Презентация посвящена обзору функциональных возможностей, демонстрации работы программного продукта "1С:Автоматизированное обновление измененных конфигураций" и преимуществам, которые дает его использование при сопровождении конфигураций, разработанных на платформах "1С:Предприятие 8.2" и "1С:Предприятие 8.3".
2. Содержание:
Особенности эксплуатации высоконагруженных систем
Январь 2011
Обслуживание
Архитектура
Производительность
Отказоустойчивость
Мониторинг
Поддержка пользователей
Уровни
Чем поможем?
Особенности
эксплуатации
высоконагруженных
систем
2
4. Особенности эксплуатации высоконагруженных систем
Январь 2011
О системе
• Баннерная крутилка
• Гибкая платформа для построения коммерческих продуктов
• Высоконагруженная реалтаймовая система
• Универсальный инструмент для статистики
- Неагрегированные данные доступны за 1 год
- Real-time счетчики
- Подробная статистика по всем объектам
- 20Tb данных только для логов за год
4
5. Особенности эксплуатации высоконагруженных систем
Январь 2011
Компоненты real-time системы
• 15 взаимосвязанных компонентов, обеспечивающих работу
кластера
• Real-time часть сервиса 45 серверов
- Intel 5670, 12 ядер по 3Ghz, 48Gb RAM
5
7. Особенности эксплуатации высоконагруженных систем
Январь 2011
Выборка баннера
ad.adriver.ru ad-serverad-serverad-serverad-server
alg_module
ad.adriver.ru
alg_modulealg_modulealg_modulealg_modulealgorithm
trait uu xp
dbserver
trait uu xp
dbserverdbserverdbserverdbserverdbserver
historyhistoryhistoryhistoryhistoryhistoryhistory
statstatstatstatstatstatstatstatstatstat
browser
7
8. Особенности эксплуатации высоконагруженных систем
Январь 2011
1 запрос на показ это...
• Запрос к 20 внутренним базам
• Реалтаймовое обновление нескольких десятков счетчиков
• Строка ~400 символов в логах
8
11. Особенности эксплуатации высоконагруженных систем
Январь 2011
Производительность
• Весь real-time софт написан в компании
• http сервер - до 20.000 запросов/сек
• algorithm module - до 10.000 запросов/сек
• Общая производительность
- время ответа в среднем 50мкс (0.00005сек)
- десятки тысяч запросов без предвыборки
- обновление информации о событии на всех серверах выборки <0.5сек
11
13. Особенности эксплуатации высоконагруженных систем
Январь 2011
Масштабируемость
• Возможность установки региональных прокси-серверов
• Почти линейная масштабируемость кластера
• Гибкие возможности балансировки с обратной связью
- Внешние компоненты
- Вычислительные модули
- Справочники
13
15. Особенности эксплуатации высоконагруженных систем
Январь 2011
Отказоустойчивость. Концепция.
• Обратная связь в системах балансировки
- keepalived
- load average based
• Схемы N+N, N+1
• Надёжные дата-центры
• uptime не меньше 99.9885%
• Резервирование каналов
- х4 по входящему трафику
- х5 выдача контента на Россию
- х100 выдача контента на Белорусь
• Резервные копии
- основная база - каждые 5 минут + по автоматически по сигналу
- справочники - каждые 60 минут
- время хранения логов показов 1 год
15
16. Особенности эксплуатации высоконагруженных систем
Январь 2011
Пример отказоустойчивого сервиса.
history.
• Данные за 2 недели - 6х
• Данные за 9 месяцев - 3х
• Данные за 9-12 месяцев - 1.5х
• Можем хранить и больше, если
это будет востребовано
16
17. Особенности эксплуатации высоконагруженных систем
Январь 2011
Отказоустойчивость.
Выдача контента.
• Баннер показывается только после закачки на большую часть
зеркал
• Закачка на зеркала за 1-3 минуты
• Весь контент с зеркал кешируется благодаря правильным
http header-ам
• Ограничения на размер баннера установлены с 3х запасом от
типовых размеров
17
18. Особенности эксплуатации высоконагруженных систем
Январь 2011
Отказоустойчивость.
Soſtware.
• Использование linux платформы собственной сборки
• Тестирование всего софта
• Обкатка на резервном кластере
18
19. Особенности эксплуатации высоконагруженных систем
Январь 2011
Отказоустойчивость.
Hardware.
• Все сервера с данными используют RAID массивы
• Все железо проходит проверку
- память, диски, сетевые карты
- сервер основной базы работает на тесте минимум 1 месяц
19
21. Особенности эксплуатации высоконагруженных систем
Январь 2011
Мониторинг - оповещения
• 1255 точек
мониторинга с SMS
информированием
• Критичных около 30
• Проверка ответов
системы с 4 серверов
из других городов
21
22. Особенности эксплуатации высоконагруженных систем
Январь 2011
Мониторинг - визуализация
• >10 параметров на
каждый сервер в
кактусе
• Сводные графики
• Любые параметры
22
24. Особенности эксплуатации высоконагруженных систем
Январь 2011
Мониторинг от А до Я
• Доступность сервисов
• Общесистемные параметры
• Очередь баннеров
• Наличие резервных копий
• Терпература в серверной
• Плазменная панель с критичными параметрами
• Баланс на sms-шлюзе :)
24
25. Особенности эксплуатации высоконагруженных систем
Январь 2011
Плановые операции
• Проверка производительности
• Проверка выдачи баннеров с мирроров
• Проверка доступности мирроров из регионов
• Проверка целостности резервных копий
25
29. Особенности эксплуатации высоконагруженных систем
Январь 2011
Документация
• Четкая структура
• Написана под задачи
• Поддерживается в
актуальном состоянии
• Обратная связь
29
31. Особенности эксплуатации высоконагруженных систем
Январь 2011
Миссия отдела поддержки
• Мы стараемся дать вам то, что вам действительно нужно, а
не только что, что вы просите.
31
32. Особенности эксплуатации высоконагруженных систем
Январь 2011
Постулаты
• Вопросы - это нормально. Плохо, если их нет.
• Мы терпеливо объясним вам как вы сможете достичь
результата, но не всегда сможем сделать это за вас.
32
34. Особенности эксплуатации высоконагруженных систем
Январь 2011
Если даже нам нужна помощь...
• Близость разработчиков позволяет оперативно решать любые
вопросы
• Клиент всегда получит ответ
34
35. Особенности эксплуатации высоконагруженных систем
Январь 2011
Типовой вопрос разработчикам
Jan 12 00:00:00 127.0.0.1 algorithm[0]: A0[0]:
s*erle*0*123992*0*0*0*0*0*0*0*0*421249*16*20*14*79.111.80.140*0*'
Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US) AppleWebKit/532.0
(KHTML, like Gecko) Chrome/3.0.197.11 Safari/532.0'*'http://
www.interfax.ru/society/txt.asp?
id=172678/'*7*38*1*0*0*1294779600*''*0.000470****0.000008*3048D95
B48.4D12C16E.3063*1813388126*
Почему в 18-м поле 0?
35