Shadow Fight 2: архитектура системы аналитики для миллиарда событийVyacheslav Nikulin
Аудитория Shadow Fight 2, насчитывающая 50 миллионов игроков, ежедневно генерирует огромное количество событий, анализ которых происходит в реальном времени. Доклад посвящен архитектуре системы аналитики на основе поискового движка Elasticsearch. Будет рассмотрен технологический стек Elasticsearch, Logstash, Kibana, который позволяет в сжатые сроки создать гибкое и надежное решение. Также Вячеслав поможет разобраться со схемой обработки событий, моделью данных и особенностями настройки, расскажет о команде и трудозатратах на разработку и поддержку системы
Microsoft и Linux на одном проекте: как получить лучшее из обоих миров и не р...Ontico
2-3 года назад у нас был на 100% MS стек (Винда, Hyper-V, MSSQL, IIS, C#, WCF, Azure), и было не очень понятно, как продукт дальше развивать: C#, конечно, неплохой язык, но оставаться в рамках MS - слишком большие ограничения по выбору продуктов: чего-то на винде до сих пор нет (например, Докера), а для многих серверных продуктов рынок винды вторичен.
Получалось, что все понимают тупиковость ситуации, но продолжают тащить этот чемодан без ручки, потому что делать-то что-то надо. Переписать весь проект с нуля под новые технологии - это год работы вхолостую для бизнеса, и ни один инвестор в мире на такое не согласился бы.
Так вот, могу рассказать, как нам удалось постепенно выйти из этого тупика без остановки бизнес-девелопмента и переобучения всей команды на другой язык/платформу.
Сейчас у нас диверсифицированная система:
- виртуалки на винде и убунте. HA организуется силами Hyper-V и Rancher;
- несколько разных стораджей: Cassandra, Redis, MS SQL, PostgreSQL и Spark, который из всего этого зоопарка делает общую аналитику (нет, мы не ставили все подряд, они все нужны, зачем - расскажу);
- сервисы на C# и питоне, которые прекрасно общаются по общей шине и мы спокойно можем ждать выхода полноценного .net core еще пару лет.
И, предваряя вопрос - нет, на Mono или текущий .NET core без серьезного переписывания перейти зачастую нельзя. Мы - как раз тот случай.
Борис Павлович - Производительность и масштабируемость OpenStack Yandex
В докладе прозвучали ответы на вопросы о том, что такое OpenStack, зачем он нужен, что подразумевается под его производительностью и масштабируемостью и как тестировать эти качества, если у вас нет своего дата-центра. На примере проекта Rally вы узнали, как полностью автоматизировать тестирование. Было рассказано о проблемах, которые возникли при разработке Rally. Завершился доклад рассказом о том, с какими сложностями, касающимися масштабируемости и производительности OpenStack, ещё предстоит справиться.
Никита Макаров, Одноклассники, «API, Облака и зачем это все тестировщику»Mail.ru Group
Облачные решения уже около пяти лет находятся в числе горячих тем всей IT-индустрии. В них видят потенциал, равно как и ограничения использования. Спикер рассказал и показал, как облако может приносить пользу тестировщику, а также проговорит об API и публичных сервисах.
Автоматизация нагрузочного тестирования в связке JMeter + TeamСity + Grafana ...Positive Hack Days
1. Описание старого процесса сбора данных о тестах: как было до, что хорошего, что плохого
2. Influxdb, как хранилище time-series данных,
3. Zabbix - мониторинг нагрузочных стендов: windows и linux агенты, активный сбор данных, autodiscovery виртуальных машин в esx
4. Grafana, как способ превратить графики и дашборды в конфетку
5. Автоматизация нагрузки от пользователей через web-UI при помощи Jmeter, отображение статистики в реальном времени, CI в Teamcity
Преждевременная оптимизация архитектуры / Евгений Потапов, Антон Баранов (ITS...Ontico
Работа в высоконагруженных проектах всегда была такой сферой деятельности, где можно в рамках решения прикладных задач находить и применять сложные и интересные решения.
К сожалению, очень часто во главу угла ставится не надежное решение поставленной задачи, а именно применение сложного и интересного решения, которое даст специалисту новый опыт и удовольствие от сложных архитектур.
В своем докладе я хочу пройтись по тем стандартным "набитым шишкам", которые мы встречаем в своей работе, когда сложное, новое и интересное решение не означает стабильность системы.
1. Когда "интересно" не значит "правильно"?
1.1. Специфика развития высоконагруженного проекта.
1.2. Требования бизнеса и современные технологии.
1.3. Типичные "сомнительные" решения.
2. Проблемы в архитектуре отказоустойчивых систем.
2.1. Ошибки в планировании резервирования.
2.2. Ошибки в планировании системы выкладок.
2.3. Ошибки в архитектурах систем хранения данных.
3. Проблемы в архитектуре систем, рассчитанных на высокую нагрузку.
3.1. Ошибки в планировании мощностей системы.
3.2. Ошибки в планировании возможностей масштабирования системы.
3.3. Ошибки в архитектурах систем хранения данных.
Shadow Fight 2: архитектура системы аналитики для миллиарда событийVyacheslav Nikulin
Аудитория Shadow Fight 2, насчитывающая 50 миллионов игроков, ежедневно генерирует огромное количество событий, анализ которых происходит в реальном времени. Доклад посвящен архитектуре системы аналитики на основе поискового движка Elasticsearch. Будет рассмотрен технологический стек Elasticsearch, Logstash, Kibana, который позволяет в сжатые сроки создать гибкое и надежное решение. Также Вячеслав поможет разобраться со схемой обработки событий, моделью данных и особенностями настройки, расскажет о команде и трудозатратах на разработку и поддержку системы
Microsoft и Linux на одном проекте: как получить лучшее из обоих миров и не р...Ontico
2-3 года назад у нас был на 100% MS стек (Винда, Hyper-V, MSSQL, IIS, C#, WCF, Azure), и было не очень понятно, как продукт дальше развивать: C#, конечно, неплохой язык, но оставаться в рамках MS - слишком большие ограничения по выбору продуктов: чего-то на винде до сих пор нет (например, Докера), а для многих серверных продуктов рынок винды вторичен.
Получалось, что все понимают тупиковость ситуации, но продолжают тащить этот чемодан без ручки, потому что делать-то что-то надо. Переписать весь проект с нуля под новые технологии - это год работы вхолостую для бизнеса, и ни один инвестор в мире на такое не согласился бы.
Так вот, могу рассказать, как нам удалось постепенно выйти из этого тупика без остановки бизнес-девелопмента и переобучения всей команды на другой язык/платформу.
Сейчас у нас диверсифицированная система:
- виртуалки на винде и убунте. HA организуется силами Hyper-V и Rancher;
- несколько разных стораджей: Cassandra, Redis, MS SQL, PostgreSQL и Spark, который из всего этого зоопарка делает общую аналитику (нет, мы не ставили все подряд, они все нужны, зачем - расскажу);
- сервисы на C# и питоне, которые прекрасно общаются по общей шине и мы спокойно можем ждать выхода полноценного .net core еще пару лет.
И, предваряя вопрос - нет, на Mono или текущий .NET core без серьезного переписывания перейти зачастую нельзя. Мы - как раз тот случай.
Борис Павлович - Производительность и масштабируемость OpenStack Yandex
В докладе прозвучали ответы на вопросы о том, что такое OpenStack, зачем он нужен, что подразумевается под его производительностью и масштабируемостью и как тестировать эти качества, если у вас нет своего дата-центра. На примере проекта Rally вы узнали, как полностью автоматизировать тестирование. Было рассказано о проблемах, которые возникли при разработке Rally. Завершился доклад рассказом о том, с какими сложностями, касающимися масштабируемости и производительности OpenStack, ещё предстоит справиться.
Никита Макаров, Одноклассники, «API, Облака и зачем это все тестировщику»Mail.ru Group
Облачные решения уже около пяти лет находятся в числе горячих тем всей IT-индустрии. В них видят потенциал, равно как и ограничения использования. Спикер рассказал и показал, как облако может приносить пользу тестировщику, а также проговорит об API и публичных сервисах.
Автоматизация нагрузочного тестирования в связке JMeter + TeamСity + Grafana ...Positive Hack Days
1. Описание старого процесса сбора данных о тестах: как было до, что хорошего, что плохого
2. Influxdb, как хранилище time-series данных,
3. Zabbix - мониторинг нагрузочных стендов: windows и linux агенты, активный сбор данных, autodiscovery виртуальных машин в esx
4. Grafana, как способ превратить графики и дашборды в конфетку
5. Автоматизация нагрузки от пользователей через web-UI при помощи Jmeter, отображение статистики в реальном времени, CI в Teamcity
Преждевременная оптимизация архитектуры / Евгений Потапов, Антон Баранов (ITS...Ontico
Работа в высоконагруженных проектах всегда была такой сферой деятельности, где можно в рамках решения прикладных задач находить и применять сложные и интересные решения.
К сожалению, очень часто во главу угла ставится не надежное решение поставленной задачи, а именно применение сложного и интересного решения, которое даст специалисту новый опыт и удовольствие от сложных архитектур.
В своем докладе я хочу пройтись по тем стандартным "набитым шишкам", которые мы встречаем в своей работе, когда сложное, новое и интересное решение не означает стабильность системы.
1. Когда "интересно" не значит "правильно"?
1.1. Специфика развития высоконагруженного проекта.
1.2. Требования бизнеса и современные технологии.
1.3. Типичные "сомнительные" решения.
2. Проблемы в архитектуре отказоустойчивых систем.
2.1. Ошибки в планировании резервирования.
2.2. Ошибки в планировании системы выкладок.
2.3. Ошибки в архитектурах систем хранения данных.
3. Проблемы в архитектуре систем, рассчитанных на высокую нагрузку.
3.1. Ошибки в планировании мощностей системы.
3.2. Ошибки в планировании возможностей масштабирования системы.
3.3. Ошибки в архитектурах систем хранения данных.
Cоздаем облачную среду на базе open-sourсe решения OpenStackSkillFactory
Илья Алексеев, контрибьютор проекта OpenStack – об архитектуре решения и о том, как начать работу с одной из самых популярных в мире открытых платформ для построения частных и публичных облачных инфраструктур.
Сейчас OpenStack на слуху, но детальных отзывов и описаний дизайна инфраструктуры все еще не много. Постараемся немного упростить задачу для тех, кто еще только планирует развертывание инфраструктуры виртуализации, и расскажем, как это делали мы в некоторых наших проектах:
погрузимся в нюансы реализации окружения OpenStack в боевой среде;
поговорим об отказоустойчивости;
рассмотрим варианты организации резервного копирования;
обратим внимание на конфигурацию «железок»: СХД и сети.
SmartMonitoring - мониторинг бизнес-логики в Одноклассниках / Сергей Шарапов ...Ontico
Самым критичным в мониторинге бизнес-логики является этап выяснения сути инцидента, зачастую он занимает значительное время и требует высокой квалификации сотрудника, так как основные показатели работы сайта и сервисов представлены более чем 100 тысячами графиков, и нахождение первоисточника - не самое простое дело. Поэтому была создана система мониторинга (SmartMonitoring), которая умеет находить аномалии в работе портала и показывать связь между ними, что значительно упрощает работу как администраторам, так и программистам. Такая система помогает в случае инцидента понять, какой именно среди десятков наших сервисов засбоил первым и, соответственно, ускоряет распутывание «клубка» в процессе расследования инцидента и помогает быстро находить сервис, который во всем виноват.
В этом докладе я расскажу, как мы создали такую систему, как она работает, и с какими трудностями мы столкнулись.
Простая и дешёвая бизнес-аналитика на базе Google BigQuery / Алексей Паршуков...Ontico
РИТ++ 2017, Backend Conf
Зал Сан-Паулу, 6 июня, 14:00
Тезисы:
http://backendconf.ru/2017/abstracts/2778.html
Хотите научиться принимать решения на основе данных, но не знаете, с чего начать? Нужно записать миллионы событий, но не уверены, как делать это правильно? Вы не знаете, как быстро и дёшево строить аналитические отчеты или запутались в инструментах?
На примере DocDoc я расскажу о плюсах и минусах различных подходов: как выбрать систему хранения, почему мы остановились на Google BigQuery. Как правильно организовать данные, записать свой clickstream, отказаться от сэмплирования в GA, а также строить простые и понятные отчеты.
Облако Microsoft – это еще и про Open Source. Конференция РИТ++Microsoft
Облако Microsoft - это еще и про Open Source. Поддержка Linux на Microsoft Azure - это
только верхушка айсберга. Мы попробуем посмотреть с высоты на то, как Microsoft Azure поддерживает Open Source, и спуститься по всему стеку OSS:
* мигрируем Java-приложение на Windows Azure (PHP, NodeJS, Python, Java), используя Eclipse и Azul JDK
* развернем готовое приложение (Drupal, WordPress, Joomla, etc)
* используем коммьюнити-дистрибутив Linux (Ubuntu, CentOS, etc).
Микросервисная архитектура на базе CoreOS и KubernetesDenis Izmaylov
13 июля 2016 состоялся восьмой Node.js Meetup в Москве. В этом докладе мы рассмотрели Scale Cube, Docker, CoreOS и кратко Kubernetes и Concourse CI.
В следующем докладе взглянем более подробно на Kubernetes и Concourse CI, посмотрим как с помощью этих быстрых и прекрасных инструментов построить Deployment Automation.
Cоздаем облачную среду на базе open-sourсe решения OpenStackSkillFactory
Илья Алексеев, контрибьютор проекта OpenStack – об архитектуре решения и о том, как начать работу с одной из самых популярных в мире открытых платформ для построения частных и публичных облачных инфраструктур.
Сейчас OpenStack на слуху, но детальных отзывов и описаний дизайна инфраструктуры все еще не много. Постараемся немного упростить задачу для тех, кто еще только планирует развертывание инфраструктуры виртуализации, и расскажем, как это делали мы в некоторых наших проектах:
погрузимся в нюансы реализации окружения OpenStack в боевой среде;
поговорим об отказоустойчивости;
рассмотрим варианты организации резервного копирования;
обратим внимание на конфигурацию «железок»: СХД и сети.
SmartMonitoring - мониторинг бизнес-логики в Одноклассниках / Сергей Шарапов ...Ontico
Самым критичным в мониторинге бизнес-логики является этап выяснения сути инцидента, зачастую он занимает значительное время и требует высокой квалификации сотрудника, так как основные показатели работы сайта и сервисов представлены более чем 100 тысячами графиков, и нахождение первоисточника - не самое простое дело. Поэтому была создана система мониторинга (SmartMonitoring), которая умеет находить аномалии в работе портала и показывать связь между ними, что значительно упрощает работу как администраторам, так и программистам. Такая система помогает в случае инцидента понять, какой именно среди десятков наших сервисов засбоил первым и, соответственно, ускоряет распутывание «клубка» в процессе расследования инцидента и помогает быстро находить сервис, который во всем виноват.
В этом докладе я расскажу, как мы создали такую систему, как она работает, и с какими трудностями мы столкнулись.
Простая и дешёвая бизнес-аналитика на базе Google BigQuery / Алексей Паршуков...Ontico
РИТ++ 2017, Backend Conf
Зал Сан-Паулу, 6 июня, 14:00
Тезисы:
http://backendconf.ru/2017/abstracts/2778.html
Хотите научиться принимать решения на основе данных, но не знаете, с чего начать? Нужно записать миллионы событий, но не уверены, как делать это правильно? Вы не знаете, как быстро и дёшево строить аналитические отчеты или запутались в инструментах?
На примере DocDoc я расскажу о плюсах и минусах различных подходов: как выбрать систему хранения, почему мы остановились на Google BigQuery. Как правильно организовать данные, записать свой clickstream, отказаться от сэмплирования в GA, а также строить простые и понятные отчеты.
Облако Microsoft – это еще и про Open Source. Конференция РИТ++Microsoft
Облако Microsoft - это еще и про Open Source. Поддержка Linux на Microsoft Azure - это
только верхушка айсберга. Мы попробуем посмотреть с высоты на то, как Microsoft Azure поддерживает Open Source, и спуститься по всему стеку OSS:
* мигрируем Java-приложение на Windows Azure (PHP, NodeJS, Python, Java), используя Eclipse и Azul JDK
* развернем готовое приложение (Drupal, WordPress, Joomla, etc)
* используем коммьюнити-дистрибутив Linux (Ubuntu, CentOS, etc).
Микросервисная архитектура на базе CoreOS и KubernetesDenis Izmaylov
13 июля 2016 состоялся восьмой Node.js Meetup в Москве. В этом докладе мы рассмотрели Scale Cube, Docker, CoreOS и кратко Kubernetes и Concourse CI.
В следующем докладе взглянем более подробно на Kubernetes и Concourse CI, посмотрим как с помощью этих быстрых и прекрасных инструментов построить Deployment Automation.
Готовые решения Cisco для построения «частного облака»Cisco Russia
Что делать с рутинными операциями над инфраструктурой ЦОД, которые администраторам инфраструктуры приходится выполнять чаще чем один раз в три месяца? Ответ простой – автоматизировать при помощи IaaS-платформы. Что делать с такими же рутинными операциями, которые администраторы приложений вынуждены в свою очередь снова и снова повторять на элементах инфраструктуры, подготовленных с нуля их коллегами "инфраструктурщиками"? Ответ такой же простой – автоматизировать при помощи PaaS платформы. В презентации речь пойдет о готовом решении Cisco, которое позволяет реализовать IaaS и PaaS сценарии автоматизации при помощи продуктов Cisco UCS Director (UCS-D) и Cisco Prime Service Catalog (PSC). Изюминкой готового решения является механизм изящной и бесшовной интеграции между IaaS (UCS-D) и PaaS (PSC) платформами Cisco, которая драматически упрощает процесс развертывания и сокращает затраты на внедрение и адаптацию.
Everyone knows that the whole is much bigger than the sum of individual parts. This applies fully to the AiCare service.
The main purpose of the service is to free the user from configuring and controlling MEP systems, minimize design stage activities, and to ensure the facility operates as smoothly as possible. The AiCare service performs intellectual monitoring of such systems as "Smart House", "Smart Building", "Smart City" by automatically performing activities related to the collection, analysis, classification of information about the facility, including user skills and preferences, and control law adaptations in order to ensure maximum efficiency and create a comfortable environment.
The service is based on methods for the automatic merger of different components under a single control platform:
• techniques for the coordinated automated control of the facility's heterogeneous MEP systems;
• systems for the accumulation and actualization of information on facility user preferences;
• systems for the accumulation and actualization of information on physical properties of facility elements;
• methods for the statistical analysis of incoming information and synthesis of platform control laws;
• mechanisms for the individual adaptation of control laws as information is compiled on the facility and its users.
This approach results in a synergy — a brand-new level of coordinated control efficiency. Control laws created by the service are coordinated with the actual composition of the facility's systems, their behavior and the users' actions over time, and they automatically adapt as changes occur.
The service, provided in the external control mode, complements existing possibilities of the facility and ensures a whole new level of productivity and efficiency of its systems. An innovative approach to big data processing and the use of "cloud computing" for resource-intensive mathematical control models provides a user-friendly, secure, highly productive and resource efficient environment that requires minimum management by the facility's user.
Из каких элементов Citrix предлагает строить облачные решения. От частных к гибридным и далее к публичным. История успеха - Университет Сан-Пауло (Облако для более чем 100 000 студентов)
Улучшить портативность приложений без необходимости редизайна во время миграции является одной из важнейших задач DevOps. Из этой презентации вы узнаете как работает и какие проблемы решает живая миграция Jelastic, как можно упростить и ускорить процесс миграции, а также в полной мере использовать все преимущества контейнеров и вертикального масштабирования.
VI Конференция IT-Аутсорсинг.
Подробнее о мероприятии http://www.croc.ru/action/partners/detail/2508/
Презентация Руслана Заединова, заместителя генерального директора, руководителя направления центров обработки данных, КРОК
2. План
• Что такое OpenStack?
• Что такое Workflow?
• Что такое Mistral?
• Q & A
2
3. • Должно быть интересно:
• DevOps инженерам
• Разработчикам распределенных систем
• Администраторам облаков
• Ценителям прекрасного
• Скорее всего будет интересно
• Любому программисту
3
Для кого эта презентация
4. • Задачи:
• Интеграция систем
• Управление ресурсами облака
• Автоматизация
• Построение отчётов
• Разные способы запуска (таймер, CPU 100%)
• Одна точка управления и мониторинга
4
Зачем?
8. • OpenSource ПО для
построения облаков
• Одно из самых
быстрорастущих сообществ
8
OpenStack
9. • Возраст ~ 5 лет
• Несколько работающих публичных облаков
• Десятки работающих приватных облаков
• Сотни миллионов долларов ежегодно
9
Текущий статус OpenStack
10. on crash
• Создать VM
• Настроить VM
• Извлечь ssh pub key
• Создать block storage
• Добавить в DNS
• Добавить в LB
• Добавить в App Group
10
Задача 1: Автомасштабирование
12. Nova
1. создать(имя, образ)
2. VM id
> 30 sec
3. найти образ
• OS в процессе загрузки
• Внешний IP не присвоен
12
Секундочку: а что значит“создать VM”?
13. • Ожидание создания VM
• Регистрация в Nova
• Готовая к работе OS
• Присвоить внешний IP
• Добавить block storage
• Обработка ошибок
• Удаление VM
• Оповещение
13
Чего не хватает?
20. 20
Из Википедии:
“… A workflow manages and monitors the state of activities,
such as the processing and approval of a loan application
form, and determines which new activity to transition to
according to defined processes (workflows).” *
А если серьёзно?
21. 21
Из Википедии:
“A workflow engine is a software application that defines a
process, the rules governing process decisions, and routes
information.”
А если серьёзно?
22. 22
Из Википедии:
“A workflow management system (WfMS) is a software
system for the set-up, performance and monitoring of a
defined sequence of tasks, arranged as a workflow” **
А если серьёзно?
24. 24
Workflow это:
• Задачи
• Переходы
• Граф
• Состояние
• Результат
• Данные
• Асинхронность
Попробуем проще
25. 25
• REST API
• Язык Workflow
• Запуск
• По требованию
• По событию
• Управление Workflow
• Наблюдение
• Вызов сервисов облака
• Управление состоянием
Ключевые идеи Workflow сервиса
26. 26
Task 1
Task 2
Task 3
• Прогресс
• История выполнения
• Наглядность
• Хранение результата
• Эффективное исправление ошибок
Почему состояние так важно?
27. • jBPM
• Activiti
• BizTalk Server
• Amazon Simple Workflow
• Mac OS Automator
27
Примеры Workflow движков
29. 29
• Простой язык Workflow на YAML
• Гибкая архитектура:
• Пополняемая библиотека Actions
• Повторное использование Workflow и Actions
• Параллельность (fork)
• Синхронизация (join)
• Политики запуска задач (retry, timeout и т.д.)
• Способы запуска
• По требованию
• По событию
Ключевые особенности Mistral
31. 31
• Workflow
• состояние и результат
• Task
• вызов action или workflow
• состояние и результат
• Action
• std.http url=“http://my.website.org”
• Trigger
Основные понятия Mistral
34. 34
Создать
VM 1
Создать
VM 2
Создать
VM 50
Настроить
VM 1
Настроить
VM 2
Настроить
VM 50
Вычислить
Вычислить
Вычислить
Построить
отчёт
Отослать
email
Join
А что же с задачей?
35. 35
• Mistral работает как “клей”:
• Надёжное связывание скриптов
• Передача данных
• Состояние
• Параллелизм
• Синхронизация
Скрипты всё же можно использовать!
36. 36
• Интеграция систем
• Оркестрация
• Управление ресурсами облака
• Автоматизация
• Алгоритмы развёртывания ПО
• Distributed/Cloud Cron
Когда нужно использовать Mistral
38. Технические данные
• Возраст проекта 1 год и 3 месяца
• ~ 100 000 строк кода
• 4 подпроекта
o https://github.com/stackforge/mistral
o https://github.com/stackforge/python-mistralclient
o https://github.com/stackforge/mistral-extra
o https://github.com/stackforge/mistral-dashboard
• ~ 60 блюпринтов на Launchpad
38