- Почему мы выбрали .NET Core качестве основной платформы для нашего продукта
- команда мечты от разработчиков Java, которая начала писать на .NET Core;
- мониторинг системы, поиск запросов и другие диагностические задачи.
Преждевременная оптимизация архитектуры / Евгений Потапов, Антон Баранов (ITS...Ontico
Работа в высоконагруженных проектах всегда была такой сферой деятельности, где можно в рамках решения прикладных задач находить и применять сложные и интересные решения.
К сожалению, очень часто во главу угла ставится не надежное решение поставленной задачи, а именно применение сложного и интересного решения, которое даст специалисту новый опыт и удовольствие от сложных архитектур.
В своем докладе я хочу пройтись по тем стандартным "набитым шишкам", которые мы встречаем в своей работе, когда сложное, новое и интересное решение не означает стабильность системы.
1. Когда "интересно" не значит "правильно"?
1.1. Специфика развития высоконагруженного проекта.
1.2. Требования бизнеса и современные технологии.
1.3. Типичные "сомнительные" решения.
2. Проблемы в архитектуре отказоустойчивых систем.
2.1. Ошибки в планировании резервирования.
2.2. Ошибки в планировании системы выкладок.
2.3. Ошибки в архитектурах систем хранения данных.
3. Проблемы в архитектуре систем, рассчитанных на высокую нагрузку.
3.1. Ошибки в планировании мощностей системы.
3.2. Ошибки в планировании возможностей масштабирования системы.
3.3. Ошибки в архитектурах систем хранения данных.
- Почему мы выбрали .NET Core качестве основной платформы для нашего продукта
- команда мечты от разработчиков Java, которая начала писать на .NET Core;
- мониторинг системы, поиск запросов и другие диагностические задачи.
Преждевременная оптимизация архитектуры / Евгений Потапов, Антон Баранов (ITS...Ontico
Работа в высоконагруженных проектах всегда была такой сферой деятельности, где можно в рамках решения прикладных задач находить и применять сложные и интересные решения.
К сожалению, очень часто во главу угла ставится не надежное решение поставленной задачи, а именно применение сложного и интересного решения, которое даст специалисту новый опыт и удовольствие от сложных архитектур.
В своем докладе я хочу пройтись по тем стандартным "набитым шишкам", которые мы встречаем в своей работе, когда сложное, новое и интересное решение не означает стабильность системы.
1. Когда "интересно" не значит "правильно"?
1.1. Специфика развития высоконагруженного проекта.
1.2. Требования бизнеса и современные технологии.
1.3. Типичные "сомнительные" решения.
2. Проблемы в архитектуре отказоустойчивых систем.
2.1. Ошибки в планировании резервирования.
2.2. Ошибки в планировании системы выкладок.
2.3. Ошибки в архитектурах систем хранения данных.
3. Проблемы в архитектуре систем, рассчитанных на высокую нагрузку.
3.1. Ошибки в планировании мощностей системы.
3.2. Ошибки в планировании возможностей масштабирования системы.
3.3. Ошибки в архитектурах систем хранения данных.
Автоматизация нагрузочного тестирования в связке JMeter + TeamСity + Grafana ...Positive Hack Days
1. Описание старого процесса сбора данных о тестах: как было до, что хорошего, что плохого
2. Influxdb, как хранилище time-series данных,
3. Zabbix - мониторинг нагрузочных стендов: windows и linux агенты, активный сбор данных, autodiscovery виртуальных машин в esx
4. Grafana, как способ превратить графики и дашборды в конфетку
5. Автоматизация нагрузки от пользователей через web-UI при помощи Jmeter, отображение статистики в реальном времени, CI в Teamcity
Как не положить тысячи серверов с помощью системы централизованного управлени...Ontico
В 2012 году мы начали внедрение CFEngine в нашу инфраструктуру. Переход на централизованное управление конфигурацией в проектах такого масштаба подобен ремонту - его невозможно закончить, его можно только прекратить. И уже весной 2013 года (в день 404 ошибки и международного дня Интернета) этот "ремонт" превратился в катастрофу и был остановлен. После 3 суток недоступности портала нам пришлось изобрести схему, которая бы физически ограничивала возможность повторения катастрофы. Схема включает в себя тестирование политик на тестовых серверах различной важности и конфигурации. "Маринование" в этой тестовой среде сопровождается автоматизированным контролем характеристик нагрузки этих серверов. Далее происходит обязательный ревью и плавное распространение последовательно по всем датацентрам.
В докладе будет рассказано:
1. почему мы выбрали CFEngine, а не Chief или Puppet;
2. как мы научили CFEngine быть дружелюбным (примеры политик и выдержки из библиотеки);
3. 100500 предпринятых мер, что бы не повторить "день 404" и соблюсти баланс между безопасностью и удобством;
4. как ещё можно использовать системы управления серверами.
SAM за 7 шагов. Рецепт для небольших компанийValery Bychkov
21 июня в сообществе Смартсорсинг прошел вебинар «SAM за 7 шагов. Рецепт для небольших компаний» на котором Дмитрий Исайченко (Cleverics), рассказал о том, как организовать процесс управления активами ПО в небольшой компании. Весь вебинар – рассказ о том, как в компании Cleverics решали задачи учёта ПО, инвентаризации, управления лицензионными соглашениями и т.д. Так что, никаких абстрактных теорий и рекомендаций – только практический опыт.
Инструментарий для создания дистрибутивов продуктов | Владимир СелинPositive Hack Days
1. Что такое дистрибутив большого продукта?
2. Проблема: знаниями о процессе установки продукта владеет малое число людей.
3. Шаблоны + DSL - решение всех проблем!
WebSite Security Day 2016 - Мониторинг e-commerceСергей Обухов
Нашёл одну из первых своих презентаций) 2016 год
WebSite Security Day https://protosecurity.ru/novosti/website-security-day-2016/
С тех пор уровень презентаций и выступлений сильно прокачался
Мониторинг e-commerce проектов
Современные флэш-технологии – от концепции к преимуществам использования // А...IBS
Конференция "InterLab Forum. Системная интеграция нового поколения" прошла в октябре 2015 года. В центре внимания форума были новые решения в области ИТ-инфраструктуры и информационной безопасности, недавно появившиеся на российском рынке и прошедшие апробацию в IBS.
Подробности: http://www.ibs.ru
Построение приложения с помощью архитектуры микросервисов. Плюсы и минусы применения на практике на примере реального проекта.
Презентация подготовлена по материалам выступления Виталия Квятковского на витебской конференции “Developer's Software Conference” (31.10.2015). Запись выступления: https://events.epam.com/events/dsc2015/talks/102.
Путь мониторинга: модульность, гибкость, devops / Всеволод Поляков (Grammarly)Ontico
Почти год назад мы завершили проект по универсальному мониторингу и в процессе приобрели кучу секретных знаний и умений, которыми хотим поделиться:
* как сделать мониторинг простым, отказоустойчивым и горизонтально масштабируемым;
* как понять, что важно, что не важно, а что важно, но чуть-чуть;
* полезные логи: конвертация логов в метрики и обратно;
* как диагностировать реальные проблемы и отличить их от ложной тревоги (на примере связки js-фронтенд + балансеры + java-бэкенд);
* и, конечно же, как внедрить практики DevOps посредством мониторинга (и подготовить разработчиков к тому, что они ответственны за алерты).
Стек мониторинга: sensu, graphite, cassandra, logstash, heka, influxdb, elsticsearch, chef, statsd, nginx.
Стек поддержки: js, java, erlang, lisp, python, ruby, nginx, mysql, haproxy
ASD Technologies: внедрение enterprise-grade облака для SoftbankMirantis IT Russia
Андрей Горемульта из ASD Technologies рассказал о внедрении enterprise-grade облака для Softbank, чтобы проиллюстрировать процесс разворачивания OpenStack на Docker. В рамках своего выступления он уделил внимание сравнению OpenStack и CloudStack, убедительно доказав преимущества первого перед вторым. Рассказал о причинах использования Docker-контейнеров, о том, как автоматизировать конфигурирвоание сервисов внутри контейнеров. И, наконец, показал, как все эти теоретические знания пригодились на практике.
AT Consulting: внедрение OpenStack в корпоративной средеMirantis IT Russia
Михаил Бараблин, AT Consulting, вернулся к разговору об интеграции OpenStack в корпоративный ИТ-ландшафт. Он показал примеры типовых инсталляций, сформулировал сложность и прелести OpenStack. Рассказал о двух основных подходах к внедрению OpenStack: vanilla way – минимальное изменение продуктов, следование RoadMap продуктов и tech centric way – кастомизация управляющего продукта. В конце он предложил несколько советов тем, кто собирается начать процесс внерения OpenStack в рамках корпоративной ИТ-инфраструктуры.
Представитель Cisco, Дмитрий Хороших, продемонстрировал модель групповых политик сети для OpenStack. В начале выступления он сравнил ожидания клиентов и рыночную реальность по трем параметрам: стоимость, гибкость и зависимость от вендора. Далее Дмитрий предложил набор инструментов для определния степени готовности инфраструктуры к внедрению OpeStack, коснулся сценариев использования данной платформы. В отличие от Валерия, он выделил шесть типовых ситуаций, в которых OpenStack является наиболее адекватным решением: выбор «хорошего» приложения, создание sandbox environment, создание development environment, развертывание среды для обучения, запуск продуктов, разработанных внутри компании и интеграция OpenStack-based продуктов с традиционными системами. После этого он сформулировал некоторые архитектурные особенности OpenStack и перешел к вариантам использования OpenStack с ACI.
Jelastic - гибридная платформа как сервис(PaaS) для компаний- разработчиков ПО на Java, Ruby, .NET, ASP.NET, PHP, Node.JS и Docker. Позволяет строить автомасштабируемые, отказоустойчивые среды для приложений, управлять множеством сред для разработки и тестирования
"How to build powerful CI / CD based on GitLab and Docker", Aleksandr Matkovs...Provectus
Aleksandr Matkovskiy – Head of IT Department lives and works with the motto "Scaling and load balancing is our all!". Therefore, he has 3 sons and dreams to find DEV for his OPS.
You will be able to see how the CI / CD was created and saved our lives. From concept to the final product.
Vladislav Anikin – Team Leader & Software Architect, specializing in SAAS flexible and scalable solutions for business. Driving DDD/TDD oriented squad of awesome SOLID developers.
You will be able to see how the CI / CD was created and saved our lives. From concept to the final product.
Автоматизация нагрузочного тестирования в связке JMeter + TeamСity + Grafana ...Positive Hack Days
1. Описание старого процесса сбора данных о тестах: как было до, что хорошего, что плохого
2. Influxdb, как хранилище time-series данных,
3. Zabbix - мониторинг нагрузочных стендов: windows и linux агенты, активный сбор данных, autodiscovery виртуальных машин в esx
4. Grafana, как способ превратить графики и дашборды в конфетку
5. Автоматизация нагрузки от пользователей через web-UI при помощи Jmeter, отображение статистики в реальном времени, CI в Teamcity
Как не положить тысячи серверов с помощью системы централизованного управлени...Ontico
В 2012 году мы начали внедрение CFEngine в нашу инфраструктуру. Переход на централизованное управление конфигурацией в проектах такого масштаба подобен ремонту - его невозможно закончить, его можно только прекратить. И уже весной 2013 года (в день 404 ошибки и международного дня Интернета) этот "ремонт" превратился в катастрофу и был остановлен. После 3 суток недоступности портала нам пришлось изобрести схему, которая бы физически ограничивала возможность повторения катастрофы. Схема включает в себя тестирование политик на тестовых серверах различной важности и конфигурации. "Маринование" в этой тестовой среде сопровождается автоматизированным контролем характеристик нагрузки этих серверов. Далее происходит обязательный ревью и плавное распространение последовательно по всем датацентрам.
В докладе будет рассказано:
1. почему мы выбрали CFEngine, а не Chief или Puppet;
2. как мы научили CFEngine быть дружелюбным (примеры политик и выдержки из библиотеки);
3. 100500 предпринятых мер, что бы не повторить "день 404" и соблюсти баланс между безопасностью и удобством;
4. как ещё можно использовать системы управления серверами.
SAM за 7 шагов. Рецепт для небольших компанийValery Bychkov
21 июня в сообществе Смартсорсинг прошел вебинар «SAM за 7 шагов. Рецепт для небольших компаний» на котором Дмитрий Исайченко (Cleverics), рассказал о том, как организовать процесс управления активами ПО в небольшой компании. Весь вебинар – рассказ о том, как в компании Cleverics решали задачи учёта ПО, инвентаризации, управления лицензионными соглашениями и т.д. Так что, никаких абстрактных теорий и рекомендаций – только практический опыт.
Инструментарий для создания дистрибутивов продуктов | Владимир СелинPositive Hack Days
1. Что такое дистрибутив большого продукта?
2. Проблема: знаниями о процессе установки продукта владеет малое число людей.
3. Шаблоны + DSL - решение всех проблем!
WebSite Security Day 2016 - Мониторинг e-commerceСергей Обухов
Нашёл одну из первых своих презентаций) 2016 год
WebSite Security Day https://protosecurity.ru/novosti/website-security-day-2016/
С тех пор уровень презентаций и выступлений сильно прокачался
Мониторинг e-commerce проектов
Современные флэш-технологии – от концепции к преимуществам использования // А...IBS
Конференция "InterLab Forum. Системная интеграция нового поколения" прошла в октябре 2015 года. В центре внимания форума были новые решения в области ИТ-инфраструктуры и информационной безопасности, недавно появившиеся на российском рынке и прошедшие апробацию в IBS.
Подробности: http://www.ibs.ru
Построение приложения с помощью архитектуры микросервисов. Плюсы и минусы применения на практике на примере реального проекта.
Презентация подготовлена по материалам выступления Виталия Квятковского на витебской конференции “Developer's Software Conference” (31.10.2015). Запись выступления: https://events.epam.com/events/dsc2015/talks/102.
Путь мониторинга: модульность, гибкость, devops / Всеволод Поляков (Grammarly)Ontico
Почти год назад мы завершили проект по универсальному мониторингу и в процессе приобрели кучу секретных знаний и умений, которыми хотим поделиться:
* как сделать мониторинг простым, отказоустойчивым и горизонтально масштабируемым;
* как понять, что важно, что не важно, а что важно, но чуть-чуть;
* полезные логи: конвертация логов в метрики и обратно;
* как диагностировать реальные проблемы и отличить их от ложной тревоги (на примере связки js-фронтенд + балансеры + java-бэкенд);
* и, конечно же, как внедрить практики DevOps посредством мониторинга (и подготовить разработчиков к тому, что они ответственны за алерты).
Стек мониторинга: sensu, graphite, cassandra, logstash, heka, influxdb, elsticsearch, chef, statsd, nginx.
Стек поддержки: js, java, erlang, lisp, python, ruby, nginx, mysql, haproxy
ASD Technologies: внедрение enterprise-grade облака для SoftbankMirantis IT Russia
Андрей Горемульта из ASD Technologies рассказал о внедрении enterprise-grade облака для Softbank, чтобы проиллюстрировать процесс разворачивания OpenStack на Docker. В рамках своего выступления он уделил внимание сравнению OpenStack и CloudStack, убедительно доказав преимущества первого перед вторым. Рассказал о причинах использования Docker-контейнеров, о том, как автоматизировать конфигурирвоание сервисов внутри контейнеров. И, наконец, показал, как все эти теоретические знания пригодились на практике.
AT Consulting: внедрение OpenStack в корпоративной средеMirantis IT Russia
Михаил Бараблин, AT Consulting, вернулся к разговору об интеграции OpenStack в корпоративный ИТ-ландшафт. Он показал примеры типовых инсталляций, сформулировал сложность и прелести OpenStack. Рассказал о двух основных подходах к внедрению OpenStack: vanilla way – минимальное изменение продуктов, следование RoadMap продуктов и tech centric way – кастомизация управляющего продукта. В конце он предложил несколько советов тем, кто собирается начать процесс внерения OpenStack в рамках корпоративной ИТ-инфраструктуры.
Представитель Cisco, Дмитрий Хороших, продемонстрировал модель групповых политик сети для OpenStack. В начале выступления он сравнил ожидания клиентов и рыночную реальность по трем параметрам: стоимость, гибкость и зависимость от вендора. Далее Дмитрий предложил набор инструментов для определния степени готовности инфраструктуры к внедрению OpeStack, коснулся сценариев использования данной платформы. В отличие от Валерия, он выделил шесть типовых ситуаций, в которых OpenStack является наиболее адекватным решением: выбор «хорошего» приложения, создание sandbox environment, создание development environment, развертывание среды для обучения, запуск продуктов, разработанных внутри компании и интеграция OpenStack-based продуктов с традиционными системами. После этого он сформулировал некоторые архитектурные особенности OpenStack и перешел к вариантам использования OpenStack с ACI.
Jelastic - гибридная платформа как сервис(PaaS) для компаний- разработчиков ПО на Java, Ruby, .NET, ASP.NET, PHP, Node.JS и Docker. Позволяет строить автомасштабируемые, отказоустойчивые среды для приложений, управлять множеством сред для разработки и тестирования
"How to build powerful CI / CD based on GitLab and Docker", Aleksandr Matkovs...Provectus
Aleksandr Matkovskiy – Head of IT Department lives and works with the motto "Scaling and load balancing is our all!". Therefore, he has 3 sons and dreams to find DEV for his OPS.
You will be able to see how the CI / CD was created and saved our lives. From concept to the final product.
Vladislav Anikin – Team Leader & Software Architect, specializing in SAAS flexible and scalable solutions for business. Driving DDD/TDD oriented squad of awesome SOLID developers.
You will be able to see how the CI / CD was created and saved our lives. From concept to the final product.
В рамках доклада я хотел бы рассмотреть сложности, которые мы испытываем с построением инфраструктуры распределенных систем.
Можно ли строить приложения и не думать о серверах и контейнерах? Насколько это будет дорого?
Ответить на эти вопросы помогут принципы «Бессерверной архитектуры». На простых примерах мы рассмотрим из чего состоит приложение, не зависящее от серверов. А также, рассмотрим возможности, которые предоставляют популярные провайдеры облачных сервисов, для построения таких приложений.
Высокопроизводительные приложения на базе Windows Azure. Пример реального про...UNETA
Презентация к докладу: «Высокопроизводительные приложения на базе Windows Azure. Пример реального проекта». Докладчик: Александр Фещенко – MVP (SQL Azure), .Net Team Lead в DCT.
В докладе будут рассмотрены методики поиска узких мест в веб-приложениях, их устранения, а также способы повышения производительности при помощи облачной инфраструктуры Windows Azure.
Типовая сборка и деплой продуктов в Positive TechnologiesPositive Hack Days
1. Проблемы в построении CI процессов в компании
2. Структура типовой сборки
3. Пример реализации типовой сборки
4. Плюсы и минусы от использования типовой сборки
Владимир Никонов "Вызовы при разработке enterprise продукта"Fwdays
В докладе мы рассмотрим этапы развития приложения, начиная от монолитного Web приложения, до распределенной платформы по управлению бизнес-процессами. Покажем этапы развития, задачи и вызовы, которые возникали на каждом их них. Проанализируем различные аспекты, влияющие на развитие архитектуры, такие как бизнес-требования, технологические тренды и возможные ограничения.
The practical story telling how Devops changed the culture of quality in the Bank. Recently Devops became mainstream topic. But only few people have a deep understanding how to apply it to the process of software quality assurance. Some believe that the Devops kills manual testing.
I will talk about changes it makes to the role of QA engineers themself. The discussion main point is NOT about tools or technologies. It’s NOT about the “silver bullet” for your problems with the quality of products.
Instead, I will show you an integrated approach which we used for quality assurance. It allowed us to significantly reduce the cost of finding and fixing defects. This approach has also accelerated the development and delivery value to our customers and made the whole process more transparent and predictable.
Build private clouds with ProxmoxVE distributiveДима Ванькевич
Specifics and purposefullness of private cloud usage is discussed. Demands to the cloud are reviewed, as one one of the possible solutions, based on the Proxmox Virtual Environment distributive.
http://summer.lvee.org/en/articles/281
Как за $5 и несколько вечеров сделать интегрированную новостную платформуAndrew Gubskiy
В докладе рассказывается об опыте создания информационной платформы //devdigest. В частности, поднимаются такие вопросы:
– Где и как размещен сайт?
– Как реализована интеграция с Telegram и Facebook?
– Как происходит определение языка публикации?
Среди рассматриваемых сервисов и технологий будут: GitHub, Digital Ocean, Azure WebApp, LetsEncrypt, Continuous Delivery, Azure Cognitive Services, Telegram и Facebook.
Потребности:Надежное, экономически выгодное и простое в обращении решение для резервного копирования
Среда: VMware и Hyper-V, более, чем10 TБданных.
Предыдущее решение:
Очень дорогое и сложное решение для резервного копирования
Проблема: нехватка бюджета на нужды ИТ
Область применения:Социальные услуги.
Потребности:Сократить время и сложность бэкапа виртуальных машин.
Среда:45 ВМ, 1.5 TБданных, Windows Domain Controller, Lotus Notes, NAS
Область применения:ИТ услуги
Потребности:надежная система резервного копирования, нацеленная на сокращение времени простоя в случае отказа сервера.
Среда:множествоГипервизоров, WEBсайтов, ERP систем.
3. Чтотакое
vistories
vi stories – система контекстной рекомендации видео.
Сверхзадача:
• анализ контента страницы и подбор видео наиболее точно
соответствующего контенту
Требования к системе:
• минимальное время для анализа страницы,
• минимальное время для подбора видео.
5. Основные
проблемы
"Тяжеловесные" сервера на Windows Server – потребляют
много ресурсов
Отсутствие возможности быстрого масштабирования API
(частично, как следствие первой проблемы), частично - в
отсутствии удобного инструмента оркестрации.
Предполагалась разработка ряда легковесных сервисов на
Node.js/Go для реализации. Как следствие –
необходимость поддерживать несколько стеков
технологий.
Средства разработки под Mac OS / Linux
7. Инфраструктура
Контейнеризация сервисов (Docker, Kubernetes)
Быстрое масштабирования API (снова Kubernetes)
Гомогенная среда – практичеки все на .NET Core
Преимущества .NET Core
8. .NET Core
способствует
правилу: меньше
кода- больше
пользы
▪ Вместо Windows Services – простые консольные
приложения. Удобнее отладка. Запуск как cron job
▪ В любое приложения всегда можно быстро добавить HTTP
Endpoint (да, это очень просто)
▪ Удобнее писать небольшие, компактные сервисы:
GenericHost, WebHost, родной dependency injection
Преимущества .NET Core
9. Что также
получиланаша
команда
Наследует простоту, гибкость и подходы классического
.NET
Кроссплатформенное решение
Возможность писать на C# под .NET с использованием
знакомых инструментов для разработчиков из других
“культур" и платформ
Преимущества .NET Core
10. Новые члены
команды - java-
разработчики
Rider – IDE для разработки под .NET
DataGrip – IDE для работы с базами данных
Преимущества .NET Core
12. Система
сегодня
Обрабатываем несколько миллионов запросов в день
Масштабирование сервисов - дело нескольких минут
Минимум инструментального кода, максимум кода для
бизнес-логики