Куда движется управление инфраструктурой

Обзорный доклад о DevOps, современных системах управления конфигурацией и ближайшем будущем

Technology

Куда движется
управление
инфраструктурой
Иван Евтухович

О чем доклад
• Про DevOps

• Про системы управления конфигурацией

• Про неизменный сервер

• Ближайшее будущее

DevOps
• Культура (Culture)

• Автоматизация (Automation)

• Измерения (Measurement)

• Обмен опытом (Sharing)

Автоматизация
• Системы управления конфигурацией

• Непрерывная интеграция (Continuous
Integration)

• Непрерывная поставка (Continuous
Delivery)

Измерения
• Sensu/Riemann

• API в Zabbix

• Центральное логгирование Graylog/
Logstash

Обмен опытом
• Открытая и честная атмосфера

• Postmortem/Ретроспективы

Системы управления
конфигурацией
• Conﬁguration Management System

• Когда они нужны и почему?

• Чем не подходят bash-скрипты

Популярные
• Chef

• Puppet

• Ansible

• SaltStack

• CFEngine

Тренды
• SaaS/Консалтинг

• Поддержка Windows

• http://msopentech.com/blog/project-
categories/devops/

• Интеграция с облаками

Неизменный сервер
• Immutable Server (Phoenix Server)

• Конфигурация разъезжается
(Conﬁguration Drift)

• Образ — как артефакт сборки

• Что делать с БД и т.д.?

Системы
• Packer (http://www.packer.io/)

• Docker (https://www.docker.io/)

• Serf (http://www.serfdom.io/)

• etcd (http://coreos.com/using-coreos/etcd/)

Ближайшее будущее
!
• Удешевление оборудования

• Увеличение специализации

• Управление зависимостями в CMS

• Больше систем с “одной кнопкой”

Куда еще посмотреть?
• NixOS https://nixos.org/

• OpenStack http://www.openstack.org/

• CloudStack http://cloudstack.apache.org/

Вопросы?
ivan@express42.com

twitter: evtuhovich

blog: evtuhovich.ru

Прошло время, когда DevOps не был еще модным, началось время карго-культов и безбашенных внедрений. В докладе я расскажу про основные ошибки перехода компании к DevOps из моей практики, покажу как не надо использовать инструменты и как не надо организовывать команды, а также многое другое.

DevOps в Agile среде. Как, почему и когда инструменты помогают.

Alexander Titov

Модное слово DevOps уже успело стать заезженным базвордом. Сотни компаний ищут DevOps инженеров, потому что искать системного администратора уже не модно. Я расскажу вам про свое понимание DevOps, как технические инструменты помогают делать Agile еще более гибким. Мы разберем основные принципы DevOps через призму донесения смысла без потерь: - Особая культура - Автоматизация - Изменения через измерения - Распространение знаний и практик Я поделюсь своим 5ти летним опытом в обеспечении повторяемости, мониторинге, логировании с примерами из реальной жизни. Александр Титов - управляющий партнер в компании "Экспресс 42", мы внедряем DevOps практики и инструменты, помогаем эксплуатировать интернет-проекты. В 2009, 2010 годах был техническим директором первого облачного хостинга в России Скалакси. В 2010 - 2012 прошел увлекательный путь поглощений вместе с компанией Qik - путь из эксплуатации быстрорастущего стартапа к эксплуатации в крупной международной компании Microsoft.

20 апреля, DEV {highload} - конференция о Highload веб-разработке, "Инженерны...

IT-Portfolio

20 апреля DEV {highload} - конференция о Highload веб-разработке, "Инженерный дзен. DevOps на практике", Александр Титов (DevOps-эксперт "Экспресс 42") Аннотация Разработать программное обеспечение в веб-индустрии - это еще не все, надо его еще выкатить в производственное окружение и при этом не разочаровать пользователей. Обычно этот процесс происходит раз в месяц или две недели и сопровождается стрессом для всех участников, а часто заканчивается очень неприятной процедурой отката изменений, далеко не всегда безболезненной. Проведем параллель с эволюцией в природе, разве там происходит так? Что-то меняется слишком резко и происходит откат? Нет, природа плавно меняет себя, делая небольшие изменения и пропуская их через проверку временем. Инженерам, работающим в сфере программного обеспечения, дан уникальный шанс, они могут вносить изменения в работающий продукт каждый день, но для этого надо выполнить несколько условий: - наладить в команде доверительные отношения; - постоянно интегрировать продукт в тестовой среде; - поддерживать непрерывный контекст при интеграции; - использовать подходящие инструменты для управления конфигурацией и деплоя. Доклад будет про то, как подобрать подходящие инструменты и процессы для работы и начать регулярно выкатывать ваш продукт. В мире принято такие практики называть DevOps. Биография Совладелец компании по внедрению DevOps-инструментов и процессов "Экспресс 42". Александр был техническим директором первого облака в России "Оверсан-Скалакси", потом руководил отделом системного администрирования в компании Скайп, подготовил инфраструктуру для запуска проекта видеосообщений.

DevOps модное слово или следующая ступень эволюцииAndrey Rebrov

Путь мониторинга: модульность, гибкость, devops / Всеволод Поляков (Grammarly)

Почти год назад мы завершили проект по универсальному мониторингу и в процессе приобрели кучу секретных знаний и умений, которыми хотим поделиться: * как сделать мониторинг простым, отказоустойчивым и горизонтально масштабируемым; * как понять, что важно, что не важно, а что важно, но чуть-чуть; * полезные логи: конвертация логов в метрики и обратно; * как диагностировать реальные проблемы и отличить их от ложной тревоги (на примере связки js-фронтенд + балансеры + java-бэкенд); * и, конечно же, как внедрить практики DevOps посредством мониторинга (и подготовить разработчиков к тому, что они ответственны за алерты). Стек мониторинга: sensu, graphite, cassandra, logstash, heka, influxdb, elsticsearch, chef, statsd, nginx. Стек поддержки: js, java, erlang, lisp, python, ruby, nginx, mysql, haproxy

SECON'2016 Евтухович Иван, Эксплуатация завтрашнего дня: от DevOps к NoOps

SECON

За последние годы у ИТ-сообщества накопился опыт использования систем управления конфигурацией и работой в организации по методологии DevOps. Но растущие вызовы показывают, что и этот подход имеет свои недостатки. Доклад расскажет о том, какие контейнеры бывают и почему они победят, что придет на смену облакам, и какие практики стоит начать внедрять сегодня, чтобы завтра не остаться без работы.

Идея доклада — рассказать об использовании Jenkins как не типичного инструмента для построения распределенной сборки продукта, зарабатывающего миллионы долларов. Мы поделимся секретами его адаптации под сборку билдов сложных систем/продуктов с многими компонентами и ускорения в разы этой задачи. Наша проблема: линейная сборка продукта занимает 8 часов. А Jenkins «из коробки» не умеет собирать сложные иерархии. При этом писать код самостоятельно не хочется. В итоге мы придумали, как использовать существующий инструмент, пройдясь по нему напильником. Кому будет интересно: Эти знания могут помочь людям, которые хотят построить эффективный CI, но не хотят тратить много времени на исследования. Мы выложим наш код и материалы на GitHub. Это будет довольно практично. Лайфхаки: Используем Build Flow + Groovy скрипты чтобы оркестрировать сложную иерархию с параллельными ветвями и собирать результаты Правильное использование префиксов в названиях job-ов помогают автоматизировать группировку по бранчам Переиспользуем окружения сборки много раз, не удаляя их Предыдущий пункт в итоге оставляет за собой кучу мусора, которую мы периодически очищаем при помощи системных Groovy скриптов по job префиксу Группировка большого количества job-ов в проекты и бранчи с использованием Nested View Дамп и разворачивание job-ов из системы контроля версий по шаблону Ну и взгляд в будущее: автоматический анализ билд проблем. http://2014.404fest.ru/reports/jenkins/

Devops в .NET проекте

Игорь Зиновьев

Eduard Dautov (Provectus): СКОРИНГ ML МОДЕЛЕЙ В МИКРОСЕРВИСНОЙ АРХИТЕКТУРЕ

Реальный DevOps в энтерпрайзе / Александр Тараторин (Райффайзенбанк)

РИТ++ 2017, Web-scale IT Сonference Зал Владивосток, 5 июня, 18:00 Тезисы: http://webscaleconf.ru/2017/abstracts/2828.html Что такое DevOps? Очередной модный термин? Методология? Набор инструментов? Культурные практики? Для Райффайзенбанка DevOps - микс из всего перечисленного (смешать, но не взбалтывать!), применяемый чтобы: - ускорить разработку и внедрение новых решений не в ущерб качеству; - вовлечь админов в работу девелопмента; - заинтересовать разработчиков жизнеспособностью их творений в реальной жизни. ...

Платформа для поставки счастья в команду QA

Slava Kuznetsov

Самодиагностика сервисов на базе платформы .NET

Andrew Gubskiy

Highload в ВУЗе: идеализм, расчетливый менеджмент или пустые надежды

Artyom Kalichkin

Андрей Чебукин "Построение успешных API"

При создании интерактивного мобильного или веб-приложений нужна серверная часть, которую будет использовать приложение и разработчик этого приложения. Он должен знать маршруты, по которым можно найти методы, их описание, входные параметры и варианты ответов. В идеале хочется, чтобы из API можно было мгновенно сгенерировать клиентский код. А ещё реализация метода всегда может измениться, и нужно предусмотреть версионность, чтобы старые клиенты могли продолжать работать без ошибок. Можно подумать, что реализация этого может занять месяцы, но я покажу, как реализовать это на ASP.NET Core за 20 минут.

Тестируем мобильное приложение в суровых реалиях Интернета

Евгений Остапчук "Tips&Tricks for ASP.NET MVC performance"

Особенности тестирования облачных сервисов

Алексей Рыбак (Badoo)

Всеволод Поляков: “Организованный DevOps”

Большая книга рецептов или часто задаваемые вопросы по управлению сложными пр...Ontico

Большая книга рецептов или часто задаваемые вопросы по управлению сложными си...Ontico

Иван Евтухович — Как перестать релизиться и начать житьDaria Oreshkina

Тестируем инфраструктуру как код

Andrey Tokarchuk

Devconf-2015 Тестируем инфраструктуру как код

Инженерный дзен. Непрерывные изменения (Александр Титов)Ontico

Большая книга рецептов или часто задаваемые вопросы по управлению сложными пр...

Вебинар "Культура DevOps: основы эффективного взаимодействия IT-команд"

Svyatoslav Vereshchak

Вебинар "Культура DevOps: основы эффективного взаимодействия IT-команд" состоялся 16 декабря 2014 года. Темы: – как зарождалась культура DevOps и что лежит в ее основе – по каким качественным и количественным критериям оценивать эффективность IT-команд с точки зрения DevOps – какие существуют типы корпоративных культур и как они влияют на IT-системы и коммуникации – список самых популярных DevOps-инструментов Информация о DevOps сообществе в России http://devopsru.com Видеозапись вебинара http://www.youtube.com/watch?v=-T6FXE34ap0

What's hot

Rootconf-2015 Тестируем инфраструктуру как код

Константин Назаров – Распараллеливание сборки Parallels Desktop для Mac

404fest

Devops в .NET проекте

Игорь Зиновьев

Eduard Dautov (Provectus): СКОРИНГ ML МОДЕЛЕЙ В МИКРОСЕРВИСНОЙ АРХИТЕКТУРЕ

Реальный DevOps в энтерпрайзе / Александр Тараторин (Райффайзенбанк)

Платформа для поставки счастья в команду QA

Slava Kuznetsov

Самодиагностика сервисов на базе платформы .NET

Andrew Gubskiy

Highload в ВУЗе: идеализм, расчетливый менеджмент или пустые надежды

Artyom Kalichkin

Андрей Чебукин "Построение успешных API"

Тестируем мобильное приложение в суровых реалиях Интернета

Евгений Остапчук "Tips&Tricks for ASP.NET MVC performance"

Особенности тестирования облачных сервисов

Алексей Рыбак (Badoo)

Всеволод Поляков: “Организованный DevOps”

What's hot (14)

Rootconf-2015 Тестируем инфраструктуру как код

Константин Назаров – Распараллеливание сборки Parallels Desktop для Mac

Devops в .NET проекте

Eduard Dautov (Provectus): СКОРИНГ ML МОДЕЛЕЙ В МИКРОСЕРВИСНОЙ АРХИТЕКТУРЕ

Реальный DevOps в энтерпрайзе / Александр Тараторин (Райффайзенбанк)

Платформа для поставки счастья в команду QA

Самодиагностика сервисов на базе платформы .NET

Highload в ВУЗе: идеализм, расчетливый менеджмент или пустые надежды

Андрей Чебукин "Построение успешных API"

Тестируем мобильное приложение в суровых реалиях Интернета

Евгений Остапчук "Tips&Tricks for ASP.NET MVC performance"

Особенности тестирования облачных сервисов

Алексей Рыбак (Badoo)

Всеволод Поляков: “Организованный DevOps”

Similar to Куда движется управление инфраструктурой

Большая книга рецептов или часто задаваемые вопросы по управлению сложными пр...Ontico

Большая книга рецептов или часто задаваемые вопросы по управлению сложными си...Ontico

Иван Евтухович — Как перестать релизиться и начать житьDaria Oreshkina

Тестируем инфраструктуру как код

Andrey Tokarchuk

Devconf-2015 Тестируем инфраструктуру как код

Инженерный дзен. Непрерывные изменения (Александр Титов)Ontico

Большая книга рецептов или часто задаваемые вопросы по управлению сложными пр...

Вебинар "Культура DevOps: основы эффективного взаимодействия IT-команд"

Svyatoslav Vereshchak

CodeFest 2012. Титов А. — Инженерный дзен. Непрерывные измененияCodeFest

PostgreSQL - Ups, DevOps..., Алексей Лесовский (PostgreSQL-Consulting)

Автостопом по багтрекингам

Tatiana Borolyuk

автостопом по багтрекингамSergey Oreshkov

Приемы Сontinuous Integration при разработке приложений на Caché

InterSystems CEE

Caché github continuous intergration

InterSystems

владивосток форум производительность_ha

Elena Ometova

Как мы строили Jelastic - облачную платформу (PaaS) нового поколения (Дмитрий...Ontico

Вадим Мадисон "Опыт разработки через микросервисы"

Tanya Denisyuk

Мы начали разработку через микросервисы когда это еще не было трендом, было не ясно - это реально работающий подход или просто очередная модная штука. Не было понимания как это делать правильно, где подводные камни и что за одним словом “микросервисы” по факту стоит куча всего, что придется узнать, изучить и понять. Сейчас у нас большой парк микросервисов, но оперировать ими становится все проще - сказывается опыт. В ходе доклада я поделюсь основными моментами в разработке микросервисов, расскажу как это делаем мы и что для этого используем.

ContinuousdeliveryIvan Evtukhovich

Павел Брылов, Skype

Лучшие практики на практике

Denis Tuchin

Видео: http://www.youtube.com/watch?v=vz0U3jQpHSM Это обзор опыта применения лучших практик разработки программного обеспечения на разных проектах от госзаказов до видеоконференций в командах от 5 до 50 человек. В докладе будут описаны не только практики, но и то, как они применяются на реальных проектах и какие выгоды они действительно приносят.

Similar to Куда движется управление инфраструктурой (20)

Большая книга рецептов или часто задаваемые вопросы по управлению сложными пр...

Большая книга рецептов или часто задаваемые вопросы по управлению сложными си...

Иван Евтухович — Как перестать релизиться и начать жить

Тестируем инфраструктуру как код

Devconf-2015 Тестируем инфраструктуру как код

Инженерный дзен. Непрерывные изменения (Александр Титов)

Большая книга рецептов или часто задаваемые вопросы по управлению сложными пр...

Вебинар "Культура DevOps: основы эффективного взаимодействия IT-команд"

CodeFest 2012. Титов А. — Инженерный дзен. Непрерывные изменения

PostgreSQL - Ups, DevOps..., Алексей Лесовский (PostgreSQL-Consulting)

Автостопом по багтрекингам

автостопом по багтрекингам

Приемы Сontinuous Integration при разработке приложений на Caché

Caché github continuous intergration

владивосток форум производительность_ha

Как мы строили Jelastic - облачную платформу (PaaS) нового поколения (Дмитрий...

Вадим Мадисон "Опыт разработки через микросервисы"

Continuousdelivery

Павел Брылов, Skype

Лучшие практики на практике

More from Ivan Evtukhovich

Развитие DevOps/NoOps инструментов. Что было, что есть, что будет.

Микросервисы: откуда столько шума?

Обновленный и дополненный доклад о микросервисах, специально для конференции DevOpsPro.ru http://www.devopspro.ru/ivan-evtukhovich/?lang=ru Углубил и расширил тему оргдизайна согласно закону Конвея, рассказал про смерть "аналоговых" компаний, и про платформы и DCOS-ы.

Микросервисы: откуда столько шума?

Доклад на конференции Youcon в октябре 2016 года. http://youcon.ru/ В последнее время только ленивый не пишет о микросервисной архитектуре. Но почему вдруг этот достаточно очевидный способ организации ИТ-проектов стал так популярен? В докладе пойдет речь о том, что такое микросервисная архитектуры, об ее принципах и устройстве и преимуществах, которые она предоставляет, будет рассказано об основных компонентах, которые она включает в себя. Также будет дан краткий экскурс в контейнеры и Docker в разрезе их использования в микросервисной архитектуре. Но любые преимущества не бывают бесплатными, также в докладе пойдет речь о том, какие недостатки несет в себе данный подход.

Повторяемость для котиков: библиотекарь и книжная полка

Поговорим о проблемах командного изменения конфигурации, а также управления версиями и зависимостями сторонних библиотек (в терминах Chef — кукбуков): • где хранить сторонние кукбуки; • как сделать, чтобы у всех инженеров был одинаковый «срез» конфигурации; • как обновлять свои и сторонние кукбуки с учетом их зависимостей. В докладе описаны два современных инструмента для решения этих проблем: librarian-chef и Berkshelf. Мы сравним их, разберем сильные и слабые стороны, особенности интеграции с системой создания окружений Vagrant. Также посмотрим на практики использования этих инструментов, выработанные в компании «Экспресс 42». Видео есть здесь: http://tech.yandex.ru/events/yagosti/devops/talks/1597/

Нетрадиционное использование Ruby и PostgreSQLIvan Evtukhovich

Vim or die

Git для продолжающихIvan Evtukhovich

Краткое описание Scrum

Распределенные системы контоля версия на примере git