Много внимания уделяется реализации CI/CD процессов и всем уже понятно насколько это важно для успешного развития проектов, насколько это ускоряет процесс разработки и упрощает коммуникацию, но есть часть процесса разработки которая часто остается в тени :) . Это настройка окружения в котором работают разработчики и тестировщики локально. Не редко это только документ с рекомендациями … В моем докладе я постараюсь показать существующие проблемы и предложить пути их решения.
Codeception + Docker + Robo и что из этого вышлоCOMAQA.BY
Параллелизация тестов, а именно: лучший пхп тулл для автоматизации (Codeception); основы Docker контейнирезации; robo - что это и зачем он нам нужен; profit
Готовим Docker для Автоматизации ТестированияCOMAQA.BY
Docker как технология уже давно и интенсивно используется на некоторых проектах. Этот доклад посвящен вариантам использования Docker-а для автоматизации тестирования на таких проектах, таким как: верификация деплоя микросервисов, построение изолированной среды для тестирования, мониторинг состояния продакшена.
Moscow Jenkins Meetup #1. Pipeline для инженеров. Обзор экосистемыOleg Nenashev
Рассказ о Configuration as Code в Jenkins и возможностях Pipeline: DSL, Multi-Branch, Pipeline Model Definition, восстановление после ошибок, параллелизация задач, интеграции. В каком направлении развивается экосистема?
Docker-контейнеризация: от local до productionRoman Kudlay
Мы стремимся придерживаться подхода DevOps, и контейнеризация играет в этом не последнюю роль. В данном докладе я расскажу про то, как docker пронизывает жизненный цикл наших проектов, какие проблемы удалось решить, а какие остались.
Материалы со встречи:
https://getdev.net/Event/docker
Docker: зачем нужен и почему выстрелил? Контейнеры против виртуальных машин - кто лучше? Docker на Windows: как и когда? А также демо: создание и deploy контейнера на ваших глазах
Codeception + Docker + Robo и что из этого вышлоCOMAQA.BY
Параллелизация тестов, а именно: лучший пхп тулл для автоматизации (Codeception); основы Docker контейнирезации; robo - что это и зачем он нам нужен; profit
Готовим Docker для Автоматизации ТестированияCOMAQA.BY
Docker как технология уже давно и интенсивно используется на некоторых проектах. Этот доклад посвящен вариантам использования Docker-а для автоматизации тестирования на таких проектах, таким как: верификация деплоя микросервисов, построение изолированной среды для тестирования, мониторинг состояния продакшена.
Moscow Jenkins Meetup #1. Pipeline для инженеров. Обзор экосистемыOleg Nenashev
Рассказ о Configuration as Code в Jenkins и возможностях Pipeline: DSL, Multi-Branch, Pipeline Model Definition, восстановление после ошибок, параллелизация задач, интеграции. В каком направлении развивается экосистема?
Docker-контейнеризация: от local до productionRoman Kudlay
Мы стремимся придерживаться подхода DevOps, и контейнеризация играет в этом не последнюю роль. В данном докладе я расскажу про то, как docker пронизывает жизненный цикл наших проектов, какие проблемы удалось решить, а какие остались.
Материалы со встречи:
https://getdev.net/Event/docker
Docker: зачем нужен и почему выстрелил? Контейнеры против виртуальных машин - кто лучше? Docker на Windows: как и когда? А также демо: создание и deploy контейнера на ваших глазах
TК°Conf. Микросервисы и Docker. Глеб Паньшин.TKConf
Когда вы пытаетесь следовать гибким методологиям, создавать небольшие автономные команды, микросервисы в вашем проекте появляются естественным путем. Или нет. Обязательно поговорим о "Монолит vs. Микросервисы". И хотя эти маленькие трудяги помогают вам scale и достигать agility они неплохо добавляют вам проблем с доставкой и разработкой.
В заключении попробую ответить на вопрос как деплоить 5 или 50 микросервисов? Не знаю, но давайте попробуем Docker.
В докладе будет:
- что такое F.I.R.S.T
- организация кода приложения для повышения его тестируемости, поддерживаемости и производительности
- какой тест-фреймворк выбрать для решения какой задачи?
- какие виды тестирования бывают и за какие из них отвечают разработчики?
- как тратить больше времени на код, а не на тесты
- как и какие метрики тестирования собирать
Сейчас только ленивый не говорит про DevOps, краеугольным камнем которого является организация потока непрерывной доставки ценности клиенту. Continuous Delivery перестаёт быть опцией и становится обязательным требованием.
В докладе будут рассмотрены:
- общие подходы к организации Continuous Delivery на базе Jenkins-а в совсем не тепличных условиях
- практики и подходы, которые позволяют быстро настраивать и собирать десятки микросервисов
- подводные камни, с которыми пришлось столкнуться, и способы борьбы с ними
Лучшие практики CI/CD с Kubernetes и GitLab / Дмитрий Столяров (Флант)Ontico
HighLoad++ 2017
Зал «Пекин+Шанхай», 7 ноября, 14:00
Тезисы:
http://www.highload.ru/2017/abstracts/3073.html
Весь этот год мы в компании «Флант» активно переводили на Kubernetes проекты заказчиков, сильно различающихся как по масштабам, так и по технологиям. На данный момент (сентябрь 2017) у нас в Kubernetes (в production) функционируют 13 проектов, в состав которых входят более 130 различных приложений, написанных на 8 языках программирования: .NET, Erlang, Go, Java, Node.js, PHP, Python и Ruby. В этих проектах задействовано множество инфраструктурных компонентов, таких как Cassandra, Ceph, Firebird, Memcached, MongoDB, MySQL, NATS.io, NGINX, PostgreSQL, RabbitMQ, Redis, RethinkDB, Sphinx, SQLite и других. Мы поделимся обширным опытом, полученным в результате выстраивания CI/CD для таких приложений.
...
Docker + Selenium Webdriver в рамках Continuous IntegrationCOMAQA.BY
Автоматизация как сервис включает в себя две основные задачи: написание автотестов и создание инфраструктуры запуска тестов. В данном докладе будет рассмотрено решение второй задачи с использованием Docker.
Docker - лёгкий и юркий родственник виртуальных машин. Представьте, что настроенное окружение для запуска тестов легко упаковать в некий контейнер с сохранением всех зависимостей, а после - продолжить разработку, тестирование и постоянное внедрение в абсолютно другой среде. Docker помогает в решении типичных проблем, возникающих при разворачивании и поддержке Continuous Integration. Использование Docker позволяет избежать системных и языковых конфликтов путём изоляции в контейнеры, запускать больше задач в различных конфигурациях среды. В качестве примера в докладе будет предложено создание конфигурации Docker-контейнера, выполняющего функцию CI для непрерывного запуска тестов, написанных на Selenium WebDriver.
Jenkins Imperative Pipeline vs Declarative Pipeline Кирилл Толкачёв
Презентация со встерчи JUG MSK про Groovy DSL
Проводитили сравнение новой фичи Jenkins – Declarative Pipelines путем попытки переписать уже существующий пайплайн по доставке ПО на декларативный. Описали подводные камни и обсудили проблемы.
Видео можно будет найти тут https://vk.com/jugmsk или тут https://plus.google.com/communities/115981831554057619568
Мы напишем простейший веб-сервис из клиента и сервера на C++. На этом C++ часть закончится, и пойдет настройка окружения и инфраструктуры. Мы обеспечим детерминируемость сборки и прогона тестов. Облегчим последующее обновление зависимых библиотек. Автоматизируем статические проверки, верификацию кода, прогон тестов. Обеспечим доступность сервиса, настроим инфраструктуру, сбалансируем нагрузку, добавим автоматическое и ручное масштабирование. И под конец мы настроим continious delivery таким образом, что код будет на продакшене через 5 минут после реквеста, при этом даже невалидные изменения и ошибки программиста не смогут повлиять на его работу.
2017 04-08 03 Максим Верзаков. Docker — жизнь, вселенная и все остальноеОмские ИТ-субботники
Максим Верзаков, разработчик Crystalnix
Мы не боимся использовать Docker, и неплохо в этом преуспеваем. Я расскажу, как еще можно использовать Docker и почему это удобный инструмент не только для разработки, но и для жизни.
SPb Jenkins Meetup #5. Jenkins in da Cloud. ВнутренностиOleg Nenashev
Доклад о возможностях ядра Jenkins и плагинах, с помощью которых можно управлять инстансами Jenkins в облаке. Ключевые слова: Configuration as Code, Docker, External Logging, Pluggable Storage, Pipeline
Continuous Integration for C++ engineerscorehard_by
В головах разработчиков бытует мнение, что их работа заканчивается после того, как они закомитили код, а весь остальной процесс их вовсе не касается. Взамен такого устаревшего мнения мы выдвинем свой тезис - тот факт, что код сбирается на машине разработчика не интересует никого! Наша цель - сделать следующий шаг навстречу непрерывной интеграции (CI, англ. Continuous integration) и автоматизировать разрешение зависимостей, сборку и модульное тестирование под все целевые платформы.
Основы Docker. История проекта, OpenContainer Initiative, архитектура, пример композиции контейнеров на примере поискового движка YASEn, используемого для поиска билетов в Aviasales.ru.
This is a war-story about deploying and managing Jenkins instances in the cloud in our company. For this purpose, we use Mesos and Docker plugins. In the talk I focus on our requirements to Jenkins in the Cloud, prerequisites and the preparation process. The presentation also covers the current state of the deployment and the lessons learnt.
We are hiring! Msk and Spb: https://goo.gl/HjfOz5
TК°Conf. Микросервисы и Docker. Глеб Паньшин.TKConf
Когда вы пытаетесь следовать гибким методологиям, создавать небольшие автономные команды, микросервисы в вашем проекте появляются естественным путем. Или нет. Обязательно поговорим о "Монолит vs. Микросервисы". И хотя эти маленькие трудяги помогают вам scale и достигать agility они неплохо добавляют вам проблем с доставкой и разработкой.
В заключении попробую ответить на вопрос как деплоить 5 или 50 микросервисов? Не знаю, но давайте попробуем Docker.
В докладе будет:
- что такое F.I.R.S.T
- организация кода приложения для повышения его тестируемости, поддерживаемости и производительности
- какой тест-фреймворк выбрать для решения какой задачи?
- какие виды тестирования бывают и за какие из них отвечают разработчики?
- как тратить больше времени на код, а не на тесты
- как и какие метрики тестирования собирать
Сейчас только ленивый не говорит про DevOps, краеугольным камнем которого является организация потока непрерывной доставки ценности клиенту. Continuous Delivery перестаёт быть опцией и становится обязательным требованием.
В докладе будут рассмотрены:
- общие подходы к организации Continuous Delivery на базе Jenkins-а в совсем не тепличных условиях
- практики и подходы, которые позволяют быстро настраивать и собирать десятки микросервисов
- подводные камни, с которыми пришлось столкнуться, и способы борьбы с ними
Лучшие практики CI/CD с Kubernetes и GitLab / Дмитрий Столяров (Флант)Ontico
HighLoad++ 2017
Зал «Пекин+Шанхай», 7 ноября, 14:00
Тезисы:
http://www.highload.ru/2017/abstracts/3073.html
Весь этот год мы в компании «Флант» активно переводили на Kubernetes проекты заказчиков, сильно различающихся как по масштабам, так и по технологиям. На данный момент (сентябрь 2017) у нас в Kubernetes (в production) функционируют 13 проектов, в состав которых входят более 130 различных приложений, написанных на 8 языках программирования: .NET, Erlang, Go, Java, Node.js, PHP, Python и Ruby. В этих проектах задействовано множество инфраструктурных компонентов, таких как Cassandra, Ceph, Firebird, Memcached, MongoDB, MySQL, NATS.io, NGINX, PostgreSQL, RabbitMQ, Redis, RethinkDB, Sphinx, SQLite и других. Мы поделимся обширным опытом, полученным в результате выстраивания CI/CD для таких приложений.
...
Docker + Selenium Webdriver в рамках Continuous IntegrationCOMAQA.BY
Автоматизация как сервис включает в себя две основные задачи: написание автотестов и создание инфраструктуры запуска тестов. В данном докладе будет рассмотрено решение второй задачи с использованием Docker.
Docker - лёгкий и юркий родственник виртуальных машин. Представьте, что настроенное окружение для запуска тестов легко упаковать в некий контейнер с сохранением всех зависимостей, а после - продолжить разработку, тестирование и постоянное внедрение в абсолютно другой среде. Docker помогает в решении типичных проблем, возникающих при разворачивании и поддержке Continuous Integration. Использование Docker позволяет избежать системных и языковых конфликтов путём изоляции в контейнеры, запускать больше задач в различных конфигурациях среды. В качестве примера в докладе будет предложено создание конфигурации Docker-контейнера, выполняющего функцию CI для непрерывного запуска тестов, написанных на Selenium WebDriver.
Jenkins Imperative Pipeline vs Declarative Pipeline Кирилл Толкачёв
Презентация со встерчи JUG MSK про Groovy DSL
Проводитили сравнение новой фичи Jenkins – Declarative Pipelines путем попытки переписать уже существующий пайплайн по доставке ПО на декларативный. Описали подводные камни и обсудили проблемы.
Видео можно будет найти тут https://vk.com/jugmsk или тут https://plus.google.com/communities/115981831554057619568
Мы напишем простейший веб-сервис из клиента и сервера на C++. На этом C++ часть закончится, и пойдет настройка окружения и инфраструктуры. Мы обеспечим детерминируемость сборки и прогона тестов. Облегчим последующее обновление зависимых библиотек. Автоматизируем статические проверки, верификацию кода, прогон тестов. Обеспечим доступность сервиса, настроим инфраструктуру, сбалансируем нагрузку, добавим автоматическое и ручное масштабирование. И под конец мы настроим continious delivery таким образом, что код будет на продакшене через 5 минут после реквеста, при этом даже невалидные изменения и ошибки программиста не смогут повлиять на его работу.
2017 04-08 03 Максим Верзаков. Docker — жизнь, вселенная и все остальноеОмские ИТ-субботники
Максим Верзаков, разработчик Crystalnix
Мы не боимся использовать Docker, и неплохо в этом преуспеваем. Я расскажу, как еще можно использовать Docker и почему это удобный инструмент не только для разработки, но и для жизни.
SPb Jenkins Meetup #5. Jenkins in da Cloud. ВнутренностиOleg Nenashev
Доклад о возможностях ядра Jenkins и плагинах, с помощью которых можно управлять инстансами Jenkins в облаке. Ключевые слова: Configuration as Code, Docker, External Logging, Pluggable Storage, Pipeline
Continuous Integration for C++ engineerscorehard_by
В головах разработчиков бытует мнение, что их работа заканчивается после того, как они закомитили код, а весь остальной процесс их вовсе не касается. Взамен такого устаревшего мнения мы выдвинем свой тезис - тот факт, что код сбирается на машине разработчика не интересует никого! Наша цель - сделать следующий шаг навстречу непрерывной интеграции (CI, англ. Continuous integration) и автоматизировать разрешение зависимостей, сборку и модульное тестирование под все целевые платформы.
Основы Docker. История проекта, OpenContainer Initiative, архитектура, пример композиции контейнеров на примере поискового движка YASEn, используемого для поиска билетов в Aviasales.ru.
This is a war-story about deploying and managing Jenkins instances in the cloud in our company. For this purpose, we use Mesos and Docker plugins. In the talk I focus on our requirements to Jenkins in the Cloud, prerequisites and the preparation process. The presentation also covers the current state of the deployment and the lessons learnt.
We are hiring! Msk and Spb: https://goo.gl/HjfOz5
SecDevOps. Разработка, DevOps и безопасность.Valery Boronin
Разработка, DevOps и безопасность. Расширяем безопасную разработку (SDL) на стадию «после релиза».
Доклад был представлен на Стачке в г. Ульяновск: https://nastachku.ru/secdevops
Презентация рассказывает о том, кто такие девопс инженеры, какие проблемы они решают, когда команда разработчиков может обойтись без них и какие инструменты для этого использовать.
Кирилл Ветчинкин Практика использования .NET Core на ОС Linux с применением а...MskDotNet Community
Технология.net Core от Microsoft позволила.Net разработчикам разворачивать приложения на Linux. Вместе с этим появилось и множество новых возможностей для более эффективной разработки и поставки. В докладе будут разобраны основные проблемы разработки, поставки, тестирования и рассмотрены схемы их решения, используя такие средства как: GitLab, Vgarant+VirtualBox, TeamCity, Ansible, Octopus Deploy, Docker. Мы поговорим про создание тестовых сред, управление инфраструктурой из кода и CI/CD. Основная цель доклада — продемонстрировать, что.net Core на Linux — это выгодно, быстро и управляемо.
Процесс разработки и тестирования с Docker + gitlab ciАлександр Сигачев
Доклад - https://www.youtube.com/watch?v=lJsqRwULRVA
Какие проблемы решаем?
быстрый вход нового разработчика в проект
стандартизация настроек разработчиков
переключение между проектами - разные версии ПО и библиотек (mysql 5.6/5.7, node 0.12/7.2)
приучаем разработчиков к сетевому взаимодействию компонентов
Microservice - масштабирование/разделения разработки
Делим ресурсы staging среды между проектами
Михаил Боднарчук "Docker для PHP разработчиков" Fwdays
Это не рассказ о том, как из разработчика стать крутым DevOpsом. Это доклад о том, как можно сделать процесс разработки и развертки приложения комфортнее и эффективнее вместе с прогрессивной технологией контейнеризации - Docker.
В этом докладе я затрону следующие темы:
Docker - это то модное слово, которое все должны знать
Дирижирование оркестром вместе с Docker Compose
Создание и настройка рабочего окружения в Docker
Построение сервисно-ориентированых приложений
Безболезненное развертывание приложений с Shipyard
То, чего не хватало для Continuous Integration - запуск параллельных билдов
"How to build powerful CI / CD based on GitLab and Docker", Aleksandr Matkovs...Provectus
Aleksandr Matkovskiy – Head of IT Department lives and works with the motto "Scaling and load balancing is our all!". Therefore, he has 3 sons and dreams to find DEV for his OPS.
You will be able to see how the CI / CD was created and saved our lives. From concept to the final product.
Vladislav Anikin – Team Leader & Software Architect, specializing in SAAS flexible and scalable solutions for business. Driving DDD/TDD oriented squad of awesome SOLID developers.
You will be able to see how the CI / CD was created and saved our lives. From concept to the final product.
Непрерывная интеграция Python-проектов в ЯндексеAndrey Kazarinov
Рутинные операции тестирования, сборки и развёртывания заставляют в нервном ожидании толстеть на кофепоинте, а частый релизный цикл создаёт лёгкое головокружение? Чтобы помочь вам сохранить тело подтянутым, а голову светлой, я расскажу об организации и особенностях непрерывной интеграции в Python-проектах на примере популярных инструментов.
Николай Сивко "Хорошо поддерживаемое в продакшне приложение"Tanya Denisyuk
Исторически сложилось так, что одни люди разрабатывают приложения (Dev), а другие эксплуатируют их в продакшне (Ops). И у последних есть немало проблем с тем, что невозможно понять, что происходит.
Причем это касается как собственных разработок, так и популярных open source решений.
Я расскажу, как устроена диагностика у некоторых популярных софтин:
- nginx
- postgresql
- mongodb
Мы попробуем разобраться, что там сделано хорошо, и чего не хватает для полного счастья.
Во второй части доклада мы поговорим про то, как нужно инструментировать собственное приложение для прозрачной работы в продакшне:
- что считать и зачем: ошибки, тайминги, разные состояния приложения,
- инструментарий: your_lang-metrics, your_lang-statsd-client, логи,
- как не перемудрить и не убить прод диагностикой.
Может показаться, что этот доклад про DevOps, но нет - про docker не будет ни слова :)
Legacy в коробочке. Dev-среда на базе Kubernetes / Илья Сауленко (Avito)Ontico
РИТ++ 2017
Зал Сан-Паулу, 5 июня, 15:00
Тезисы:
http://ritfest.ru/2017/abstracts/2653.html
Новые микросервисы появляются, но монолит никуда не исчезает. Мы в Avito разрабатываем и деплоим сервисы с помощью связки Docker и Kubernetes. Зачастую интегрировать монолит с сервисами довольно проблематично. А что, если монолит тоже завернуть в Docker+Kubernetes и применять те же практики, что и для микросервисов?
В докладе речь пойдёт о том, как изменилась Dev-среда в Avito в связи с переходом на микросервисную архитектуру. В частности, поговорим про:
- подход "legacy in a box";
- то, как мы решали проблемы с базами и sphinxsearch;
- то, как Docker и Kubernetes помогли нам сократить различия между окружениями;
- Developer Experience.
Доклад будет полезен как командам, планирующим или переживающим распил монолита, так и всем тем, кому приходится работать со сторонними legacy-системами.
Случалось ли, что вы видели (чужой) код и хотели все переписать? Бывало такое, что вы не могли понять, почему кем-то было принято конкретное решение, не другое? Хотели ли вы воскликнуть:«А я бы сделал еще круче!»?
Если вы задумывались об этом, вам будет интересно послушать историю о том, как эти вопросы возникали у Александра и Кирилла и как они решались в условиях большой компании.
Разработчики расскажут, как в самом начале пути вытаскивали шашки и шли в атаку на проблемную архитектуру. Но все оказалось не так просто, и по мере погружения в проект парни стали понимать, что архитектура большой системы — компромисс между различными подходами и решениями, инновациями и легаси (наследованным кодом), централизацией и децентрализацией компонентов. Докладчики наработали очень много опыта в решении архитектурных задач и поделятся опытом и выработанными принципами, которых придерживаются в настоящее время.
Во время доклада будут обсуждаться непростые вопросы, возникающие при принятии решений о том, как будет жить и эволюционировать система.
Вместе со слушателями Александр и Кирилл проделают упражнение по созданию «таблицы технологий» и её эволюции. Также они покажут, насколько важно инженерное решение на любой из стадий развития системы.
DevOps Fest 2020. Сергій Калінець. Building Data Streaming Platform with Apac...DevOps_Fest
Apache Kafka зараз на хайпі. Все більше компаній починають використовувати її, як message bus. Проте Kafka може набагато більше, аніж бути просто транспортом. Її реальна міць і краса розкриваються, коли Kafka стає центральною нервовою системою вашої архітектури. Вона швидка, надійна і доволі гнучка для різних сценаріїв використання.
На цій доповіді Сергій поділитися досвідом побудови data streaming платформи. Ми поговоримо про те, як Kafka працює, як її потрібно конфігурувати і в які халепи можна потрапити, якщо Kafka використовується неоптимально.
DevOps Fest 2020. Kohsuke Kawaguchi. GitOps, Jenkins X & the Future of CI/CDDevOps_Fest
CI/CD process has been something your DevOps engineer purpose-built for your team. But with Kubernetes & cloud-native, that’s becoming “legacy.” The rising level of platform abstraction allows all the good practices that the industry has developed over time to be integrated, hidden, and simplified behind just one practice called “GitOps.” That simplified world is what Jenkins X enables.
We will discuss GitOps, Jenkins X, and how that combination drastically simplifies cloud-native web app development. You’ll understand why traditional DevOps is not suitable in a Kubernetes and cloud-native world, explore GitOps principles and discover how they facilitate high-velocity app development.
And finally, Kohsuke will make a fool of himself by talking about the future — now that Jenkins X simplifies the CD process, where is the next frontier?
DevOps Fest 2020. Барух Садогурский и Леонид Игольник. Устраиваем DevOps без ...DevOps_Fest
Казалось бы, доклад про устроение DevOps должен быть про настройку Дженкинса, но нет! Этот доклад для тех, кто понимает, что DevOps — это история про культуру, коллаборацию и общение, но не очень представляет, как будучи скромным исполнителем или тимлидом, повлиять на целый энтерпрайз, и сдвинуть организацию в сторону DevOps. Барух расскажет какими методами можно воспользоваться для влияния на stake–holder-ов, что кому говорить, как мотивировать, и как работать с возражениями. Пожалуй, за исключением парапсихологических практик и гипноза (которые не стоит раскрывать неокрепшим умам), на этом докладе будут обозрены все способы влиять, не имея полномочий на благо наступления повсеместного DevOps в индустрии.
DevOps Fest 2020. James Spiteri. Advanced Security Operations with Elastic Se...DevOps_Fest
How does your organization detect and respond to cyber threats?
Learn how the latest security capabilities in the Elastic Stack enable interactive exploration and automated analysis, an endpoint protection product to fully combine prevention, detection, and response into a single autonomous agent and unsupervised machine learning to reduce false positives and spot anomalies — all at the speed and scale your security practitioners need to defend your organization.
It doesn’t stop there - this session will also cover how security teams use Canvas, Maps, and other Kibana elements to triage events and perform initial investigations.
DevOps Fest 2020. Pavlo Repalo. Edge Computing: Appliance and ChallangesDevOps_Fest
Over the last years booming of cloud technologies created a lot of opportunities for business and together with IoT expansion established new niche: Edge Computing. Since it's one of the first speech within the UA community we will go through main points about the origin, business use cases, main frameworks, and challenges. Why DevOps people should start learning embedded programming aspects and why we shouldn't allow to register a cloud node after reboot? That's the questions what we'll also review with professional part of the audience.
DevOps Fest 2020. Максим Безуглый. DevOps - как архитектура в процессе. Две к...DevOps_Fest
Сотни вопросов о структуре и процессах, которые ставят и решают архитекторы и практики DevOps на примере решений в своем проекте.
Взаимоопределяющие вопросы архитектуры, DevOps, бизнеса и разработки.
Взрыв сложности - представьте, что вместо простого gmail подобного почтового SPA вам нужно построить и развивать новый sendmail на сервере + thunderbird для клиентов (desktop, мобильную и веб версию) по SAAS multi tenant модели.
DevOps Fest 2020. Павел Жданов та Никора Никита. Построение процесса CI\CD дл...DevOps_Fest
Хотя на первый взгляд кажется, что нет никакой разницы, в действительности проприетарные и opensource проекты имеют большое отличие в реализации CI\CD process. Разные команды к которым добавляются неучтенные котрибьютеры работают в разных временных зонах, разработка ведется в условиях недостаточной коммуникации. За добавление новых изменений отвечает не один или несколько человек, а консорциум. В результате, процесс внесения изменений слишком затягивается, увеличивая потенциальные конфликты не только в файлах но и бизнес логике. Все эти особенности вносят свое влияние на устройство CI\CD для open source project. Как он устроен мы и расскажем в нашем докладе.
DevOps Fest 2020. Станислав Коленкин. How to connect non-connectible: tips, t...DevOps_Fest
Сегодня сложно не использовать облачные решение и их возможности в цифровом мире. Конкуренция между облачными провайдерами приводит к высокому качеству и большому выбору услуг, а GCP и AWS являются одними из лидеров на рынке облачных услуг. Они имеют огромные различия в услугах и возможностях, что очень затрудняет ответ на вопрос "Какой же клауд провайдер выбрать?"
Бизнес решения не редко сходится на том, чтобы не выбирать преимущества среди обоих провайдеров, а использовать преимущества обеих (или более) провайдеров с необходимыми сервисами. Так же не стоит забывать про необходимость в bare-metal решениях. Все эти потребности создают огромное количество новых проблем и сложностей для инженеров и архитекторов.
А сегодня мы поговорим с вами о том какие проблемы возникают при деплойменте приложений нашего стека в разные клауды.
DevOps Fest 2020. Андрій Шабалін. Distributed Tracing for microservices with ...DevOps_Fest
Зараз, в 2020 році, певно немає таких людей, які не використовують чи не чули про мікросервіси. Складність таких системам полягає не лише в правильному проектуванні на етапі створення і розробки, але і самій експлуатації. У роботі в таких розподілених системах команді неодмінно доведеться зіткнутися з челенджами пошуку “bottlenecks” і відсутністю повної картини комунікації сервісів.
У розподілених системах метрики та логи не завжди дають достатньо інформації для пошуку проблем, оскільки вони продукують дані що відносяться до конкретних компонент системи та не покриває їх взаємодії в цілому. Ця доповідь буде присвячена вирішенню проблем з “observability” та “application performance monitoring” за допомогою підходу “distributed tracing” з Jaeger.
DevOps Fest 2020. Дмитрий Кудрявцев. Реализация GitOps на Kubernetes. ArgoCDDevOps_Fest
Kubernetes став стандартом для обчислювальних платформ і багато хто вже адаптував цю платформу як основну. Особливістю цієї платформи є нетипова система управління конфігураціями.
На презентації ми розглянемо що являє собою декларативний конфігураційний менеджмент. Чому Kustomize для нас є найкращим інструментом. І як за допомогою ArgoCD розгорнути Kubeflow на Kubernetes кластері.
DevOps Fest 2020. Роман Орлов. Инфраструктура тестирования в KubernetesDevOps_Fest
Сегодня многие сервисы, которые два года назад жили в Docker контейнерах, переезжают в Kubernetes. И инфраструктура тестирования не исключение. В своем докладе я хочу рассказать чем Kubernetes может быть полезен для внутренней инфраструктуры, и как мы используем Kubernetes для организации Selenium-тестирования. Вы узнаете как мы прошли путь от «голого» железа до «кубера», что это дало и какую можно получить экономию. На реальных примерах вы увидите как мы работаем с Kubernetes API, как запускаем Windows в Kubernetes, а также наши «грабли» и best practices.
DevOps Fest 2020. Андрей Шишенко. CI/CD for AWS Lambdas with Serverless frame...DevOps_Fest
Доклад рассказывает, как оптимизировать и автоматизировать процесс активной разработки и деплоймента serverless приложений/микросервисов. Сравниваются разные подходы в разворачивании serverless стека на AWS (API GW + Lambda), В процессе презентации я поясню, почему мы выбрали Gitlab-Ci, а не Jenkins ,как CI/CD движок, почему мы выбрали Serverless Framework, а не AWS SAM, как способ разворачивания Serverless приложений. В презентации я покажу, как легко с помощью данного технического решения описывать комплексные задачи, их мониторинг, алертинг, обеспечивать безопасность. Расскажу о проблемах, с которыми мы столкнулись (у нас больше 130 API GWы и 600 Lamdas) за последние 2 года, и какие планы на модернизацию текущего решения.
DevOps Fest 2020. Александр Глущенко. Modern Enterprise Network Architecture ...DevOps_Fest
При разработке и сопровождении enterprise продуктов в AWS Cloud мы всегда сталкиваемся со сложностями в разработке архитектуры сети, которая будет объединять множество AWS аккаунтов и сервисов и отвечать требованиям высокой доступности, безопасности и regulatory compliance. В данном докладе я хочу поделиться со слушателями своим опытом и привести примеры готовых шаблонов масштабируемой, безопасной архитектуры между несколькими учетными записями
DevOps Fest 2020. Виталий Складчиков. Сквозь монолитный enterprise к микросер...DevOps_Fest
В своем выступлении я хочу пригласить участников взглянуть на банк как на современную компанию. Я хотел бы показать наш путь от монолитной архитектуры к микросервисам. Это не типичная статья истории трансформации с Интренета. Это наш маленький прорыв в устоявшейся архитектуре многих банков.
Прежде всего вы можете увидеть шаги от SOA (Enterprise Service Bus) к MSA (Docker, Kubernetes).
DevOps Fest 2020. Денис Медведенко. Управление сложными многокомпонентными ин...DevOps_Fest
В этом докладе мы поговорим о разворачивании инфраструктуры для Azure Service Fabric c помощью инструмента Terraform. Мы расскажем о составляющих инфраструктуры и сложностях, с которыми мы столкнулись при работе с ней. Также вы узнаете о том, как запускается процесс CI/CD для Azure Service Fabric.
DevOps Fest 2020. Павел Галушко. Что делать devops'у если у вас захотели mach...DevOps_Fest
Все у вас хорошо, ci крутится, cd мутится, веб бегает стабильно и жизнь наладилась. Но приходит светлая идея в голову руководителя что надо использовать ML или проект новый с этой новой чудо технологией (вообще она не новая, но это опустим). Что вам надо делать, куда бежать, что смотреть и как со всем этим жить.
DevOps Fest 2020. Сергей Абаничев. Modern CI\CD pipeline with Azure DevOpsDevOps_Fest
Создавайте и тестируйте приложения на любом языке программирования, разворачивайте их в любых облачных провайдерах или локальных средах. Запускайте параллельно на Linux, macOS и Windows, разворачивайте контейнеры на отдельных узлах или в Kubernetes. Все это возможно с помощью одного инструмента - Azure DevOps Services. Он обеспечивает полное покрытие DevOps с помощью одного приложения.
В этом докладе мы рассмотрим решение Microsoft, которое позволяет избежать использования десятков различных инструментов для доставки приложения конечным пользователям
DevOps Fest 2020. Philipp Krenn. Scale Your Auditing EventsDevOps_Fest
The Linux Audit daemon is responsible for writing audit records to the disk, which you can then access with ausearch and aureport. However, it turned out that parsing and centralizing these records is not as easy as you would hope. Elastic's new Auditbeat fixes this by keeping the original configuration, but ships them to a centralized location where you can easily visualize all events. You can also use Auditbeat to detect changes to critical files, like binaries and configuration files, and identify potential security policy violations.
This talk shows you what can you do to discover changes, events, and potential security breaches as soon as possible on interactive dashboards. Additionally, we are combining Auditd events with logs, which are security-relevant, and explore them in Elastic's free SIEM.
DevOps Fest 2020. Володимир Мельник. TuchaKube - перша українська DevOps/Host...DevOps_Fest
TuchaKube - платформа, яка забезпечує автоматизацію CI/CD-процесів та хостинг контейнерів у Kubernetes-кластері. Платформа дозволяє тримати код аплікацій в наданому платформою Git-репозиторії, керувати процесом розробки за допомогою наданого платформою GitLab, автоматично запускати компіляцію, тестування та деполймент в Kubernetes-кластер. Доповідь містить опис принципів роботи платформи та коротку демонстрацію основних функцій.
DevOps Fest 2020. Денис Васильев. Let's make it KUL! Kubernetes Ultra LightDevOps_Fest
Если 2019 год был громким призывом Let's KIK It!
и в индустрии жарко обсуждали стек Kubernetes, Istio и Knative, то 2020 обещает стать годом выхода на сцену больших Telco.
Тенденция быть Smart и 5G-Ready порождает целую нишу вызовов, специальных решений и подходов. Раскрывет новые возможности на базе Kubernetes, IOT, Multiaccess Edge Computing (MEC), Embedded Computing, Serverless.
На границе (Edge) Telco, Automotive и Smart Services для такой трансформаци в телеком индустрии уже требуются специалисты и соответствующий стек.
Предлагаю обсудить современные тенденции в телеком, рассмотреть в действии экосистему KUL: Kubernetes Ultra Light. На основе стека K3S, ультралегкой ServiceMesh Gloo и Serverless системы OpenFaaS, мы продемострируем реальный пример сервиса для SmartCity.
DevOps Fest 2020. Денис Васильев. Let's make it KUL! Kubernetes Ultra Light
DevOps Fest 2020. Сергей Погорелов. Локально распределенное окружение разработки программного обеспечения с Kubernetes
1. Continuous Delivery. Continuous DevOps. KYIV, 2020
Локально распределенное окружение
разработки программного обеспечения
+ kubernetes
2. Continuous Delivery. Continuous DevOps. KYIV, 2020
Погорелов Сергей,
Software Developer
20+ лет опыта эксплуатации и разработки разных
систем с использованием разных технологий :)
С 2014 года в роли Python Developer и DevOps.
3. Continuous Delivery. Continuous DevOps. KYIV, 2020
Локально окружение разработки
1. Это то с чем работают все каждый рабочий день
2. должно быть удобно и понятно всем
3. очень разные задачи …. фронт, бек, дизайн, тестирование …
4. Должно постоянно развиваться, невозможно заморозить состояние
5. Весь стек приложения в одном окружении но не каждому нужно все
6. …...
4. Continuous Delivery. Continuous DevOps. KYIV, 2020
Database
Back
Front nginx
Database
Back
Front
nginx local
Database
Back
Front
nginx dev
nginx prod
Front
Front
Back
Back
CI/CD
Database
6. Continuous Delivery. Continuous DevOps. KYIV, 2020
● локальное окружение не приспособлено для распределенной
работы
● локальное окружение как правило "не секьюрно"
● Синхронизация через “всем скачать новую версию”
● Часто оно очень сильно отличается от тестовых серверов в
облаке или датацентре
● Нет универсальных решений для построения локального
окружения разработчика
проблемы
7. Continuous Delivery. Continuous DevOps. KYIV, 2020
локальное окружение не приспособлено для распределенной работы
У меня на компе все работает … а у меня нет … ну я буду в офисе
там встретимся и проверим … а когда ?
….
Сколько времени нужно для начала работы над проектом
от 30 минут до 2+х недель?
9. Continuous Delivery. Continuous DevOps. KYIV, 2020
Локальное окружение как правило "не секьюрно"
….. есть такой сервис который по токену и у него нет тестовой версии а
без него проект не стартует
….. а это .env файлик с токенами который в гит нельзя но мы всем его по
почте разошлем
….. ну все ж NDA подписали и диски мы шифруем ….
10. Continuous Delivery. Continuous DevOps. KYIV, 2020
правила, обучение … не знаю что лучше
решает проблему
идеально когда нет ничего что можно
потерять но это не реально
11. Continuous Delivery. Continuous DevOps. KYIV, 2020
Синхронизация через “всем скачать новую версию”
….. я обновил образ с библиотеками и теперь всем нужно его скачать :) я
это вчера (или неделю назад) ночью написал в общий канал
….. в мастере обновили конфиги всем нужно “смерджить”
….. в почте новый файл с токенами и ключами
13. Continuous Delivery. Continuous DevOps. KYIV, 2020
сильно отличается от тестовых серверов в облаке или датацентре
DNS CDN
Load Balancerstatic
Load Balancer
App server 1
App server N
Database
worker 1
worker N
Queue
Database
Read Repl
error logger
etc
nginx
Database
Back
Front
14. Continuous Delivery. Continuous DevOps. KYIV, 2020
Нет универсальных решений для построения локального окружения
разработчика
На самом деле есть и довольно много:
draft.sh
skaffold.dev
garden.io
microk8s.io
okteto.com
15. Continuous Delivery. Continuous DevOps. KYIV, 2020
VPC or data center
Private Subnet
Developer Device
logs
monitoring
database
nginx
Database
Back
Front
VPN .. Proxy .. etc
21. Continuous Delivery. Continuous DevOps. KYIV, 2020
cloud
local k8s node
local OS
minio (kv object store compatible with Amazon S3)
python Flask app - DaemonSet
локально - код проекта localhost:5000
22. Continuous Delivery. Continuous DevOps. KYIV, 2020
● локальное окружение не приспособлено для распределенной
работы
● локальное окружение как правило "не секьюрно"
● Синхронизация через “всем скачать новую версию”
● Часто оно очень сильно отличается от тестовых серверов в
облаке или датацентре
● Нет универсальных решений для построения локального
окружения разработчика
проблемы
рассказать о программе 20 сек
и сама программа
1 типичный путь проекта 2 рассмотрим проблемы и стандартный путь решения по каждой
3 почему локальное окружение это сложно и индивидуально
4 хорошее проверенное решение
5 видео
1 установка впн сервер + клтент 2 кластер мастер нода
3 подключаем дев ноду и запускаем проект
6 рассматриваем что получилось … можно вернутся к слайду 16
7 схема с использованием кубернетис и ее достоинства
развитие проекта от прототипа локально до выхода в клауд/прод локальный конфиг, потом добавляем nginx или аналог как прокси, потом пишем конфигурацию для дев серверов и клауда и у нас появляется много вариантов конфигурации :) , потом внедряем CI|CD тулзу и темплейты конфигурации которая подставляет нужные переменные для разных окружений в темплейты и вообще все становится очень красиво . nginx в данном случае эт ореверс прокси скорее
все красиво все довольны :) но что осталось на машинах разработчиков ? …. очень часто там то что и было … разные вариации локально установленных средств разработки или окружение в контейнерах которое ситуативно использует сервисы из dev окружения. В особо сложных случаях вообще нельзя проверить работу без деплоя в dev окружение что конечно не так уж и плохо но занимает время переключится быстрее
то что не помешает так это логирование и мониторинг … мы можем сделать это достаточно легко и лучше б это было где то в облаке и с фильтром по разработчикам … это первый шаг в решении проблемы с распределенной работой
если кто то не тот кто должен получит доступ к локальному окружению …. то что он там найдет ?
шифрование диска поможет не всегда
второй шаг не так очевиден …. но он влияет сразу на 2 пункта из списка проблем: синхронизация и секьюрити это кстати может помочь нам внедрять и дебажить CI/CD или же можно использовать storage из CI …. хотя …. это сильно зависит от того что использовать можно проверять при старте что у нас там изменилось и сделать параметры отвечающие за версию контейнера с библиотеками например …. тогда если что то критическое было обновлено то я увижу предупреждение на страте и не потрачу время на работу с устаревшим окружением также можно шифровать значения … не хранить их на локальном диске и добавить OTP .. много что можно :)
в итоге что то можно проверить только на стейдже или проде ….. например как сообщения об ошибках и мониторинг будет выглядеть … но это ж мало кто видит так что и так ок :) у кого есть централизованный мониторинг и логирование ошибок для локальной разработки ? а отдельно от Dev и с фильтрацией по разработчикам ?
и это не все … и они очень хороши, быстро развиваются …. но это все нужно учить и возможно менять структуру и разработчиков потом учить, и все равно хочется проще гибче. Главное что мы можем тт заметить это то что они основаны на кубернетис. Возможно можно сделать все более общим путем …
это классическое решение проблемы которое достаточно давно и широко применяется … к сожалению обычно не на старте проекта
