Сейчас только ленивый не говорит про DevOps, краеугольным камнем которого является организация потока непрерывной доставки ценности клиенту. Continuous Delivery перестаёт быть опцией и становится обязательным требованием. В докладе будут рассмотрены: - общие подходы к организации Continuous Delivery на базе Jenkins-а в совсем не тепличных условиях - практики и подходы, которые позволяют быстро настраивать и собирать десятки микросервисов - подводные камни, с которыми пришлось столкнуться, и способы борьбы с ними

1. CD with Jenkins
Lessons Learned

2. About me
Architect @
/aatarasoff
/aatarasoff
habrahabr.ru/aatarasoff
developerblog.info

3. Что такое
Jenkins?
ПО для сборки артефактов?

4. Continuous
Integration
Много людей - один
артефакт
Синхронизация изменений,
тестирование, code review
Цель - артефакт

5. Monolith Microservices

6. Continuous Integration Delivery

7. Continuous
Delivery
Артефактов много
Не нужна синхронизация
изменений
Цель - деплой в бой

8. Continuous
Delivery Tools
Jenkins
GoCD
Team City
CircleCI
etc.

9. Почему
Jenkins?
OpenSource
Экспертиза
Огромное количество
интеграций
Pipeline Plugin

10. Lessons
Learned
1. Линейный Pipeline

11. Линейная
доставка
Независимые потоки доставки
Нет менеджмента зависимостей
Каждый артефакт готов работать
в неполном окружении
Feature Toggle

12. Pipeline
plugin
Декларативное описание
процесса (Groovy DSL)
Очень просто сконфигурировать
Визуализация процесса

14. //checkout and definition stage
node('build') {
// Mark the code checkout 'stage'
stage 'Checkout'
git credentialsId: 'jenkins-git',
url: "${git_url}/${repo}.git"
// Mark build 'stage'
stage 'Build'
sh ('./gradlew clean dockerBuild final')
}
//next steps

15. //checkout and definition stage
node('build') {
// Mark the code checkout 'stage'
stage 'Checkout'
git credentialsId: 'jenkins-git',
url: "${git_url}/${repo}.git"
// Mark build 'stage'
stage 'Build'
sh ('./gradlew clean dockerBuild final')
}
//next steps

16. //checkout and definition stage
node('build') {
// Mark the code checkout 'stage'
stage 'Checkout'
git credentialsId: 'jenkins-git',
url: "${git_url}/${repo}.git"
// Mark build 'stage'
stage 'Build'
sh ('./gradlew clean dockerBuild final')
}
//next steps

17. //checkout and definition stage
node('build') {
// Mark the code checkout 'stage'
stage 'Checkout'
git credentialsId: 'jenkins-git',
url: "${git_url}/${repo}.git"
// Mark build 'stage'
stage 'Build'
sh ('./gradlew clean dockerBuild final')
}
//next steps

18. //checkout and definition stage
node('build') {
// Mark the code checkout 'stage'
stage 'Checkout'
git credentialsId: 'jenkins-git',
url: "${git_url}/${repo}.git"
// Mark build 'stage'
stage 'Build'
sh ('./gradlew clean dockerBuild final')
}
//next steps

19. //checkout and definition stage
node('build') {
// Mark the code checkout 'stage'
stage 'Checkout'
git credentialsId: 'jenkins-git',
url: "${git_url}/${repo}.git"
// Mark build 'stage'
stage 'Build'
sh ('./gradlew clean dockerBuild final')
}
//next steps

20. //checkout and definition stage
node('build') {
// Mark the code checkout 'stage'
stage 'Checkout'
checkout([$class: 'GitSCM',
branches: [[name: '*/master']],
doGenerateSubmoduleConfigurations: false,
extensions: [
[$class: 'UserExclusion', excludedUsers: 'jenkins'],
[$class: 'CleanBeforeCheckout'],
[$class: 'LocalBranch', localBranch: 'master']
],
userRemoteConfigs: [[
credentialsId: 'jenkins-git',
url: "${git_url}/${artifact_name}.git",
refspec: '+refs/heads/master:refs/remotes/origin/master'
]]
])
}

21. Blueocean
plugin
Пока в стадии alpha
Красивая визуализация процесса
на современных технологиях

25. Lessons
Learned
1. Линейный Pipeline
2. Автогенерация джобов

26. Job DSL
plugin
Декларативное описание
создания джобов (Groovy DSL)
Очень просто сконфигурировать,
легко смасштабировать
Унификация разработки как бонус

28. def jobs = "${JOBS_LIST}".split( 'n' )
jobs.each { job ->
pipelineJob("${basePath}/${job}") {
//define SCM
definition {
cps {
script(readFileFromWorkspace('some_script.groovy'))
sandbox()
}
}
}
}

29. def jobs = "${JOBS_LIST}".split( 'n' )
jobs.each { job ->
pipelineJob("${basePath}/${job}") {
//define SCM
definition {
cps {
script(readFileFromWorkspace('some_script.groovy'))
sandbox()
}
}
}
}

30. scm {
git {
remote {
url "${some_url}.git"
credentials 'jenkins-git'
}
branch '*/master'
createTag false
}
}
logRotator {
numToKeep(3)
}
concurrentBuild(false)

31. Lessons
Learned
1. Линейный Pipeline
2. Автогенерация джобов
3. Даём управление человеку

32. А зачем нам
человек?
Недостаточный уровень
автоматизации
Невозможность принять решение
go-nogo в автоматическом
режиме
Формальные процедуры и
процессы

33. Pipeline
inputs
Дают возможность
приостановить работу до
принятия решения человеком
Есть REST API
Можно параметризовать
http://developerblog.info/2016/05/31/poluchaiem-upravlieniie-obratno-v-jenkins-pipeline/

34. input id: 'TestsArePassed'
http://host:port/job/name/number/input/TestsArePassed/proceedEmpty
http://host:port/job/name/number/input/TestsArePassed/abort

35. Jira
Integration
Учётная система
Возможность назначать на
определённые этапы
ответственных лиц
Jira Plugin (есть интеграция с
Pipeline Plugin)

36. jiraIssueUpdate(
jqlSearch: jql,
workflowActionName: 'Testing',
comment: "Deploy to test environment is completed"
)
jiraComment (
issueKey: jira_id,
body: "Auto tests have been started»
)

37. Lessons
Learned
1. Линейный Pipeline
2. Автогенерация джобов
3. Даём управление человеку
4. Борьба с ограничениями

38. Не хватает
возможностей?
Это OpenSource, всегда можно
написать свой плагин или
доработать существующий
Пул-реквесты не всегда будут
приняты
… или будут приняты через
продолжительное время

39. //checkout and definition stage
node('build') {
// Mark the code checkout 'stage'
stage 'Checkout'
checkout([$class: 'GitSCM',
branches: [[name: '*/master']],
doGenerateSubmoduleConfigurations: false,
extensions: [
[$class: 'UserExclusion', excludedUsers: 'jenkins'],
[$class: 'CleanBeforeCheckout'],
[$class: 'LocalBranch', localBranch: 'master']
],
userRemoteConfigs: [[
credentialsId: 'jenkins-git',
url: "${git_url}/${artifact_name}.git",
refspec: '+refs/heads/master:refs/remotes/origin/master'
]]
])
}

40. //checkout and definition stage
node('build') {
// Mark the code checkout 'stage'
stage 'Checkout'
git credentialsId: 'jenkins-git',
url: "${git_url}/${repo}.git",
excludedUsers: 'jenkins',
cleanBeforeCheckout: true
}
Удобно, но патч был отклонён

41. jiraIssueUpdate(
jqlSearch: jql,
workflowActionName: 'Testing',
comment: 'Deploy to test environment is completed'
)

42. jiraIssueUpdate(
jqlSearch: jql,
workflowActionName: 'Testing',
comment: 'Deploy to test environment is completed'
)
jiraIssueFieldUpdate(
issueKey: jira_id,
fieldName: 'Jenkins Info',
fieldValue: 'some value'
)
Патч пока висит на рассмотрении

43. Не жди,
используй
Juseppe?
OpenSource UpdateCenter
Можно собирать свои версии
плагинов раньше, чем они
попадут в UpdateCenter
Решает проблемы с сетевым
доступом (это когда у мастера нет
доступа в интернет)
https://github.com/yandex-qatools/juseppe

44. Сетевые
ограничения
Разные среды в разных DMZ
Сложно заказывать доступы
между машинами
Решение в использовании
slave-ов с разными лэйблами для
разных сред/сетевых сегментов

45. Lessons
Learned
1. Линейный Pipeline
2. Автогенерация джобов
3. Даём управление человеку
4. Борьба с ограничениями
5. Конфигурируй как код

46. Конфигурация
как код
Не хочется делать Backup-ы
Команд много и есть желание
быстро поднимать и
конфигурировать новые
экземпляры
Immutable-конфигурация

47. Блеск и нищета
конфигурации
Легко конфигурировать джобы
(см. JobDSL и Pipeline Plugin)
Добавлять мета-джобы можно
через jenkins-cli
Сложно конфигурировать сам
Jenkins: credentials, tools, plugins
(шаблонизация xml, init groovy
scripts, API etc.)

48. Lessons
Learned
1. Линейный Pipeline
2. Автогенерация джобов
3. Даём управление человеку
4. Борьба с ограничениями
5. Конфигурируй как код

49. Plugins & tools
List
JobDSL
Pipeline Plugin
Blueocean Plugin
Jira Plugin
Juseppe

50. /aatarasoff
/aatarasoff
habrahabr.ru/aatarasoff
developerblog.info
Вопросы и ответы
Architect @