This is a war-story about deploying and managing Jenkins instances in the cloud in our company. For this purpose, we use Mesos and Docker plugins. In the talk I focus on our requirements to Jenkins in the Cloud, prerequisites and the preparation process. The presentation also covers the current state of the deployment and the lessons learnt. We are hiring! Msk and Spb: https://goo.gl/HjfOz5

1. Jenkins Cloud
Jenkins in Docker in Mesos in...

2. @tolkv
2
@lavcraft

3. Jenkins Cloud
● Amazon EC2

4. Jenkins Cloud
● Amazon EC2
● Eucalyptus

5. Jenkins Cloud
● Amazon EC2
● Eucalyptus
● Docker
● Mesos

6. Jenkins Cloud
● Amazon EC2
● Eucalyptus
● Docker
● Mesos

7. Jenkins Cloud
● Amazon EC2
● Eucalyptus
● Docker
● Mesos
Что дает:
● Jenkins Master в каждый дом(проект)
● Shared Slaves
● = Jenkins as a Service

8. Предпосылки
● Jenkins Master – не самый стабильный

9. Предпосылки
● Jenkins Master – не самый стабильный
● Каждый хочет установить свой плагин

10. Предпосылки
● Jenkins Master – не самый стабильный
● Каждый хочет установить свой плагин
● И настроить “правильно”

11. Предпосылки
● Jenkins Master – не самый стабильный
● Каждый хочет установить свой плагин
● И настроить “правильно”
● И вообще сделать всео “по уму”

12. Хитрость
● Гды вы запускаете Jenkins?

13. Хитрость
● Гды вы запускаете Jenkins?
● На каких серверах запускать jenkins slave?

14. Проект $
Ресурсы на проект
Prod
App1
App2
App3
Db1
Db2
Db3

15. Проект $
Ресурсы на проект
Prod
App1
App2
App3
Db1
Db2
Db3
Dev
App1
App2
Db1

16. Проект $
Ресурсы на проект
Prod
App1
App2
App3
Db1
Db2
Db3
Dev
App1
App2
Db1
Infra
Mon1
Mon2

17. Проект $
Ресурсы на проект
Prod Dev Infra
Mon1
Mon2

18. Проект $
Ресурсы на проект
Prod Dev Infra
Mon1
Mon2
Jenkins
Resources

19. Проект $
Ресурсы на проект
Prod Dev Infra
Mon1
Mon2
Jenkins
Resources

20. Хитрость
● Гды вы запускаете Jenkins?
● На каких серверах запускать jenkins slave?
● А почему бы не запускать билды на разработческих стендах?

22. С чего начать
* Что каждый может сделать придя домой

23. Подходы
Раш

24. Подходы
Рациональный подход

25. Подходы
VS

26. Подходы

27. Подходы

28. Что имеется
● Docker

29. Что имеется
● Docker
● Mesos

30. Что имеется
● Docker
● Mesos
● Maratrhon

31. Что имеется
● Docker
● Mesos
● Maratrhon
● zookeeper …
● …

32. Jenkins

33. Jenkins
Jenkins Master

34. Jenkins
Jenkins Master Jenkins Slave

35. Запихаем в Docker

36. Запихаем в Docker
● Уже есть оффициальный на docker hub
https://hub.docker.com/_/jenkins/
● Отлично! Запускаем!
docker run -p 8080:8080 -it jenkins

37. Запихаем в Docker
● Уже есть оффициальный на docker hub
https://hub.docker.com/_/jenkins/
● Отлично! Запускаем!
docker run -p 8080:8080 -it jenkins
● А как же плагины? Давайте разбираться!

38. Начнем с Docker
https://github.com/jenkinsci/docker/blob/master/README.md#preinstalling-plugins
Dockerfile
FROM jenkins:2.32.1
COPY plugins.txt /usr/share/jenkins/ref/
RUN /usr/local/bin/plugins.sh /usr/share/jenkins/ref/plugins.txt

39. Dockerfile
FROM jenkins:2.32.1
COPY plugins.txt /usr/share/jenkins/ref/
RUN /usr/local/bin/plugins.sh /usr/share/jenkins/ref/plugins.txt
Начнем с Docker
$ docker build .

40. Начнем с Docker
$ cat plugins.txt
handlebars:1.1.1
icon-shim:2.0.3
ivy:1.27.1
jackson2-api:2.7.3
javadoc:1.4
jquery-detached:1.2.1
junit:1.19
ldap:1.14
mailer:1.18
mapdb-api:1.0.9.0
marathon:1.4.0
matrix-auth:1.4
matrix-project:1.8
maven-plugin:2.14
mesos:0.14.0
metrics:3.1.2.9
momentjs:1.1.1
pam-auth:1.3
pipeline-build-step:2.4
pipeline-graph-analysis:1.3
pipeline-input-step:2.5

41. Где взять plugins.txt
$ cd $JENKINS_HOME/plugins

42. Где взять plugins.txt
$ cd $JENKINS_HOME/plugins
$ tree
├── <PLUGIN_NAME>
│ ├── META-INF
│ │ ├── MANIFEST.MF

43. Где взять plugins.txt
$ cd $JENKINS_HOME/plugins
$ tree
├── <PLUGIN_NAME>
│ ├── META-INF
│ │ ├── MANIFEST.MF

44. Где взять plugins.txt
$ cd $JENKINS_HOME/plugins
$ tree
├── <PLUGIN_NAME>
│ ├── META-INF
│ │ ├── MANIFEST.MF
$ cat <PLUGIN_NAME>/META-INF/MANIFEST.MF

45. Где взять plugins.txt
$ cd $JENKINS_HOME/plugins
$ tree
├── <PLUGIN_NAME>
│ ├── META-INF
│ │ ├── MANIFEST.MF
$ cat <PLUGIN_NAME>/META-INF/MANIFEST.MF
Manifest-Version: 1.0
Archiver-Version: Plexus Archiver
Url:
https://wiki.jenkins-ci.org/display/JENKINS/Pipeline+API+Plugin
Plugin-Version: 2.8
…

46. Где взять plugins.txt
$ cd $JENKINS_HOME/plugins
$ tree
├── <PLUGIN_NAME>
│ ├── META-INF
│ │ ├── MANIFEST.MF
$ cat <PLUGIN_NAME>/META-INF/MANIFEST.MF
Manifest-Version: 1.0
Archiver-Version: Plexus Archiver
Url:
https://wiki.jenkins-ci.org/display/JENKINS/Pipeline+API+Plugi
n
Plugin-Version: 2.8
…

47. Где взять plugins.txt
for i in `MANIFEST.MF for all plugins`;
do
done

48. Где взять plugins.txt
for i in `find -d $JENKINS_HOME/plugins -name "MANIFEST.MF"`;
do
done

49. Где взять plugins.txt
for i in `find -d $JENKINS_HOME/plugins -name "MANIFEST.MF"`;
do
# Plugin-Version: 2.8
v=EXTRACT VERSION FROM FILE <plugin>/META-INF/MANIFEST.MF
done

50. Где взять plugins.txt
for i in `find -d $JENKINS_HOME/plugins -name "MANIFEST.MF"`;
do
# Plugin-Version: 2.8
v=$(cat $i| grep Plugin-Ver | cut -d':' -f2 | tr -d ' ');
done

51. Где взять plugins.txt
for i in `find -d $JENKINS_HOME/plugins -name "MANIFEST.MF"`;
do
# Plugin-Version: 2.8
v=$(cat $i| grep Plugin-Ver | cut -d':' -f2 | tr -d ' ');
done

52. Где взять plugins.txt
for i in `find -d $JENKINS_HOME/plugins -name "MANIFEST.MF"`;
do
# Plugin-Version: 2.8
v=$(cat $i| grep Plugin-Ver | cut -d':' -f2 | tr -d ' ');
done

53. Где взять plugins.txt
for i in `find -d $JENKINS_HOME/plugins -name "MANIFEST.MF"`;
do
# Plugin-Version: 2.8
v=$(cat $i| grep Plugin-Ver | cut -d':' -f2 | tr -d ' ');
done

54. Где взять plugins.txt
for i in `find -d $JENKINS_HOME/plugins -name "MANIFEST.MF"`;
do
v=$(cat $i| grep Plugin-Ver | cut -d':' -f2 | tr -d ' ');
# $i = ./workflow-api/META-INF/MANIFEST.MF
done

55. Где взять plugins.txt
for i in `find -d $JENKINS_HOME/plugins -name "MANIFEST.MF"`;
do
v=$(cat $i| grep Plugin-Ver | cut -d':' -f2 | tr -d ' ');
# ./workflow-api/META-INF/MANIFEST.MF
mod=EXTRACT PLUGIN NAME
done

56. Где взять plugins.txt
for i in `find -d $JENKINS_HOME/plugins -name "MANIFEST.MF"`;
do
v=$(cat $i| grep Plugin-Ver | cut -d':' -f2 | tr -d ' ');
# ./workflow-api/META-INF/MANIFEST.MF
mod=$(echo $i | cut -d'/' -f2);
done

57. Где взять plugins.txt
for i in `find -d $JENKINS_HOME/plugins -name "MANIFEST.MF"`;
do
v=$(cat $i| grep Plugin-Ver | cut -d':' -f2 | tr -d ' ');
# ./workflow-api/META-INF/MANIFEST.MF
mod=$(echo $i | cut -d'/' -f2);
done

58. Где взять plugins.txt
for i in `find -d $JENKINS_HOME/plugins -name "MANIFEST.MF"`;
do
v=$(cat $i| grep Plugin-Ver | cut -d':' -f2 | tr -d ' ');
mod=$(echo $i | cut -d'/' -f2);
done

59. Где взять plugins.txt
cd $JENKINS_HOME/plugins
for i in `find -d . -name "MANIFEST.MF"`;
do
v=$(cat $i| grep Plugin-Ver | cut -d':' -f2 | tr -d ' ');
mod=$(echo $i | cut -d'/' -f2);
echo $mod:$v; # pluginname:version
done

60. Инициализируем jenkins_home
● Запускаем Jenkins и монтируем JENKINS_HOME
docker run
$PWD/jenkins_home:/var/jenkins_home
-p 8080:8080
-it jenkins
● Теперь у нас в jenkins_home все нужные плагины

61. Теперь у нас есть jenkins в Docker?

62. НЕТ
Теперь у нас есть jenkins в Docker?

63. Задеплоим Jenkins-Master

64. Mesos + Marathon + Marathon-LB

65. Деплоим Jenkins
Marathon
Manifest [Json]
Jenkins
Master

66. Деплоим Jenkins
Marathon
Manifest [Json]
Jenkins
Master
POST

67. Деплоим Jenkins
Marathon
Manifest [Json]
Jenkins
Master
POST EVENT
Reload

68. Деплоим Jenkins
Marathon
Manifest [Json]
Jenkins
Master
POST EVENT
Reload
ANNOUNCE

69. Деплоим Jenkins
Marathon
Manifest [Json]
Jenkins
Master
POST EVENT
Reload
ANNOUNCE
OPEN
UI

70. Деплоим Jenkins
Marathon
Manifest [Json]
Jenkins
Master
{"id": "/my_project/jenkins",
"cmd": "...",
"cpus": 2,
"mem": 2048,
"instances": 1,
"container": {
"type": "DOCKER",
"docker": { "image": "docker.moscow.alfaintra.net/jenkins:2.32.1-mesos", } },
"healthChecks": [ {
"path": "/proxy/raw/jenkins/passport/login",
"protocol": "HTTP",
"portIndex": 0,
...
} ],
"portDefinitions": [ {
"port": 11102,
"protocol": "tcp",
"name": "jenkinshttp",
},{
"port": 11103,
"protocol": "tcp",
"name": "jenkinsjnlp",
"labels": {}
},
{
"port": 11104,
"protocol": "tcp",
"name": "mesoslibprocess",
"labels": {}
} ] }

71. Публикуем по http
Marathon
Manifest [Json]
Jenkins
Master
{"id": "/my_project/jenkins",
...
"labels": {
"HAPROXY_DEPLOYMENT_GROUP": "cd_my_project_jenkins",
"HAPROXY_GROUP": "cd_my_project_jenkins",
"HAPROXY_0_PATH": "/proxy/raw/jenkins/my_project",
"HAPROXY_0_VHOST": "my_project.jenkins.cd"
},
…
}

72. Marathon LB
Marathon
Manifest [Json]
Jenkins
Master
{"id": "/my_project/jenkins",
...
"labels": {
"HAPROXY_DEPLOYMENT_GROUP": "cd_my_project_jenkins",
"HAPROXY_GROUP": "cd_my_project_jenkins",
"HAPROXY_0_PATH": "/proxy/raw/jenkins/my_project",
"HAPROXY_0_VHOST": "my_project.jenkins.cd"
"HAPROXY_0_HTTP_FRONTEND_ACL_WITH_PATH": " acl host_{cleanedUpHostname} hdr(host) -i
{hostname}n acl path_{backend} path_beg {path}n use_backend {backend} if path_{backend}n",
},
…
}

73. Marathon
Marathon
Manifest [Json]
Jenkins
Master

74. Marathon
Marathon
Manifest [Json]
Jenkins
Master

75. Открываем
● VHOST + PATH если есть DNS

76. Открываем
● VHOST + PATH если есть DNS
● Иначе кастомизируем Haproxy acl для варианта только с PATH

77. Открываем
● VHOST + PATH если есть DNS
● Иначе кастомизируем Haproxy acl для варианта только с PATH
● curl http://jenkins.my_project.mesosdev/
● curl http://any_nodehostname/proxy/raw/jenkins/my_project

78. Открываем
● VHOST + PATH если есть DNS
● Иначе кастомизируем Haproxy acl для варианта только с PATH
● curl http://jenkins.my_project.mesosdev/
● curl http://any_nodehostname/proxy/raw/jenkins/my_project

79. Открываем
● VHOST + PATH если есть DNS
● Иначе кастомизируем Haproxy acl для варианта только с PATH
● curl http://jenkins.my_project.mesosdev/
● curl http://any_nodehostname/proxy/raw/jenkins/my_project
● Jenkins не поддерживает X-Forwarded
ну или у меня не получилось завести...

80. Открываем
● VHOST + PATH если есть DNS
● Иначе кастомизируем Haproxy acl для варианта только с PATH
● curl http://jenkins.my_project.mesosdev/
● curl http://any_nodehostname/proxy/raw/jenkins/my_project
● Jenkins не поддерживает X-Forwarded
ну или у меня не получилось завести...
● см --prefix=/proxy/raw/jenkins/my_project

81. Проверим jenkins-mesos плагин

82. Jenkins Mesos Plugin
$JENKINS_URL/manage → $JENKINS_URL/configure

83. Jenkins Mesos Plugin
$JENKINS_URL/manage → $JENKINS_URL/configure
→

84. Jenkins Mesos Plugin
$JENKINS_URL/manage → $JENKINS_URL/configure
→

85. Mesos Hostname
Mesos native library path

86. APPLY

87. Не найден mesos.so
APPLY

88. Как это должно работать?
Jenkins
Master
Jenkins
SlaveJenkins
SlaveJenkins
SlaveJenkins
Slave

89. Как это должно работать?
Mesos
Master
Agent
Agent
Agent
AgentJenkins
Master
Jenkins
SlaveJenkins
SlaveJenkins
SlaveJenkins
Slave

90. Как это должно работать?
Mesos
Master
Agent
Agent
Agent
AgentJenkins
Master
Jenkins
SlaveJenkins
SlaveJenkins
SlaveJenkins
Slave

91. Как это должно работать?

92. Как это должно работать?
Jenkins
Master
Mesos
Master
Mesos
MasterMesos
Master
Agent
Agent
Agent
Agent
Jenkins
Slave

93. Mesos Native
$ docker build .
Dockerfile
FROM jenkins:2.32.1
ARG MESOS_VERSION
ARG MESOS_VERSION_DEB
ENV MESOS_VERSION ${MESOS_VERSION:-1.1.0}
ENV MESOS_VERSION_DEB ${MESOS_VERSION_DEB:-2.0.107.debian81}
ENV TMP_DIR=/tmp/mesos
USER root
RUN apt-key adv --keyserver keyserver.ubuntu.com --recv E56151BF &&
echo "deb http://repos.mesosphere.com/debian jessie main" > /etc/apt/sources.list.d/mesosphere.list &&
apt-get update &&
apt-get install -y --no-install-recommends mesos=$MESOS_VERSION-$MESOS_VERSION_DEB &&
rm -rf /var/lib/apt/lists/*
USER jenkins
COPY plugins.txt /usr/share/jenkins/ref/
RUN /usr/local/bin/plugins.sh /usr/share/jenkins/ref/plugins.txt

94. Mesos Native
Dockerfile
FROM jenkins:2.32.1
...
USER root
RUN apt-key adv --keyserver keyserver.ubuntu.com --recv E56151BF &&
echo "deb http://repos.mesosphere.com/debian jessie main" >
/etc/apt/sources.list.d/mesosphere.list &&
apt-get update &&
apt-get install -y --no-install-recommends
mesos=$MESOS_VERSION-$MESOS_VERSION_DEB &&
rm -rf /var/lib/apt/lists/*
USER jenkins
COPY plugins.txt /usr/share/jenkins/ref/
RUN /usr/local/bin/plugins.sh /usr/share/jenkins/ref/plugins.txt
$ docker build .

95. Что там в Mesos?

96. Что там в Mesos?

97. Что там в Mesos?

98. Что там в Mesos?

99. Mesos Hostname
Specifies the hostname:port of the Mesos master.
● node1:zk_port,node2:zk_port,node3:zk_port

100. Mesos Hostname
Specifies the hostname:port of the Mesos master.
● node1:zk_port,node2:zk_port,node3:zk_port
● http://node1:2181/api/v1/scheduler

101. Mesos Hostname
Specifies the hostname:port of the Mesos master.
● node1:zk_port,node2:zk_port,node3:zk_port
● http://node1:2181/api/v1/scheduler
● zk://node1:2181,node2:2181,node3:2181

102. Mesos Hostname
Specifies the hostname:port of the Mesos master.
● node1:zk_port,node2:zk_port,node3:zk_port
● http://node1:2181/api/v1/scheduler
● zk://node1:2181,node2:2181,node3:2181
● zk://node1:2181,node2:2181,node3:2181/mesos

103. Mesos Hostname
Specifies the hostname:port of the Mesos master.
● node1:zk_port,node2:zk_port,node3:zk_port
● http://node1:2181/api/v1/scheduler
● zk://node1:2181,node2:2181,node3:2181
● zk://node1:2181,node2:2181,node3:2181/mesos

104. А теперь что в Mesos?

105. А теперь что в Mesos?

106. А теперь что в Mesos?

107. Разберемся

108. Разберемся
CLI
JNLP
HTTP
MESOS
Jenkins in
Docker

109. Разберемся
CLI_PORT
JNLP_PORT
HTTP_PORT
CLI_ADVERTIZED_PORT
MESOS_PORT
HTTP_ADVERTIZED_PORT
JNLP_ADVERTIZED_PORT
MESOS_ADVERTIZED_PORT
Внутри
контейнера
Внутренние
порты Внешние
порты
Jenkins in
Docker
Во вне

110. Как лечим
● -Dhudson.TcpSlaveAgentListener.port=$PORT1
● JENKINS_SLAVE_AGENT_PORT=$PORT1
● --httpPort=$PORT0

111. Разберемся
CLI_ADVERTIZED_PORT
HTTP_ADVERTIZED_PORT
JNLP_ADVERTIZED_PORT
MESOS_ADVERTIZED_PORT
Внутренние
порты Внешние
порты
Jenkins in
Docker
Mesos
Master
LIBPROCESS_ADVERTIZED_PORT
LIBPROCESS_ADVERTIZED_IP
CL_PORT
JNLP_PORT
HTTP_PORT
CLI_ADVERTIZED_PORT
MESOS_PORT
HTTP_ADVERTIZED_PORT
JNLP_ADVERTIZED_PORT
MESOS_ADVERTIZED_PORT
Внутри
контейнера
Во вне

112. Как лечим
● -Dhudson.TcpSlaveAgentListener.port=$PORT1
● JENKINS_SLAVE_AGENT_PORT=$PORT1
● --httpPort=$PORT0
● LIBPROCESS_PORT=$PORT2

113. Как лечим
● -Dhudson.TcpSlaveAgentListener.port=$PORT1
● JENKINS_SLAVE_AGENT_PORT=$PORT1
● --httpPort=$PORT0
● LIBPROCESS_PORT=$PORT2

114. Build Now

115. Что еще можно потюнить?

116. Соберём что нибудь

117. Набор инструментов
● Jenkins Tools
○ M3
○ Docker
○ Gradle
○ ...

118. Набор инструментов
● Jenkins Tools
○ M3
○ Docker
○ Gradle
○ …
● Docker image per task type

119. Jenkins Jobs. Pipeline
node('mesos-jendev'){
...
}

120. Jenkins Jobs. Pipeline
node('mesos-jendev'){
...
}
Название Jenkins Cloud

121. Jenkins Jobs. Pipeline. Custom image
node('mesos-jendev'){
...
}
node('mesos-jendev:jenkins-slave:java-with-curl'){
...
}
Название Jenkins Cloud в котором
будет запущен таск
Название образа в котором
будет запущен новый
jenkins-slave

122. Jenkins Jobs. Pipeline. Dind Image
node('mesos-jendev:jenkins-slave:java-dind'){
...
}

123. Docker client конфликт версий
● Официальный dind образ для docker 1.12+

124. Docker client конфликт версий
● Официальный dind образ для docker 1.12+
● Docker на сервере 1.10 – 1.12

125. Docker client конфликт версий
● Официальный dind образ для docker 1.12+
● Docker на сервере 1.10 – 1.12
● Клиент 1.12 не работает с сервером 1.10

126. Docker client конфликт версий
● Официальный dind образ для docker 1.12+
● Docker на сервере 1.10 – 1.12
● Клиент 1.12 не работает с сервером 1.10
● Сделаем свой?

127. Docker client конфликт версий
● Официальный dind образ для docker 1.12+
● Docker на сервере 1.10 – 1.12
● Клиент 1.12 не работает с сервером 1.10
● Сделаем свой?
● Нет, обновим Docker

128. Jenkins Jobs. Pipeline. Custom image
node('mesos-jendev:jenkins-slave:java-with-curl'){
stage('fetch'){
checkout scm
}
stage('build'){
...
}
}

129. node('mesos-jendev:jenkins-slave:java-with-curl'){
stage('fetch'){
checkout scm
}
stage('build'){
def server = Artifactory.server 'alfa-laboratory'
def rtGradle = Artifactory.newGradleBuild()
def buildInfo = Artifactory.newBuildInfo()
rtGradle.run tasks: 'snapshot', buildInfo: buildInfo
}
}
Jenkins Jobs. Pipeline. Custom image

130. Jenkins Job in Mesos Cluster in Docker

131. Jenkins Slaves под нашим контролем

132. ● jenkins home persistence – требует mesos 1.0.1 + (Incubating API)
● работа с Network BRIDGE – боль
○ jenkins jnlp4 handshake
○ advertized ports
○ mesos LIBPROCESS
● build cache and incremental builds
● gradle cache problems gradle/851
● link to MESOS_SANDBOX from builds
Немного проблем

133. Резюме
● Jenkins`a стоит бояться
● Jenkins Cloud для энтузиастов

134. Резюме
● Jenkins`a стоит бояться
● Jenkins Cloud для энтузиастов
● Подумайте 3 раза нужно ли вам это
● Если не нужно не используйте

135. Резюме
● Jenkins`a стоит бояться
● Jenkins Cloud для энтузиастов
● Подумайте 3 раза нужно ли вам это
● Если не нужно не используйте
● Можно упороться и заставить работать Jenkins Cloud

136. node('mesos-jendev:jenkins-slave:java-with-httpie'){
echo '1'
deployTo()
echo '5'
}
@NonCps
def deployTo() {
echo '2'
isExistInCluster()
echo '4'
}
def isExistInCluster() {
echo '3'
Pipeline прямиком из ада

137. Pipeline прямиком из ада
> 1
> 2
> 3
> 5
> End Stage
> End Pipline

138. node('mesos-jendev:jenkins-slave:java-with-httpie'){
echo '1'
deployTo()
echo '5'
}
@NonCps
def deployTo() {
echo '2'
isExistInCluster()
echo '4' // < ---- SKIPED
}
def isExistInCluster() {
echo '3'
Pipeline прямиком из ада

139. Заходите на чай
https://goo.gl/HjfOz5
QA