Идея доклада — рассказать об использовании Jenkins как не типичного инструмента для построения распределенной сборки продукта, зарабатывающего миллионы долларов. Мы поделимся секретами его адаптации под сборку билдов сложных систем/продуктов с многими компонентами и ускорения в разы этой задачи. Наша проблема: линейная сборка продукта занимает 8 часов. А Jenkins «из коробки» не умеет собирать сложные иерархии. При этом писать код самостоятельно не хочется. В итоге мы придумали, как использовать существующий инструмент, пройдясь по нему напильником. Кому будет интересно: Эти знания могут помочь людям, которые хотят построить эффективный CI, но не хотят тратить много времени на исследования. Мы выложим наш код и материалы на GitHub. Это будет довольно практично. Лайфхаки: Используем Build Flow + Groovy скрипты чтобы оркестрировать сложную иерархию с параллельными ветвями и собирать результаты Правильное использование префиксов в названиях job-ов помогают автоматизировать группировку по бранчам Переиспользуем окружения сборки много раз, не удаляя их Предыдущий пункт в итоге оставляет за собой кучу мусора, которую мы периодически очищаем при помощи системных Groovy скриптов по job префиксу Группировка большого количества job-ов в проекты и бранчи с использованием Nested View Дамп и разворачивание job-ов из системы контроля версий по шаблону Ну и взгляд в будущее: автоматический анализ билд проблем. http://2014.404fest.ru/reports/jenkins/

1. Распараллеливание сборки
Parallels Desktop
Константин Назаров [racktear@]

2. обо мне
Константин Назаров
• Работаю в
• В прошлом — системный программист
• Улучшаю процессы в компании

3. любимый продукт — Parallels Desktop

4. что нам удалось сделать
• Быстрее сборка: с 8 часов до 1.3 (в 6 раз)
• Инцидентов меньше в десятки раз
• В 4 раза больше сборок

5. зачем я здесь?
• поделиться нашим опытом
• дать готовые, действенные советы (и код!)
• познакомиться с единомышленниками
• научиться новому

6. В чем сложности?
• В Parallels Desktop — 19 компонентов
• Одновременно 4-5 активных веток
• Сборка компонента от 20 до 30 минут

7. А еще
• Зависимости
• Упаковка и инсталлеры
• Отладочная информация
• Хранение результатов
• Тестирование

8. немного истории

9. я прошел все стадии
• Отрицание
• Гнев
• Торг
• Депрессия
• Принятие

10. наши ошибки

11. Подход разработчика
• Попытка глубоко продумать архитектуру
• Нежелание делать “быстрые” решения
• Завышенные ожидания качества

12. централизация
• централизация ответственности
• сокрытие знаний

13. написание кода
• То есть попытка сделать CI “с нуля”
• Десятки тысяч строк

14. Почему это не работает?

15. причины:
• Это дорого
• Ответственность должна быть общей
• Это не ваша компетенция (как компании)

16. почему Jenkins?

17. очень просто:
• Около 1000 плагинов, на любой вкус
• Можно быстро начать (важно!)
• Подходит даже для не-инженеров
• Качественное внутреннее устройство

18. А теперь о проблемах

19. все через GUI
• нет интеграции конфигов с svn/git
• нет шаблонов

20. нестабильность
• Выбрать нормальный релиз — проблема
• Иногда что-нибудь да падает

21. хранение файлов
• Встроенный механизм хранения — медленный
• Да и стратегии очистки не гибкие
• Отсутствует релиз-менеджмент

22. группировка задач
• Штатными средствами группу задач не собрать
• Тяжело передавать файлы между задачами

23. остается “мусор”
• Нет нормальных стратегий очистки
• Кэширование?

25. что можно улучшить

26. разворачивание из git
• Поймите, из каких частей состоит проект
• Идентифицируйте общие параметры
• Сделайте простой шаблонизатор
• Воспользуйтесь Jenkins API

27. придумайте структуру
• Jenkins бывает чересчур гибким
• Без правил ваш проект превратится в кашу
• Пример — именование билд задач

28. Используйте BuildFlow
• Это такой плагин для Jenkins
• Сделан для управления группой задач
• Позволяет собирать части проекта параллельно

29. храните файлы “снаружи”
• Например, на FTP/HTTP
• Или, лучше в Artifactory

30. релиз менеджмент
• Напишите себе скрипты для создания релизов
• И запускайте их из Jenkins, по “кнопке”
• Используете Artifactory? У нас есть готовый код!

31. скрипты очистки
• Не пренебрегайте “системными скриптами”!
• На Groovy можно “подкостылить” без плагина
• Например, очистку диска из-под сложных проектов

32. что еще можно сделать?

33. подумайте о проекте
• Разбейте проект на логические компоненты
• Постройте граф зависимостей
• Постарайтесь его “расплющить”

34. управляйте конфигурацией
• Используйте Chef
• … или Puppet
• … или Ansible
• Хоть что-нибудь

35. попробуйте Vagrant
• Мало кто знает, но его можно “звать” из Jenkins
• Мы так тестируем свой сайт

36. делитесь опытом
• По Jenkins почти не пишут книг
• Ваша лучшая ставка — сообщество
• Пишите нам :)
• Ну или читайте советы гуру. Например, Rackspace

37. Q&A
@racktear
bit.ly/ParallelsJenkins