JenkinsとCodeBuildとCloud Buildと私

JenkinsとCodeBuildとCloud Buildと私
Shoji Shirotori / @irotoris
Recruit Lifestyle Co., Ltd.

自己紹介
白鳥昇治（シロトリショウジ） / @irotoris
データエンジニア@リクルートライフスタイル
社内データ分析基盤/データパイプラインの開発を担当（分析もします）
Docker ❤ Kubernetes ❤ CD/CI ❤ Serverless ❤ BigData

いまやっているCI/CD
AWS / GCP / オンプレで構成されたデータ分析基盤のデプロイ・構成管理
データ加工・集計アプリケーションとそのコンテナのビルド・テスト・デプロイ

CI/CD（AsIs）
Database
Server
Batch
Server
Github Enterprise
Container
Registry
Container
RegistryBatch
Server
On-Premise
CI Notification from Jenkins
God (Infra Team)
×Services×ENV
etc. etc.

Jenkins運用でやりたくないこと
Jenkins Agentのインスタンス・ランタイム・パッケージ管理
CI用の権限強めのアクセスキーの発行・管理
Jenkinsプラグイン管理

Jenkins Agent（ビルドサーバ）のインスタンス・ランタイム・パッケージ管理
僕「opensslのバージョン古くてこのパッケージ動かないんですけど…。」
神「でもバージョン上げるとこっちのパッケージが動かなくなるので…。」
僕「えぇ…」

僕「ジョブの並列度上がってきたからAgent追加しよ」
バージョン固定してないパッケージ「昨日メジャーバージョンアップしたで！！」
Agentたち「「「「はい環境差分」」」」
僕「動かん…なんでや…」

僕「ジョブの並列度上がってきたからAgent追加しよ」
サーバーレス好きな僕「システムはサーバーレスなのにCIでサーバー増やすんか
ｗｗｗ」
僕「自己矛盾つらい」

僕「Terraformでクラウドリソースのcreate/delete/modifyするから、CIの権限めちゃ
強いなぁ」
僕「$ git push」
僕「あっ」
→怖いのでJeninsのインスタンスにIAM Roleつけてそのインスタンス上でCI実行
→環境ごとにMaster/Agentが誕生する→管理がさらに面倒になる

僕「Blue Ocean入れよう」
Job「NullPointerException」
僕「！？」
リトライポチー
Job「SUCCESS」
僕「！？！？」

カンファレンス＞Goole Cloud Build！！
ブログ＞AWS CodeBuild便利！！

AWS CodeBuild ???
マネージドなコンテナベースのビルド実行環境
- 指定したランタイムのコンテナや自作コンテナを実行
- ビルド成果物はECRやS3へ保存
分単位の従量課金、無料枠あり
yamlでコマンドや処理順序を記述していく
選べるインスタンスタイプ、並列実行もOK
AWS Codeシリーズと組み合わせてCI/CDパイプラインを作る、そのパーツ
Jenkinsプラグイン(https://github.com/awslabs/aws-codebuild-jenkins-plugin)

Google Cloud Build ???
マネージドなコンテナベースのビルド実行環境
- 指定したランタイムのコンテナや自作コンテナを実行
- ビルド成果物はGCRやGCSへ保存
分単位の従量課金、無料枠あり
yamlでコマンドや処理順序を記述していく
選べるインスタンスタイプ、並列実行もOK
CI/CDパイプラインとしても使える
Jenkinsプラグイン(https://github.com/jenkinsci/google-cloudbuild-plugin)

どこまでCodeBuild / Cloud Buildにまかせるか？？
1. CI / CDパイプライン全部。もうJenkinsいらないやつ。
2. ビルド実行環境のみ。Jenkinsからビルドサービスをキックする。
Cloud
Build
Build / UT Deploy - Dev
Integration Test
UI Test
Deploy - Prd
Build / UT Deploy - Dev
Integration Test
UI Test
Deploy - Prd
Cloud
Build
Cloud
Build
Cloud
Build
Cloud
Build
Cloud
Functions

どこまでCodeBuild / Cloud Buildにまかせるか？？
1. CI / CDパイプライン全部（もうJenkinsいらないやつ）
2. ビルド実行環境のみ。Jenkinsからビルドサービスをキックする。
→現状、オンプレ＋マルチクラウド
→インフラのビルドやデプロイは同じ場所で統合されたパイプラインにしたい
→でもコンテナだけのデプロイは統合しなくても OK
→デプロイ単位に応じてどっちも試す
● コンテナのビルド・デプロイとかの単発ジョブで済むやつ →1
● ビルド・テスト・Devデプロイ・Prdデプロイ、とパイプラインが長いやつ →2

CI/CD（ToBe）
Database
Server
Batch
Server
Github Enterprise
Container
Registry
Container
RegistryBatch
Server
On-Premise
God (Infra Team)
etc. etc.

ランタイムのコンテナ化で解決
CodeBuild/Cloud Buildともにメインどころのビルドランタイムは公式で用意（なければ
自作する）
　　→AWSのほうが種類多くて汎用的（+=Python, Ruby, etc.）
　　→GoogleはGCPに特化（+=gcloud, gsutil, kubectl）
CodeBuild/Cloud Build上で実行できればインスタンス管理・Agentのスケールはなに
も考えなくていい。

CodeBuild/Cloud Build側でIAM Roleベースで実行する
→アクセスキーはいらない

方針：必要最低限の信頼できるプラグインのみ（それってどんなプラグイン？）
おじさんA「Jenkins、君はGit pullしてBuildサービスのAPIを叩いて結果を教えてくれれ
ばええんやで。プリセットのプラグインのみでいくで。」
おじさんB「CodeBuildもCloud Buildもプラグインから実行するよ。バグってたら自分で
直すよ。便利なプラグインは使っていこう。」
チームメンバのスキルとJenkinsおじさんの思考で決めると良さげ

CI/CD（ToBe）
Database
Server
Batch
Server
Github Enterprise
Container
Registry
Container
RegistryBatch
Server
On-Premise
etc. etc.
God (Infra Team)

CI/CD（Now）
Database
Server
Batch
Server
Github Enterprise
Container
Registry
Container
RegistryBatch
Server
On-Premise
etc. etc.
一部導入
一部導入まだ
God (Infra Team)

CodeBuild / Cloud Buildのいいところ
yamlでビルドステップが書ける、シンプルな構成
ビルド高速化Tipsがある
● ステップの並列実行が簡単に設定可能
● Container Registory、S3 or GCSをキャッシュ置き場として使える
ビルドマシンのリソースマネジメントがいらない
API経由での実行ができる、CIサーバーから切り離されたリソースとして使える

CodeBuild / Cloud Buildのかゆいところ①
Cloud BuildはGithub EnterpriseからWebhookで連携できない
● JenkinsがHubとして大活躍
○ APIでCloud Buildを実行
○ JenkinsがGoogle Cloud Source Repository（GCSR）へGit Push、GCSRからCloud Buildをキック
CodeBuild / Cloud Buildではビルド/テスト結果の統計レポート機能が乏しい
● Jenkinsがビルド/テスト成果物を表示
● 結果確認はSlackで頑張る

CodeBuild / Cloud Buildのかゆいところ②
CodeBuild / Cloud BuildはSlack Integration機能がない
● LambdaやCloud Functionで通知機能作ればOK
● CloudWatch Event、Cloud Pub/Subでビルドステータスが取得可能
CodeBuild / Cloud Buildでは複雑なパイプラインは表現しきれない
● 条件による分岐など。結局 Shellで書くことに。
● そもそも「Build」サービスだし。
パイプラインの可視性に乏しい
● やっぱりJenkinsのBlue Oceanがナンバーワン！

まとめ
AWS CodeBuild / Google Cloud BuildにJenkinsのビルド実行環境を委譲して得られ
るもの
● Jenkins Agentのインスタンス・ランタイム・パッケージ管理からの解放
● CI用の権限強めのアクセスキーの発行・管理がなくなる
● Jenkinsプラグイン管理の最小化
● （実行環境がスケールするCron）

まとめ
AWS CodeBuild / Google Cloud BuildにJenkinsのビルド実行環境を委譲して得られ
るもの
● Jenkins Agentのインスタンス・ランタイム・パッケージ管理からの解放
● CI用の権限強めのアクセスキーの発行・管理がなくなる
● Jenkinsプラグイン管理の最小化
● （実行環境がスケールするCron）
あともう少し…残りの問題は高可用性なJenkins Masterだ！！
To Be Continued...

JenkinsとCodeBuildとCloud Buildと私

More Related Content

What's hot

Similar to JenkinsとCodeBuildとCloud Buildと私

JenkinsとCodeBuildとCloud Buildと私