Dev@cloudの実装

DEV@cloudの実装
Jenkins-as-a-Serviceはどうやって動いているか

川口耕介

©2010 CloudBees, Inc. All Rights
Reserved

DEV@Cloudとは
• Jenkinsのホスティング
– 1000+ のマスタ
– のべ 1,500,000分以上のビルド

• ソースコード・バイナリリポジトリなど
– Git, SVN, Maven

• 現在はEC2上で動作

©2010 CloudBees, Inc. All Rights 2
Reserved

Jenkins マスター
• マスターは別々のJVMで
– 別のOSユーザーで

• なぜ？
– 隔離
– モニタリング・診断などが簡単

• 一台の計算機に多数のマスタを集積
– 使われていないインスタンスは乾燥保存

Reserved

Jenkins マスターのコード
• Core = OSS Jenkins
– LTS
– 独自パッチはほぼ解消した
• 独自プラグイン群
– ユーザーに使われると困るもの
• Groovy Console
• マスター上でビルドが起こらないように
– ユーザーが設定する必要のないもの
• メールサーバの設定
• ルートURLの設定

Reserved

Jenkins マスターのデータ
• $JENKINS_HOMEはEBSに
– １テナント１ボリューム
– スナップショットによるバックアップ
• サイズの拡大が可能
– 再マウントの為の短いダウンタイムが必要

• スナップショット＋クローンを活用した
い！
– プラグイン実験用の一時的クローンとかど
うでしょう？
Reserved

Jenkinsの外:Chef
• Tomcat
• 初期設定
• ビルドツール
• …
package “httpd”
cookbook_file “/etc/httpd.conf” do
source “myconfig”
end
service “httpd” do
action :start
end

Reserved

Chefのアーキテクチャ

chef-server

masters

slaves
web-tier

Reserved

Chefの使い方の工夫
• Chefにゼロからスレーブをセットアップ
させていると間に合わない

• 予めセットアップしたやつをAMI化
– 残りデルタだけを起動時にChefにやっても
らう

Reserved

JenkinsとChef/Puppet
手間

Chef/Puppet
手動管理

台数

Reserved

スレーブの割り当ての仕組み
• Providore
– ブローカー・サービス
– Jenkinsの外部
– Jcloudsを使ってEC2 APIと対話
– スレーブの割り当て・プール・破棄

Reserved

プールからの割り当て

再利用
スレーブくれ！プール

providore

Reserved

EC2からの割り当て
教訓:
• EC2 APIが落ちてもよいようにせよ

スレーブくれ！割り当て
ec2 api

providore

Reserved

初期化と占有

スレーブくれ！

providore
1. LXCを開始
2. マスターを割り当て

スレーブ

©2010 CloudBees, Inc. All Rights slave 13
Reserved

スレーブの接続

1. 接続情報通知

providore

2. SSHで接続

スレーブ

Reserved

スレーブの接続

1. 解放

providore
2. LXCの破棄・掃除

スレーブ

Reserved

デモ

©2010 CloudBees, Inc. All Rights
Reserved

Linuxコンテナ
• OSレベルの仮想化
– 中からは完全な独立Linuxシステムのように見え
る
– 実は単一カーネルの上で動いている
– Solarisの笑い声が聞こえる…

• スレーブのリサイクルが高速
– リセット＆リブートはLXCの方が圧倒的に早い

• EC2からの独立性
– テナントの隔離や再利用のロジックがクラウド
APIに依存しない方が望ましい
Reserved

ロシア人形モデル
EC2 Hypervisor
EC2 Node

LXC Guest

Reserved

Linux コンテナ: ワークスペース
• LXCホストには複数テナントのWSが接
続
– LXCゲストは１つしか見えないようになっ
ている
– Consistent hashによってできるだけ同じホ
ストにビルドを割り当てる

• 仮想化版のHDDカートリッジ

Reserved

Nagiosによるモニタリング
• jenkins-ci.orgも
• 拡張可能
• テキストベースの設定ファイル
– マスターが追加されるたびに自動生成
• PagerDutyとの統合
• サービス間の依存関係の概念
– コア・サービスが落ちた時の大量の通知を
防ぐ

Reserved

モニタすべきもの
• ユーザーが見るもの: indexページ
• JVMヒープ、特にpermgen
• 負荷
• ディスクスペース
• スレーブの稼動状況

curl http://jenkins/computer/api/json

Reserved

未解決問題
• マスタが増えるにつれスケーラビリティ
が…
• ポーリングからプッシュへ
大丈夫ですか？返事してください！

Reserved

Groovyスクリプトコンソール
• 探索的トラブルシューティング
• データ収集

• Scriptler 2.0
– コミュニティのリポジトリから管理スクリ
プトをダウンロードして実行する仕組み
– https://github.com/jenkinsci/jenkins-scripts/

Reserved

「一度きり→手作業」 vs 「繰り返し→自動
化」
• 他のツールとの連携は我々には「一度き
り」ではない
– いわゆるスケールメリットというやつ
• エコシステム・パートナー
– あらかじめ統合を自動化しておく
– ユーザーは連携を有効化するだけ

Reserved

まとめ
• 野良Jenkins、増えていませんか？
• 少しずつシステマティックな管理を導入
する
– スケールメリット
– 一度にやろうとすると無限に先延ばしに
なってしまう
• この事例が参考になりますように

Reserved

今週末発売
• 入門的内容
– Java & Ruby
• チーム間作業の改善
– 昇進、指紋
• 検証済みマージ
– Subversion & Git
• 分散ビルド
• Selenium

Reserved

Questions?

Thank You!
http://www.cloudbees.com

Reserved

2006年
• 分散ビルドのサポート

Reserved

Reserved

Jenkinsのクラウド化

Elastic マス
多数のマスタタ
自動伸縮クラスタ

分散ビルド

机の下計算機

Reserved

Dev@cloudの実装

More Related Content

What's hot

Viewers also liked

Similar to Dev@cloudの実装

More from Kohsuke Kawaguchi

Recently uploaded

Dev@cloudの実装

Editor's Notes