Jenkins と groovy

Jenkins と Groovy
川口耕介
CloudBees, Inc.

スクリプトコンソール
任意のGroovyスクリプトをeval
実行中のアプリケーションの内部を操作
VMWareESXiのsshアクセスみたいなもの
トラブル対応
デバッグフラグをon/offしたり
バッチ処理
ジョブの設定を一括で変えたり
情報収集
実行中のスレッドの一覧

スクリプトコンソール
以前は運用中のJenkinsにデバッガを接続してやっていた
デバッガでしかできない事もある
でも不便な事もある
スクリプトを渡してユーザーに実行してもらう
Jenkinsユーザーは開発者なので自分でクリエイティブに活用する人も

実装
GroovyShellを使えば簡単
GroovyShell shell = new GroovyShell(cl);
StringWriter out = new StringWriter();
PrintWriter pw = new PrintWriter(out);
shell.setVariable("out", pw);
Object output = shell.evaluate(script);
pw.println("Result: "+output);

リクエスト・レスポンス方式の限界
ウェブページという仕組み上の制約
長く実行するプログラムを書けない
スクリプトをコピペしないといけない
スクリプトに他の入力を渡すのが大変
スクリプトをscriptingできない

やっぱりCLI！
コマンドラインから実行すれば問題解決
Jenkins JVM
Client JVM
Jenkins remoting
GroovyShell

デモ

２つのJVMを跨ぐ
Jenkins remoting layerを利用
よく考えると色々面白い問題が
System.outはどこへ？
new File(“data.txt”)はどこへ？
両方アクセスできるようにする工夫が色々
new FilePath(channel, “data.txt”)
©2010 CloudBees, Inc. All Rights Reserved

2つのJVMを跨ぐ
データアクセスをtransparentに
Jenkins JVM
Client JVM
Jenkins remoting
GroovyShell
FilePath

更に次のステップへ
計算を他のVMへ送りたい

実験プロジェクト Droovy
分散計算プラットフォーム
Hadoopと勝負！ではなく、ちょっとしたやつ
複数の計算機を気軽に跨ぎたい
Jenkinsの分散ビルド環境を利用

ここでJenkins分散ビルドについて一言
マスター
HTTPリクエストを処理
重要なデータを保管
スレーブ
170KB jar
信頼性は低くてよい
200位は普通に繋げる
リンク
双方向バイトストリームで接続

Back to Droovy
複数の計算機を跨いでスクリプトを書きたい
負荷テスト
処理の並列化
暗黙にコードを共有したい
通信路を意識しないプログラムを書きたい

クロージャをリモート実行
slave = connect();
slave {
println “This code executes on a slave”;
}
println “This code executes on master”;

クロージャには束縛された変数を含む
slave = connect();
name = “Duke”;
slave {
println “Hello from ${name}”;
}

コードは暗黙に共有される
def sayHello(name) {
println “Hello from ${name}”;
}
slave = connect();
name = “Duke”;
slave {
sayHello(name);
}

デモ

Droovyまとめ
コード共有とかの問題はJenkins remotingで解決済み
なぜGroovy？
クロージャ概念がリモート実行とうまくマッチ
誰か使ってみませんか？

Jenkins Groovy Shell
Groovyshもアプリケーションに埋め込める
だからやってみた
モデルは前と同じ
実行はJenkinsの中
I/OはクライアントJVMで
対話性は便利
障害対応とか
スクリプトを書くための練習環境として

　Jenkins & Groovy
Mavenを使っていると時々…
些細なプラグインを書かされる羽目になったり
既存のプラグインの設定項目が足りなかったり
Antを使ったほうが早い時があったり

<plugin>
<groupId>org.codehaus.mojo</groupId>
<artifactId>build-helper-maven-plugin</artifactId>
<version>1.5</version>
<executions>
<execution>
<id>add-source</id>
<phase>generate-sources</phase>
<goals>
<goal>add-source</goal>
</goals>
<configuration>
<sources>
<source>some directory</source>
</sources>
</configuration>
</execution>
</executions>
</plugin>

Mavenなんてやってられるか！

GMaven
そこでGMaven
ビルドの一部をGroovyで書ける
Mavenの内部コンポーネントにアクセスできる
AntBuilderも当然使える
利用例
コードカバレッジの取得と集計

GMavenの欠点
しかし…
Groovyを呼び出すだけで15行位書かないといけない
呼べるコンポーネントの量が少ない
MavenProjectへの変更が反映されない
利用できる局面は限定的に
パッチを当てたバージョンを作った
http://github.com/kohsuke/gmaven
今後はGradleとかも試してみたい
Polyglot Mavenがメンテナンスされれば…

Groovyでテストを記述
Jenkinsのテストの一部はGroovyで書かれている
型宣言の手間が省ける
それでいてauto-completionは使える
リテラルの構築が楽
さようならthrows節
プロパティアクセスなどが楽
実行速度?

void testVariablesResolved() {
def project = createFreeStyleProject();
hudson.nodeProperties.replaceBy([
　　new EnvironmentVariablesNodeProperty(
new Entry("KEY1", "value"),
new Entry("KEY2",'$KEY1'))]);
def builder = new CaptureEnvironmentBuilder();
project.buildersList.add(builder);
buildAndAssertSuccess(project);
def envVars = builder.envVars;
assertEquals("value", envVars["KEY1"]);
assertEquals("value", envVars["KEY2"]);
}

とはいえ…
思ったよりGroovyテストが増えてない
Maven+Groovy+IntelliJが壊れやすい
ソースディレクトリが認識されなかったり
型安全でなくてもいいが、補完は必須
Closure周りで型情報が失われる

Jelly -> Groovy
JenkinsではHTMLのレンダリングにJellyを使っている (JSTLのようなもの)
<html>
<head>
<meta name="ROBOTS" content="INDEX,NOFOLLOW" />
<j:set var="mode" value="header" />
<j:forEach var="pd" items="${h.pageDecorators}">
<st:include it="${pd}" page="header.jelly" />
</j:forEach>
...

Jelly -> Groovy
Builderを書いてGroovyで置き換えてみた
html {
head {
meta(name:"ROBOTS",content:"INDEX,NOFOLLOW")
mode = "header";
h.pageDecorators.each { pd ->
st.include(it:pd, page:"header.jelly")
}
...

Jellyの欠点を解消
ツールサポートがない
Expression Languageが補完できない
デバッガでステップ実行できない
タグ・属性が補完されない

欠点を解消したつもり…
ELの補完は今ひとつ
暗黙の変数など
タグ・属性の補完は今ひとつ
実行速度は大丈夫？
IntelliJにはDSLの補完を助ける機構があるらしいので試してみたい

YouDebug
障害対応の選択肢を広げる
ログやスタックトレースでは予期できない時が
開発中でも…
ブレークする条件が複雑な場合
ソースがない場合
リモートで実行する場合
デバッガプロトコルを制御するDSLを作った

YouDebug
ブレークポイントでクロージャを実行
クロージャ内からローカル変数等にアクセス
“@1”などで序数からアクセスもできる
breakpoint("org.acme.Main",15) {
println "x=${x},y=${y}"
}

YouDebug
JDIがサポートする全てのブレークポイントの種類が使える
デバッガの用にターゲットVMで任意のメソッド・フィールドにアクセスできる

まとめ
Jenkinsでは色々Groovyを使ってみた
実行時にユーザーに使わせる機能として
文句なしに便利
開発時の生産性を上げるために
結局はツールサポートの問題に
Javaには優れたツールサポートがあるのでGroovyで置き換えてもメリットが薄い場合も

http://d.hatena.ne.jp	1422
https://twimg0-a.akamaihd.net	34
https://si0.twimg.com	6
http://mtakiuch.blogspot.jp	3
http://webcache.googleusercontent.com	2
http://us-w1.rockmelt.com	2

Jenkins と groovy

by Kohsuke Kawaguchi on Mar 03, 2011

Accessibility

Categories

Tags

Upload Details

Usage Rights

6 Embeds 1,469

Statistics

Jenkins と groovy — Presentation Transcript