PDI ( CE版)の運用 
ジョブの自動実行と世代管理 
2014/09/02 
kum_t
CE版には無い機能 
・job とtransforomationの履歴管理 
・スケジュール機能 
実運用ではどちらもとても大事
job とTransformationの履歴 
● リポジトリDB ではなくて、ファイルで保存 
● 作成したktrファイルはSVN等のバージョン管理システムで管 
理する。 
● job とTransformation を1 フォルダで管理がいいかな?
jobやTransformationの自動実行 
● Linuxサーバならcron でも大丈夫 
● Windows ならタスクスケジューラ 
● 導入済みならJP1 やSystemwalker 
● でも、せっかくCE 使うならOSSな Hinemos  で!
Hinemos とは? 
● システム監視ソフト 
ping監視やSNMP 監視とかエージェントを使った監視とかい 
ろいろできるらしい・・・ 
● ジョブ管理ソフト 
Hinemosの管理対象としてエージェントが導入されているサー 
バはジョブの制御が可能 
● 詳細な情報は 
http://www.hinemos.info/ 
http://sourceforge.jp/projects/hinemos/
Hinemos でジョブ管理のメリット 
● カレンダー指定が可能 
休日の設定や営業時間の設定などに従ったジョブ実行 
● ジョブの連携が可能 
サーバを跨いでの連携やPentaho と関係のないジョブとも連 
動させることができる 
● 実行履歴の管理が容易 
ABEND した場合のメール通知や管理画面からの実行履歴閲 
覧等が可能なため、運用が容易
PDIのCLI実行 
● PDI ではCLI実行用にpan ( transformation )とkitchen (jo 
b)が準備されている 
#!/bin/sh 
cd /root/ 
/opt/data-integration5/kitchen.sh 
-file="/home/joho/pentaho/kousoku/kousoku_seigyo.kjb" 
-level:Basic -param:target_dir="/home/soumu"
Hinemosでのジョブ管理画面
Hinemos ジョブの内容
構成図 
Hinemos 
マネージャ 
サーバ 
Hinemos 
Agent 
PDI実行DB 
指示 
フィードバック 
管理 
管理者ユーザー端末 
参照 
更新 
実行結果 
帳票等
注意点 
● HinemosはOpenJDKが必須 
● Hinemosのmanager とAgentは同一サーバではうまく動きま 
せんでした(方法ご存知の方教えてください) 
● PDIはsunJavaが必要 
● PDIからメール送信する場合、pentaho インストールディレクト 
リ配下にあったmail-1.4.1.jar をjavax.mail.jar に置き換え 
● PDI でファイルを扱う場合は変数を利用し、実行環境ではスクリ 
プトの引数で値を渡してやれば、開発Windows実行Linux で 
も同一のjob で作りやすくなります!
ありがとうございました! 
● Hinemosは日本語で詳細な説明書が公開されていますので、 
参照すれば環境構築はできると思います。 
● PDIの設定などで困った場合はフォーラムへ 
http://forums.pentaho.com/ 
● わかる範囲はすくないですが・・・ 
twitter @kum_t

pentaho PDI(CE版)の運用

  • 1.
    PDI ( CE版)の運用 ジョブの自動実行と世代管理 2014/09/02 kum_t
  • 2.
    CE版には無い機能 ・job とtransforomationの履歴管理 ・スケジュール機能 実運用ではどちらもとても大事
  • 3.
    job とTransformationの履歴 ●リポジトリDB ではなくて、ファイルで保存 ● 作成したktrファイルはSVN等のバージョン管理システムで管 理する。 ● job とTransformation を1 フォルダで管理がいいかな?
  • 4.
    jobやTransformationの自動実行 ● Linuxサーバならcronでも大丈夫 ● Windows ならタスクスケジューラ ● 導入済みならJP1 やSystemwalker ● でも、せっかくCE 使うならOSSな Hinemos  で!
  • 5.
    Hinemos とは? ●システム監視ソフト ping監視やSNMP 監視とかエージェントを使った監視とかい ろいろできるらしい・・・ ● ジョブ管理ソフト Hinemosの管理対象としてエージェントが導入されているサー バはジョブの制御が可能 ● 詳細な情報は http://www.hinemos.info/ http://sourceforge.jp/projects/hinemos/
  • 6.
    Hinemos でジョブ管理のメリット ●カレンダー指定が可能 休日の設定や営業時間の設定などに従ったジョブ実行 ● ジョブの連携が可能 サーバを跨いでの連携やPentaho と関係のないジョブとも連 動させることができる ● 実行履歴の管理が容易 ABEND した場合のメール通知や管理画面からの実行履歴閲 覧等が可能なため、運用が容易
  • 7.
    PDIのCLI実行 ● PDIではCLI実行用にpan ( transformation )とkitchen (jo b)が準備されている #!/bin/sh cd /root/ /opt/data-integration5/kitchen.sh -file="/home/joho/pentaho/kousoku/kousoku_seigyo.kjb" -level:Basic -param:target_dir="/home/soumu"
  • 8.
  • 9.
  • 10.
    構成図 Hinemos マネージャ サーバ Hinemos Agent PDI実行DB 指示 フィードバック 管理 管理者ユーザー端末 参照 更新 実行結果 帳票等
  • 11.
    注意点 ● HinemosはOpenJDKが必須 ● Hinemosのmanager とAgentは同一サーバではうまく動きま せんでした(方法ご存知の方教えてください) ● PDIはsunJavaが必要 ● PDIからメール送信する場合、pentaho インストールディレクト リ配下にあったmail-1.4.1.jar をjavax.mail.jar に置き換え ● PDI でファイルを扱う場合は変数を利用し、実行環境ではスクリ プトの引数で値を渡してやれば、開発Windows実行Linux で も同一のjob で作りやすくなります!
  • 12.
    ありがとうございました! ● Hinemosは日本語で詳細な説明書が公開されていますので、 参照すれば環境構築はできると思います。 ● PDIの設定などで困った場合はフォーラムへ http://forums.pentaho.com/ ● わかる範囲はすくないですが・・・ twitter @kum_t