2017/9/7 db tech showcase Tokyo 2017(JPOUG in 15 minutes)にて発表した内容です。
SQL大量発行に伴う処理遅延は、ミッションクリティカルシステムでありがちな性能問題のひとつです。
SQLをまとめて発行したり、処理の多重度を上げることができれば高速化可能です。ですが・・・
AP設計に起因する性能問題のため、開発工程の終盤においては対処が難しいことが多々あります。
そのような状況において、どのような改善手段があるのか、Oracleを例に解説します。
2017/9/7 db tech showcase Tokyo 2017(JPOUG in 15 minutes)にて発表した内容です。
SQL大量発行に伴う処理遅延は、ミッションクリティカルシステムでありがちな性能問題のひとつです。
SQLをまとめて発行したり、処理の多重度を上げることができれば高速化可能です。ですが・・・
AP設計に起因する性能問題のため、開発工程の終盤においては対処が難しいことが多々あります。
そのような状況において、どのような改善手段があるのか、Oracleを例に解説します。
You can learn what can LabVIEW NXG Web Module do in this training slide. You can easily develop web application using Web Module.
LabVIEW NXG Web Moduleについて学習します。LabVIEW NXG Web Moduleを使用することで、スタイリッシュなウェブアプリケーションを簡単に開発することができます。
2. ジョブ管理とは
l バッチジョブの実⾏制御
l *nix: Cron
l Windows: タスクマネージャ
l Mainframe: JCL, JES, etc.
l *nix/Windows商⽤製品
l JP1
l A-AUTO
l 千⼿
l IBM IWS (Tivoli), CA-Unicenter TNG (Autosys), BMC Control-M, etc.
l クラウド
l AWS Batch, GCP Cloud Scheduler, Azure Logic Apps
l OSS
l JobScheduler
l Hinemos
l Rundeck
l Job Arranger for Zabbix
l Jhako
2022/5/26 Copyright 2022(C) OSS Laboratories Inc. All Rights Reserved 2
3. JS7® JobSchedulerとは
l OSSジョブ管理ツールの定番JobSchedulerをリ
ニューアル
l 従来より耐障害性、⼤規模環境対応を強化し、
ミッションクリティカルな要求に対応
l 従来からあるプログラマブルなAPI環境、柔軟な
スケジュール、簡単な条件分岐などの運⽤し易さ
はそのままに、より⾼度な分散環境でも⾼信頼性
の運⽤を可能にします
l JS7®は、Software- und Organisations-Service
GmbH(ドイツ)の登録商標です
2022/5/26 Copyright 2022(C) OSS Laboratories Inc. All Rights Reserved 3
5. JobSchedulerの⽤途
l バッチ処理制御
l 業務アプリケーション
l ハウスキーピング(バックアップ/ログローテ等)
l ⾃動インシデントレスポンス
l 監視システムからのアラートに応じて、ログ収集など⾃動対応
l 継続的デリバリ
l インフラ運⽤のプログラム化
l テスト⾃動化
l ⾃動システム構築
l クラウドインスタンス作成から、アプリ配備
l クラウドに依存しないオートスケール
2022/5/26 Copyright 2022(C) OSS Laboratories Inc. All Rights Reserved 5
6. 国内ユーザー
l アクサ損害保険様( CA-Unicenter TNG (Autosys)マイグレーション)
l 中部新聞様
l 公共事業会社
l ⼤⼿カード会社
l 地⽅⾦融機関
l ⼤⼿通信キャリア
l ⼤⼿⾃動⾞製造業
l 他多数
2022/5/26 Copyright 2022(C) OSS Laboratories Inc. All Rights Reserved 6
7. JS7®の構成概要
2022/5/26 Copyright 2022(C) OSS Laboratories Inc. All Rights Reserved 7
コントローラー
プライマリ
ディレクター
エージェント
サブ
エージェント
サブ
エージェント
JOCコックピット
プライマリ
DB
管理⽤PC
エージェントクラスター
WEB
ブラウザ
JOCコックピット
スタンバイ
LB/VIP
コントローラー
スタンバイ
ジャーナル
ファイル
ジャーナル
ファイル
⾮同期
⾮同期
ジャーナル
ファイル
ジャーナル同期
スタンドアローン
エージェント
ジャーナル
ファイル
8. JS7®アーキテクチャー
l JOCコックピット
l WEB GUI/REST API
l ジョブ実⾏制御配布
l 履歴情報収集・保存
l ジョブ定義・リソースの作成
l ジョブ定義の管理とコントローラーへの配布
l クラスター制御、イベントキュー、ロギングなど
l コントローラー
l DB接続を廃⽌
l ジョブ定義をJOCコックピットから取得
l 実⾏履歴をJOCコックピットに送信
l 実⾏計画とジョブ定義をエージェントに配布
l ⾃律型エージェント
l コントローラーとの通信障害時にも⾃律的にジョブ実⾏制御
l エージェントクラスター内で実⾏計画とジョブ定義を同期
l 実⾏履歴をコントローラーに送信
2022/5/26 Copyright 2022(C) OSS Laboratories Inc. All Rights Reserved 8
9. JS7®の特⻑
l 耐障害性
l ⾃律型アーキテクチャー(⾮同期疎結合)による⾼可⽤性
l データベース/ネットワーク障害時もジョブ実⾏継続
l 3秒以内のコントローラーフェイルオーバー
l ⼤規模環境対応
l 〜 20万ワークフロー
l 〜 100万ジョブ
l 〜 1,000エージェント
l 〜 20,000タスク並列実⾏
l ジョブ定義のGit連携によるCI/CD
l ⾼性能
l ジョブ起動オーバーヘッドなし
l 1万タスクを5ミリ秒で同時起動
l ⾼セキュリティ
l JOC・コントローラー・エージェント間の全通信にクライアント・サーバー認証
l 定義ファイルにも証明書を付加
l 外部認証局(CA)をサポート
2022/5/26 Copyright 2022(C) OSS Laboratories Inc. All Rights Reserved 9
10. JS7®耐障害性
l アーキテクチャー
l 任意のコンポーネントをクラスター化して⾼可⽤性を実現し、⾃動
フェイルオーバーを備えたアクティブ-スタンバイクラスターを実装
l クラスタリングにはLinux-HAなどの追加導⼊は不要
l 通信
l 各コンポーネントは⾮同期メッセージパッシングで通信
l 他のコンポーネントの可⽤性を損なうことなく、任意のコンポーネン
トをシャットダウンしたり、停⽌したりできる
l コンポーネントは再起動後に調整し、状態情報を同期して最新の処理
結果に追いつく
l プログラミング
l 状態遷移のために発⽣するイベントの⾮同期Publish-Subscribeモデル
2022/5/26 Copyright 2022(C) OSS Laboratories Inc. All Rights Reserved 10
12. JS7®セキュリティ
l 公開鍵認証の導⼊
l 各モジュール間通信の公開鍵認証
l JOCコックピットまたは外部認証局で証明書を作成・署名
l ルート証明書と中間証明書を各コントローラーとエージェントに配布
l ジョブ定義ファイルの公開鍵認証
l JOCコックピットまたは外部認証局でジョブ定義ファイル毎に署名
l 各コントローラー及びエージェントで配布された署名が⼀致するかを確認
l 各種認証システム連携
l LDAP/MS AD連携
l HashiCorp Vault®連携
l Keycloak® (RH SSO)連携(予定)
2022/5/26 Copyright 2022(C) OSS Laboratories Inc. All Rights Reserved 12
13. JS7®国際化対応
l 多⾔語対応
l GUI︓⽇英独仏メニュー
l 内部コード︓Unicode
l マルチタイムゾーン︓実⾏⽇時のタイムゾーン設定可能
l ⽇本語対応
l JS7のオブジェクト名(ワークフロー、ジョブ、変数、ロック、ファイル
オーダー、ジョブリソース、フォルダー)、ログ出⼒に使⽤可能
l 特殊⽂字については、Javaでの表記に準じる
l 詳細は以下参照
l https://kb.sos-berlin.com/display/PKB/JS7+-+Object+Naming+Rules
2022/5/26 Copyright 2022(C) OSS Laboratories Inc. All Rights Reserved 13
16. JS7®ワークフロー
l 従来からあるジョブチェーンと同様に、ジョブ間の依存関係を定義し、オーダーに
よって⼀連のジョブを実⾏する
l DAG(有向⾮巡回グラフ、Directed Acyclic Graph)モデル
l BPMN(ビジネスプロセスモデリング表記法、Business Process Model and
Notation)ベースのワークフローパターンを採⽤、ただし準拠ではない
l フォーマットはJSONベースのHOCON(Human-Optimized Config Object
Notation)形式
l GUIエディタまたはテキストエディタで作成・編集
l ジョブはshellジョブとJVMジョブ(GraalVM®で稼働するJavaScript, Ruby, Python
など)を実⾏
l スケジュールとカレンダで実⾏⽇時を制御
l YADEファイル転送ツールを内蔵
l エージェントでのファイル監視
l ⽇本語オブジェクト名ファイル名に完全対応
2022/5/26 Copyright 2022(C) OSS Laboratories Inc. All Rights Reserved 16
22. ワークフローサンプル
l ヘルプメニュー ? からサンプルワークフローをダウンロードできます。
l 圧縮ファイルでダウンロードされるので、そのままインポートできます
l デフォルトジョブリソース
l 共通システム環境変数︓ワークフロー/ジョブ名やホスト/エージェント名などをジョブで読み出す共通変数
定義
l ワークフローサンプル
l 並列実⾏や条件分岐、エラーハンドリング、メール通知などのワークフローサンプル
2022/5/26 Copyright 2022(C) OSS Laboratories Inc. All Rights Reserved 22
23. ユーザーインターフェース
l WEB GUI
l JOCコックピットからのGUI操作
l REST API
l ジョブ定義の動的追加や指定ジョブの即時実⾏などの操作を外部プログラムからJobSchedulerに対
して実施できる。
l ジョブの実⾏制御、実⾏状況の取得が可能である。
l JobSchedulerからのレスポンスはリクエストと同様にJSON形式で返す。ブラウザからアクセスし
た場合、JobSchedulerの状態を⽰すJSONがレスポンスとしてブラウザの画⾯に表⽰される。
l PowerShell CLI
l すべての操作をCLIから実⾏可能
l Windows PowerShell FullCLR 5.1 and PowerShell CoreCLR 6.x and 7.x for Windows, Linux and
MacOS
l GitHub : https://github.com/sos-berlin/js7-cli-powershell
l PowerShell Gallery : https://www.powershellgallery.com/packages/JobScheduler/2.0.0
l https://kb.sos-berlin.com/display/PKB/PowerShell+Command+Line+Interface+2.0+-+Introduction
2022/5/26 Copyright 2022(C) OSS Laboratories Inc. All Rights Reserved 23
25. JITLジョブテンプレート
l ワークフローで頻繁に使⽤する機能は、下記のJITLジョブテンプレートとして予
め⽤意されています
l JITLはJavaクラスとして実装されているため、ジョブ実⾏環境に依存しません
l データベースジョブテンプレート︓ジョブ定義からの直接SQLコマンド実⾏
(SQL, Oracle PLSQL/SQLplus)
l ファイル操作ジョブテンプレート︓ファイルの存在確認、コピー、移動、リネー
ム、削除
l チェックジョブヒストリーテンプレート︓過去ジョブ実⾏履歴および結果の確認
l メールジョブテンプレート︓メール送受信
l SSHジョブテンプレート︓SSHログイン、コマンド実⾏、結果取得
l SAPS4HANAジョブテンプレート
l SAP S/4 HANAに提供される SAP Job Scheduling Service REST API を使⽤したJS7ワークフロー
l JS7 V.2.4で試験提供予定
https://kb.sos-berlin.com/display/PKB/JS7+-+Job+Templates
2022/5/26 Copyright 2022(C) OSS Laboratories Inc. All Rights Reserved 25
26. JS7 - JITL SAPS4HANAJob
l SAP S/4 HANAに提供される SAP Job Scheduling Service REST API を
使⽤したJS7ワークフロー
l JS7 V.2.4で 試験提供予定
l https://kb.sos-berlin.com/display/PKB/JS7+-+JITL+SAPS4HANAJob
2022/5/26 Copyright 2022(C) OSS Laboratories Inc. All Rights Reserved 26
ワークフロー、実⾏計画作成、配布、操作
S/4 HANA
Job Scheduling Service
JITL SAPS4HANAジョブ
JS7エージェント ワークフロー実⾏
SAP REST API
SAPジョブ作成、スケジュール、実⾏・停⽌、
監視、ログ収集
SAPジョブ
実行
SAPジョブ
実行
周辺システム
SAPジョブ実⾏
JS7エージェント
ジョブ実行
ジョブ実行
各種前処理、後処理、
ファイル転送など
28. JS7®動作環境(V.2.3.1)
l JOCコックピット/コントローラー
l RHEL/CentOS 7<, Ubuntu, Oracle Linux, Amazon Linux
l WindowsServer 2012R2/2016/2019
l Oracle/openJDK8 – 11, 17
l オンプレミス/コンテナ/クラウド
l エージェント
l Oracle/openJDK8 - 11, 17が動作するプラットフォーム
l 詳細は以下を参照
l https://kb.sos-berlin.com/display/PKB/JS7+-+Platforms
l データベース(JOCコックピットのみ)
l Oracle® 12c, 18c, 19c
l SQL Server® 2016, 2017, 2019
l MariaDB® 10.x
l MySQL® 5.7, 8.0
l PostgreSQL® 10 - 13
l H2 1.4.200
l 詳細は以下を参照
https://kb.sos-berlin.com/display/PKB/JS7+-+Database
2022/5/26 Copyright 2022(C) OSS Laboratories Inc. All Rights Reserved 28
29. ロードマップ
l V.2.0
l 2021/6⽉ プレビューリリース
l 2021/9⽉ GAリリース
l V.2.1
l 2021/11⽉ リリース
l ワークフローパターンの追加
l ワークフローやシステムイベント通知機能の強化
l V.2.2
l 2021/12⽉ リリース
l ジョブ定義のGit連携機能
l V.2.3
l 2022/4⽉ リリース
l HashiCorp Vault®連携機能
l エージェントクラスター機能追加
l V.2.4
l 2022/6⽉ リリース予定
l V.1系全機能サポート、移⾏ユーティリティ提供
l SAP S/4 HANAサポート(実験提供)
l V.2.5
l 2022/9⽉ リリース予定
2022/5/26 Copyright 2022(C) OSS Laboratories Inc. All Rights Reserved 29
30. オンラインデモ他
l 以下のリンクから申し込み
l https://www.sos-berlin.com/en/try-out
l メールで送られてきたアカウント・パスワードで下記からログイン
l アカウントは24時間有効
l https://demo.sos-berlin.com/
l 内容詳細は以下を参照
l https://kb.sos-berlin.com/display/PKB/JS7+-+Online+Demo
l インストール⼿順などその他情報はこちら
l https://www.ossl.co.jp/%e8%a3%bd%e5%93%81/%e3%82%b8%e3%83%a7%e3%83
%96%e7%ae%a1%e7%90%86-js7jobscheduler/
2022/5/26 Copyright 2022(C) OSS Laboratories Inc. All Rights Reserved 30
38. サポートサービス
l 無償サービス
l GPL版ソフトウェアのダウンロード提供
l メーリングリスト/フォーラムでの応答
l SOS社ナレッジベース/ユーザーグループでの情報提供
l 有償サービス
l 年間サブスクリプションライセンスご契約者様には、下記サービスを
年間対応件数無制限にてサポート
§ 有償版ソフトウェアの提供
§ 導⼊⽅法、パラメータ、仕様についての質問
§ 新機能の早期提供
§ 障害調査
§ 発⽣現象の確認と過去事例の調査
§ バグフィックス/ワークアラウンドの提供
2022/5/26 Copyright 2022(C) OSS Laboratories Inc. All Rights Reserved 38
39. プロフェッショナルサービス
l 年間サブスクリプションライセンスのご契約者様には、下記オプション
サービスを提供
l 拡張サポートサービス
l 標準サポートには含まれない、ジョブ設計/作成⽀援、性能チューニング等に関する、
QA及びアドバイス、ベストプラクティスの提供
l 可能であればお客様環境へのssh/vpnアクセス、調査
l SOS社エンジニアの直接対応も可能(英語のみ)
l マイグレーションサービス
l 他社ジョブ管理製品からの移⾏⽀援サービス
l お客様の既存ジョブ定義をご提供いただき、調査/分析の上お⾒積もりいたします
l トレーニングサービス
l JobScheduler初級トレーニング(4時間x2回)
l アーキテクチャ概要、システム構成、操作⽅法、ジョブ作成⽅法
l 詳細は、お問い合わせください
l お問い合わせフォーム
https://www.ossl.co.jp/?page_id=46
2022/5/26 Copyright 2022(C) OSS Laboratories Inc. All Rights Reserved 39
40. ⽇本JobSchedulerユーザーグループ
l 2013/4発⾜
l JobSchedulerいけるやん、という⼈の集まり
l 独SOSサイトにも掲載
“Company News : Japanese language JobScheduler user group on Facebook”
http://www.sos-berlin.com/modules/news/article.php?storyid=42
l 会則/会費ありません
l 会員資格ありません、Google Groupsに参加して下さい
https://groups.google.com/forum/?fromgroups#!forum/jobscheduler-ja
l JobSchedulerを使う上での疑問やノウハウの共有
l 勉強会と⾔う名の飲み会
2022/5/26 Copyright 2022(C) OSS Laboratories Inc. All Rights Reserved 40