Control-M
新世代數位業務自動化
Product
Consultant
黃駿逸
2017.11.091
國家產業創新獎
卓越中堅企業
讓批次排程變敏捷
Frank_Huang@mail.gss.com.tw
以金融單位為例,批次作業複雜
2
Process 1…
Web
Services
Java
(EOD close)
Process 2…
(ATM Transaction
Management)
工作排程面臨的具體問題
3
無法對未來情
況進行預測
發生故障時難以
及時發現問題
依賴人工對作
業結果驗證
無法對所有運行作
業行全面統一監視難以對作業運行結
果進行集中統計
無法有效控
制系統負載
跨系統作業間邏輯
關係複雜無法實現
大量手動干預
帶來人為錯誤
重新手動運行
失敗的程序浪
費大量的時間
人工調度存在安全
隱患
業務調度和系統維護調
度經常產生衝突
Control-M 集中控管批次作業
4
ftp sftp PGP ssh
Web Services Java
第四世代自動化
5
Monolithic
Client–
Server
Web
e-commerce
[Waterfall]
APPLICATION
S
INFRASTRUCTURE
Mobile
IOT
Cloud
[Agile]
CENTRALIZE
D
ADAPTIVE
DECENTRALIZE
D
FLEXIBLE
Job
Schedulin
g
Workload
Automation
Batch
Processing
Digital
Business
Automation
Distribute
d
Virtualiz
ed
Mainfram
e
Software-
Defined
Digital Business
INFRASTRUCTURE
新世代批次作業面臨的挑戰
6
Digital
Business
Automatio
n
多樣性的平台
加速應用系統作業部署
資料異質性高
多樣性的平台解決方案
7
Managed File Transfer
Build, schedule, and manage file
transfers within in a single
system via an ecosystem-wide
dashboard view
Automation API
Build job flows in JSON,
and manage them together
with other applications in a
source code environment
On the Cloud
Provision, install,
configure, and scale up /
down automation
environments to meet
changing business needs
Self-Service
Submit and monitor jobs
through an easily-
understandable interface
(incl. mobile) without
interfacing with IT.
For Hadoop
Develop, schedule, manage,
monitor, and integrate Hadoop
workflows within a single,
centralized system.
Application
Integrator
Extend workflow automation
solutions to any application via
a simple, web-based design
tool.
Batch Impact
Manager
Automatically detect delays
and errors in workflows, and
extrapolate those errors to see
a system-wide impact
Workload Change
Manager
Build workflows that automatically
adhere to enterprise-wide standards
Control-
M
資料異質性高解決方案
8
Managed File
Transfer
Build, schedule, and manage
file transfers within in a
single system via an
ecosystem-wide dashboard
view
Automation API
Build job flows in JSON,
and manage them together
with other applications in a
source code environment
On the Cloud
Provision, install,
configure, and scale up /
down automation
environments to meet
changing business needs
Self-Service
Submit and monitor jobs
through an easily-
understandable interface
(incl. mobile) without
interfacing with IT.
For Hadoop
Develop, schedule,
manage, monitor, and
integrate Hadoop
workflows within a single,
centralized system.
For Databases
Connect Control-M to any
database using JDBC
compliant drivers for a
single view to all database
jobs
Application
Integrator
Extend workflow automation
solutions to any application
via a simple, web-based
design tool.
Batch Impact
Manager
Automatically detect delays
and errors in workflows, and
extrapolate those errors to
see a system-wide impact
Control-
M
加速應用系統作業部署解決方案
9
Managed File
Transfer
Build, schedule, and manage
file transfers within in a single
system via an ecosystem-wide
dashboard view
Automation API
Build workflows in JSON,
and manage them together
with other applications in a
source code environment
On the Cloud
Provision, install,
configure, and scale up /
down automation
environments to meet
changing business needs
Self-Service
Submit and monitor jobs
through an easily-
understandable interface
(incl. mobile) without
interfacing with IT.
For Hadoop
Develop, schedule, manage,
monitor, and integrate
Hadoop workflows within a
single, centralized system.
Workload Change
Manager
Build workflows that automatically
adhere to enterprise-wide
standards
Application
Integrator
Extend workflow automation
solutions to any application
via a simple, web-based
design tool.
Batch Impact Manager
Automatically detect delays and
errors in workflows, and
extrapolate those errors to see a
system-wide impact
Control-
M
排程使用工具調查
10
0.0%
5.0%
10.0%
15.0%
20.0%
25.0%
30.0%
35.0%
40.0%
目前用何種軟體或方式進行
排程控制
0.0%
10.0%
20.0%
30.0%
40.0%
50.0%
60.0%
70.0%
目前批次作業管理有遭遇的
困擾
53%
21%
26%
是否有建置排程控
管機制的計畫
是 否 不清楚
Why Control-M
11
簡單
Source:
Gartner Report
2012
單一 強大
Source:
Gartner Report
2014
Why Control-M
12
簡單 單一 強大
Source:
EMA Radar 2016
批次作業的生命週期
13
開發人員
作業新增/修改
批管人員
作業/流程設計
OP
監控/異常處理
歷史紀錄
報表功能
預測未來流程
Planning
MonitoringHistory
Forecast
Reporting
Facility
需求單
Batch Impact
Manager
Control-M Change
Manager
單一介面滿足所有需求
14
作業設計
作業監控
歷史資料
未來預測
警訊中心
日曆管理
負載平衡
批次作業的生命週期
15
開發人員
作業新增/修改
批管人員
作業/流程設計
OP
監控/異常處理
歷史紀錄
報表功能
預測未來流程
Planning
Monitoring
Histor
y
Forecas
t
Reporting
Facility
作業設計–跨系統/平台/應用程式
16
DatabasesReal Time
Applications
Web Services
Messaging
Java
UNIX Cloud
Enablement
Windows Z/OS ERP
Applications
File
TransfersiSeries
直覺、簡單
Time Driven  Event Driven
滿足彈性的排程要求
 多組萬年曆
 多樣化的排程
 年、季、月、週
 工作/日曆日
 跨國、跨時區
 假日排除
 提前、延後、
跳過
 啟動時間限制
 如1:00~6:00
 定時重複執行
17
警訊主動通知 – 多種服務水平判斷
18
告警發送
 Control-M 告警視窗
 Control-M Log
 使用者E-Mail
 整合其他系統
判斷:
 執行OK/NOTOK、重新執行
 逾時執行 /結束
 高於/低於平均執行時間
排程自動化
19
依動態結果Return Code與System Output,執
行不同的復原或後續動作,減少人工的介入
Exit code 8
JOB-
A
JOB-
B
JOB-
C
Exit code 16+
“DB Corrupted”
Restart-DB
“DB Error”
Clear-
DBRoll-
Back
JOB-
D
JOB-D
批次作業的生命週期
20
開發人員
作業新增/修改
批管人員
作業/流程設計
OP
監控/異常處理
歷史紀錄
報表功能
預測未來流程
Planning
MonitoringHistor
y
Forecas
t
Reporting
Facility
顏色區分批次作業狀態
21
作業執行紀錄/訊息
2222
Log:執行記
錄
Sysout:Job Output
Statistics:統計記錄
批次影響管理Batch Impact Manager
23
2:30 am
關鍵作業–
必須於 06:30 前完成
UNIX_Scri
pt
AS400_proces
s
Java_proce
ss
Win.bat
ERP_proces
s
FTP
Web_Servic
e
Java_proce
ssWin.bat
Web_Servic
e
AS400_proces
s
FTP
Win.bat
DB_Backu
p
MF_process
ERP_proce
ss
ERP_proce
ss
最重要的批次流程在哪裡?
Users_Online
BIM_SLA
動態追蹤所有
前置作業狀態
DB_Backu
p
MF_proces
s
AS400_proce
ss
UNIX_Scri
pt
UNIX_Scri
pt
UNIX_Script
FTP
MF_process
Web_Servic
e
Win.bat
UNIX_Scri
pt
FTP
DB_Backu
p
Java_proce
ss
Java_proce
ss
Win.bat
Java_process
UNIX_Script
AS400_process
FTP
還剩下多少安全時間 ?
預計執行到何時
批次作業的生命週期
24
開發人員
作業新增/修改
批管人員
作業/流程設計
OP
監控/異常處理
歷史紀錄
報表功能
預測未來流程
Planning
Monitoring
Histor
y
Forecas
t
Reporting
Facility
各式報表細節一目了然
25
批次作業的生命週期
26
開發人員
作業新增/修改
批管人員
作業/流程設計
OP
監控/異常處理
歷史紀錄
報表功能
預測未來流程
Planning
Monitoring
Histor
y
Forecas
t
Reporting
Facility
Forecast 分析與預估作業執行
27
 產生排程計劃
模擬作業執行
確認作業執行狀況
What-if 變數模擬
服務執行預估
Control-M 系統整合
28
界接其他IT系統
Control-M 應用系統整合模
組
作業系統
Control-M 附加元件
29
作業系統
Control-M
•AIX
•Solaris
•Linux:
RHEL,
SUSE,
Oracle
Linux,
CentOS,Ub
untu
•HP/UX
•Windows
server
•Windows
desktop
•z/OS •iSeries
•UNISYS
•Tandem
•OpenVMS
•Agentless
Unix Windows Mainframe Others
Control-M 支援各式作業系統
30
Control-M 系統整合
31
作業系統
Control-M 附加元件
Control-M 附加元件
32
Control-M Forecast
預測、模擬未來日期
的批次作業流程以及
執行時間
Control-M Self-Service
使用者可以在不安裝軟體
的情況下利用網頁監控批
次作業的執行狀況
Batch Impact Manager
定義重要的流程,動態監
控流程執行時間以確保流
程可以按時結束
Control-M Self-Service
33
 網頁介面,不需安裝用戶
端程式
 作業狀態呈現方式一致
 可比較兩支作業的差異
 可做權限控管
 與行動裝置結合
Control-M 系統整合
34
作業系統
Control-M 附加元件
Control-M 應用系統整合模
組
Control-M 應用系統模組
35
串連各種批次環境,提供個別專屬設定
使用應用系統模組的好處
 密碼儲存安全,不需另外撰寫程式處理
 可擷取作業執行訊息,不需導出至檔案再做處理
 統一作業設計介面
 直接整合應用系統,不須額外撰寫批次程式
36
MFT 模組
37
提供FTP, FTPS, SFTP 功能
減少FTP Script
Job統一設定
增加檔案完整性判斷
可監控傳檔的進度
File Watcher
Database模組
38
SQL Server
Oracle
DB2
Sybase
PostgreSQL
Any JDBC
Compatible
Control-M 系統整合
39
界接其他IT系統
Control-M 應用系統整合模
組
作業系統
Control-M 附加元件
常見的Control-M 介接系統
40
ERP
ETL / ODS / 資料倉儲
檔案傳輸
資料庫
核心 / 帳務系統
大數據 / 商業智慧 BI
大型主機
Control-M Workload Automation
41
單一監控介面 監控服務流程 支援行動裝置 完整稽核機制
IBM InfoSphere DataStage
Oracle Business
Intelligence
IBM Cognos
Big Data / Hadoop
Backup
SAP
Workload Discovery
Control-M V9
Workload Change
Manager
Self Service Mobile
Workload Archiving
Application Integrator
Usage Reporting
Workload Conversion
Planning Monitoring Forecast HistoryReporting Facility
42
國家產業創新獎
卓越中堅企業 Vital 雲端服務家族GSS 叡揚資訊
謝謝聆聽
Q&A
GSS 技術部落格

1_overall