More Related Content Similar to Precisely Connect が解決! 企業レベルのクラウドデータウェアハウスの活用の課題 (20) Precisely Connect が解決! 企業レベルのクラウドデータウェアハウスの活用の課題3. Data integrityの世界的リーダー
Trust your data. Build your possibilities.
SyncsortからPrecisely へ。当社のdata integrity (データ完全性) ソフト
ウェアおよびデータエンリッチメント製品は、正確さと一貫性を提供
し、確信あるビジネス上の意思決定を可能にします。
Brands you trust, trust us
Data leaders partner with us
of the Fortune 100
90
Customers in more than
100
2,000
employees
customers
12,000
countries
8. Data Integrity ソリューション
リアルタイム レプリケーション
アプリとマシンデータの統合
高可用性
メインフレームのデータ統合
と最新技術での活用
データプロファイリング
データクレンジング
名寄せ
住所検証
コンテキストグラフ
空間分析
ジオコーディング
ルーティング
可視化
地理データ
ビジネスデータ
業界の独自データ
カスタマーエクスペリエンス
カスタマーコミュニケーション
デジタルセルフサービス
9. Presentation name
Cloud DWHの動向
9
Cloudの特性(対応スピード、構築・運用コスト)高度活用
• IaaS から PaaS・SaaSへ
• GB単価、運用負荷の大幅低減、柔軟なスケーラビリティ
•
Cloud DWHのメリット
Cloud Native
• 社内データと外部データをCloud上で活用
• 最新技術の容易な活用:AI、機械学習
• 容易なコスト管理(低ストレージコスト、マシンの休止・増減)
Cloud Lock Inを避けられるサービスも
主要クラウド(AWS, Azure, GCP)の選択肢
企業の 活用が更に推進:データ活用のスピードと を改革
出典:MM総研 国内クラウド市場 実績と予測
10. Presentation name
Cloud DWH 企業利用の課題
10
企業利用の課題:
• 分散系の各種RDBやDWHはサポートされているが、レガシーシステムのデータの扱いが困難
• 対応必要なレガシーシステムの例
• IBMメインフレーム
• IBMi
レガシーシステム対応が必要な理由
• 顧客情報、契約、売上、在庫、物流、部品表など企業のビジネス中核データは、まだレガシーシステムで運用され、
このデータを欠くとビジネ上の洞察の精度・実用性に影響
• Cloud DHWはレガシーシステムに対するインタフェイスを持たない。
• レガシー上のデータは加工されていてそのままオープン系では活用できないケースあり。例)圧縮されたデータ
:より低コスト、迅速・簡単に 構築ができ、社内外の幅広いデータを取込み や
機械学習を使いより高度な分析・データ活用が可能
12. Connect: レガシーシステムからCloud DHWに跨る処理を1ツールで
12
従
来
製
品
利
用
後
メインフレーム(Source)
IMS, VSAM
IBM
DB2
可変長, 固定長
ファイル
データベース
メインフレーム(Source)
IMS, VSAM
IBM
DB2
可変長, 固定長
ファイル
データベース
Connect
MFバッチジョブ
データ
抽出
抽出
データ
転送用
ファイル成
転送用
ファイル
ファイル
転送
概要:メインフレーム、オープン開発者、運用者で構成されるプロジェクト
• ユーザ要件ごとに毎回データ抽出プログラムをM/F上で作成
EBCEDI-ASCII変換、数値属性、日付・時間属性
独自データ処理(データ圧縮、集団項目、マルチレイアウト、例外データ、 繰り返し等)
• オープンシステム側へデータ転送
• 上記一連の処理をバッチ処理として組み込む
• オープンシステム側は受信したファイルをDBへ格納・反映プログラムを用意
受信
ファイル
ETL処理 Cloud
DHW
• Connect を用いたGUIでのジョブ作成作業、 Cobol開発の要件を不要に*
• ユーザ要件毎の独自データ処理、属性変換、文字コード変換は、Connect内のGUIで実施
• メインフレーム運用バッチもJCLを自動生成しJob開発工数を大幅削減
• 受信ファイルをTargetへ格納・反映するLoad処理、様々なターゲットに合わせてConnect内の
GUIで実施
データ抽出
Connect
Cloud
DWH
*貴社独自のデータ処理が標準
機能でサポートされない場合、
Custom Function機能のC,C++
で開発が必要。開発後はGUIか
ら通常ファンクション同様に
呼び出して利用可能
Cloud システム
Cloud システム
13. Connect:各種企業データとCloud DHW連携-Databricksの例
Mainframe,
IBM i
Relational
databases,
EDW, DBMS
Flat files,
XML, JSON
Ingest
& Stream Data
Integrate,
Prepare,
Load,
Cleanse,
Transform
Unified Data Analytics Platform
Reporting and BI
Deliver
Data
Data Sources
Hadoop,
HDFS
Precisely and Databricks Partnership Overview
主要Cloud DHW・データプラットフォームに対応:Redshift, Synapse, Snowflake, Databricks
ETLによるCloud DHWの直接書き込みや、Kafkaを
使ったリアルタイム同期に対応
17. メインフレームデータ Cloud DWH移送 Connectデモ
メインフレームデータのCloud DWHへ取込みジョブもオープン系同様GUIで簡単に作成。
• 貴重なメインフレーム開発・運用リソースの関与を最小限に
• 企業基幹システムデータを加えCloud DWHでの分析効果を最大化
dbo.yksamplevsam テーブル
Microsoft Azure
Data1 Data2
111111111111111111111111111 00000100
222222222222222222222222222 00000200
333333333333333333333333333 00000300
AAAAAAAAAAAAAAAAAAAAAAA
AAAA 00000400
XXXXXXXXXXXXXXXXXXXXXXXXXX
X 00000500
Precisely
Connect
<抽出元ファイル名>
SAMPLE.VSAM
<ファイル形式>
メインフレームVSAM
<エンコード>
EBCDIC
メインフレーム
1111111111111111111111 <Blank> 00000100
2222222222222222222222 <Blank>
00000200
3333333333333333333333 <Blank>
00000300
AAAAAAAAAAAAAAAAAAAAAA <Blank>
00000400
XXXXXXXXXXXXXXXXXXXXX <Blank>
00000500
IBM z/OS
抽出元ファイルの中身 データ1 データ2