[2019/8/8(木)大阪]既存のデータベースをクラウドで活用してみませんか？2019 IN 大阪 古谷幹則様 Attunity日本支社 日本支社長

1. 2019/8/8
古谷 幹則
Attunity日本支社
Attunityのご紹介

2. 2© 2017 Attunity
Copyright @2017 Insight Technology, Inc. All Right Reserved
Financial Services Manufacturing / Industrials GovernmentHealth Care
Technology / Telecommunications Other Industries
Enterprise Data Management
On Premises | Cloud | Across Platforms
Attunity概要
 1988年創業、データ統合において、30年以上にわたる研究開発と経験
 CDC（更新データ捕捉）技術における独立系リーディング企業
 米国、英国、イスラエル、日本、香港、台湾、韓国など、全世界的事業規模
 2019年Qlik社の1事業部門となる
65ヶ国で2,000社以上の顧客

3. 3© 2017 Attunity
IT大手企業とのパートナーシップ –
多くの企業に認められ、選ばれている技術
Trusted by Microsoft
with 3 OEMs,
bundled inside
SQL Server
Trusted by Amazon
(AWS) with strategic
partnership for cloud
database migration
Trusted by IBM and
Oracle with respective
OEMs of Attunity
technology
Trusted by Teradata
and HP as resellers for
data warehouse and
analytics
Trusted by
global system
integrators
Trusted by over
2000 customers for
commitment, flexibility
and speed
2000+
Trusted by SAP as
certified solution in use
with over 200 SAP
customers
Trusted by big data
leaders for data lake
solutions
Trusted by IBM and
Oracle with respective
OEMs of Attunity
technology
Trusted by Teradata
and HP as resellers for
data warehouse and
analytics

4. 4© 2017 Attunity 4© 2017 Attunity
Attunity – 先進のデータ統合テクノロジーリーダー
LEADING provider of
Streaming CDC
あらゆるソースDBに最高のパ
フォーマンスと最小のリソー
スインパクトで対応
LEADING cloud
database migration
technology
すでに80,000以上のDBを
パブリッククラウド上に移行
LEADING in agility and
platform coverage
データの専門家による複雑な
プロセスのパッケージ化と自
動化や先進のユーザ・エクス
ペリエンスを提供することで
お客様のビジネスを加速
データを効率的に、そしてリアルタイムに、クラウド、データ・レイク、および
ストリーミング・アーキテクチャーに連携するための主要プラットフォーム

5. 5© 2017 Attunity
Overall Peer Rating Product Capabilities Data Replication &
Synchronization
Bulk/Match
Movement
Message-Oriented
Movement
Ease of Deployment
ATTUNITY
4.4 out of 5 4.4 4.8 4.8 4.3 4.3
IBM
4.3 out of 5 4.2 3.3 4.3 3.6 3.7
ORACLE
4.2 out of 5 4.4 4.5 4.5 4.1 4.0
INFORMATICA
4.0 out of 5 4.2 4.0 4.4 3.4 3.8
3 4 5
実装の容易さメッセージングへの対応バルク処理への対応データ複製と同期製品機能全体評価
お客様からの高い評価

6. 6© 2017 Attunity
お客様の声
Attunity Replicateのフルロード機能を使用して、Oracle
ExadataからGreenplumへ1時間に10億行以上をロードでき
ました。
Attunity Replicateは、 CDC機能を使用して1秒あたり
460,000レコードを大規模でアクティブなOracleデータベース
からDWHへ処理しました。
夜間のピーク時には1時間あたり100GBを処理しました。
数週間に及ぶ手作業を試みた後、Amazon Redshiftへのデータ
統合にAttunity CloudBeamを使用、一時間以内に3700万レ
コードを処理しました。
Data Architect, Leading Financial Services Company
Senior IT Manager, Large Credit Services Company
Andy Allaway, Data Scientist, Philips Healthcare
“
“
“

7. 7© 2017 Attunity 7© 2017 Attunity
$205B
2020までに(1)
データレイク
ストリーミング
クラウドオンプレミス
データウェアハウス
バッチ
次世代のデータアーキテクチャへのシフト
2X DATA
2年毎 (2)
82%
リアルタイムの導入 (3)

8. 8© 2017 Attunity 8© 2017 Attunity
MODERN
INTEGRATION
リアルタイム
ユニバーサル
アジャイル
自動化
MODERN
PLATFORMS
Big Data
Cloud
データレイク
ストリーミング
製品ロードマップの目標
MODERN
ANALYTICS
AI/ML
IoT
予測的
リアルタイム

9. 9© 2017 Attunity
データ統合を自動化する先進のプラットフォーム
メインフレーム
SAP
OTHER…
データベース
PaaS DB
COMMIT
MODEL
SAAS
アプリケーション
ファイル
データウェアハウス
RDBMS
ストリーミング
データ・パイプライン
オートメーション
デザインと管理
生成 配信 精製
change
stream
クラウドやデー
タレイクに
分析用途のための
CONFORM
OTHER…
クラウドとデータレイク
OTHER…
データウェアハウス
Azure
SQL DWRedshift

10. 10© 2017 Attunity 10© 2017 Attunity
自動化された汎用データのリアル
タイム配信
即分析可能なデータ構造の構築を
加速
ATTUNITY REPLICATE ATTUNITY COMPOSE
ATTUNITY ENTERPRISE MANAGER
インテリジェントな管理、メタデータと制御
Attunityが提供する先進データ統合プラットフォーム

11. 11© 2017 Attunity
 エージェントレス
 ブラウザベースのGUIによる簡易設定・監視
 異種データベース間のテーブル高速データ転送・同期
 FULL LOAD(初期コピー)～CDC(変更データ反映)までシームレスに連携
 データのフィルタリング・加工
【Target】【Source】
SQL Server 2005/2008/2012/2014
MySQL 5.5/5.6
Sybase ASE 12.5/15/15.5/16
IMS
PostgresSQL 9.4.2↑(Win) 9.4(Linux)
 主要対応環境
 ロジカルレプリケーション（データベース同期）
Oracle10g/11g/12c
11
 分析サーバ
 災対サイト
 移行
Attunity Replicate 概要

12. 12© 2017 Attunity
Attunity Replicateのアーキテクチャ
Transfer
TransformFilter
Batch
CDC Incremental
In-Memory
File Channel
Batch
On
PremisesPersistent Store
RDBMS
Hadoop
Data
Warehouse
Mainframe
Files
RDBMS
Hadoop
Kafka
Files
Data
Warehouse
Cloud
Zero Footprint Architecture
対応OS(64bit)
• Linux Red Hat 6.2 and above
• SUSE Linux 11 and above
• Windows Server 2008
• Windows Server 2012
• Windows 7
推奨H/Wスペック
 CPU : Quad core ～8core↑
 Memorｙ : 8GB～64GB↑
 Disk : 320GB～500GB
 Network : 1Gbps～10Gbps×2

13. 13© 2017 Attunity
Logical Replicationのアーキテクチャ
Source
DB
Target
DB
EMP
DEPT
SALGRADE
EMP
DEPT
SALGRADE
初期同期
(COPY)

14. 14© 2017 Attunity
Source
DB
Target
DB
Change
Data
Capture
トランザクションログ
EMP
DEPT
SALGRADE
EMP
DEPT
SALGRADE
INSERT
UPDAT
E
DELETE
Logical Replicationのアーキテクチャ
INSERT
UPDATE
DELETE

15. 15© 2017 Attunity
ヘテロジニアス・データベース・データソース連携
15

16. 16© 2017 Attunity
簡易なGUIによるレプリケーション設定
 対象DBサーバへのエージェントインストール不要
 専用サーバをHUBとして、論理的な同期環境を構築可能
 設定はGUIから4ステップで設定完了
16

17. 17© 2017 Attunity
サポート対象データベース
RDBMS
Oracle
SQL Server
DB2 LUW
DB2 iSeries
MySQL
PostgreSQL
Sybase ASE
Informix
Data Warehouse
Exadata
Teradata
Netezza
Vertica
Hortonworks
Cloudera
MapR
Hadoop
DB2 z/OS
IMS/DB
SQL M/P
Enscribe
RMS
VSAM
Mainframe
Amazon RDS
Salesforce
Cloud
RDBMS
Oracle
SQL Server
DB2 LUW
MySQL
PostgreSQL
Sybase ASE
Informix
MemSQL
Data Warehouse
Exadata
Teradata
Netezza
Vertica
Pivotal DB
(Greenplum)
Pivotal HAWQ
Actian Vector
Sybase IQ
SAP / HANA
Hortonworks
Cloudera
MapR
Pivotal
Google
Cloud Dataproc
Amazon EMR
Azure HDInsight
Hive
Hadoop
MongoDB
NoSQL
Amazon
RDS/Redshift/EC2
Google Cloud SQL
Google Big Query
Azure SQL DW
Azure SQL Database
SnowFlake
Cloud
Effective: 12/1/2018
Kafka
Azure Event Hubs
MAPR-ES
AWS Kinesis
Message Broker
targets
sources
On ....
Oracle
SQL
DB2
SAP

18. 18© 2017 Attunity
事例紹介
18

19. 19© 2017 Attunity
レプリケーションテクノロジーの適用領域
データ分析基盤構築のための
データ連携ツールとして
 異種のデータ分析基盤へ基幹データを同期して分析したい
 IoTデータ分析プラットフォームでのデータ連携は、遅延無く行いたい
 非構造化データを含むマルチデータソースに対して素早く柔軟にデータ連携を
 クラウド上のデータ分析基盤へもリアルタイムにデータ連携したい
 データベース移行時の停止時間を最小化したい
 商用データベースをOSSデータベースへ移行したい
 データ分析基盤を(クラウド上に)再構築したい
異種を含む
データベース移行ツールとして

20. 20© 2017 Attunity
日本国内でのAttunityReplicateの適用案件数
20
0
5
10
15
20
25
30
35
40
45
50
2012年 2013年 2014年 2015年 2016年 2017年 2018年
MIGRATION
Oracle
↓
Oracle
Oracle
DB2
MySQL
SQL Server
(Sybase)
(zOS/DB2)
↓
Oracle
MySQL
PostgreSQL
SQL Server
Teradata
Amazon Aurora
Azure Database
(Kafka)
(MongoDB)
Oracle
DB2
MySQL
SQL Server
Netezza
zOS/DB2
(Sybase)
(zOS/IMSDB)
↓
Oracle
MySQL
PostgreSQL
SQL Server
Teradata
Amazon Aurora
Azure Database
Azure DW
(Kafka)
(MongoDB)
Oracle
↓
Oracle
Oracle
DB2
↓
Oracle
PostgreSQL
Oracle
DB2
MySQL
↓
Oracle
PostgreSQL
Amazon Aurora
Teradata
Oracle
↓
Oracle
案件数→

21. 21© 2017 Attunity
データベース・マイグレーション事例
21

22. 22© 2017 Attunity
Attunity Replicate 移行事例[楽天市場]
22
• 対象システム：基幹システム（会員情報管理DB）
• 課題
– 移行したいが停止時間が３時間しか取れない
– 移行対象データベースが300GB/90テーブル（8000万会員データ）
– 短時間にデータ整合性を確認するためにどうするか
• 対策案：
– Attunity Replicateでリアルタイムでデータ連携を利用して移行
– データ整合性は、HASH値のSUMを取得することで2億件/300GBのデータ比較を10分で完了
CDC Incremental
移行元データベース 同期ツール 移行先データベース
Oracle10g 3node RAC / AIX Attunity Replicate
Oracle11g Exadata
3node RAC

23. 23© 2017 Attunity
Attunity Replicate 移行事例[NTTぷらら]
23
• 対象システム：ユーザのサービス管理、課金情報
• 課題
– 移行したいが停止時間が３時間しか取れない
• 対策案：
– Attunity Replicateでリアルタイムでデータ連携を利用して移行
移行元データベース 同期ツール 移行先データベース
Oracle10g
DataGuard
Attunity Replicate
Oracle11g
2node RAC
CDC Incremental
 事前作業に16.5時間
 当日のサービス停止・開放に1時
間
 当日のデータ移行に8.5時間
 当日のサービス確認に4時間
 当日のバッチのリカバリに6時間
サービス停止時間
13.5時間
サービス停止時間
6時間
 事前作業に24時間
 当日のサービス停止・開放に1時間
 当日のデータ移行に0.3時間
 当日のサービス確認に4時間
 当日のバッチのリカバリに2時間

24. 24© 2017 Attunity
Attunity Replicate 移行事例[大手通信]
24
• 対象システム：通信機器管理システム
• 課題
– 移行したいが停止時間が4時間しか取れない
– 移行対象データベースが約200インスタンス(トータル：130万テーブル)
• 対策案：
– Oracle SE RACを適用し、Attunityでリアルタイムでデータ連携を利用して移行
CDC Incremental
移行元データベース 同期ツール 移行先データベース
Oracle10g EE / HP-UX Attunity Replicate Oracle11g SE RAC / RHEL

25. 25© 2017 Attunity
Attunity Replicate 移行事例[某自動車会社]
25
• 対象システム：インターネット見積りシステム
– 既存データベース(DB2)をPostgreSQLへ移行したい
• 課題
– データベース移行時の停止時間を最小化したい
– 異機種データベース間のオブジェクト定義差を極力手間をかけずに移行したい
• 対策案：
– 異種間で異なるデータ定義をAttunityReplicateで吸収し、最小ダウンタイム移行を実現
CDC Incremental
移行元データベース 同期ツール 移行先データベース
DB2 Ver8.2 Attunity Replicate PostgreSQL Ver9

26. 26© 2017 Attunity
常時レプリケーション事例
26

27. 27© 2017 Attunity
Attunity Replicate リアルタイム同期事例[某通信業]
27
• 対象システム：ERPシステム(Oracle E-Business Suite)
• 課題
– 分析にも使用したいが負荷をかけることが出来ない
– パッケージ製品でデータベースオブジェクトの変更が困難
– リアルタイム分析が可能でERPシステムに負荷をかけないこと
• 対策案：
– 分析用データベースを設置し、リアルタイムでデータ連携
CDC Incremental
移行元データベース 同期ツール 移行先データベース
Oracle11gR2 Attunity Replicate Oracle11gR2

28. 28© 2017 Attunity
Attunity Replicate リアルタイム同期事例[某電子書籍]
28
• 対象システム：課金管理システム
• 課題
– 分析にも使用したいが負荷をかけることが出来ない
– リアルタイム分析が可能であること
– 課金管理システム(最大60億件/テーブル)に負荷をかけないこと
• 対策案：
– 分析で使用しているTeradataへリアルタイムでデータ連携
CDC Incremental
移行元データベース 同期ツール 移行先データベース
MySQL 5.5 Attunity Replicate Teradata15.0

29. 32© 2017 Attunity
Data Lake 事例
32

30. 33© 2017 Attunity
Ford、Hadoop Data Lake事例
Results
DB2 MF
SQL Server
Oracle
全世界に、社員数20万人、50工場
• 多様なアプリケーション（4500データベース）
• 地理的広域に渡る大量のデータ
• 分析の遅延 => 機会損失
Challenges
• KafkaでHadoopデータレイク上に一元管理
• Attunityで全ソース/ターゲットを最小時間で統合
• 1,000,000ドル(1億円)削減
• グローバルな分析を中央集中化
Hadoop

31. 34© 2017 Attunity
Ford 構成概要
34
BULK
CDC
BULK
BULK
CDC
Databases

32. 35© 2017 Attunity
Zurich Insurance データレイク事例
35
Results
DB2 MF SQL Server
1872年にチューリッヒを拠点に設立され、
現在では日本を含む世界170カ国以上に展開
• パフォーマンス改善及び請求処理漏れ低減
• 有効証券請求時にリアルタイムな情報を手に入れるこ
とがプロセス改善に必要
Challenges
• メタデータを含むトランザクションデータをニアリア
ルタイムでデータ分析基盤に反映することで現在発生
しているイベントに対して遅延なく分析
• ソースデータとして社内外の無償・有償の外部データ
及び社内の基幹データベースのデータを分析のために
適用Hadoop

33. 36© 2017 Attunity
Zurich Insurance 構成概要
36
BULK
CDC
BULK
BULK
CDC
JSON
XML
TEXT

34. 39© 2017 Attunity
Attunity Replicate License
39
ご参考

35. Thank you
attunity.com
ご清聴ありがとうございました