To improve customer value and corporate competitiveness, it is necessary to deal with advanced analysis using big data, including data of core systems, and digital transformation. At the same time, examples of hybrid construction of on-premise clouds are also spreading. In this session, we will introduce the technology and the latest case examples of applying real-time replication utilized in the backbone system (RDBMS) to the Hadoop data analysis infrastructure (Hadoop Data Lake) of the hybrid configuration.

1. 株式会社インサイトテクノロジー
宮地 敬史
基幹系データをより早く分析基盤に!
ハイブリッド・データ分析基盤へのスマートな
データ統合

2. Insight Technologyとは?
コンサルティングサービス ソフトウェア ハードウェア
システム設計～運用まで
データベース総合ソリューション
システム設計～運用まで
データベース総合ソリューション
データベースの様々な課題を
解決する各種ソフトウェア
データベースの様々な課題を
解決する各種ソフトウェア
高性能・低コスト・高信頼性
データベース専用マシン
高性能・低コスト・高信頼性
データベース専用マシン
データベースに関連するナレッジと技術力を追求し、ソフトウェア、ハードウェア、
サービスを最適に組み合わせてお客様に提供する会社です。
高速・低コスト・セキュア なデータベース環境を実現
データベースのアクセス監査ツール（自社開発）
マルチデータベースのリアルタイムレプリケーションツール
次世代型データウェアハウス向け 超高速データベース
Oracle Standard Edition向け DR構築ツール
データベースのパフォーマンス監視・分析ツール（自社開発）
世界最速のデータベース専用高速マシン（自社開発）
2

3. Agenda
1. ハイブリッドデータ分析基盤の構築 / 課題
2. Attunity社製品のご紹介
3. DEMO
4. 導入事例

4. 1.ハイブリッドデータ分析基盤の構築 / 課題

5. 5
CLOUDSTREAMINGDATA LAKES
ON PREMDATA WAREHOUSE BATCH
最新のデータ分析基盤

6. 6
 デジタルトランスフォーメーション
 データのマネタイズ
 センサーデータ、位置情報、行動ログ等、これまで使用していたデータ
に加えて、基幹系システムで持っている顧客データ、販売データも使用
して更に高度な分析、施策を打ちたい!
 連携するデータはより鮮度の高いものが欲しい!
 分析対象のデータは適宜追加していきたい!
最新のデータ分析基盤
 目的

7. 7
最新のデータ分析基盤
業務システム Enterprise Data
Warehouse（EDW）
データマート Business
Analytics
Visualization
& Dashboards
データベースシステム
分析系
COLD
データ
ETL
Web Logs,
Click Streams
Social
Networks
Machine
Generated
Sensor
Data
Geolocation
Data
Data
Science
バッチ処理
OLTP,ERP,
CRM,etc
HOTデータ
COLD
データ
バッチ処理

8. 8
課題①:分析対象データの鮮度
業務システム Enterprise Data
Warehouse（EDW）
データマート Business
Analytics
Visualization
& Dashboards
データベースシステム
分析系
COLD
データ
ETL
Web Logs,
Click Streams
Social
Networks
Machine
Generated
Sensor
Data
Geolocation
Data
Data
Science
バッチ処理
OLTP,ERP,
CRM,etc
HOTデータ
COLD
データ
バッチ処理
時間が掛かる 時間が掛かる

9. 9
課題②:分析対象データの増加時の対応
業務システム Enterprise Data
Warehouse（EDW）
データマート Business
Analytics
Visualization
& Dashboards
データベースシステム
分析系
COLD
データ
ETL
ドキュメント,
Eメール
Web Logs,
Click Streams
Social
Networks
Machine
Generated
Sensor
Data
Geolocation
Data
Data
Science
バッチ処理
OLTP,ERP,
CRM,etc
HOTデータ
COLD
データ
バッチ処理
時間が掛かる 時間が掛かる
連携対象が増えた
場合の対応

10. 1
 デジタルトランスフォーメーション
 データのマネタイズ
 センサーデータ、位置情報、行動ログ等、これまで使用していたデータ
に加えて、基幹系システムで持っている顧客データ、販売データも使用
して更に高度な分析、施策を打ちたい!
 連携するデータはより鮮度の高いものが欲しい!
 分析対象のデータは適宜追加していきたい!
最新のデータ分析基盤
 目的
 課題
 基幹系データのデータ分析基盤へのニアリアルタイム連携
 連携対象データの追加等、構成変更へのフレキシブルな対応

11. 2. Attunity社製品のご紹介

12. Attunity とは?
1
 1988年創業、データ統合において、30年にわたる研究開発と経験
 CDC（更新データ捕捉）技術における独立系リーディング企業
 米国、英国、イスラエル、日本、香港、台湾、韓国など、全世界的事業規模
FINANCIAL
SERVICES
MANUFACTURING/
INDUSTRIAL
HEALTH
CARE
GOVERNMENT TECHNOLOGY /
TELECOM
RETAIL OTHER
INDUSTRIES
世界65ヶ国で2,000社以上の顧客。Fortune100のうち半数が使用。

13. Trusted by Microsoft
with 3 OEMs,
bundled inside
SQL Server
Trusted by Amazon
(AWS) with strategic
partnership for cloud
database migration
Trusted by IBM and
Oracle with respective
OEMs of Attunity
technology
Trusted by Teradata
and HP as resellers for
data warehouse and
analytics
Trusted by
global system
integrators
Trusted by over
2000 customers for
commitment, flexibility
and speed
2000+
Trusted by SAP as
certified solution in
use with over 200 SAP
customers
Trusted by big data
leaders for data lake
solutions
Trusted by IBM and
Oracle with respective
OEMs of Attunity
technology
Trusted by Teradata
and HP as resellers for
data warehouse and
analytics
パートナーシップ - 多くの企業に認められ、選ばれている技術

14. 企業のデータ管理に最適なATTUNITYのプラットフォーム

15. 15© 2017 Attunity
#1 provider of change
data capture (CDC)
 多数のソースデータベースの
サポート
 ハイパフォーマンス
 ソースシステムへの低負荷
#1 cloud database
migration technology
 AWS等のクラウド環境へ
40,000以上のデータベースの
移行実績
#1 in ease of use
 現場のデータアーキテクト、
DBAがデプロイしやすい
デザイン
ストリーミング/クラウドを含むデータレイクへの効率的なリアルタイムデータ連携の
再有力プラットフォーム
Attunityが提供するソフトウェアの特徴

16. 16© 2017 Attunity
自動化、いろいろな環境で使える
リアルタイムデータ転送
分析用データ構造の生成
※Hadoop環境へのニアリアルタイム
データ連携
ATTUNITY REPLICATE ATTUNITY COMPOSE
ATTUNITY ENTERPRISE MANAGER
Attunityソフトウェアの統合管理ツール
Attunity社が提供するデータ連携プラットフォーム

17.  エージェントレス (LUW)
 異種データベース間のデータ高速転送・同期
 FULL LOAD(初期コピー)～CDC(変更データ反映)までシームレスに連携
 GUIベースの簡易設定、監視
【Target】【Source】
SQL Server 2005/2008/2012/2014
MySQL 5.5/5.6
Sybase ASE 12.5/15/15.5/16
IMSIMS
PostgresSQL 9.4.2↑(Win) 9.4(Linux)
 主要対応環境
 ロジカルレプリケーション（データベース同期）
Oracle10g/11g/12c
Attunity Replicate - 概要

18. 18© 2017 Attunity
TRANSFER
IN-MEMORY
FILTER
HADOOP
RDBMS
DATA
WAREHOUSE
FILES
MAINFRAME
TRANSFORM
FILE CHANNEL
PERSISTENT
STORE
CDC
BATCH
INCREMENTAL
BATCH
HADOOP
RDBMS
DATA
WAREHOUSE
STREAMING
FILES
ATTUNITY POWERPOINT ASSET LIBRARY

19. RDBMS
Oracle
SQL Server
DB2 LUW
DB2 iSeries
DB2 z/OS
MySQL
PostgreSQL
Sybase ASE
Informix
Data Warehouse
Exadata
Teradata
Netezza
Vertica
Actian Vector
Actian Matrix
SAP / HANA
Hortonworks
Cloudera
MapR
Hadoop
IMS/DB
SQL M/P
Enscribe
RMS
Legacy
AWS RDS
Amazon Aurora
Salesforce
Cloud
RDBMS
Oracle
SQL Server
DB2 LUW
MySQL
PostgreSQL
Sybase ASE
Informix
Data Warehouse
Microsoft PDW
Exadata
Teradata
Netezza
Vertica
Sybase IQ
Amazon
Redshift
Actian Vector
SAP HANA
Hortonworks
Cloudera
MapR
Amazon EMR
Azure
HDInsight *
Hadoop
Azure Event
Hubs *
MapR-ES *
Kafka
Streaming
Amazon RDS
Amazon Redshift
Amazon EMR
Amazon S3
Amazon Aurora
Google Cloud SQL
Azure SQL DW
Azure SQL DB
Snowflake
Cloud
Delimited
FLAT FILES
targets
sources
ECC on
Oracle
ECC on SQL
ECC on DB2
ECC on
HANA
S4 HANA
SAP
サポートデータベース
Delimited
(CSV,TSV)
FLAT FILES

20. Attunity Replicate アーキテクチャ

21. Attunity Replicate アーキテクチャ

22. Kafkaへのデータストリーミング → HDF → HDP

23. Attunity とHortonworks
METADATA
HIVE
OPTIMIZED
STREAM
OPTIMIZED
CHANGE DATA CAPTURECHANGE DATA CAPTURE
CLOUD ON PREM
WAREHOUSE MAINFRAME RDBMS SAP
TRANSFORM & UPDATETRANSFORM & UPDATE
Hive最適化のHDPとスト
リーミング最適化のHDF
エージェントレス、コー
ディングレスデータ連携
分析用のHiveデータセッ
トの自動生成
ソースDBデータ/メタデ
ータのUPDATEの連携
変換プロセスのHiveへの
連携
用途に応じた、ODS、
HDS形式での連携が可能

24. Attunity Replicate + Attunity Composeによる、データ分析基盤への
データ連携の仕組み
業務DB
ランディング
ゾーン
(Oracle/SQLServer
/DB2,etc)
トランザクションログ
CDC INCREMENTAL
ターゲット
データ
Hive ACID MERGE
 Attunity Replicate:ランディングゾーンに差分データをInsert
 Attunity Compose:ランディングゾーンの差分データ（ INSERT/UPDATE/DELETE ）を
Hive ACID Mergeにより、ターゲットデータに効率よく適用

25. 2
データ分析基盤の構築 / 課題
業務システム Enterprise Data
Warehouse（EDW）
データマート Business
Analytics
Visualization
& Dashboards
データベースシステム
分析系
COLD
データ
ETL
ドキュメント,
Eメール
Web Logs,
Click Streams
Social
Networks
Machine
Generated
Sensor
Data
Geolocation
Data
Data
Science
バッチ処理
OLTP,ERP,
CRM,etc
HOTデータ
COLD
データ
バッチ処理
時間が掛かる 時間が掛かる
連携対象が増えた
場合の対応

26. 2
Attunityプラットフォームを導入すると・・・
業務システム Enterprise Data
Warehouse（EDW）
データマート Business
Analytics
Visualization
& Dashboards
データベースシステム
分析系
COLD
データ
ETL
ドキュメント,
Eメール
Web Logs,
Click Streams
Social
Networks
Machine
Generated
Sensor
Data
Geolocation
Data
Data
Science
バッチ処理
OLTP,ERP,
CRM,etc
HOTデータ
COLD
データ
バッチ処理
時間が掛かる 時間が掛かる
処理に必要な更新データのリアルタイム反映
連携対象が増えた
場合も簡単に追加可能!!

27. 2
 デジタルトランスフォーメーション
 データのマネタイズ
 センサーデータ、位置情報、行動ログ等、これまで使用していたデータ
に加えて、基幹系システムで持っている顧客データ、販売データも使用
して更に高度な分析、施策を打ちたい!
 連携するデータはより鮮度の高いものが欲しい!
 分析対象のデータは適宜追加していきたい!
まとめ
 目的
 課題
 基幹系データのデータ分析基盤へのニアリアルタイム連携
 連携対象データの追加等、構成変更へのフレキシブルな対応
Attunity Replicate+Attunity Composeを使うことで、ニアリ
アルタイム且つ、簡単にデータの連携が可能!!

28. 3. DEMO

29. Oracle 12cR2
デモ環境
Land_gonta
gonta

30. 4. 事例のご紹介

31. 導入事例: アメリカ 某自動車製造メーカー
•グローバルな分析を中央集中化すること
•迅速な洞察と競合他社に対する強みを見出すこと
4,500 applications
DB2 MF SQL Oracle
全世界に社員数20万人、
50工場
• 多様なアプリケーション、地理情報に関する大量のデータ
• 分析の遅延 => 機会損失
Challenges
•KafkaデータブローカーでHadoopデータレイク上に一元管理
•Attunity Replicateで全ソース/ターゲットを最小時間で統合
•約1,000,000ドル(1億円)削減
Goals
Goals

32. ELT
導入事例: アメリカ 某自動車製造メーカー
Single Analytic Environment
Oracle, SQLServer,DB2,
Teradata, etc
※200以上のデータソース

33. Challenge
 AS/400上の顧客データのHadoopプラットフォームでのリアルタイムデータ分析
 HadoopにODS (Operational Data Store)を配置し、データハブとして使用
Goals
 プルデンシャルのコアデータ（将来的には非構造化データも）を配置する、
ニアリアルタイムデータハブの構築
 デジタルトランスフォーメーション推進と、データのマネタイズ
 課題
- サイロ化による不完全なデータ
- データの可用性
- レガシーシステム内の、不完全・アクセスできないデータ
Technical Solution
 Attunity Replicate （AS/400へはエージェントレスで使用可能）
→ サービスメンテナンス対応工数の低減
 Attunity Compose for Hortonworks HIVE ACID Merge and Kafka.
→ 新しいアプリケーションの運用/インテリジェンス/意思決定の改善
Situation Overview
導入事例: Prudential Singapore
プルデンシャルの最大の事業部門は
プルデンシャル・コーポレーション・アジアで、
12のアジア市場で1300万人以上の顧客を抱え、
香港、インド、インドネシア、マレーシア、
シンガポール、フィリピン、ベトナムで
3位の生命保険会社です。
プルデンシャルUKは700万人の顧客を抱えており、
英国の生命保険および年金の大手プロバイダーです。

34. AS/400 iSeries
Automating A Prudential data Hub
REAL-TIME HISTORIC
TRANSFORM & UPDATE DATA
ACID Merge
7
REAL-TIME DATA INGESTION
Life Asia
Insurance Policy System
HIVE (ACID MERGE)

35. 記載されている会社名、サービス名、製品名は、株式会社インサイトテクノロジーおよび各社の商標または登録商標です。
Copyright 2018 Insight Technology, Inc. All Rights Reserved.
ご清聴、ありがとうございました!