Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
ビックデータ/クラウドデータ連携自由自在
~オンプレミスからクラウドへ!~
~クラウドからクラウドへ!~
プロダクトコンサルティング事業部
森田 俊哉
データベースもクラウドへ…?
Private Cloud
Public Cloud
Hybrid Cloud
クラウドファースト
Copyright @2015 Insight Technology, Inc. All Right Reserved
 8割の企業が新規システムの構築時にクラウドを検討、クラウドファーストの浸透が顕著に
 セキュリティ...
データベース基盤におけるクラウド活用
5
リモートバックアップ
の配置先に活用
基幹系・業務系システム
として活用
オンプレミス環境の
災害環境として活用
開発環境
検証環境
テスト環境
として活用情報系(BI/DWH)
として活用
Priva...
オンプレ・クラウド間のデータ連携がキーになる
Copyright @2015 Insight Technology, Inc. All Right Reserved
34.3%
41.0%
47.5%
16.6%
21.4%
29.0%
複数デ...
オンプレ←→クラウド←→クラウド
データ連携…?
Copyright @2015 Insight Technology, Inc. All Right Reserved
1.スタンバイ方式
(Physical Replication)
データベース単位でのデータ連携(データブロック反映)
2....
Copyright @2015 Insight Technology, Inc. All Right Reserved
データベースデータ連携(データ同期)~1
Source DB Target DB
EMP
DEPT
SALGRADE
EMP...
Copyright @2015 Insight Technology, Inc. All Right Reserved
Source DB Target DB
Change
Data
Capture
トランザクションログ
EMP
DEPT
SA...
Copyright @2015 Insight Technology, Inc. All Right Reserved
1.スタンバイ方式
(Physical Replication)
データベース単位でのデータ連携(データブロック反映)
2....
データ連携方式比較
スタンバイ方式
Physical Replication
ロジカルレプリケーション方式
Logical Replication
プロダクト
Oracle DataGuard
Dbvisit Standby
Oracle Go...
Copyright @2015 Insight Technology, Inc. All Right Reserved
Source DB Target DB
Change
Data
Capture
トランザクションログ
EMP
DEPT
SA...
トランザクションログって何…?
9
Oracle Database の処理(更新)
Client Oracle Database
REDO LogsControlfileData File
Server
SGA
LGWRCKPTSMON PMON DBWn
REDO LOG ...
OracleのLOGMinerを使って
REDOログを覗いてみる
 REDOログと関連するデータ・ディクショナリに直接アクセス
 REDOログは、データベース上で実行されるすべてのアクティビティの完全な記録。
 データ・ディクショナリは、内部オブジェクト識別子およびタイプを外部名とデータ形式へ変換する際...
Copyright @2015 Insight Technology, Inc. All Right Reserved
 REDOログファイル分析のためのLogMinerを使用して情報を取得
V$LOGMNR_CONTENTS(Oracleマ...
Copyright @2015 Insight Technology, Inc. All Right Reserved
SQL V$LOGMNR_CONTENTS / SQL_REDO
DELETE FROM EMP
WHERE EMPNO=7...
Copyright @2015 Insight Technology, Inc. All Right Reserved
SQL V$LOGMNR_CONTENTS / SQL_REDO
DELTE FROM EMP
WHERE DEPTNO=2...
Copyright @2015 Insight Technology, Inc. All Right Reserved
1.ソースデータベースのSQL文が2レコード更新した場合には、各レコード毎に
更新するSQLが生成
2.プライマリーキーの条...
Copyright @2015 Insight Technology, Inc. All Right Reserved
クラウド間データベース連携・移行
拠点-A
Copyright @2015 Insight Technology, Inc....
デモの準備
Copyright @2015 Insight Technology, Inc. All Right Reserved
Source DB Target DB
Change
Data
Capture
トランザクションログ
EMP
DEPT
SA...
Copyright @2015 Insight Technology, Inc. All Right Reserved
Source DB Target DB
トランザクションログ
EMP
DEPT
SALGRADE
EMP
DEPT
SALG...
Attunity Replicateによる
マルチデータベースのデータ連携と移行
Copyright @2015 Insight Technology, Inc. All Right Reserved
Attunity Key Point!
1...
Copyright @2015 Insight Technology, Inc. All Right Reserved
Attunity Replicateサポートデータベース
LUW(Linux/Unix/Windows)
As same a...
On-Premises
Processor : 1 core
Memory : 1024MB
DEMO:
Copyright @2015 Insight Technology, Inc. All Right Reserved
No TABLE ...
オンプレ/クラウド、クラウド/クラウドの
データ連携を自由に!
[db tech showcase Sapporo 2015] B15:ビッグデータ/クラウドにデータ連携自由自在 (オンプレミス ↔ クラウド ↔ クラウド) by 株式会社インサイトテクノロジー 森田俊哉
[db tech showcase Sapporo 2015] B15:ビッグデータ/クラウドにデータ連携自由自在 (オンプレミス ↔ クラウド ↔ クラウド) by 株式会社インサイトテクノロジー 森田俊哉
Upcoming SlideShare
Loading in …5
×

[db tech showcase Sapporo 2015] B15:ビッグデータ/クラウドにデータ連携自由自在 (オンプレミス ↔ クラウド ↔ クラウド) by 株式会社インサイトテクノロジー 森田俊哉

1,554 views

Published on

ビッグデータ・クラウドプロジェクトでは、オンプレミス内やオンプレミスとクラウド間(AWS/Microsoft Azure/SoftLayer)でのデータ連携が必須となります。本セッションでは、データ連携に関するキーテクノロジー=データレプリケーションテクノロジーについて解説するとともにオンプレミス-クラウド間でのデータ連携をライブデモでご紹介させていただきます。

Published in: Technology
  • Be the first to comment

[db tech showcase Sapporo 2015] B15:ビッグデータ/クラウドにデータ連携自由自在 (オンプレミス ↔ クラウド ↔ クラウド) by 株式会社インサイトテクノロジー 森田俊哉

  1. 1. ビックデータ/クラウドデータ連携自由自在 ~オンプレミスからクラウドへ!~ ~クラウドからクラウドへ!~ プロダクトコンサルティング事業部 森田 俊哉
  2. 2. データベースもクラウドへ…? Private Cloud Public Cloud Hybrid Cloud
  3. 3. クラウドファースト Copyright @2015 Insight Technology, Inc. All Right Reserved  8割の企業が新規システムの構築時にクラウドを検討、クラウドファーストの浸透が顕著に  セキュリティに対する不安やクラウドの移行・運用コストが利用障壁に 出典:MM総研「国内クラウドサービス需要動向(2014年版) http://www.m2ri.jp/newsreleases/main.php?id=010120141104500 0 5,000 10,000 15,000 20,000 2013年度 2014年度 2015年度 2016年度 2017年度 2018年度 国内クラウドサービス市場規模 実績・予測 プライベートクラウド(ホステッド/オンプレミス/コミュニティ) パブリッククラウド(SaaS/IaaS/PaaS)16.0% 13.6% 10.9% 37.6% 21.9% 新規システム構築方法 原則的にクラウド事業者のプライベートクラウド 原則的に自社資産のプライベートクラウド 原則的にパブリッククラウド クラウドとオンプレミスのメリットを勘案し、最適な方法で 原則的にオンプレミス(非クラウド環境) データベースもクラウドへ!  8割の企業が新規システムの構築時にクラウドを検討、クラウドファーストの浸透が顕著に  セキュリティに対する不安やクラウドの移行・運用コストが利用障壁に
  4. 4. データベース基盤におけるクラウド活用 5 リモートバックアップ の配置先に活用 基幹系・業務系システム として活用 オンプレミス環境の 災害環境として活用 開発環境 検証環境 テスト環境 として活用情報系(BI/DWH) として活用 Private Cloud Public CloudHybrid Cloud データベースに対するクラウド活用についても、IBM/Amazon/MSによる積極的な データベースサービス展開もあり下記のような用途でのクラウド活用事例が増加中
  5. 5. オンプレ・クラウド間のデータ連携がキーになる Copyright @2015 Insight Technology, Inc. All Right Reserved 34.3% 41.0% 47.5% 16.6% 21.4% 29.0% 複数データセンター間での柔軟なリソース増強 (スケールアウト) 複数データセンター間での データ移行・バックアップ・VM移設 データセンター内での柔軟なリソース増強 (スケールアップ・スケールアウト) データセンターに必要と考える機能 クラウド非推進企業 クラウド推進企業 出典「ITR:クラウド/ICTアウトソーシング同行調査2012」 複数データセンター間での データ移行・バックアップ・VM移設
  6. 6. オンプレ←→クラウド←→クラウド データ連携…?
  7. 7. Copyright @2015 Insight Technology, Inc. All Right Reserved 1.スタンバイ方式 (Physical Replication) データベース単位でのデータ連携(データブロック反映) 2.レプリケーション方式 (Logical Replication) スキーマ/テーブル単位でのデータ連携(SQL反映) Oracle DataGuard Dbvisit Standby 01. Description of the contents データ連携方式 Oracle GoldenGate Attunity Replicate
  8. 8. Copyright @2015 Insight Technology, Inc. All Right Reserved データベースデータ連携(データ同期)~1 Source DB Target DB EMP DEPT SALGRADE EMP DEPT SALGRADE 初期同期 (COPY)
  9. 9. Copyright @2015 Insight Technology, Inc. All Right Reserved Source DB Target DB Change Data Capture トランザクションログ EMP DEPT SALGRADE EMP DEPT SALGRADE Change Data Apply データベースデータ連携(データ同期)~2 INSERT UPDATE DELETE
  10. 10. Copyright @2015 Insight Technology, Inc. All Right Reserved 1.スタンバイ方式 (Physical Replication) データベース単位でのデータ連携(データブロック反映) 2.レプリケーション方式 (Logical Replication) スキーマ/テーブル単位でのデータ連携(SQL反映) Oracle DataGuard Dbvisit Standby 01. Description of the contents データ連携方式 Oracle GoldenGate Attunity Replicate
  11. 11. データ連携方式比較 スタンバイ方式 Physical Replication ロジカルレプリケーション方式 Logical Replication プロダクト Oracle DataGuard Dbvisit Standby Oracle GoldenGate Attunity Replicate データ連携単位 DB Schema / TABLE データ連携アーキテクチャ LOG Apply SQL Apply 転送タイミング 即時~数秒*1 / LOG転送時 (自動) 即時 (自動) データ連携先利用 検索不可(検索可*1) 検索可 更新可 データベース構成 同一 不問 異種・異バージョン データベース連携 *1) Active Data Guardの場合
  12. 12. Copyright @2015 Insight Technology, Inc. All Right Reserved Source DB Target DB Change Data Capture トランザクションログ EMP DEPT SALGRADE EMP DEPT SALGRADE データベースデータ連携(Logical Replication) Change Data Apply INSERT UPDATE DELETE INSERT UPDATE DELETE SQL
  13. 13. トランザクションログって何…?
  14. 14. 9 Oracle Database の処理(更新) Client Oracle Database REDO LogsControlfileData File Server SGA LGWRCKPTSMON PMON DBWn REDO LOG BufferDatabase BufferShared Pool SQL解析情報 SQL実行計画 A SELECT COLA FROM TABA データ ディクショナリ 更新履歴 A→B データベースで行われた変更履歴 (DML,DDL処理)を格納 障害からの復旧に使用 UPDATE TABA SET COLA=‘B’ COMMIT B A A AB
  15. 15. OracleのLOGMinerを使って REDOログを覗いてみる
  16. 16.  REDOログと関連するデータ・ディクショナリに直接アクセス  REDOログは、データベース上で実行されるすべてのアクティビティの完全な記録。  データ・ディクショナリは、内部オブジェクト識別子およびタイプを外部名とデータ形式へ変換する際に使用されます。  LogMinerはデータベースで実行される各論理操作を動的なビュー V$LOGMNR_CONTENTSに提供  各行には、変更のロールバックに使用できるSQL UNDO文と、元の操作が詳細に記述されているSQL REDO文が含まれます。 LOGMinerとは? データ・ディクショナリ REDOログ V$LOGMNR_CONTENTS
  17. 17. Copyright @2015 Insight Technology, Inc. All Right Reserved  REDOログファイル分析のためのLogMinerを使用して情報を取得 V$LOGMNR_CONTENTS(Oracleマニュアルから一部抜粋) Oracleの場合:REDOログファイルの内容 列 データ型 説明 SCN NUMBER データベースに変更が加えられた時点のシステム変更番号(SCN) START_SCN NUMBER この変更を含むトランザクションが開始されたときのシステム変更番号(SCN)。 COMMITTED_DATA_ONLYオプションがDBMS_LOGMNR.START_LOGMNR()の 起動時に選択された場合のみ有効、それ以外の場合はNULL。この列は、トランザ クションの開始を含まない時間/SCN範囲に問合せが実行されると、NULLになるこ ともある。 COMMIT_SCN NUMBER トランザクションのコミット時のシステム変更番号(SCN)。 COMMITTED_DATA_ONLYオプションがDBMS_LOGMNR.START_LOGMNR()の 起動時に選択された場合のみ有効。 TIMESTAMP DATE データベースに変更が加えられた時点のタイムスタンプ START_TIMESTAMP DATE この変更を含むトランザクションが開始されたときのタイムスタンプ。 COMMITTED_DATA_ONLYオプションがDBMS_LOGMNR.START_LOGMNR()の 起動時に選択された場合のみ有効、それ以外の場合はNULL。この列は、トランザ クションの開始を含まない時間/SCN範囲に問合せが実行されると、NULLになるこ ともある。 COMMIT_TIMESTAMP DATE トランザクションのコミット時のタイムスタンプ。COMMITTED_DATA_ONLYオ プションがDBMS_LOGMNR.START_LOGMNR()の起動時に選択された場合のみ有 効。 USERNAME VARCHAR2(30) トランザクションを実行したユーザーの名前 OS_USERNAME VARCHAR2(4000) オペレーティング・システムのユーザー名 SQL_REDO VARCHAR2(4000) 再構成されたSQL文で、変更を実行した元のSQL文と同じ。 SQL_UNDO VARCHAR2(4000) 再構成されたSQL文で、変更を実行した元の文の結果を取り消すために使用できる。
  18. 18. Copyright @2015 Insight Technology, Inc. All Right Reserved SQL V$LOGMNR_CONTENTS / SQL_REDO DELETE FROM EMP WHERE EMPNO=7844; delete from "SCOTT"."EMP" where "EMPNO" = '7844' and "ENAME" = 'TURNER' and "JOB" = 'SALESMAN' and "MGR" = '7698' and "HIREDATE" = TO_DATE('81-09-08', 'RR-MM-DD') and "SAL" = '1500' and "COMM" = '0' and "DEPTNO" = '30' and ROWID = 'AAAD8yAAEAAA+k7AAN'; ROLLBACK; insert into "SCOTT"."EMP“ ("EMPNO","ENAME","JOB","MGR","HIREDATE","SAL","COMM","DEPTNO") values ('7844','TURNER','SALESMAN','7698',TO_DATE('81-09-08', 'RR-MM- DD'),'1500','0','30'); UPDATE EMP SET SAL=SAL*1.1 WHERE EMPNO=7844; update "SCOTT"."EMP" set "SAL" = '1650' where "SAL" = '1500' and ROWID = 'AAD8yAAEAAA+k7AAN'; DELETE FROM SALGRADE WHERE GRADE=5; delete from "SCOTT"."SALGRADE" where "GRADE" = '5' and "LOSAL" = '3001' and "HISAL" = '9999‘ and ROWID = 'AAAD7dAAEAAAADMAAI'; ROLLBACK; insert into "SCOTT"."SALGRADE"("GRADE","LOSAL","HISAL") values ('5','3001','9999'); UPDATE SALGRADE SET HISAL=20000 WHERE GRADE=5; update "SCOTT"."SALGRADE" set "HISAL" = '20000‘ where "HISAL" = '9999‘ and ROWID = 'AAAD7dAAEAAAADMAAI'; V$LOGMNR_CONTENTSの内容 計算式は、固定値に変換されて生成
  19. 19. Copyright @2015 Insight Technology, Inc. All Right Reserved SQL V$LOGMNR_CONTENTS / SQL_REDO DELTE FROM EMP WHERE DEPTNO=20; delete from "SCOTT"."EMP" where "EMPNO" = '7566' and “ENAME” = ‘JONES’ and "JOB" = 'MANAGER' and "MGR" = '7839' and "HIREDATE" = TO_DATE('81-04-02', 'RR-MM-DD') and "SAL" = '2975' and "COMM" IS NULL and "DEPTNO" = '20' and ROWID = 'AAAD8yAAEAAA+k7AAD'; delete from "SCOTT"."EMP" where "EMPNO" = '7788' and "ENAME" = 'SCOTT' and "JOB" = 'ANALYST' and "MGR" = '7566' and "HIREDATE" = TO_DATE('87-04-19', 'RR-MM-DD') and "SAL" = '3000' and "COMM" IS NULL and "DEPTNO" = '20' and ROWID = 'AAAD8yAAEAAA+k7AAE'; delete from "SCOTT"."EMP" where "EMPNO" = '7876' and "ENAME" = 'ADAMS' and "JOB" = 'CLERK' and "MGR" = '7788' and "HIREDATE" = TO_DATE('87-05-23', 'RR-MM-DD') and "SAL" = '1100' and "COMM" IS NULL and "DEPTNO" = '20' and ROWID = 'AAAD8yAAEAAA+k7AAF'; delete from "SCOTT"."EMP" where "EMPNO" = '7902' and "ENAME" = 'FORD' and "JOB“ = 'ANALYST' and "MGR" = '7566' and "HIREDATE" = TO_DATE('81-12-03', 'RR-MM-DD') and "SAL" = '3000' and "COMM" IS NULL and "DEPTNO" = '20' and ROWID = 'AAAD8yAAEAAA+k7AAG'; delete from "SCOTT"."EMP" where "EMPNO" = '7369' and "ENAME" = 'SMITH' and "JOB" = 'CLERK' and "MGR" = '7902' and "HIREDATE" = TO_DATE('80-12-17', 'RR-MM-DD') and "SAL" = '800' and "COMM" IS NULL and "DEPTNO" = '20' and ROWID = 'AAAD8yAAEAAA+k7AAH'; V$LOGMNR_CONTENTSの内容 SQL文が5レコード更新すると各レコード毎に更新するSQLが生成される
  20. 20. Copyright @2015 Insight Technology, Inc. All Right Reserved 1.ソースデータベースのSQL文が2レコード更新した場合には、各レコード毎に 更新するSQLが生成 2.プライマリーキーの条件が付加されて生成 3.計算式は、固定値に変換されて生成 Oracleの場合:Logical replication SQL Apply (Supplimental Logging) Source DB Target DB update PRICES set PRICE = PRICE - (PRICE * .10) where PRODUCT_CAT = ‘OLD_STOCK'; update PRICES set PRICE = 10 where PROD_ID = 101; update PRICES set PRICE = 23 where PROD_ID = 102;
  21. 21. Copyright @2015 Insight Technology, Inc. All Right Reserved クラウド間データベース連携・移行 拠点-A Copyright @2015 Insight Technology, Inc. All Right Reserved ③災害対策 拠点-B 他社クラウド ②統合・複製 ①移行・複製 ロジカルレプリケーションでオンプレミス・マルチクラウドをシームレスに連携 オンプレミス
  22. 22. デモの準備
  23. 23. Copyright @2015 Insight Technology, Inc. All Right Reserved Source DB Target DB Change Data Capture トランザクションログ EMP DEPT SALGRADE EMP DEPT SALGRADE SQL Apply データベースデータ連携(Logical Replication) INSERT UPDATE DELETE
  24. 24. Copyright @2015 Insight Technology, Inc. All Right Reserved Source DB Target DB トランザクションログ EMP DEPT SALGRADE EMP DEPT SALGRADE Attunity Replicateデータベースデータ連携 INSERT UPDATE DELETE
  25. 25. Attunity Replicateによる マルチデータベースのデータ連携と移行 Copyright @2015 Insight Technology, Inc. All Right Reserved Attunity Key Point! 1)異種DB間の移行・統合 2)N:Nの複雑な構成でも容易に統合 3)フル同期から差分同期までシームレス 4)DB側エージェントレス
  26. 26. Copyright @2015 Insight Technology, Inc. All Right Reserved Attunity Replicateサポートデータベース LUW(Linux/Unix/Windows) As same as Replication sources Large DW Platforms Actian Vector Oracle Exadata Microsoft PDW HP Vertica Pivottal Greenplum Database Teradata IBM Netezza Amazon Redshift LUW(Linux/Unix/Windows) Saleforce Any source with ODBC Client Mainframe DB2 IMS/DB VSAM IBM iSeries DB2/400 HP NonStop Enscribe ・SQL/MP Replication Sources Replication Targets
  27. 27. On-Premises Processor : 1 core Memory : 1024MB DEMO: Copyright @2015 Insight Technology, Inc. All Right Reserved No TABLE NAME COUNT 1 CUSTOMER 30,000 2 DISTRICT 10 3 HISTORY 110,083 4 ITEM 100,000 5 NEW_ORDER 8,247 6 ORDER_LINE 1,095,136 7 ORDERS 109,427 8 STOCK 100,000 9 WAREHOUSE 1 182MB 1,552,904 db.t1.micro Location : Tokyo Region(ap-northeast-1a) Processor : 1vCPU Memory : 613MB Virtual Server Location : Tokyo2 Processor : 1 CORE Memory : 1024MB Service Plan : Basic Location : Japan West Performance Level : S0(10 DTU)
  28. 28. オンプレ/クラウド、クラウド/クラウドの データ連携を自由に!

×