[db tech showcase Tokyo 2017] E23: クラウド異種データベース(AWS)へのデータベース移行時の注意点～レプリケーションテクノロジーは、使えるのか？～ by 株式会社インサイトテクノロジー中川裕貴

1. 株式会社インサイトテクノロジープロダクトコンサルティング事業部中川裕貴クラウド異種データベース(AWS)へのデータベース移行時の注意点 - レプリケーションテクノロジーは、使えるのか？

2. コンサルティング事業ソフトウェア事業ハードウェア事業設計、構築、運用、移行データベース総合ソリューションデータベースの課題を解決する各種ソフトウェアの開発・サポート高性能・低コスト・高信頼性データベースマシンの開発データベースに関連するナレッジと技術力を追求し、ソフトウェア、ハードウェア、サービスを最適に組み合わせてお客様に提供する会社です。高速・低コスト・セキュアなデータベース環境を実現データベースのアクセス監査ツール(自社開発) マルチデータベースリアルタイムレプリケーションツールデータウェアハウス向け超高速データベース Oracle Database Standard Edition向け DRツール Oracle Database パフォーマンス監視・分析ツール(自社開発) データベース専用高速マシン(自社開発) Insight Technologyとは？

3. Agenda 1. AWSへのデータベース移行 2. Attunity Replicateのご紹介 3. DEMO 4. 国内事例のご紹介

4. 1. AWSへのデータベース移行

5. 1. AWSへのデータベース移行  課題  データベース移行に（あまり）工数を掛けたくない  切替え時のサービス停止を最小限にしたい

6. 1. AWSへのデータベース移行データベース移行のタスク 1.ターゲットデータベースの選定 2.メタデータを移行 3.アプリケーション、運用スクリプト改修 4.テーブルデータを移行

7. 1. AWSへのデータベース移行 1.ターゲットデータベースの選定  データベースの種類を変更するか？  データベースはEC2上に立てるかRDSを使用するか？移行の難易度(≒ 期間・工数)に影響する！ Amazon EC2 Amazon RDS 例) Oracle Database → Amazon Aurora

8. 1. AWSへのデータベース移行 2.メタデータの移行  ユーザ/権限  データベース・オブジェクト 3.アプリケーション、運用スクリプト改修  SQL文データベースの種類を変えない場合、 RDBMSの機能で移行できるので、ほぼ対応不要 SQL文も互換性があるので同様

9. オブジェクト/SQL文の移行 AWS Schema Conversion Tool(SCT)  異種DB間でオブジェクト/SQL文を自動変換  自動変換出来ない場合は問題をレポーティング工数の削減や見積もりに使える ※データベースの種類を変える場合 Amazon RDS for Oracle※ Amazon RDS for SQL Server ※ Amazon RDS for MySQL Amazon RDS for PostgreSQL Amazon Aurora ※同一種ソースの場合のみ対応ターゲット (OLTP) Oracle Database Microsoft SQL Server MySQL PostgreSQL 対応ソース (OLTP) メタデータ/SQLの移行

10. 1. AWSへのデータベース移行データベース移行のタスク 1.ターゲットデータベースの選定 2.メタデータを移行 3.アプリケーション、運用スクリプト改修 4.テーブルデータを移行 AWS Schema Conversion Tool

11.  異種データベース間でのデータ移行  増大するデータ量  止められないサービス AWS Database Migtation Service(DMS)  マルチデータベース対応  差分同期を使い、少ないサービスダウンタイムでの移行が可能テーブルデータの移行 Oracle Database Microsoft SQL Server MySQL PostgreSQL Amazon Aurora MariaDB SAP ASE Amazon Redshift Amazon DynamoDB Amazon S3 対応ターゲット Oracle Database Microsoft SQL Server MySQL PostgreSQL Amazon Aurora MariaDB SAP ASE MongoDB 対応ソース

12. Source DB Target DB EMP DEPT SALGRADE EMP DEPT SALGRADE 初期同期 (FullLoad) INSERT UPDATE DELETE テーブルデータの移行

13. Source DB Target DB Change Data Capture Redoログ EMP DEPT SALGRADE EMP DEPT SALGRADE Change Data Apply INSERT UPDATE DELETE 差分同期で、切替え時のサービス停止時間を極小化可能テーブルデータの移行

14. 1. AWSへのデータベース移行データベース移行のタスク 1.ターゲットデータベースの選定 2.メタデータを移行 3.アプリケーション、運用スクリプト改修 4.テーブルデータを移行 AWS Schema Conversion Tool AWS Database Migration Service

15.  注意点 2.UNDO表領域/一時表領域の容量(Oracle Database) 3.データベースのキャラクタセット(UTF8以外のみ)  外字が使用されている環境では文字化けが発生してしまう・・・  FullLoadの所要時間が長いとソースでORA-01555が発生する可能性があるテーブルデータの移行 1.ソース – ターゲット間のデータ整合性のチェック  データチェック機能が無い為、ツール作成が必要  チェック方式(データのcsv化 or ハッシュ値計算等で比較) を検討する。また、チェックに要する時間を移行作業に含める  FullLoad後にターゲットで索引の再作成が行われるので、一時表領域が不足する可能性がある。チェックのためFullLoad後、差分同期前に一時停止するオプションを使うとよい

16. 6.フィルタリング機能が弱い  注意点  複雑な条件は指定できない(列毎に=,<=,>=,between andのみ) テーブルデータの移行 5.ネットワーク関連のチューニングができない  ソースへの接続にWANを介している場合などネットワークが低速だと設定で同期のパフォーマンスを改善できない  ネットワーク帯域が制限できない 4.差分同期のデフォルトの動作  差分同期は一件ずつ更新が適用される、遅い場合は BatchApplyEnabledをtrueに設定するといい(CLIが必要)

17. 2. Attunity Replicateのご紹介

18. Enterprise Data Management On Premises | Cloud | Across Platforms  1988年創業、データ統合において、20年以上にわたる研究開発と経験  CDC（更新データ捕捉）技術における独立系リーディング企業  米国、英国、イスラエル、日本、香港、台湾、韓国など、全世界的事業規模 65ヶ国で2,000社以上の顧客 Attunity社概要

19. Microsoft with OEM and for over 8 Years Oracle with OEM for over 13 years IBM with OEM for over 9 years Backend of Data Migration Service Teradata as a reseller for Data Warehouse /Hadoop market マイクロソフト、オラクル、IBMやその他の企業から認められ、選ばれた技術

20. 2つのデータベース間でテーブルデータを同期するソフトウェア初期同期(FullLoad)機能差分同期機能(FullLoad後シームレスに開始もしくは時間指定で開始)  対応データベースの種類が豊富  WAN越し、長距離通信でも比較的高速に同期可能なオプションがある (Attunity Replicateを各拠点で立てて、通信データを圧縮する)  データのフィルタリング・簡易加工機能あり機能特徴 Attunity Replicate 概要

21. RDBMS Oracle SQL Server MySQL PostgreSQL SAP ASE DB2 LUW DB2 iSeries DB2 z/OS Informix Data Warehouse Exadata Teradata Netezza Vertica Actian Vector Actian Matrix (SAP / HANA) Hortonworks Cloudera MapR Pivotal Hadoop IMS/DB SQL M/P Enscribe RMS VSAM Legacy Amazon RDS Salesforce Cloud RDBMS Oracle SQL Server MySQL PostgreSQL SAP ASE DB2 LUW Informix Data Warehouse Exadata Teradata Netezza Vertica Pivotal DB (Greenplum) Pivotal HAWQ Actian Vector Sybase IQ SAP / HANA Hortonworks Cloudera MapR Pivotal Hadoop MongoDB NoSQL Amazon RDS Amazon Redshift Google Cloud SQL Azure SQL Data Warehouse Cloud Kafka Message Broker targets sources Oracle SQL DB2 SAP Attunity Replicate サポートデータベース

22. 1.DMSが対応していないデータベース間のデータ移行/連携例) DB2 → Amazon Aurora等 4.複雑な条件/操作のフィルタリング • 複数列をまたがった条件を指定したい • DELETE操作を連携させない 3.ネットワーク帯域制限(OSの機能) Attunity Replicate to AWS 使い所 2.WAN越しや遠距離の同期を高速化

23. 3. DEMO

24. Target DB SQL Server 2016 Oracle 11gR2 ※シンプルな構成デモ環境(その1) Source DB AWS

25. Oracle 11gR2 ※WAN/Cloud向け構成 SQL Server 2016 デモ環境(その2) Target DB Source DB AWS

26. 4. 国内事例のご紹介

27. 事例1 人材派遣業様課題  DB2を使用しているが、参照系の処理時にロックエスカレーションが多発  新参照系としてAmazon Auroraを検討している(DB2は稼働を続ける)  遅延は最大でも2～3分程度に収めたい。成果  参照系でのロックエスカレーションが無くなり、快適に！  DB2、Attunity間のネットワーク帯域を制限することで影響を最小限にソリューション  Attunity Replicateを使用したデータ同期採用 CDC Incremental DB2 Amazon Aurora

28. 課題成果  想定通りのサービス停止で移行可能になった事例2 食品メーカー様ソリューション  Attunity Replicateを使用したデータ移行  システムのクラウド化（まずはデータベースのみ）  移行テストを実施しながら移行テーブル群の確定をしたい  サービス停止は2～3時間程度に収めたい Oracle 12c Amazon EC2 採用 Oracle Database 11gR2 CDC Incremental

29. 課題成果  通信データを圧縮することで小さい遅延で同期できた事例3 製造業様ソリューション  Attunity Replicateを使用したデータ同期  OracleからSQL Serverへのデータ連携  SQL Serverは海外拠点に存在  遅延は最大でも数分程度に収めたい。採用 Oracle Database 11gR2 CDC Incremental Microsoft SQL Server 2008 R2 Optimized WAN

30. オブジェクト関連の移行データの移行 / 同期 AWS Database Migration Service これらが、AWSへのデータベース移行のために提供されており、これらを使うことである程度移行の工数を減らしたり、切り替え時のサービス停止時間を最小限にできます。 AWS Schema Conversion Tool まとめ

31. DMSが適していない環境や対応していないデータベースをご利用の場合もご検討ください。まとめ

[db tech showcase Tokyo 2017] E23: クラウド異種データベース(AWS)へのデータベース移行時の注意点 ～レプリケーションテクノロジーは、使えるのか？～ by 株式会社インサイトテクノロジー 中川裕貴

Insight Technology, Inc.