Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
株式会社インサイトテクノロジー
プロダクトコンサルティング 事業部
中川 裕貴
クラウド異種データベース(AWS)への
データベース移行時の注意点
- レプリケーションテクノロジーは、使えるのか?
コンサルティング事業 ソフトウェア事業 ハードウェア事業
設計、構築、運用、移行
データベース総合ソリューション
データベースの課題を解決する
各種ソフトウェアの開発・サポート
高性能・低コスト・高信頼性
データベースマシンの開発
データベース...
Agenda
1. AWSへのデータベース移行
2. Attunity Replicateのご紹介
3. DEMO
4. 国内事例のご紹介
1. AWSへのデータベース移行
1. AWSへのデータベース移行
 課題
 データベース移行に(あまり)工数を掛けたくない
 切替え時のサービス停止を最小限にしたい
1. AWSへのデータベース移行
データベース移行のタスク
1.ターゲットデータベースの選定
2.メタデータを移行
3.アプリケーション、運用スクリプト改修
4.テーブルデータを移行
1. AWSへのデータベース移行
1.ターゲットデータベースの選定
 データベースの種類を変更するか?
 データベースはEC2上に立てるかRDSを使用するか?
移行の難易度(≒ 期間・工数)に影響する!
Amazon
EC2
Amazon
...
1. AWSへのデータベース移行
2.メタデータの移行
 ユーザ/権限
 データベース・オブジェクト
3.アプリケーション、運用スクリプト改修
 SQL文
データベースの種類を変えない場合、
RDBMSの機能で移行できるので、
ほぼ対応不...
オブジェクト/SQL文の移行
AWS Schema Conversion Tool(SCT)
 異種DB間でオブジェクト/SQL文を自動変換
 自動変換出来ない場合は問題をレポーティング
工数の削減や見積もりに使える
※データベースの種類を...
1. AWSへのデータベース移行
データベース移行のタスク
1.ターゲットデータベースの選定
2.メタデータを移行
3.アプリケーション、運用スクリプト改修
4.テーブルデータを移行
AWS Schema
Conversion Tool
 異種データベース間でのデータ移行
 増大するデータ量
 止められないサービス
AWS Database Migtation Service(DMS)
 マルチデータベース対応
 差分同期を使い、少ないサービスダウンタイムでの移行が可...
Source DB Target DB
EMP
DEPT
SALGRADE
EMP
DEPT
SALGRADE
初期同期
(FullLoad)
INSERT
UPDATE
DELETE
テーブルデータの移行
Source DB Target DB
Change
Data
Capture
Redoログ
EMP
DEPT
SALGRADE
EMP
DEPT
SALGRADE
Change
Data
Apply
INSERT
UPDATE
DELETE
...
1. AWSへのデータベース移行
データベース移行のタスク
1.ターゲットデータベースの選定
2.メタデータを移行
3.アプリケーション、運用スクリプト改修
4.テーブルデータを移行
AWS Schema
Conversion Tool
AWS...
 注意点
2.UNDO表領域/一時表領域の容量(Oracle Database)
3.データベースのキャラクタセット(UTF8以外のみ)
 外字が使用されている環境では文字化けが発生してしまう・・・
 FullLoadの所要時間が長いとソ...
6.フィルタリング機能が弱い
 注意点
 複雑な条件は指定できない(列毎に=,<=,>=,between andのみ)
テーブルデータの移行
5.ネットワーク関連のチューニングができない
 ソースへの接続にWANを介している場合などネット...
2. Attunity Replicateのご紹介
Enterprise Data Management
On Premises | Cloud | Across Platforms
 1988年創業、データ統合において、20年以上にわたる研究開発と経験
 CDC(更新データ捕捉)技術におけ...
Microsoft with OEM and for over 8 Years
Oracle with OEM for over 13 years
IBM with OEM for over 9 years
Backend of Data Mi...
2つのデータベース間でテーブルデータを同期するソフトウェア
初期同期(FullLoad)機能
差分同期機能(FullLoad後シームレスに開始もしくは時間指定で開始)
 対応データベースの種類が豊富
 WAN越し、長距離通信でも比較的高速に...
RDBMS
Oracle
SQL Server
MySQL
PostgreSQL
SAP ASE
DB2 LUW
DB2 iSeries
DB2 z/OS
Informix
Data Warehouse
Exadata
Teradata
Net...
1.DMSが対応していないデータベース間のデータ移行/連携
例) DB2 → Amazon Aurora等
4.複雑な条件/操作のフィルタリング
• 複数列をまたがった条件を指定したい
• DELETE操作を連携させない
3.ネットワーク帯域制...
3. DEMO
Target DB
SQL Server 2016
Oracle 11gR2
※シンプルな構成
デモ環境(その1)
Source DB
AWS
Oracle 11gR2
※WAN/Cloud向け構成
SQL Server 2016
デモ環境(その2)
Target DB
Source DB
AWS
4. 国内事例のご紹介
事例1 人材派遣業様
課題
 DB2を使用しているが、参照系の処理時にロックエスカレーションが多発
 新参照系としてAmazon Auroraを検討している(DB2は稼働を続ける)
 遅延は最大でも2~3分程度に収めたい。
成果
 参照...
課題
成果
 想定通りのサービス停止で移行可能になった
事例2 食品メーカー様
ソリューション
 Attunity Replicateを使用したデータ移行
 システムのクラウド化(まずはデータベースのみ)
 移行テストを実施しながら移行...
課題
成果
 通信データを圧縮することで小さい遅延で同期できた
事例3 製造業様
ソリューション
 Attunity Replicateを使用したデータ同期
 OracleからSQL Serverへのデータ連携
 SQL Serverは...
オブジェクト関連の移行
データの移行 / 同期
AWS Database Migration Service
これらが、AWSへのデータベース移行のために提供されており、
これらを使うことである程度移行の工数を減らしたり、
切り替え時のサービス...
DMSが適していない環境や対応していないデータベースをご利用の場合
もご検討ください。
まとめ
記載されている会社名、サービス名、製品名は、株式会社インサイトテクノロジーおよび各社の商標または登録商標です。
Copyright 2016 Insight Technology, Inc. All Rights Reserved.
Upcoming SlideShare
Loading in …5
×

[db tech showcase Tokyo 2017] E23: クラウド異種データベース(AWS)へのデータベース移行時の注意点 ~レプリケーションテクノロジーは、使えるのか?~ by 株式会社インサイトテクノロジー 中川裕貴

1,393 views

Published on

オンプレのデータベースをクラウドの異種データベース(AWS)へ移行する方法やその注意点についてユーザ様導入事例を踏まえて説明します。

Published in: Technology
  • Be the first to comment

  • Be the first to like this

[db tech showcase Tokyo 2017] E23: クラウド異種データベース(AWS)へのデータベース移行時の注意点 ~レプリケーションテクノロジーは、使えるのか?~ by 株式会社インサイトテクノロジー 中川裕貴

  1. 1. 株式会社インサイトテクノロジー プロダクトコンサルティング 事業部 中川 裕貴 クラウド異種データベース(AWS)への データベース移行時の注意点 - レプリケーションテクノロジーは、使えるのか?
  2. 2. コンサルティング事業 ソフトウェア事業 ハードウェア事業 設計、構築、運用、移行 データベース総合ソリューション データベースの課題を解決する 各種ソフトウェアの開発・サポート 高性能・低コスト・高信頼性 データベースマシンの開発 データベースに関連するナレッジと技術力を追求し、ソフトウェア、ハードウェア、 サービスを最適に組み合わせてお客様に提供する会社です。 高速・低コスト・セキュア なデータベース環境を実現 データベースのアクセス監査ツール(自社開発) マルチデータベース リアルタイムレプリケーションツール データウェアハウス向け 超高速データベース Oracle Database Standard Edition向け DRツール Oracle Database パフォーマンス監視・分析ツール(自社開発) データベース専用高速マシン(自社開発) Insight Technologyとは?
  3. 3. Agenda 1. AWSへのデータベース移行 2. Attunity Replicateのご紹介 3. DEMO 4. 国内事例のご紹介
  4. 4. 1. AWSへのデータベース移行
  5. 5. 1. AWSへのデータベース移行  課題  データベース移行に(あまり)工数を掛けたくない  切替え時のサービス停止を最小限にしたい
  6. 6. 1. AWSへのデータベース移行 データベース移行のタスク 1.ターゲットデータベースの選定 2.メタデータを移行 3.アプリケーション、運用スクリプト改修 4.テーブルデータを移行
  7. 7. 1. AWSへのデータベース移行 1.ターゲットデータベースの選定  データベースの種類を変更するか?  データベースはEC2上に立てるかRDSを使用するか? 移行の難易度(≒ 期間・工数)に影響する! Amazon EC2 Amazon RDS 例) Oracle Database → Amazon Aurora
  8. 8. 1. AWSへのデータベース移行 2.メタデータの移行  ユーザ/権限  データベース・オブジェクト 3.アプリケーション、運用スクリプト改修  SQL文 データベースの種類を変えない場合、 RDBMSの機能で移行できるので、 ほぼ対応不要 SQL文も互換性があるので同様
  9. 9. オブジェクト/SQL文の移行 AWS Schema Conversion Tool(SCT)  異種DB間でオブジェクト/SQL文を自動変換  自動変換出来ない場合は問題をレポーティング 工数の削減や見積もりに使える ※データベースの種類を変える場合 Amazon RDS for Oracle※ Amazon RDS for SQL Server ※ Amazon RDS for MySQL Amazon RDS for PostgreSQL Amazon Aurora ※同一種ソースの場合のみ 対応ターゲット (OLTP) Oracle Database Microsoft SQL Server MySQL PostgreSQL 対応ソース (OLTP) メタデータ/SQLの移行
  10. 10. 1. AWSへのデータベース移行 データベース移行のタスク 1.ターゲットデータベースの選定 2.メタデータを移行 3.アプリケーション、運用スクリプト改修 4.テーブルデータを移行 AWS Schema Conversion Tool
  11. 11.  異種データベース間でのデータ移行  増大するデータ量  止められないサービス AWS Database Migtation Service(DMS)  マルチデータベース対応  差分同期を使い、少ないサービスダウンタイムでの移行が可能 テーブルデータの移行 Oracle Database Microsoft SQL Server MySQL PostgreSQL Amazon Aurora MariaDB SAP ASE Amazon Redshift Amazon DynamoDB Amazon S3 対応ターゲット Oracle Database Microsoft SQL Server MySQL PostgreSQL Amazon Aurora MariaDB SAP ASE MongoDB 対応ソース
  12. 12. Source DB Target DB EMP DEPT SALGRADE EMP DEPT SALGRADE 初期同期 (FullLoad) INSERT UPDATE DELETE テーブルデータの移行
  13. 13. Source DB Target DB Change Data Capture Redoログ EMP DEPT SALGRADE EMP DEPT SALGRADE Change Data Apply INSERT UPDATE DELETE 差分同期で、切替え時の サービス停止時間を極小化可能 テーブルデータの移行
  14. 14. 1. AWSへのデータベース移行 データベース移行のタスク 1.ターゲットデータベースの選定 2.メタデータを移行 3.アプリケーション、運用スクリプト改修 4.テーブルデータを移行 AWS Schema Conversion Tool AWS Database Migration Service
  15. 15.  注意点 2.UNDO表領域/一時表領域の容量(Oracle Database) 3.データベースのキャラクタセット(UTF8以外のみ)  外字が使用されている環境では文字化けが発生してしまう・・・  FullLoadの所要時間が長いとソースでORA-01555が発生する可能性がある テーブルデータの移行 1.ソース – ターゲット間のデータ整合性のチェック  データチェック機能が無い為、ツール作成が必要  チェック方式(データのcsv化 or ハッシュ値計算等で比較) を検討する。また、チェックに要する時間を移行作業に含める  FullLoad後にターゲットで索引の再作成が行われるので、一時表領域が不足す る可能性がある。チェックのためFullLoad後、差分同期前に一時停止するオプ ションを使うとよい
  16. 16. 6.フィルタリング機能が弱い  注意点  複雑な条件は指定できない(列毎に=,<=,>=,between andのみ) テーブルデータの移行 5.ネットワーク関連のチューニングができない  ソースへの接続にWANを介している場合などネットワークが低速だと 設定で同期のパフォーマンスを改善できない  ネットワーク帯域が制限できない 4.差分同期のデフォルトの動作  差分同期は一件ずつ更新が適用される、遅い場合は BatchApplyEnabledをtrueに設定するといい(CLIが必要)
  17. 17. 2. Attunity Replicateのご紹介
  18. 18. Enterprise Data Management On Premises | Cloud | Across Platforms  1988年創業、データ統合において、20年以上にわたる研究開発と経験  CDC(更新データ捕捉)技術における独立系リーディング企業  米国、英国、イスラエル、日本、香港、台湾、韓国など、全世界的事業規模 65ヶ国で2,000社以上の顧客 Attunity社 概要
  19. 19. Microsoft with OEM and for over 8 Years Oracle with OEM for over 13 years IBM with OEM for over 9 years Backend of Data Migration Service Teradata as a reseller for Data Warehouse /Hadoop market マイクロソフト、オラクル、IBMやその他の企業から認められ、選ばれた技術
  20. 20. 2つのデータベース間でテーブルデータを同期するソフトウェア 初期同期(FullLoad)機能 差分同期機能(FullLoad後シームレスに開始もしくは時間指定で開始)  対応データベースの種類が豊富  WAN越し、長距離通信でも比較的高速に同期可能なオプションがある (Attunity Replicateを各拠点で立てて、通信データを圧縮する)  データのフィルタリング・簡易加工機能あり 機能 特徴 Attunity Replicate 概要
  21. 21. RDBMS Oracle SQL Server MySQL PostgreSQL SAP ASE DB2 LUW DB2 iSeries DB2 z/OS Informix Data Warehouse Exadata Teradata Netezza Vertica Actian Vector Actian Matrix (SAP / HANA) Hortonworks Cloudera MapR Pivotal Hadoop IMS/DB SQL M/P Enscribe RMS VSAM Legacy Amazon RDS Salesforce Cloud RDBMS Oracle SQL Server MySQL PostgreSQL SAP ASE DB2 LUW Informix Data Warehouse Exadata Teradata Netezza Vertica Pivotal DB (Greenplum) Pivotal HAWQ Actian Vector Sybase IQ SAP / HANA Hortonworks Cloudera MapR Pivotal Hadoop MongoDB NoSQL Amazon RDS Amazon Redshift Google Cloud SQL Azure SQL Data Warehouse Cloud Kafka Message Broker targets sources Oracle SQL DB2 SAP Attunity Replicate サポートデータベース
  22. 22. 1.DMSが対応していないデータベース間のデータ移行/連携 例) DB2 → Amazon Aurora等 4.複雑な条件/操作のフィルタリング • 複数列をまたがった条件を指定したい • DELETE操作を連携させない 3.ネットワーク帯域制限(OSの機能) Attunity Replicate to AWS 使い所 2.WAN越しや遠距離の同期を高速化
  23. 23. 3. DEMO
  24. 24. Target DB SQL Server 2016 Oracle 11gR2 ※シンプルな構成 デモ環境(その1) Source DB AWS
  25. 25. Oracle 11gR2 ※WAN/Cloud向け構成 SQL Server 2016 デモ環境(その2) Target DB Source DB AWS
  26. 26. 4. 国内事例のご紹介
  27. 27. 事例1 人材派遣業様 課題  DB2を使用しているが、参照系の処理時にロックエスカレーションが多発  新参照系としてAmazon Auroraを検討している(DB2は稼働を続ける)  遅延は最大でも2~3分程度に収めたい。 成果  参照系でのロックエスカレーションが無くなり、快適に!  DB2、Attunity間のネットワーク帯域を制限することで影響を最小限に ソリューション  Attunity Replicateを使用したデータ同期 採用 CDC Incremental DB2 Amazon Aurora
  28. 28. 課題 成果  想定通りのサービス停止で移行可能になった 事例2 食品メーカー様 ソリューション  Attunity Replicateを使用したデータ移行  システムのクラウド化(まずはデータベースのみ)  移行テストを実施しながら移行テーブル群の確定をしたい  サービス停止は2~3時間程度に収めたい Oracle 12c Amazon EC2 採用 Oracle Database 11gR2 CDC Incremental
  29. 29. 課題 成果  通信データを圧縮することで小さい遅延で同期できた 事例3 製造業様 ソリューション  Attunity Replicateを使用したデータ同期  OracleからSQL Serverへのデータ連携  SQL Serverは海外拠点に存在  遅延は最大でも数分程度に収めたい。 採用 Oracle Database 11gR2 CDC Incremental Microsoft SQL Server 2008 R2 Optimized WAN
  30. 30. オブジェクト関連の移行 データの移行 / 同期 AWS Database Migration Service これらが、AWSへのデータベース移行のために提供されており、 これらを使うことである程度移行の工数を減らしたり、 切り替え時のサービス停止時間を最小限にできます。 AWS Schema Conversion Tool まとめ
  31. 31. DMSが適していない環境や対応していないデータベースをご利用の場合 もご検討ください。 まとめ
  32. 32. 記載されている会社名、サービス名、製品名は、株式会社インサイトテクノロジーおよび各社の商標または登録商標です。 Copyright 2016 Insight Technology, Inc. All Rights Reserved.

×