SlideShare a Scribd company logo
© 2021, Amazon Web Services, Inc. or its Affiliates.
AWS 公式 Webinar
https://amzn.to/JPWebinar
過去資料
https://amzn.to/JPArchive
内山 義夫
2021/2/16
[AWS Black Belt Online Seminar]
AWS Database Migration Service
サービスカットシリーズ
© 2021, Amazon Web Services, Inc. or its Affiliates.
AWS Black Belt Online Seminar とは
「サービス別」「ソリューション別」「業種別」のそれぞれのテーマに分かれて、アマゾ
ン ウェブ サービス ジャパン株式会社が主催するオンラインセミナーシリーズです。
質問を投げることができます!
• 書き込んだ質問は、主催者にしか見えません
• 今後のロードマップに関するご質問は
お答えできませんのでご了承下さい
① 吹き出しをクリック
② 質問を入力
③ Sendをクリック
Twitter ハッシュタグは以下をご利用ください
#awsblackbelt
© 2021, Amazon Web Services, Inc. or its Affiliates.
内容についての注意点
• 本資料では2021 年 2 月 16 日現在のサービス内容および価格についてご説明しています。最新の情報はAWS公
式ウェブサイト(http://aws.amazon.com)にてご確認ください。
• 資料作成には十分注意しておりますが、資料内の価格とAWS公式ウェブサイト記載の価格に相違があった場合、
AWS公式ウェブサイトの価格を優先とさせていただきます。
• 価格は税抜表記となっています。日本居住者のお客様には別途消費税をご請求させていただきます。
• AWS does not offer binding price quotes. AWS pricing is publicly available and is subject to change in
accordance with the AWS Customer Agreement available at http://aws.amazon.com/agreement/. Any
pricing information included in this document is provided only as an estimate of usage charges for AWS
services based on certain information that you have provided. Monthly charges will be based on your
actual use of AWS services, and may vary from the estimates provided.
© 2021, Amazon Web Services, Inc. or its Affiliates.
自己紹介
内山 義夫
アマゾン ウェブ サービス ジャパン株式会社
データベース ソリューションアーキテクト
好きなAWSサービス
• Amazon Aurora/RDS
• AWS Database Migration Service
© 2021, Amazon Web Services, Inc. or its Affiliates.
本日のアジェンダ
• イントロダクション
• AWS Database Migration Service概要
• DMSアーキテクチャ
• DMSアーキテクチャ(SourceがOracleの場合)
• レプリケーションインスタンスのサイジング
• DMSの機能
• 最後に
• まとめ
© 2021, Amazon Web Services, Inc. or its Affiliates.
イントロダクション
© 2021, Amazon Web Services, Inc. or its Affiliates.
Relational
databases
Non-relational
databases
Amazon
Aurora
Amazon
Keyspaces
Amazon
RDS
Amazon
DocumentDB
Amazon
ElastiCache
オンプレミスや自己管理しているデータベースをフルマネージドサービスに
フルマネージドデータベースへの移行
© 2021, Amazon Web Services, Inc. or its Affiliates.
移行する理由
インフラストラクチャ
• ハードウェアのEOL
• 冗長性や自動化の欠如
• 異なるレイヤーでの障害 拡張性
• インスタンスサイズの変更
• リージョンを超えたスケール
コスト最適化
• 使った分だけ課金
• オープンソースでライセンスコスト削減
• フルマネージドデータベース
革新性
• データベースのモダナイズ
• ワークロードに最適なデータベース
の選択
© 2021, Amazon Web Services, Inc. or its Affiliates.
計画 移行 運用
ディスカバリ 設計 変換 移行 運用 最適化
 AWS Migration Hub
 AWS TSO Logic
 AWS TCO Calculator
 AWS Application Discovery
Service
 Cloud Endure Migration
 AWS Server Migration Service
 AWS Database Migration
Service
 AWS Schema Conversion Tool
 AWS Data Sync
 AWS Transfer for SFTP
 AWS Systems Manager
 AWS Config
 AWS CloudFormation
 AWS CloudWatch
 AWS CloudTrail
 AWS Service Catalog
移行プロセスを支えるAWSサービス
© 2021, Amazon Web Services, Inc. or its Affiliates.
AWS Database Migration Service概要
© 2021, Amazon Web Services, Inc. or its Affiliates.
AWS Database Migration Service(DMS)
• DBのデータ連携を支援するサービス
• セットアップ・利用が容易
• 使った分だけの安価な費用
• 異機種間のデータ連携も対応
• テーブル定義を補助するツールの提供
• 低負荷で継続的なレプリケーション
© 2021, Amazon Web Services, Inc. or its Affiliates.
同種/異種データベース間での移行
AWS DMS
AWS DMS
AWS DMS Amazon S3
Amazon Aurora
© 2021, Amazon Web Services, Inc. or its Affiliates.
マイクロサービスアーキテクチャでの使用
AWS DMS
Amazon S3
Amazon Redshift
Amazon Aurora
Amazon Kinesis
Data Streams
Amazon ES
© 2021, Amazon Web Services, Inc. or its Affiliates.
一般的なユースケース
Migrate
• ミッションクリティカルアプリケーションの移行
• データウェアハウスをRedshiftへ 移行
• メジャー/マイナーバージョンアップグレード
• シャードをAmazon Auroraに集約
• 過去データをAmazon S3へアーカイブ
• NoSQLからSQL, SQLからNoSQL, NoSQLから
NoSQLへの 移行
• クロスリージョンリードレプリカの作成
• クラウドでアナリティクスの実行
• データレイクへの転送
• ストリーミングプラットフォームへのレプリケーション
Replicate
© 2021, Amazon Web Services, Inc. or its Affiliates.
DMSでサポートされているデータベース
Sources
Targets
Relational NoSQL Analytics Data warehouse*
Amazon Aurora
Amazon Aurora Amazon DynamoDB
Amazon DocumentDB (with
MongoDB compatibility)
Amazon Redshift
Amazon S3
AWS Snowball
Amazon S3
Amazon Elasticsearch
Service (Amazon ES)
Amazon Kinesis
Data Streams
* Supported via SCT data extractors
Amazon Managed
Streaming for Kafka
© 2021, Amazon Web Services, Inc. or its Affiliates.
対応データベース詳細(ソース)
プラットフォーム バージョン 備考
Oracle Database 10.2 以降 (バージョン 10.x)、11g、12.2、
18c、および 19c まで
Microsoft SQL Server 2005、2008、2008R2、2012、2014、
2016、2017、2019
CDCはEnterprise、Developer、
Standard(2016 SP1以降)
MySQL 5.5,5.6,5.7,8.0
MariaDB 10.0.24 から 10.0.28、10.1、10.2、10.3、
10.3.13、10.4
-
PostgreSQL 9.4 以降 (バージョン 9.x 用)、10.x、11.x、
および 12.x
CDCは論理レプリケーションを設定できる
場合のみ使用可能(RDSは 9.4.9 以降お
よび 9.5.4 以降、Auroraは10.6以降)
MongoDB 3.X、4.0
SAP ASE 12.5、15、15.5、15.7、16 以降
IBM DB2 9.7、10.1、10.5、11.1
Microsoft Azure SQL Database すべて CDCには未対応
S3 すべて
https://docs.aws.amazon.com/ja_jp/dms/latest/userguide/CHAP_Source.html
© 2021, Amazon Web Services, Inc. or its Affiliates.
対応データベース詳細(ターゲット)
プラットフォーム バージョン 備考
Oracle Database 10g、11g、12c、18c、19c
Microsoft SQL Server 2005、2008、2008R2、2012、
2014、2016、2017、2019
MySQL 5.5,5.6,5.7,8.0
MariaDB 10.0.24 から 10.0.28、10.1、10.2、
10.3、10.3.13、10.4
PostgreSQL 9.4 以降 (バージョン 9.x 用)、10.x、
11.x、および 12.x
10.12 と互換性のある PostgreSQL
のターゲットとして使用
MongoDB 3.X、4.0
SAP ASE 15、15.5、15.7、16 以降
IBM DB2 9.7、10.1、10.5、11.1
S3,Amazon Redshift,Amazon
DynamoDB,Kinesis Data Streams,Apache
Kafka,Amazon Elasticsearch Service,Amazon
DocumentDB,Amazon Neptune
すべて
https://docs.aws.amazon.com/ja_jp/dms/latest/userguide/CHAP_Introduction.Targets.html
© 2021, Amazon Web Services, Inc. or its Affiliates.
DMSアーキテクチャ
© 2021, Amazon Web Services, Inc. or its Affiliates.
一般的なレプリケーション方式
TARGET
SOURCE
---
---
---
• ソースデータベースで作成されたトランザク
ションログファイルをターゲットに転送し、
ターゲットに適用
• データベースのリカバリと同等
---
---
---
トランザクション
ログファイル
トランザクション
ログファイル
物理レプリケーション 論理レプリケーション
TARGET
SOURCE
---
---
---
• ソースデータベースで作成されたトランザク
ションログファイルからDMLを作成し、ター
ゲットに適用
• 1つのアプリケーション
トランザクション
ログファイル
INSERT 1
INSERT 2
© 2021, Amazon Web Services, Inc. or its Affiliates.
レプリケーション方式の違い
物理レプリケーション 論理レプリケーション
レプリケーション方式 トランザクションログをターゲットに適用 トランザクションログからDMLを作成しター
ゲットに適用
連携単位 データベース単位 テーブル単位
データの整合性 差が発生する可能性が低い 差が発生する可能性がある
Ex)
ターゲット側への更新エラー
文字の文字化け
ユーザーによるターゲット側更新
主な制約 ソース、ターゲットでバージョンが同じであ
る必要がある
単位はデータベース単位であり、特定のテー
ブルを指定することができない
テーブルデータとテーブル定義、一部制約の
み連携される
(製品により異なる)
ターゲット側への処理 参照のみ 参照・更新可能
主な製品・サービス DBエンジンの機能
- Oracle DataGuard
- PostgreSQL ストリーミングレプリケー
ション
AWS Database Migration Service
Oracle GoldenGate
Qlik Replicate
© 2021, Amazon Web Services, Inc. or its Affiliates.
DMSの連携対象
• DMSで作成されるオブジェクトはテーブルと主キーなどの一部の制約のみ
• インデックスやプロシージャ、ビューはターゲット側に手動で反映する必要がある
• DRのような同一構成を維持する必要がある場合、ソース、ターゲット両方のデータベースにオブジェ
クトを作成する必要がある
TARGET
SOURCE
---
---
---
トランザクション
ログファイル
INSERT 1
INSERT 2
制約
インデックス
プロシージャ
ビュー
テーブル
制約
インデックス
プロシージャ
ビュー
テーブル
© 2021, Amazon Web Services, Inc. or its Affiliates.
DMSアーキテクチャ
• フルロード
• 既存データの連携
• CDC(Change Data Capture)
• 更新差分データの連携
© 2021, Amazon Web Services, Inc. or its Affiliates.
メモリ
FULL Load
既存データの連携
TARGET
AWS DMS
SOURCE
1.SOURCE_UNLOAD 2.TARGET_LOAD
---
---
---
CSVファイル
1. ソースのデータベースに対してselect を実行(1万件毎)し、データをアンロード(SOURCE_UNLOAD)
テーブルは複数テーブルを同時にアンロード(デフォルト8テーブル)
2. ターゲットのデータベースに対してデータをロード(TARGET_LOAD)。ロード方法はターゲットのエンジンにより異なる。
Oracle,SQL Serverはメモリ上のデータを直接ターゲットにロード、MySQL,PostgreSQLはCSVファイルに出力後ロード。
※フルロード中に発生した更新差分データは受信バッファで保持
受信バッファ
INSERT 1
INSERT 2
INSERT 1
INSERT 2
INSERT 1
COMMIT
INSERT 2
トランザクション
ログファイル
ユーザーA
ユーザーB
© 2021, Amazon Web Services, Inc. or its Affiliates.
メモリ
CDC(Change Data Capture)
更新差分データの連携
TARGET
AWS DMS
SOURCE
1. ソースで発生したデータ変更は受信バッファにキャプチャ(SOURCE_CAPTURE)
2. CDC において、ソースからターゲットへキャプチャされたデータ変更を仲介するバッファ(SORTER)
Ex) COMMITの順番にソート、COMMIT済みのデータのみ送信バッファに移動など
3. 送信バッファにキャプチャされたデータ変更をターゲットへ適用(TARGET_APPLY)
受信バッファ 送信バッファ
トランザクション
ログファイル
1.SOURCE_CAPTURE 3.TARGET_APPLY
2.SORTER
INSERT 1
COMMIT
INSERT 2
INSERT 1
INSERT 2
INSERT 1
INSERT 2
INSERT 1
INSERT 2
INSERT 1 INSERT 1
ユーザーA
ユーザーB
© 2021, Amazon Web Services, Inc. or its Affiliates.
トランザクションログのキャプチャに必要な条件
• Oracle Database
• ARCHIVELOGモード and FORCE LOGGING
• サプリメンタルロギング
• https://docs.aws.amazon.com/ja_jp/dms/latest/userguide/CHAP_Source.Oracle.html
• Microsoft SQL Server
• MS-Replication or MS-CDC
• https://docs.aws.amazon.com/ja_jp/dms/latest/userguide/CHAP_Source.SQLServer.html
• MySQL
• binlog_format=ROWのバイナリログ
• https://docs.aws.amazon.com/ja_jp/dms/latest/userguide/CHAP_Source.MySQL.html
• PostgreSQL
• 論理レプリケーション
• https://docs.aws.amazon.com/ja_jp/dms/latest/userguide/CHAP_Source.PostgreSQL.html
© 2021, Amazon Web Services, Inc. or its Affiliates.
DMSアーキテクチャ(SourceがOracleの場
合)
© 2021, Amazon Web Services, Inc. or its Affiliates.
ソースがOracleの場合のログ読み取り方式
• LogMiner
• オンライン REDO ログとアーカイブ REDO ログファイルを読み取る Oracle
API
• DMSのデフォルト
• Binary Reader
• REDO ログファイルを DMSが直接解析(BFILE で取得)
• DMS独自の方式
© 2021, Amazon Web Services, Inc. or its Affiliates.
ORDER_LINEテーブルを指定した例
Logminer アーキテクチャ(CDC)
AWS DMS
SOURCE
① 要求
④ 転送
ORDERS
ORDER_LINE
③ フィルター
INSERT 1
INSERT 2
REDO/アーカイブ
ログファイル
INSERT 1
INSERT 2
INSERT 1
INSERT 2 INSERT 2 INSERT 2
② 更新情報取得
ユーザーA
ユーザーB
© 2021, Amazon Web Services, Inc. or its Affiliates.
Logminerのポイント
• ログの解析はソース側のDBサーバー
• REDOログやアーカイブログファイルを解析してSQL文を作成する処理は
ソース側のDBサーバー上で実行
• REDOログへの更新が多い場合、解析処理によるDBサーバーの負荷がかかる
可能性有
• ネットワークの転送量は指定したテーブルのみ
• ソースデータベースからレプリケーションインスタンスへの転送は、DMSで
指定したテーブルのみ
• テーブルを指定することで、ネットワーク転送量を抑えることが可能
• ASM使用有無に依存しない
• Logminerの場合、ファイルシステムとASMで設定や転送方式に差異はない
© 2021, Amazon Web Services, Inc. or its Affiliates.
Binary Reader アーキテクチャ
ORDER_LINEテーブルを指定した例
AWS DMS
SOURCE
① 要求
ORDERS
ORDER_LINE
INSERT 1
INSERT 2
REDO/アーカイブ
ログファイル
INSERT 1
INSERT 2
INSERT 1
INSERT 2
② 転送
INSERT 2
ユーザーA
ユーザーB
INSERT 1
INSERT 2
④ フィルター
③ 更新情報取得
© 2021, Amazon Web Services, Inc. or its Affiliates.
Binary Readerのポイント
• ログの解析はレプリケーションインスタンス
• REDOログやアーカイブログファイルを解析する処理はレプリケーションイン
スタンス側で実行
• Logminerと比較してDBサーバーへの負荷は低い
• ネットワークの転送はログファイル全体
• ソースデータベースからレプリケーションインスタンスへは、REDOログファ
イル、アーカイブログファイルを転送
• タスクでテーブルを指定しても、ネットワーク転送量は削減できない
• タスク毎にログファイルを転送する為、タスクを複数作成するとタスク毎にロ
グファイルが転送されてしまい、ネットワーク転送が増大する可能性がある
• ASM使用有無で内部処理が異なる
• ASMの場合、ASM用のAPIで転送
© 2021, Amazon Web Services, Inc. or its Affiliates.
ASM
Binary Reader アーキテクチャ(ASM)
ORDER_LINEテーブルを指定した例
AWS DMS
SOURCE
① 要求
ORDERS
ORDER_LINE
INSERT 1
INSERT 2
REDO/アーカイブ
ログファイル
INSERT 1
INSERT 2
INSERT 1
INSERT 2
④ フィルター
② 転送( ASM API)
INSERT 2
ユーザーA
ユーザーB
INSERT 1
INSERT 2
③ 更新情報取得
© 2021, Amazon Web Services, Inc. or its Affiliates.
Oracle ASM時のチューニング
• DMS 3.1以前のバージョン
• ASMのAPI が1回の呼び出しで最大 32KB で読み取る為、パフォーマンスが
出ないケースも
• CopyToTempFolderを指定することでパフォーマンス改善
• https://aws.amazon.com/jp/blogs/news/how-to-migrate-from-oracle-
asm-to-aws-using-aws-dms/
• DMS 3.3.0以降のバージョン
• 並列スレッド数 (parallelASMReadThreads) および先読みバッファ数
(readAheadBlocks) を追加の接続属性に指定することよりパフォーマンス
が向上
• Ex)
useLogMinerReader=N;useBfile=Y;asm_user=asm_username;asm_ser
ver=RAC_server_ip_address:port_number/+ASM;
parallelASMReadThreads=6;readAheadBlocks=150000;
© 2021, Amazon Web Services, Inc. or its Affiliates.
LogminerとBinary Readerの比較
機能 LogMiner(ログマイナー) Binary Reader
設定が簡単 はい いいえ
ソースシステムの I/O および CPU への影響
を下げる
いいえ はい
CDC パフォーマンスの向上 いいえ はい
Oracle テーブルクラスターをサポート はい いいえ
すべてのタイプの Oracle Hybrid Columnar
Compression (HCC) をサポートします。
はい 部分的
Binary Reader は、CDC を使用するタ
スクで QUERY LOW をサポートしてい
ません。他のすべての HCC タイプは完
全にサポートされています。
Oracle 12c での LOB 列のサポート いいえ はい
LOB 列にのみ影響を与える UPDATE ステー
トメントをサポート
いいえ はい
Oracle 透過的データ暗号化 (TDE) をサポー
ト
はい 部分的
Binary Reader は、セルフマネージド
型 Oracle データベースに対してのみ
TDE をサポートします。
すべての Oracle 圧縮方法をサポートします。はい いいえ
pluggable database(PDB)をサポートしま
す。
いいえ はい
https://docs.aws.amazon.com/ja_jp/dms/latest/userguide/CHAP_Source.Oracle.html#CHAP_Source.Oracle.CDC
© 2021, Amazon Web Services, Inc. or its Affiliates.
LogMinerとBinary Readerの使い分け
• デフォルトであるLogminerの使用を第一候補に検討
• 以下のようなケースでは、Binary Readerを検討
• LogMinerの制約に該当する場合(LOBの使用等)
• ソースDBへの負荷を抑えたい場合
• REDOログの生成量が多く、レプリケーションラグが発生する場合
• Binary Readerを使用する際の注意
• ネットワーク転送量が多くなる可能性がある
• 同一ソースに対して複数タスクを作成すると、タスク毎にログを転送する
• ASMの場合、parallelASMReadThreadsとreadAheadBlocksを指定する
© 2021, Amazon Web Services, Inc. or its Affiliates.
レプリケーションインスタンスのサイジング
© 2021, Amazon Web Services, Inc. or its Affiliates.
レプリケーションインスタンスのサイジング
• レプリケーションインスタンスのサイジングはテーブル数、データ量、変更
差分の量等様々な要因に依存する為、事前に決定することは難しい
• 検証を実施して最適なインスタンスタイプを確認する必要がある
• サイジングに影響する要因について理解しておく
• CPU
• メモリ
• ディスク
• ネットワーク
© 2021, Amazon Web Services, Inc. or its Affiliates.
ユーザーA
ユーザーB
メモリ
サイジングへの影響(CPU、メモリ)
TARGET
AWS DMS
SOURCE
SOURCE_UNLOAD TARGET_LOAD
---
---
---
CSVファイル
受信バッファ
INSERT 1
INSERT 2
INSERT 1
INSERT 2
INSERT 1
COMMIT
INSERT 2
トランザクション
ログファイル
メモリ
・FULL Loadの結果のキャッシュ
※FULL Loadは並列で実行(デフォルト8テーブル)
※キャッシュ量はテーブルサイズに依存
・CDCのキャッシュ
※FULL Load中のCDCもキャッシュ
※FULL Load時間が長い場合、キャッシュ量も
増加する可能性有
CPU
・FULL Loadによるテーブルデータの並列転送
・大量のトランザクションログの更新
※バッチ処理等による大量のトランザクションログの更新
により転送量が増大する可能性
© 2021, Amazon Web Services, Inc. or its Affiliates.
メモリ
サイジングへの影響(ディスク)
TARGET
SOURCE
SOURCE_UNLOAD TARGET_LOAD
---
---
---
CSVファイル
受信バッファ
INSERT 1
INSERT 2
INSERT 1
INSERT 2
INSERT 1
COMMIT
INSERT 2
トランザクション
ログファイル
・FULL LoadのデータをCSVに出力
・出力したCSVをターゲットにImport
・DMSのログファイル
(デバッグモード時にログ量増加)
---
---
---
・メモリ不足時に、バッファ情報を
ファイルに出力
※フルロード時やソース側DBで長い
トランザクションが実行された時に
発生しやすい
---
---
---
DMSの
ログファイル
AWS DMS
ユーザーA
ユーザーB
© 2021, Amazon Web Services, Inc. or its Affiliates.
メモリ
サイジングへの影響(ネットワーク)
TARGET
SOURCE
SOURCE_UNLOAD TARGET_LOAD
---
---
---
CSVファイル
受信バッファ
INSERT 1
INSERT 2
INSERT 1
INSERT 2
INSERT 1
COMMIT
INSERT 2
トランザクション
ログファイル
・FULL Loadデータの転送
※FULL Load時の並列数に依存
・CDCの転送
※バッチ処理等による大量のトランザクションログの更新
により増大する可能性有
※Binary Readerの場合、ログファイルを転送する
為、転送量が増加する可能性有
※複数タスクを作成した場合、タスク毎に転送が発生
AWS DMS
ユーザーA
ユーザーB
© 2021, Amazon Web Services, Inc. or its Affiliates.
サイジングに向けた情報収集
• サイジングで監視すべきメトリクス
• CPU
• CPUUtilization
• メモリ
• FreeableMemory
• SwapUsage
• ディスク
• FreeStorageSpace
• ネットワーク
• NetworkTransmitThroughput
• NetworkReceiveThroughput
• レプリケーションラグ
• CDCLatencySource
• CDCLatencyTarget
© 2021, Amazon Web Services, Inc. or its Affiliates.
DMSの機能
© 2021, Amazon Web Services, Inc. or its Affiliates.
DMSの機能
DMSによるレプリケーション対象の制御
• 選択ルール
• 変換ルール
移行後のデータ比較
• 移行タスクの検証
© 2021, Amazon Web Services, Inc. or its Affiliates.
• 行のフィルタ
• 列の削除
選択ルール
ID >= 3
remove coloumn:stocks
ID name stocks
1 apple 100
2 banama 300
3 grape 80
4 mango 20
ID name stocks
3 grape 80
4 Mango 20
ID name stocks
1 apple 100
2 banama 300
3 grape 80
4 mango 20
ID name
1 apple
2 banama
3 grape
4 mango
total_stocksテーブル
© 2021, Amazon Web Services, Inc. or its Affiliates.
• 条件毎に別テーブルに移行
参考) 条件を指定したルール
task1
ID <= 1000:total_stock_a
task2
ID >= 1001:total_stock_b
ID name stocks
1 apple 100
2 banama 300
3 grape 80
4 mango 20
1001 tomato 2
1002 lettuce 1
1003 cabbage 3
1004 carrot 1
ID name stocks
1001 tomato 2
1002 lettuce 1
1003 cabbage 3
1004 carrot 1
ID name stocks
1 apple 100
2 banama 300
3 grape 80
4 mango 20
total_stocksテーブル
total_stocks_aテーブル
total_stocks_bテーブル
© 2021, Amazon Web Services, Inc. or its Affiliates.
• テーブル名の変更
• 列名の変更
変換ルール
ID name stocks
1 apple 100
2 banama 300
3 grape 80
4 mango 20
total_stocksテーブル
ID name stocks
1 apple 100
2 banama 300
3 grape 80
4 mango 20
total_stocks_2021テーブル
ID name stocks
1 apple 100
2 banama 300
3 grape 80
4 mango 20
ID product stocks
1 apple 100
2 banama 300
3 grape 80
4 mango 20
© 2021, Amazon Web Services, Inc. or its Affiliates.
• ターゲットのテーブルに式を使用して列を追加
• "value": "Full_name",
• "expression": "$First_name||'_’||$Last_name"
変換ルール
customers customers
ID First_name Last_name
1 Donald Trump
2 Barack Obama
3 George Bush
4 William Clinton
ID First_name Last_name Full_name
1 Donald Trump Donald Trump
2 Barack Obama Barack Obama
3 George Bush George Bush
4 William Clinton William Clinton
© 2021, Amazon Web Services, Inc. or its Affiliates.
移行後のデータ比較
• タスクの検証
• データがソースからターゲットに正確に移行されたことを確認
• Full Load時、CDC時のどちらでも検証可能
© 2021, Amazon Web Services, Inc. or its Affiliates.
タスクの検証
FULL Load時
TARGET
AWS DMS
SOURCE
データをパーティションという単位で分割し、分割したパーティション毎に検証
パーティションはデフォルトで10,000(PartitionSize)
Defaultでは5スレッドで実行(ThreadCount)
検証した結果差異が発生した場合、awsdms_validation_failures_v1テーブルに診断情報を格納
検証
awsdms_validation_failures_v1
検証結果を格納
検証
検証
© 2021, Amazon Web Services, Inc. or its Affiliates.
タスクの検証
Change Data Capture時
TARGET
SOURCE
変更された行のみ検証
検証した結果差異が発生した場合、awsdms_validation_failures_v1テーブルに診断情報を格納
変更行が多い場合、フルロードと同じようなパーティション単位で検証
awsdms_validation_failures_v1
検証
検証
検証結果を格納
AWS DMS
© 2021, Amazon Web Services, Inc. or its Affiliates.
タスクの検証の主な制限事項
• テーブルに主キー/一意キーが存在している必要がある
• ソース側、ターゲット側のデータベースに負荷がかかる可能性がある
• 検証用のクエリが実行される為
• DMSでフィルタリングを使用している場合や、複数のデータベースを1つ
に統合する場合、検証できない
• ターゲットデータベースがDMS以外で変更された場合、検証できない
• 検証中に1行かそれ以上の行が継続的に変更されている場合、それらの行
を検証できない
• 検証中に 10,000 (FailureMaxCount) 件を超える Failed/Suspended が検
出されると、検証が停止
https://docs.aws.amazon.com/ja_jp/dms/latest/userguide/CHAP_Validating.html#CHAP_Validating.Limitations
© 2021, Amazon Web Services, Inc. or its Affiliates.
最後に
© 2021, Amazon Web Services, Inc. or its Affiliates.
DMSの制限(ソース)
• Oracleをソースとして使用する場合の制限
• https://docs.aws.amazon.com/ja_jp/dms/latest/userguide/CHAP_Source.Oracle.html#CH
AP_Source.Oracle.CDC
• SQL Serverをソースとして使用する場合の制限
• https://docs.aws.amazon.com/ja_jp/dms/latest/userguide/CHAP_Source.SQLServer.html
#CHAP_Source.SQLServer.Limitations
• MySQLをソースとして使用する場合の制限
• https://docs.aws.amazon.com/ja_jp/dms/latest/userguide/CHAP_Source.MySQL.html#C
HAP_Source.MySQL.Limitations
• PostgreSQLをソースとして使用する場合の制限
• https://docs.aws.amazon.com/ja_jp/dms/latest/userguide/CHAP_Source.PostgreSQL.htm
l#CHAP_Source.PostgreSQL.Limitations
© 2021, Amazon Web Services, Inc. or its Affiliates.
DMSの制限(ターゲット)
• Oracleをターゲットとして使用する場合の制限
• https://docs.aws.amazon.com/ja_jp/dms/latest/userguide/CHAP_Target.Oracle.html#CH
AP_Target.Oracle.Limitations
• SQL Serverをターゲットとして使用する場合の制限
• https://docs.aws.amazon.com/ja_jp/dms/latest/userguide/CHAP_Target.SQLServer.html
#CHAP_Target.SQLServer.Limitations
• MySQLをターゲットとして使用する場合の制限
• https://docs.aws.amazon.com/ja_jp/dms/latest/userguide/CHAP_Target.MySQL.html#CH
AP_Target.MySQL.Limitations
• PostgreSQLをターゲットとして使用する場合の制限
• https://docs.aws.amazon.com/ja_jp/dms/latest/userguide/CHAP_Target.PostgreSQL.html
#CHAP_Target.PostgreSQL.Limitations
• Redshiftをターゲットとして使用する場合の制限
• https://docs.aws.amazon.com/ja_jp/dms/latest/userguide/CHAP_Target.Redshift.html#C
HAP_Target.Redshift.Limitations
© 2021, Amazon Web Services, Inc. or its Affiliates.
トラブルシューティング(1/2)
• トラブル発生時の原因調査の為に、CloudWatchログを有効化することを推奨
• 制御テーブルを設定して、タスクに関する情報を収集しておくことでより詳細
な情報を取得可能(デフォルトではawsdms_apply_exceptionsのみ有効)
© 2021, Amazon Web Services, Inc. or its Affiliates.
トラブルシューティング(2/2)
• トラブルが解決しない場合はAWSサポートまでお問い合わせ下さい。お問い合
わせの際に以下にある診断スクリプトで情報を収集頂くと調査がスムーズに進
みます。
• https://docs.aws.amazon.com/dms/latest/userguide/CHAP_SupportScripts.html
© 2021, Amazon Web Services, Inc. or its Affiliates.
t3.micro: 0.028USD/時 から
r4.8xlarge: 3.97USD/時 までの33種類
マルチAZの場合は2倍
汎用 (SSD) ストレージ:0.138USD/GB/月
マルチAZの場合は2倍
受信: 無料
同一AZ内への送信: 無料
別AZへの送信: 0.01USD/GB
別リージョンへの送信: 0.09USD/GB
インターネットへの送信(9.999 TB以下): 0.114USD/GB
東京リージョンでの料金
インスタンス
+
ストレージ
+
データ転送
© 2021, Amazon Web Services, Inc. or its Affiliates.
まとめ
© 2021, Amazon Web Services, Inc. or its Affiliates.
まとめ
• データベースの移行やレプリケーションでデータベース間でデータを連携し
たい場合、AWS Database Migration Serviceを利用すると解決できます
• 同一データベースのアップグレードや異なるデータベースエンジン間での
データ連携も可能
• 触ってみたいと思われた方は、公開されているハンズオンで試してみてくだ
さい
https://bit.ly/38yI4ph
© 2021, Amazon Web Services, Inc. or its Affiliates.
Q&A
お答えできなかったご質問については
AWS Japan Blog https://aws.amazon.com/jp/blogs/news/ に
後日掲載します。
© 2021, Amazon Web Services, Inc. or its Affiliates.
AWS の日本語資料の場所「AWS 資料」で検索
https://amzn.to/JPArchive
© 2021, Amazon Web Services, Inc. or its Affiliates.
で[検索]
AWS イベント
毎週”W-A個別技術相談会”を実施中
• AWSのソリューションアーキテクト(SA)に
対策などを相談することも可能
• 申込みはイベント告知サイトから
(https://aws.amazon.com/jp/about-aws/events/)
AWS Well-Architected 個別技術相談会
© 2021, Amazon Web Services, Inc. or its Affiliates.
AWS 公式 Webinar
https://amzn.to/JPWebinar
過去資料
https://amzn.to/JPArchive
ご視聴ありがとうございました

More Related Content

What's hot

AWS Black Belt Online Seminar AWS Direct Connect
AWS Black Belt Online Seminar AWS Direct ConnectAWS Black Belt Online Seminar AWS Direct Connect
AWS Black Belt Online Seminar AWS Direct Connect
Amazon Web Services Japan
 
20211203 AWS Black Belt Online Seminar AWS re:Invent 2021アップデート速報
20211203 AWS Black Belt Online Seminar AWS re:Invent 2021アップデート速報20211203 AWS Black Belt Online Seminar AWS re:Invent 2021アップデート速報
20211203 AWS Black Belt Online Seminar AWS re:Invent 2021アップデート速報
Amazon Web Services Japan
 
20190514 AWS Black Belt Online Seminar Amazon API Gateway
20190514 AWS Black Belt Online Seminar Amazon API Gateway 20190514 AWS Black Belt Online Seminar Amazon API Gateway
20190514 AWS Black Belt Online Seminar Amazon API Gateway
Amazon Web Services Japan
 
20201028 AWS Black Belt Online Seminar Amazon CloudFront deep dive
20201028 AWS Black Belt Online Seminar Amazon CloudFront deep dive20201028 AWS Black Belt Online Seminar Amazon CloudFront deep dive
20201028 AWS Black Belt Online Seminar Amazon CloudFront deep dive
Amazon Web Services Japan
 
20190320 AWS Black Belt Online Seminar Amazon EBS
20190320 AWS Black Belt Online Seminar Amazon EBS20190320 AWS Black Belt Online Seminar Amazon EBS
20190320 AWS Black Belt Online Seminar Amazon EBS
Amazon Web Services Japan
 
20191218 AWS Black Belt Online Seminar AWSのマネジメント&ガバナンス サービスアップデート
20191218 AWS Black Belt Online Seminar AWSのマネジメント&ガバナンス サービスアップデート20191218 AWS Black Belt Online Seminar AWSのマネジメント&ガバナンス サービスアップデート
20191218 AWS Black Belt Online Seminar AWSのマネジメント&ガバナンス サービスアップデート
Amazon Web Services Japan
 
Amazon Athena 初心者向けハンズオン
Amazon Athena 初心者向けハンズオンAmazon Athena 初心者向けハンズオン
Amazon Athena 初心者向けハンズオン
Amazon Web Services Japan
 
20200422 AWS Black Belt Online Seminar Amazon Elastic Container Service (Amaz...
20200422 AWS Black Belt Online Seminar Amazon Elastic Container Service (Amaz...20200422 AWS Black Belt Online Seminar Amazon Elastic Container Service (Amaz...
20200422 AWS Black Belt Online Seminar Amazon Elastic Container Service (Amaz...
Amazon Web Services Japan
 
機密データとSaaSは共存しうるのか!?セキュリティー重視のユーザー層を取り込む為のネットワーク通信のアプローチ
機密データとSaaSは共存しうるのか!?セキュリティー重視のユーザー層を取り込む為のネットワーク通信のアプローチ機密データとSaaSは共存しうるのか!?セキュリティー重視のユーザー層を取り込む為のネットワーク通信のアプローチ
機密データとSaaSは共存しうるのか!?セキュリティー重視のユーザー層を取り込む為のネットワーク通信のアプローチ
Amazon Web Services Japan
 
Infrastructure as Code (IaC) 談義 2022
Infrastructure as Code (IaC) 談義 2022Infrastructure as Code (IaC) 談義 2022
Infrastructure as Code (IaC) 談義 2022
Amazon Web Services Japan
 
202205 AWS Black Belt Online Seminar Amazon VPC IP Address Manager (IPAM)
202205 AWS Black Belt Online Seminar Amazon VPC IP Address Manager (IPAM)202205 AWS Black Belt Online Seminar Amazon VPC IP Address Manager (IPAM)
202205 AWS Black Belt Online Seminar Amazon VPC IP Address Manager (IPAM)
Amazon Web Services Japan
 
AWSではじめるDNSSEC
AWSではじめるDNSSECAWSではじめるDNSSEC
AWSではじめるDNSSEC
Tomohiro Nakashima
 
20180425 AWS Black Belt Online Seminar Amazon Relational Database Service (Am...
20180425 AWS Black Belt Online Seminar Amazon Relational Database Service (Am...20180425 AWS Black Belt Online Seminar Amazon Relational Database Service (Am...
20180425 AWS Black Belt Online Seminar Amazon Relational Database Service (Am...
Amazon Web Services Japan
 
20190410 AWS Black Belt Online Seminar Amazon Elastic Container Service for K...
20190410 AWS Black Belt Online Seminar Amazon Elastic Container Service for K...20190410 AWS Black Belt Online Seminar Amazon Elastic Container Service for K...
20190410 AWS Black Belt Online Seminar Amazon Elastic Container Service for K...
Amazon Web Services Japan
 
[Aurora事例祭り]Amazon Aurora を使いこなすためのベストプラクティス
[Aurora事例祭り]Amazon Aurora を使いこなすためのベストプラクティス[Aurora事例祭り]Amazon Aurora を使いこなすためのベストプラクティス
[Aurora事例祭り]Amazon Aurora を使いこなすためのベストプラクティス
Amazon Web Services Japan
 
AWSとオンプレミスを繋ぐときに知っておきたいルーティングの基礎知識(CCSI監修!)
AWSとオンプレミスを繋ぐときに知っておきたいルーティングの基礎知識(CCSI監修!)AWSとオンプレミスを繋ぐときに知っておきたいルーティングの基礎知識(CCSI監修!)
AWSとオンプレミスを繋ぐときに知っておきたいルーティングの基礎知識(CCSI監修!)
Trainocate Japan, Ltd.
 
20190220 AWS Black Belt Online Seminar Amazon S3 / Glacier
20190220 AWS Black Belt Online Seminar Amazon S3 / Glacier20190220 AWS Black Belt Online Seminar Amazon S3 / Glacier
20190220 AWS Black Belt Online Seminar Amazon S3 / Glacier
Amazon Web Services Japan
 
20191030 AWS Black Belt Online Seminar AWS IoT Analytics Deep Dive
20191030 AWS Black Belt Online Seminar AWS IoT Analytics Deep Dive 20191030 AWS Black Belt Online Seminar AWS IoT Analytics Deep Dive
20191030 AWS Black Belt Online Seminar AWS IoT Analytics Deep Dive
Amazon Web Services Japan
 
DeNA の AWS アカウント管理とセキュリティ監査自動化
DeNA の AWS アカウント管理とセキュリティ監査自動化DeNA の AWS アカウント管理とセキュリティ監査自動化
DeNA の AWS アカウント管理とセキュリティ監査自動化
DeNA
 
20200303 AWS Black Belt Online Seminar AWS Cloud Development Kit (CDK)
20200303 AWS Black Belt Online Seminar AWS Cloud Development Kit (CDK)20200303 AWS Black Belt Online Seminar AWS Cloud Development Kit (CDK)
20200303 AWS Black Belt Online Seminar AWS Cloud Development Kit (CDK)
Amazon Web Services Japan
 

What's hot (20)

AWS Black Belt Online Seminar AWS Direct Connect
AWS Black Belt Online Seminar AWS Direct ConnectAWS Black Belt Online Seminar AWS Direct Connect
AWS Black Belt Online Seminar AWS Direct Connect
 
20211203 AWS Black Belt Online Seminar AWS re:Invent 2021アップデート速報
20211203 AWS Black Belt Online Seminar AWS re:Invent 2021アップデート速報20211203 AWS Black Belt Online Seminar AWS re:Invent 2021アップデート速報
20211203 AWS Black Belt Online Seminar AWS re:Invent 2021アップデート速報
 
20190514 AWS Black Belt Online Seminar Amazon API Gateway
20190514 AWS Black Belt Online Seminar Amazon API Gateway 20190514 AWS Black Belt Online Seminar Amazon API Gateway
20190514 AWS Black Belt Online Seminar Amazon API Gateway
 
20201028 AWS Black Belt Online Seminar Amazon CloudFront deep dive
20201028 AWS Black Belt Online Seminar Amazon CloudFront deep dive20201028 AWS Black Belt Online Seminar Amazon CloudFront deep dive
20201028 AWS Black Belt Online Seminar Amazon CloudFront deep dive
 
20190320 AWS Black Belt Online Seminar Amazon EBS
20190320 AWS Black Belt Online Seminar Amazon EBS20190320 AWS Black Belt Online Seminar Amazon EBS
20190320 AWS Black Belt Online Seminar Amazon EBS
 
20191218 AWS Black Belt Online Seminar AWSのマネジメント&ガバナンス サービスアップデート
20191218 AWS Black Belt Online Seminar AWSのマネジメント&ガバナンス サービスアップデート20191218 AWS Black Belt Online Seminar AWSのマネジメント&ガバナンス サービスアップデート
20191218 AWS Black Belt Online Seminar AWSのマネジメント&ガバナンス サービスアップデート
 
Amazon Athena 初心者向けハンズオン
Amazon Athena 初心者向けハンズオンAmazon Athena 初心者向けハンズオン
Amazon Athena 初心者向けハンズオン
 
20200422 AWS Black Belt Online Seminar Amazon Elastic Container Service (Amaz...
20200422 AWS Black Belt Online Seminar Amazon Elastic Container Service (Amaz...20200422 AWS Black Belt Online Seminar Amazon Elastic Container Service (Amaz...
20200422 AWS Black Belt Online Seminar Amazon Elastic Container Service (Amaz...
 
機密データとSaaSは共存しうるのか!?セキュリティー重視のユーザー層を取り込む為のネットワーク通信のアプローチ
機密データとSaaSは共存しうるのか!?セキュリティー重視のユーザー層を取り込む為のネットワーク通信のアプローチ機密データとSaaSは共存しうるのか!?セキュリティー重視のユーザー層を取り込む為のネットワーク通信のアプローチ
機密データとSaaSは共存しうるのか!?セキュリティー重視のユーザー層を取り込む為のネットワーク通信のアプローチ
 
Infrastructure as Code (IaC) 談義 2022
Infrastructure as Code (IaC) 談義 2022Infrastructure as Code (IaC) 談義 2022
Infrastructure as Code (IaC) 談義 2022
 
202205 AWS Black Belt Online Seminar Amazon VPC IP Address Manager (IPAM)
202205 AWS Black Belt Online Seminar Amazon VPC IP Address Manager (IPAM)202205 AWS Black Belt Online Seminar Amazon VPC IP Address Manager (IPAM)
202205 AWS Black Belt Online Seminar Amazon VPC IP Address Manager (IPAM)
 
AWSではじめるDNSSEC
AWSではじめるDNSSECAWSではじめるDNSSEC
AWSではじめるDNSSEC
 
20180425 AWS Black Belt Online Seminar Amazon Relational Database Service (Am...
20180425 AWS Black Belt Online Seminar Amazon Relational Database Service (Am...20180425 AWS Black Belt Online Seminar Amazon Relational Database Service (Am...
20180425 AWS Black Belt Online Seminar Amazon Relational Database Service (Am...
 
20190410 AWS Black Belt Online Seminar Amazon Elastic Container Service for K...
20190410 AWS Black Belt Online Seminar Amazon Elastic Container Service for K...20190410 AWS Black Belt Online Seminar Amazon Elastic Container Service for K...
20190410 AWS Black Belt Online Seminar Amazon Elastic Container Service for K...
 
[Aurora事例祭り]Amazon Aurora を使いこなすためのベストプラクティス
[Aurora事例祭り]Amazon Aurora を使いこなすためのベストプラクティス[Aurora事例祭り]Amazon Aurora を使いこなすためのベストプラクティス
[Aurora事例祭り]Amazon Aurora を使いこなすためのベストプラクティス
 
AWSとオンプレミスを繋ぐときに知っておきたいルーティングの基礎知識(CCSI監修!)
AWSとオンプレミスを繋ぐときに知っておきたいルーティングの基礎知識(CCSI監修!)AWSとオンプレミスを繋ぐときに知っておきたいルーティングの基礎知識(CCSI監修!)
AWSとオンプレミスを繋ぐときに知っておきたいルーティングの基礎知識(CCSI監修!)
 
20190220 AWS Black Belt Online Seminar Amazon S3 / Glacier
20190220 AWS Black Belt Online Seminar Amazon S3 / Glacier20190220 AWS Black Belt Online Seminar Amazon S3 / Glacier
20190220 AWS Black Belt Online Seminar Amazon S3 / Glacier
 
20191030 AWS Black Belt Online Seminar AWS IoT Analytics Deep Dive
20191030 AWS Black Belt Online Seminar AWS IoT Analytics Deep Dive 20191030 AWS Black Belt Online Seminar AWS IoT Analytics Deep Dive
20191030 AWS Black Belt Online Seminar AWS IoT Analytics Deep Dive
 
DeNA の AWS アカウント管理とセキュリティ監査自動化
DeNA の AWS アカウント管理とセキュリティ監査自動化DeNA の AWS アカウント管理とセキュリティ監査自動化
DeNA の AWS アカウント管理とセキュリティ監査自動化
 
20200303 AWS Black Belt Online Seminar AWS Cloud Development Kit (CDK)
20200303 AWS Black Belt Online Seminar AWS Cloud Development Kit (CDK)20200303 AWS Black Belt Online Seminar AWS Cloud Development Kit (CDK)
20200303 AWS Black Belt Online Seminar AWS Cloud Development Kit (CDK)
 

Similar to 20210216 AWS Black Belt Online Seminar AWS Database Migration Service

20210330 AWS Black Belt Online Seminar AWS Glue -Glue Studioを使ったデータ変換のベストプラクティス-
20210330 AWS Black Belt Online Seminar AWS Glue -Glue Studioを使ったデータ変換のベストプラクティス-20210330 AWS Black Belt Online Seminar AWS Glue -Glue Studioを使ったデータ変換のベストプラクティス-
20210330 AWS Black Belt Online Seminar AWS Glue -Glue Studioを使ったデータ変換のベストプラクティス-
Amazon Web Services Japan
 
AWS Wavelengthと大阪リージョンのご紹介20210414
AWS Wavelengthと大阪リージョンのご紹介20210414AWS Wavelengthと大阪リージョンのご紹介20210414
AWS Wavelengthと大阪リージョンのご紹介20210414
Amazon Web Services Japan
 
20210316 AWS Black Belt Online Seminar AWS DataSync
20210316 AWS Black Belt Online Seminar AWS DataSync20210316 AWS Black Belt Online Seminar AWS DataSync
20210316 AWS Black Belt Online Seminar AWS DataSync
Amazon Web Services Japan
 
01_2021年上半期 AWS IoT サービスアップデート
01_2021年上半期 AWS IoT サービスアップデート01_2021年上半期 AWS IoT サービスアップデート
01_2021年上半期 AWS IoT サービスアップデート
Amazon Web Services Japan
 
AWS と Denodo で実現するデータ活用基盤 - データ民主化を加速するクラウド活用のポイント
AWS と Denodo で実現するデータ活用基盤 - データ民主化を加速するクラウド活用のポイントAWS と Denodo で実現するデータ活用基盤 - データ民主化を加速するクラウド活用のポイント
AWS と Denodo で実現するデータ活用基盤 - データ民主化を加速するクラウド活用のポイント
Denodo
 
20211209 Ops-JAWS Re invent2021re-cap-cloud operations
20211209 Ops-JAWS Re invent2021re-cap-cloud operations20211209 Ops-JAWS Re invent2021re-cap-cloud operations
20211209 Ops-JAWS Re invent2021re-cap-cloud operations
Amazon Web Services Japan
 
Aws summits2014 ガリバーインターナショナル社内システムのaws化
Aws summits2014 ガリバーインターナショナル社内システムのaws化Aws summits2014 ガリバーインターナショナル社内システムのaws化
Aws summits2014 ガリバーインターナショナル社内システムのaws化Boss4434
 
AWS Black Belt Online Seminar 2017 初心者向け クラウドコンピューティング はじめの一歩
AWS Black Belt Online Seminar 2017  初心者向け クラウドコンピューティング はじめの一歩AWS Black Belt Online Seminar 2017  初心者向け クラウドコンピューティング はじめの一歩
AWS Black Belt Online Seminar 2017 初心者向け クラウドコンピューティング はじめの一歩
Amazon Web Services Japan
 
202202 AWS Black Belt Online Seminar AWS SaaS Boost で始めるSaaS開発⼊⾨
202202 AWS Black Belt Online Seminar AWS SaaS Boost で始めるSaaS開発⼊⾨202202 AWS Black Belt Online Seminar AWS SaaS Boost で始めるSaaS開発⼊⾨
202202 AWS Black Belt Online Seminar AWS SaaS Boost で始めるSaaS開発⼊⾨
Amazon Web Services Japan
 
20210317 AWS Black Belt Online Seminar Amazon MQ
20210317 AWS Black Belt Online Seminar Amazon MQ 20210317 AWS Black Belt Online Seminar Amazon MQ
20210317 AWS Black Belt Online Seminar Amazon MQ
Amazon Web Services Japan
 
2011-04-21 クラウド勉強会
2011-04-21 クラウド勉強会2011-04-21 クラウド勉強会
2011-04-21 クラウド勉強会Koichiro Doi
 
エンタープライズにおけるAWS利用事例_2012年11月
エンタープライズにおけるAWS利用事例_2012年11月エンタープライズにおけるAWS利用事例_2012年11月
エンタープライズにおけるAWS利用事例_2012年11月
Amazon Web Services Japan
 
20170510aws blackbeltrds-170510101017
20170510aws blackbeltrds-17051010101720170510aws blackbeltrds-170510101017
20170510aws blackbeltrds-170510101017
anzhong70
 
20201221 AWS Black Belt Online Seminar 2020年 AWS re:Invent 速報 Part3
20201221 AWS Black Belt Online Seminar 2020年 AWS re:Invent 速報 Part320201221 AWS Black Belt Online Seminar 2020年 AWS re:Invent 速報 Part3
20201221 AWS Black Belt Online Seminar 2020年 AWS re:Invent 速報 Part3
Amazon Web Services Japan
 
[20210519 Security-JAWS] AWS エッジサービス入門ハンズオンの紹介と AWS WAF のアップデートについて
[20210519 Security-JAWS] AWS エッジサービス入門ハンズオンの紹介と AWS WAF のアップデートについて[20210519 Security-JAWS] AWS エッジサービス入門ハンズオンの紹介と AWS WAF のアップデートについて
[20210519 Security-JAWS] AWS エッジサービス入門ハンズオンの紹介と AWS WAF のアップデートについて
Amazon Web Services Japan
 
[JAWS Days 2020] AWS Well-Architected フレームワークのご紹介
[JAWS Days 2020] AWS Well-Architected フレームワークのご紹介[JAWS Days 2020] AWS Well-Architected フレームワークのご紹介
[JAWS Days 2020] AWS Well-Architected フレームワークのご紹介
Takanori Ohba
 
20201207 AWS Black Belt Online Seminar AWS re:Invent 2020 速報 Part1
20201207 AWS Black Belt Online Seminar AWS re:Invent 2020 速報 Part120201207 AWS Black Belt Online Seminar AWS re:Invent 2020 速報 Part1
20201207 AWS Black Belt Online Seminar AWS re:Invent 2020 速報 Part1
Amazon Web Services Japan
 
AWS Well-Architected Security とベストプラクティス
AWS Well-Architected Security とベストプラクティスAWS Well-Architected Security とベストプラクティス
AWS Well-Architected Security とベストプラクティス
Amazon Web Services Japan
 

Similar to 20210216 AWS Black Belt Online Seminar AWS Database Migration Service (20)

20210330 AWS Black Belt Online Seminar AWS Glue -Glue Studioを使ったデータ変換のベストプラクティス-
20210330 AWS Black Belt Online Seminar AWS Glue -Glue Studioを使ったデータ変換のベストプラクティス-20210330 AWS Black Belt Online Seminar AWS Glue -Glue Studioを使ったデータ変換のベストプラクティス-
20210330 AWS Black Belt Online Seminar AWS Glue -Glue Studioを使ったデータ変換のベストプラクティス-
 
AWS Wavelengthと大阪リージョンのご紹介20210414
AWS Wavelengthと大阪リージョンのご紹介20210414AWS Wavelengthと大阪リージョンのご紹介20210414
AWS Wavelengthと大阪リージョンのご紹介20210414
 
20210316 AWS Black Belt Online Seminar AWS DataSync
20210316 AWS Black Belt Online Seminar AWS DataSync20210316 AWS Black Belt Online Seminar AWS DataSync
20210316 AWS Black Belt Online Seminar AWS DataSync
 
01_2021年上半期 AWS IoT サービスアップデート
01_2021年上半期 AWS IoT サービスアップデート01_2021年上半期 AWS IoT サービスアップデート
01_2021年上半期 AWS IoT サービスアップデート
 
AWS と Denodo で実現するデータ活用基盤 - データ民主化を加速するクラウド活用のポイント
AWS と Denodo で実現するデータ活用基盤 - データ民主化を加速するクラウド活用のポイントAWS と Denodo で実現するデータ活用基盤 - データ民主化を加速するクラウド活用のポイント
AWS と Denodo で実現するデータ活用基盤 - データ民主化を加速するクラウド活用のポイント
 
20211209 Ops-JAWS Re invent2021re-cap-cloud operations
20211209 Ops-JAWS Re invent2021re-cap-cloud operations20211209 Ops-JAWS Re invent2021re-cap-cloud operations
20211209 Ops-JAWS Re invent2021re-cap-cloud operations
 
20120409 aws meister-reloaded-dynamo-db
20120409 aws meister-reloaded-dynamo-db20120409 aws meister-reloaded-dynamo-db
20120409 aws meister-reloaded-dynamo-db
 
Aws summits2014 ガリバーインターナショナル社内システムのaws化
Aws summits2014 ガリバーインターナショナル社内システムのaws化Aws summits2014 ガリバーインターナショナル社内システムのaws化
Aws summits2014 ガリバーインターナショナル社内システムのaws化
 
AWS Black Belt Online Seminar 2017 初心者向け クラウドコンピューティング はじめの一歩
AWS Black Belt Online Seminar 2017  初心者向け クラウドコンピューティング はじめの一歩AWS Black Belt Online Seminar 2017  初心者向け クラウドコンピューティング はじめの一歩
AWS Black Belt Online Seminar 2017 初心者向け クラウドコンピューティング はじめの一歩
 
202202 AWS Black Belt Online Seminar AWS SaaS Boost で始めるSaaS開発⼊⾨
202202 AWS Black Belt Online Seminar AWS SaaS Boost で始めるSaaS開発⼊⾨202202 AWS Black Belt Online Seminar AWS SaaS Boost で始めるSaaS開発⼊⾨
202202 AWS Black Belt Online Seminar AWS SaaS Boost で始めるSaaS開発⼊⾨
 
Elastic beanstalk
Elastic beanstalkElastic beanstalk
Elastic beanstalk
 
20210317 AWS Black Belt Online Seminar Amazon MQ
20210317 AWS Black Belt Online Seminar Amazon MQ 20210317 AWS Black Belt Online Seminar Amazon MQ
20210317 AWS Black Belt Online Seminar Amazon MQ
 
2011-04-21 クラウド勉強会
2011-04-21 クラウド勉強会2011-04-21 クラウド勉強会
2011-04-21 クラウド勉強会
 
エンタープライズにおけるAWS利用事例_2012年11月
エンタープライズにおけるAWS利用事例_2012年11月エンタープライズにおけるAWS利用事例_2012年11月
エンタープライズにおけるAWS利用事例_2012年11月
 
20170510aws blackbeltrds-170510101017
20170510aws blackbeltrds-17051010101720170510aws blackbeltrds-170510101017
20170510aws blackbeltrds-170510101017
 
20201221 AWS Black Belt Online Seminar 2020年 AWS re:Invent 速報 Part3
20201221 AWS Black Belt Online Seminar 2020年 AWS re:Invent 速報 Part320201221 AWS Black Belt Online Seminar 2020年 AWS re:Invent 速報 Part3
20201221 AWS Black Belt Online Seminar 2020年 AWS re:Invent 速報 Part3
 
[20210519 Security-JAWS] AWS エッジサービス入門ハンズオンの紹介と AWS WAF のアップデートについて
[20210519 Security-JAWS] AWS エッジサービス入門ハンズオンの紹介と AWS WAF のアップデートについて[20210519 Security-JAWS] AWS エッジサービス入門ハンズオンの紹介と AWS WAF のアップデートについて
[20210519 Security-JAWS] AWS エッジサービス入門ハンズオンの紹介と AWS WAF のアップデートについて
 
[JAWS Days 2020] AWS Well-Architected フレームワークのご紹介
[JAWS Days 2020] AWS Well-Architected フレームワークのご紹介[JAWS Days 2020] AWS Well-Architected フレームワークのご紹介
[JAWS Days 2020] AWS Well-Architected フレームワークのご紹介
 
20201207 AWS Black Belt Online Seminar AWS re:Invent 2020 速報 Part1
20201207 AWS Black Belt Online Seminar AWS re:Invent 2020 速報 Part120201207 AWS Black Belt Online Seminar AWS re:Invent 2020 速報 Part1
20201207 AWS Black Belt Online Seminar AWS re:Invent 2020 速報 Part1
 
AWS Well-Architected Security とベストプラクティス
AWS Well-Architected Security とベストプラクティスAWS Well-Architected Security とベストプラクティス
AWS Well-Architected Security とベストプラクティス
 

More from Amazon Web Services Japan

202205 AWS Black Belt Online Seminar Amazon FSx for OpenZFS
202205 AWS Black Belt Online Seminar Amazon FSx for OpenZFS202205 AWS Black Belt Online Seminar Amazon FSx for OpenZFS
202205 AWS Black Belt Online Seminar Amazon FSx for OpenZFS
Amazon Web Services Japan
 
202204 AWS Black Belt Online Seminar AWS IoT Device Defender
202204 AWS Black Belt Online Seminar AWS IoT Device Defender202204 AWS Black Belt Online Seminar AWS IoT Device Defender
202204 AWS Black Belt Online Seminar AWS IoT Device Defender
Amazon Web Services Japan
 
202204 AWS Black Belt Online Seminar Amazon Connect を活用したオンコール対応の実現
202204 AWS Black Belt Online Seminar Amazon Connect を活用したオンコール対応の実現202204 AWS Black Belt Online Seminar Amazon Connect を活用したオンコール対応の実現
202204 AWS Black Belt Online Seminar Amazon Connect を活用したオンコール対応の実現
Amazon Web Services Japan
 
202204 AWS Black Belt Online Seminar Amazon Connect Salesforce連携(第1回 CTI Adap...
202204 AWS Black Belt Online Seminar Amazon Connect Salesforce連携(第1回 CTI Adap...202204 AWS Black Belt Online Seminar Amazon Connect Salesforce連携(第1回 CTI Adap...
202204 AWS Black Belt Online Seminar Amazon Connect Salesforce連携(第1回 CTI Adap...
Amazon Web Services Japan
 
Amazon Game Tech Night #25 ゲーム業界向け機械学習最新状況アップデート
Amazon Game Tech Night #25 ゲーム業界向け機械学習最新状況アップデートAmazon Game Tech Night #25 ゲーム業界向け機械学習最新状況アップデート
Amazon Game Tech Night #25 ゲーム業界向け機械学習最新状況アップデート
Amazon Web Services Japan
 
20220409 AWS BLEA 開発にあたって検討したこと
20220409 AWS BLEA 開発にあたって検討したこと20220409 AWS BLEA 開発にあたって検討したこと
20220409 AWS BLEA 開発にあたって検討したこと
Amazon Web Services Japan
 
202202 AWS Black Belt Online Seminar AWS Managed Rules for AWS WAF の活用
202202 AWS Black Belt Online Seminar AWS Managed Rules for AWS WAF の活用202202 AWS Black Belt Online Seminar AWS Managed Rules for AWS WAF の活用
202202 AWS Black Belt Online Seminar AWS Managed Rules for AWS WAF の活用
Amazon Web Services Japan
 
202203 AWS Black Belt Online Seminar Amazon Connect Tasks.pdf
202203 AWS Black Belt Online Seminar Amazon Connect Tasks.pdf202203 AWS Black Belt Online Seminar Amazon Connect Tasks.pdf
202203 AWS Black Belt Online Seminar Amazon Connect Tasks.pdf
Amazon Web Services Japan
 
SaaS テナント毎のコストを把握するための「AWS Application Cost Profiler」のご紹介
SaaS テナント毎のコストを把握するための「AWS Application Cost Profiler」のご紹介SaaS テナント毎のコストを把握するための「AWS Application Cost Profiler」のご紹介
SaaS テナント毎のコストを把握するための「AWS Application Cost Profiler」のご紹介
Amazon Web Services Japan
 
Amazon QuickSight の組み込み方法をちょっぴりDD
Amazon QuickSight の組み込み方法をちょっぴりDDAmazon QuickSight の組み込み方法をちょっぴりDD
Amazon QuickSight の組み込み方法をちょっぴりDD
Amazon Web Services Japan
 
マルチテナント化で知っておきたいデータベースのこと
マルチテナント化で知っておきたいデータベースのことマルチテナント化で知っておきたいデータベースのこと
マルチテナント化で知っておきたいデータベースのこと
Amazon Web Services Japan
 
パッケージソフトウェアを簡単にSaaS化!?既存の資産を使ったSaaS化手法のご紹介
パッケージソフトウェアを簡単にSaaS化!?既存の資産を使ったSaaS化手法のご紹介パッケージソフトウェアを簡単にSaaS化!?既存の資産を使ったSaaS化手法のご紹介
パッケージソフトウェアを簡単にSaaS化!?既存の資産を使ったSaaS化手法のご紹介
Amazon Web Services Japan
 
202202 AWS Black Belt Online Seminar Amazon Connect Customer Profiles
202202 AWS Black Belt Online Seminar Amazon Connect Customer Profiles202202 AWS Black Belt Online Seminar Amazon Connect Customer Profiles
202202 AWS Black Belt Online Seminar Amazon Connect Customer Profiles
Amazon Web Services Japan
 
Amazon Game Tech Night #24 KPIダッシュボードを最速で用意するために
Amazon Game Tech Night #24 KPIダッシュボードを最速で用意するためにAmazon Game Tech Night #24 KPIダッシュボードを最速で用意するために
Amazon Game Tech Night #24 KPIダッシュボードを最速で用意するために
Amazon Web Services Japan
 
[20220126] JAWS-UG 2022初頭までに葬ったAWSアンチパターン大紹介
[20220126] JAWS-UG 2022初頭までに葬ったAWSアンチパターン大紹介[20220126] JAWS-UG 2022初頭までに葬ったAWSアンチパターン大紹介
[20220126] JAWS-UG 2022初頭までに葬ったAWSアンチパターン大紹介
Amazon Web Services Japan
 
202111 AWS Black Belt Online Seminar AWSで構築するSmart Mirrorのご紹介
202111 AWS Black Belt Online Seminar AWSで構築するSmart Mirrorのご紹介202111 AWS Black Belt Online Seminar AWSで構築するSmart Mirrorのご紹介
202111 AWS Black Belt Online Seminar AWSで構築するSmart Mirrorのご紹介
Amazon Web Services Japan
 
202201 AWS Black Belt Online Seminar Apache Spark Performnace Tuning for AWS ...
202201 AWS Black Belt Online Seminar Apache Spark Performnace Tuning for AWS ...202201 AWS Black Belt Online Seminar Apache Spark Performnace Tuning for AWS ...
202201 AWS Black Belt Online Seminar Apache Spark Performnace Tuning for AWS ...
Amazon Web Services Japan
 
202112 AWS Black Belt Online Seminar 店内の「今」をお届けする小売業向けリアルタイム配信基盤のレシピ
202112 AWS Black Belt Online Seminar 店内の「今」をお届けする小売業向けリアルタイム配信基盤のレシピ202112 AWS Black Belt Online Seminar 店内の「今」をお届けする小売業向けリアルタイム配信基盤のレシピ
202112 AWS Black Belt Online Seminar 店内の「今」をお届けする小売業向けリアルタイム配信基盤のレシピ
Amazon Web Services Japan
 
[AWS EXpert Online for JAWS-UG 18] 見せてやるよ、Step Functions の本気ってやつをな
[AWS EXpert Online for JAWS-UG 18] 見せてやるよ、Step Functions の本気ってやつをな[AWS EXpert Online for JAWS-UG 18] 見せてやるよ、Step Functions の本気ってやつをな
[AWS EXpert Online for JAWS-UG 18] 見せてやるよ、Step Functions の本気ってやつをな
Amazon Web Services Japan
 
20211109 JAWS-UG SRE keynotes
20211109 JAWS-UG SRE keynotes20211109 JAWS-UG SRE keynotes
20211109 JAWS-UG SRE keynotes
Amazon Web Services Japan
 

More from Amazon Web Services Japan (20)

202205 AWS Black Belt Online Seminar Amazon FSx for OpenZFS
202205 AWS Black Belt Online Seminar Amazon FSx for OpenZFS202205 AWS Black Belt Online Seminar Amazon FSx for OpenZFS
202205 AWS Black Belt Online Seminar Amazon FSx for OpenZFS
 
202204 AWS Black Belt Online Seminar AWS IoT Device Defender
202204 AWS Black Belt Online Seminar AWS IoT Device Defender202204 AWS Black Belt Online Seminar AWS IoT Device Defender
202204 AWS Black Belt Online Seminar AWS IoT Device Defender
 
202204 AWS Black Belt Online Seminar Amazon Connect を活用したオンコール対応の実現
202204 AWS Black Belt Online Seminar Amazon Connect を活用したオンコール対応の実現202204 AWS Black Belt Online Seminar Amazon Connect を活用したオンコール対応の実現
202204 AWS Black Belt Online Seminar Amazon Connect を活用したオンコール対応の実現
 
202204 AWS Black Belt Online Seminar Amazon Connect Salesforce連携(第1回 CTI Adap...
202204 AWS Black Belt Online Seminar Amazon Connect Salesforce連携(第1回 CTI Adap...202204 AWS Black Belt Online Seminar Amazon Connect Salesforce連携(第1回 CTI Adap...
202204 AWS Black Belt Online Seminar Amazon Connect Salesforce連携(第1回 CTI Adap...
 
Amazon Game Tech Night #25 ゲーム業界向け機械学習最新状況アップデート
Amazon Game Tech Night #25 ゲーム業界向け機械学習最新状況アップデートAmazon Game Tech Night #25 ゲーム業界向け機械学習最新状況アップデート
Amazon Game Tech Night #25 ゲーム業界向け機械学習最新状況アップデート
 
20220409 AWS BLEA 開発にあたって検討したこと
20220409 AWS BLEA 開発にあたって検討したこと20220409 AWS BLEA 開発にあたって検討したこと
20220409 AWS BLEA 開発にあたって検討したこと
 
202202 AWS Black Belt Online Seminar AWS Managed Rules for AWS WAF の活用
202202 AWS Black Belt Online Seminar AWS Managed Rules for AWS WAF の活用202202 AWS Black Belt Online Seminar AWS Managed Rules for AWS WAF の活用
202202 AWS Black Belt Online Seminar AWS Managed Rules for AWS WAF の活用
 
202203 AWS Black Belt Online Seminar Amazon Connect Tasks.pdf
202203 AWS Black Belt Online Seminar Amazon Connect Tasks.pdf202203 AWS Black Belt Online Seminar Amazon Connect Tasks.pdf
202203 AWS Black Belt Online Seminar Amazon Connect Tasks.pdf
 
SaaS テナント毎のコストを把握するための「AWS Application Cost Profiler」のご紹介
SaaS テナント毎のコストを把握するための「AWS Application Cost Profiler」のご紹介SaaS テナント毎のコストを把握するための「AWS Application Cost Profiler」のご紹介
SaaS テナント毎のコストを把握するための「AWS Application Cost Profiler」のご紹介
 
Amazon QuickSight の組み込み方法をちょっぴりDD
Amazon QuickSight の組み込み方法をちょっぴりDDAmazon QuickSight の組み込み方法をちょっぴりDD
Amazon QuickSight の組み込み方法をちょっぴりDD
 
マルチテナント化で知っておきたいデータベースのこと
マルチテナント化で知っておきたいデータベースのことマルチテナント化で知っておきたいデータベースのこと
マルチテナント化で知っておきたいデータベースのこと
 
パッケージソフトウェアを簡単にSaaS化!?既存の資産を使ったSaaS化手法のご紹介
パッケージソフトウェアを簡単にSaaS化!?既存の資産を使ったSaaS化手法のご紹介パッケージソフトウェアを簡単にSaaS化!?既存の資産を使ったSaaS化手法のご紹介
パッケージソフトウェアを簡単にSaaS化!?既存の資産を使ったSaaS化手法のご紹介
 
202202 AWS Black Belt Online Seminar Amazon Connect Customer Profiles
202202 AWS Black Belt Online Seminar Amazon Connect Customer Profiles202202 AWS Black Belt Online Seminar Amazon Connect Customer Profiles
202202 AWS Black Belt Online Seminar Amazon Connect Customer Profiles
 
Amazon Game Tech Night #24 KPIダッシュボードを最速で用意するために
Amazon Game Tech Night #24 KPIダッシュボードを最速で用意するためにAmazon Game Tech Night #24 KPIダッシュボードを最速で用意するために
Amazon Game Tech Night #24 KPIダッシュボードを最速で用意するために
 
[20220126] JAWS-UG 2022初頭までに葬ったAWSアンチパターン大紹介
[20220126] JAWS-UG 2022初頭までに葬ったAWSアンチパターン大紹介[20220126] JAWS-UG 2022初頭までに葬ったAWSアンチパターン大紹介
[20220126] JAWS-UG 2022初頭までに葬ったAWSアンチパターン大紹介
 
202111 AWS Black Belt Online Seminar AWSで構築するSmart Mirrorのご紹介
202111 AWS Black Belt Online Seminar AWSで構築するSmart Mirrorのご紹介202111 AWS Black Belt Online Seminar AWSで構築するSmart Mirrorのご紹介
202111 AWS Black Belt Online Seminar AWSで構築するSmart Mirrorのご紹介
 
202201 AWS Black Belt Online Seminar Apache Spark Performnace Tuning for AWS ...
202201 AWS Black Belt Online Seminar Apache Spark Performnace Tuning for AWS ...202201 AWS Black Belt Online Seminar Apache Spark Performnace Tuning for AWS ...
202201 AWS Black Belt Online Seminar Apache Spark Performnace Tuning for AWS ...
 
202112 AWS Black Belt Online Seminar 店内の「今」をお届けする小売業向けリアルタイム配信基盤のレシピ
202112 AWS Black Belt Online Seminar 店内の「今」をお届けする小売業向けリアルタイム配信基盤のレシピ202112 AWS Black Belt Online Seminar 店内の「今」をお届けする小売業向けリアルタイム配信基盤のレシピ
202112 AWS Black Belt Online Seminar 店内の「今」をお届けする小売業向けリアルタイム配信基盤のレシピ
 
[AWS EXpert Online for JAWS-UG 18] 見せてやるよ、Step Functions の本気ってやつをな
[AWS EXpert Online for JAWS-UG 18] 見せてやるよ、Step Functions の本気ってやつをな[AWS EXpert Online for JAWS-UG 18] 見せてやるよ、Step Functions の本気ってやつをな
[AWS EXpert Online for JAWS-UG 18] 見せてやるよ、Step Functions の本気ってやつをな
 
20211109 JAWS-UG SRE keynotes
20211109 JAWS-UG SRE keynotes20211109 JAWS-UG SRE keynotes
20211109 JAWS-UG SRE keynotes
 

Recently uploaded

20240621_AI事業者ガイドライン_セキュリティパートの紹介_SeiyaShimabukuro
20240621_AI事業者ガイドライン_セキュリティパートの紹介_SeiyaShimabukuro20240621_AI事業者ガイドライン_セキュリティパートの紹介_SeiyaShimabukuro
20240621_AI事業者ガイドライン_セキュリティパートの紹介_SeiyaShimabukuro
Seiya Shimabukuro
 
ロジックから状態を分離する技術/設計ナイト2024 by わいとん @ytnobody
ロジックから状態を分離する技術/設計ナイト2024 by わいとん @ytnobodyロジックから状態を分離する技術/設計ナイト2024 by わいとん @ytnobody
ロジックから状態を分離する技術/設計ナイト2024 by わいとん @ytnobody
azuma satoshi
 
気ままなLLMをAgents for Amazon Bedrockでちょっとだけ飼いならす
気ままなLLMをAgents for Amazon Bedrockでちょっとだけ飼いならす気ままなLLMをAgents for Amazon Bedrockでちょっとだけ飼いならす
気ままなLLMをAgents for Amazon Bedrockでちょっとだけ飼いならす
Shinichi Hirauchi
 
Humanoid Virtual Athletics Challenge2024 技術講習会 スライド
Humanoid Virtual Athletics Challenge2024 技術講習会 スライドHumanoid Virtual Athletics Challenge2024 技術講習会 スライド
Humanoid Virtual Athletics Challenge2024 技術講習会 スライド
tazaki1
 
【JSAI2024】LLMエージェントの人間との対話における反芻的返答の親近感向上効果_v1.1.pdf
【JSAI2024】LLMエージェントの人間との対話における反芻的返答の親近感向上効果_v1.1.pdf【JSAI2024】LLMエージェントの人間との対話における反芻的返答の親近感向上効果_v1.1.pdf
【JSAI2024】LLMエージェントの人間との対話における反芻的返答の親近感向上効果_v1.1.pdf
ARISE analytics
 
協働AIがもたらす業務効率革命 -日本企業が押さえるべきポイント-Collaborative AI Revolutionizing Busines...
協働AIがもたらす業務効率革命 -日本企業が押さえるべきポイント-Collaborative AI Revolutionizing Busines...協働AIがもたらす業務効率革命 -日本企業が押さえるべきポイント-Collaborative AI Revolutionizing Busines...
協働AIがもたらす業務効率革命 -日本企業が押さえるべきポイント-Collaborative AI Revolutionizing Busines...
Osaka University
 
ろくに電子工作もしたことない人間がIoT用ミドルウェアを作った話(IoTLT vol112 発表資料)
ろくに電子工作もしたことない人間がIoT用ミドルウェアを作った話(IoTLT  vol112 発表資料)ろくに電子工作もしたことない人間がIoT用ミドルウェアを作った話(IoTLT  vol112 発表資料)
ろくに電子工作もしたことない人間がIoT用ミドルウェアを作った話(IoTLT vol112 発表資料)
Takuya Minagawa
 
なぜそのDDDは効果が薄いのか?名ばかりDX案件での経験を踏まえて培った他の思考を交えた現代風?のDDD
なぜそのDDDは効果が薄いのか?名ばかりDX案件での経験を踏まえて培った他の思考を交えた現代風?のDDDなぜそのDDDは効果が薄いのか?名ばかりDX案件での経験を踏まえて培った他の思考を交えた現代風?のDDD
なぜそのDDDは効果が薄いのか?名ばかりDX案件での経験を踏まえて培った他の思考を交えた現代風?のDDD
ssuserfcafd1
 
ハイブリッドクラウド研究会_Hyper-VとSystem Center Virtual Machine Manager セッションMM
ハイブリッドクラウド研究会_Hyper-VとSystem Center Virtual Machine Manager セッションMMハイブリッドクラウド研究会_Hyper-VとSystem Center Virtual Machine Manager セッションMM
ハイブリッドクラウド研究会_Hyper-VとSystem Center Virtual Machine Manager セッションMM
osamut
 
Microsoft Azureで生成AIを使ってみた話 2024/6/14の勉強会で発表されたものです。
Microsoft Azureで生成AIを使ってみた話 2024/6/14の勉強会で発表されたものです。Microsoft Azureで生成AIを使ってみた話 2024/6/14の勉強会で発表されたものです。
Microsoft Azureで生成AIを使ってみた話 2024/6/14の勉強会で発表されたものです。
iPride Co., Ltd.
 
ヒアラブルへの入力を想定したユーザ定義型ジェスチャ調査と IMUセンサによる耳タッチジェスチャの認識
ヒアラブルへの入力を想定したユーザ定義型ジェスチャ調査と IMUセンサによる耳タッチジェスチャの認識ヒアラブルへの入力を想定したユーザ定義型ジェスチャ調査と IMUセンサによる耳タッチジェスチャの認識
ヒアラブルへの入力を想定したユーザ定義型ジェスチャ調査と IMUセンサによる耳タッチジェスチャの認識
sugiuralab
 
生成AIの実利用に必要なこと-Practical Requirements for the Deployment of Generative AI
生成AIの実利用に必要なこと-Practical Requirements for the Deployment of Generative AI生成AIの実利用に必要なこと-Practical Requirements for the Deployment of Generative AI
生成AIの実利用に必要なこと-Practical Requirements for the Deployment of Generative AI
Osaka University
 
無形価値を守り育てる社会における「デー タ」の責務について - Atlas, Inc.
無形価値を守り育てる社会における「デー タ」の責務について - Atlas, Inc.無形価値を守り育てる社会における「デー タ」の責務について - Atlas, Inc.
無形価値を守り育てる社会における「デー タ」の責務について - Atlas, Inc.
Yuki Miyazaki
 
iMacwoSu_Gong_de_barabaranishitaHua_.pptx
iMacwoSu_Gong_de_barabaranishitaHua_.pptxiMacwoSu_Gong_de_barabaranishitaHua_.pptx
iMacwoSu_Gong_de_barabaranishitaHua_.pptx
kitamisetagayaxxx
 

Recently uploaded (14)

20240621_AI事業者ガイドライン_セキュリティパートの紹介_SeiyaShimabukuro
20240621_AI事業者ガイドライン_セキュリティパートの紹介_SeiyaShimabukuro20240621_AI事業者ガイドライン_セキュリティパートの紹介_SeiyaShimabukuro
20240621_AI事業者ガイドライン_セキュリティパートの紹介_SeiyaShimabukuro
 
ロジックから状態を分離する技術/設計ナイト2024 by わいとん @ytnobody
ロジックから状態を分離する技術/設計ナイト2024 by わいとん @ytnobodyロジックから状態を分離する技術/設計ナイト2024 by わいとん @ytnobody
ロジックから状態を分離する技術/設計ナイト2024 by わいとん @ytnobody
 
気ままなLLMをAgents for Amazon Bedrockでちょっとだけ飼いならす
気ままなLLMをAgents for Amazon Bedrockでちょっとだけ飼いならす気ままなLLMをAgents for Amazon Bedrockでちょっとだけ飼いならす
気ままなLLMをAgents for Amazon Bedrockでちょっとだけ飼いならす
 
Humanoid Virtual Athletics Challenge2024 技術講習会 スライド
Humanoid Virtual Athletics Challenge2024 技術講習会 スライドHumanoid Virtual Athletics Challenge2024 技術講習会 スライド
Humanoid Virtual Athletics Challenge2024 技術講習会 スライド
 
【JSAI2024】LLMエージェントの人間との対話における反芻的返答の親近感向上効果_v1.1.pdf
【JSAI2024】LLMエージェントの人間との対話における反芻的返答の親近感向上効果_v1.1.pdf【JSAI2024】LLMエージェントの人間との対話における反芻的返答の親近感向上効果_v1.1.pdf
【JSAI2024】LLMエージェントの人間との対話における反芻的返答の親近感向上効果_v1.1.pdf
 
協働AIがもたらす業務効率革命 -日本企業が押さえるべきポイント-Collaborative AI Revolutionizing Busines...
協働AIがもたらす業務効率革命 -日本企業が押さえるべきポイント-Collaborative AI Revolutionizing Busines...協働AIがもたらす業務効率革命 -日本企業が押さえるべきポイント-Collaborative AI Revolutionizing Busines...
協働AIがもたらす業務効率革命 -日本企業が押さえるべきポイント-Collaborative AI Revolutionizing Busines...
 
ろくに電子工作もしたことない人間がIoT用ミドルウェアを作った話(IoTLT vol112 発表資料)
ろくに電子工作もしたことない人間がIoT用ミドルウェアを作った話(IoTLT  vol112 発表資料)ろくに電子工作もしたことない人間がIoT用ミドルウェアを作った話(IoTLT  vol112 発表資料)
ろくに電子工作もしたことない人間がIoT用ミドルウェアを作った話(IoTLT vol112 発表資料)
 
なぜそのDDDは効果が薄いのか?名ばかりDX案件での経験を踏まえて培った他の思考を交えた現代風?のDDD
なぜそのDDDは効果が薄いのか?名ばかりDX案件での経験を踏まえて培った他の思考を交えた現代風?のDDDなぜそのDDDは効果が薄いのか?名ばかりDX案件での経験を踏まえて培った他の思考を交えた現代風?のDDD
なぜそのDDDは効果が薄いのか?名ばかりDX案件での経験を踏まえて培った他の思考を交えた現代風?のDDD
 
ハイブリッドクラウド研究会_Hyper-VとSystem Center Virtual Machine Manager セッションMM
ハイブリッドクラウド研究会_Hyper-VとSystem Center Virtual Machine Manager セッションMMハイブリッドクラウド研究会_Hyper-VとSystem Center Virtual Machine Manager セッションMM
ハイブリッドクラウド研究会_Hyper-VとSystem Center Virtual Machine Manager セッションMM
 
Microsoft Azureで生成AIを使ってみた話 2024/6/14の勉強会で発表されたものです。
Microsoft Azureで生成AIを使ってみた話 2024/6/14の勉強会で発表されたものです。Microsoft Azureで生成AIを使ってみた話 2024/6/14の勉強会で発表されたものです。
Microsoft Azureで生成AIを使ってみた話 2024/6/14の勉強会で発表されたものです。
 
ヒアラブルへの入力を想定したユーザ定義型ジェスチャ調査と IMUセンサによる耳タッチジェスチャの認識
ヒアラブルへの入力を想定したユーザ定義型ジェスチャ調査と IMUセンサによる耳タッチジェスチャの認識ヒアラブルへの入力を想定したユーザ定義型ジェスチャ調査と IMUセンサによる耳タッチジェスチャの認識
ヒアラブルへの入力を想定したユーザ定義型ジェスチャ調査と IMUセンサによる耳タッチジェスチャの認識
 
生成AIの実利用に必要なこと-Practical Requirements for the Deployment of Generative AI
生成AIの実利用に必要なこと-Practical Requirements for the Deployment of Generative AI生成AIの実利用に必要なこと-Practical Requirements for the Deployment of Generative AI
生成AIの実利用に必要なこと-Practical Requirements for the Deployment of Generative AI
 
無形価値を守り育てる社会における「デー タ」の責務について - Atlas, Inc.
無形価値を守り育てる社会における「デー タ」の責務について - Atlas, Inc.無形価値を守り育てる社会における「デー タ」の責務について - Atlas, Inc.
無形価値を守り育てる社会における「デー タ」の責務について - Atlas, Inc.
 
iMacwoSu_Gong_de_barabaranishitaHua_.pptx
iMacwoSu_Gong_de_barabaranishitaHua_.pptxiMacwoSu_Gong_de_barabaranishitaHua_.pptx
iMacwoSu_Gong_de_barabaranishitaHua_.pptx
 

20210216 AWS Black Belt Online Seminar AWS Database Migration Service

  • 1. © 2021, Amazon Web Services, Inc. or its Affiliates. AWS 公式 Webinar https://amzn.to/JPWebinar 過去資料 https://amzn.to/JPArchive 内山 義夫 2021/2/16 [AWS Black Belt Online Seminar] AWS Database Migration Service サービスカットシリーズ
  • 2. © 2021, Amazon Web Services, Inc. or its Affiliates. AWS Black Belt Online Seminar とは 「サービス別」「ソリューション別」「業種別」のそれぞれのテーマに分かれて、アマゾ ン ウェブ サービス ジャパン株式会社が主催するオンラインセミナーシリーズです。 質問を投げることができます! • 書き込んだ質問は、主催者にしか見えません • 今後のロードマップに関するご質問は お答えできませんのでご了承下さい ① 吹き出しをクリック ② 質問を入力 ③ Sendをクリック Twitter ハッシュタグは以下をご利用ください #awsblackbelt
  • 3. © 2021, Amazon Web Services, Inc. or its Affiliates. 内容についての注意点 • 本資料では2021 年 2 月 16 日現在のサービス内容および価格についてご説明しています。最新の情報はAWS公 式ウェブサイト(http://aws.amazon.com)にてご確認ください。 • 資料作成には十分注意しておりますが、資料内の価格とAWS公式ウェブサイト記載の価格に相違があった場合、 AWS公式ウェブサイトの価格を優先とさせていただきます。 • 価格は税抜表記となっています。日本居住者のお客様には別途消費税をご請求させていただきます。 • AWS does not offer binding price quotes. AWS pricing is publicly available and is subject to change in accordance with the AWS Customer Agreement available at http://aws.amazon.com/agreement/. Any pricing information included in this document is provided only as an estimate of usage charges for AWS services based on certain information that you have provided. Monthly charges will be based on your actual use of AWS services, and may vary from the estimates provided.
  • 4. © 2021, Amazon Web Services, Inc. or its Affiliates. 自己紹介 内山 義夫 アマゾン ウェブ サービス ジャパン株式会社 データベース ソリューションアーキテクト 好きなAWSサービス • Amazon Aurora/RDS • AWS Database Migration Service
  • 5. © 2021, Amazon Web Services, Inc. or its Affiliates. 本日のアジェンダ • イントロダクション • AWS Database Migration Service概要 • DMSアーキテクチャ • DMSアーキテクチャ(SourceがOracleの場合) • レプリケーションインスタンスのサイジング • DMSの機能 • 最後に • まとめ
  • 6. © 2021, Amazon Web Services, Inc. or its Affiliates. イントロダクション
  • 7. © 2021, Amazon Web Services, Inc. or its Affiliates. Relational databases Non-relational databases Amazon Aurora Amazon Keyspaces Amazon RDS Amazon DocumentDB Amazon ElastiCache オンプレミスや自己管理しているデータベースをフルマネージドサービスに フルマネージドデータベースへの移行
  • 8. © 2021, Amazon Web Services, Inc. or its Affiliates. 移行する理由 インフラストラクチャ • ハードウェアのEOL • 冗長性や自動化の欠如 • 異なるレイヤーでの障害 拡張性 • インスタンスサイズの変更 • リージョンを超えたスケール コスト最適化 • 使った分だけ課金 • オープンソースでライセンスコスト削減 • フルマネージドデータベース 革新性 • データベースのモダナイズ • ワークロードに最適なデータベース の選択
  • 9. © 2021, Amazon Web Services, Inc. or its Affiliates. 計画 移行 運用 ディスカバリ 設計 変換 移行 運用 最適化  AWS Migration Hub  AWS TSO Logic  AWS TCO Calculator  AWS Application Discovery Service  Cloud Endure Migration  AWS Server Migration Service  AWS Database Migration Service  AWS Schema Conversion Tool  AWS Data Sync  AWS Transfer for SFTP  AWS Systems Manager  AWS Config  AWS CloudFormation  AWS CloudWatch  AWS CloudTrail  AWS Service Catalog 移行プロセスを支えるAWSサービス
  • 10. © 2021, Amazon Web Services, Inc. or its Affiliates. AWS Database Migration Service概要
  • 11. © 2021, Amazon Web Services, Inc. or its Affiliates. AWS Database Migration Service(DMS) • DBのデータ連携を支援するサービス • セットアップ・利用が容易 • 使った分だけの安価な費用 • 異機種間のデータ連携も対応 • テーブル定義を補助するツールの提供 • 低負荷で継続的なレプリケーション
  • 12. © 2021, Amazon Web Services, Inc. or its Affiliates. 同種/異種データベース間での移行 AWS DMS AWS DMS AWS DMS Amazon S3 Amazon Aurora
  • 13. © 2021, Amazon Web Services, Inc. or its Affiliates. マイクロサービスアーキテクチャでの使用 AWS DMS Amazon S3 Amazon Redshift Amazon Aurora Amazon Kinesis Data Streams Amazon ES
  • 14. © 2021, Amazon Web Services, Inc. or its Affiliates. 一般的なユースケース Migrate • ミッションクリティカルアプリケーションの移行 • データウェアハウスをRedshiftへ 移行 • メジャー/マイナーバージョンアップグレード • シャードをAmazon Auroraに集約 • 過去データをAmazon S3へアーカイブ • NoSQLからSQL, SQLからNoSQL, NoSQLから NoSQLへの 移行 • クロスリージョンリードレプリカの作成 • クラウドでアナリティクスの実行 • データレイクへの転送 • ストリーミングプラットフォームへのレプリケーション Replicate
  • 15. © 2021, Amazon Web Services, Inc. or its Affiliates. DMSでサポートされているデータベース Sources Targets Relational NoSQL Analytics Data warehouse* Amazon Aurora Amazon Aurora Amazon DynamoDB Amazon DocumentDB (with MongoDB compatibility) Amazon Redshift Amazon S3 AWS Snowball Amazon S3 Amazon Elasticsearch Service (Amazon ES) Amazon Kinesis Data Streams * Supported via SCT data extractors Amazon Managed Streaming for Kafka
  • 16. © 2021, Amazon Web Services, Inc. or its Affiliates. 対応データベース詳細(ソース) プラットフォーム バージョン 備考 Oracle Database 10.2 以降 (バージョン 10.x)、11g、12.2、 18c、および 19c まで Microsoft SQL Server 2005、2008、2008R2、2012、2014、 2016、2017、2019 CDCはEnterprise、Developer、 Standard(2016 SP1以降) MySQL 5.5,5.6,5.7,8.0 MariaDB 10.0.24 から 10.0.28、10.1、10.2、10.3、 10.3.13、10.4 - PostgreSQL 9.4 以降 (バージョン 9.x 用)、10.x、11.x、 および 12.x CDCは論理レプリケーションを設定できる 場合のみ使用可能(RDSは 9.4.9 以降お よび 9.5.4 以降、Auroraは10.6以降) MongoDB 3.X、4.0 SAP ASE 12.5、15、15.5、15.7、16 以降 IBM DB2 9.7、10.1、10.5、11.1 Microsoft Azure SQL Database すべて CDCには未対応 S3 すべて https://docs.aws.amazon.com/ja_jp/dms/latest/userguide/CHAP_Source.html
  • 17. © 2021, Amazon Web Services, Inc. or its Affiliates. 対応データベース詳細(ターゲット) プラットフォーム バージョン 備考 Oracle Database 10g、11g、12c、18c、19c Microsoft SQL Server 2005、2008、2008R2、2012、 2014、2016、2017、2019 MySQL 5.5,5.6,5.7,8.0 MariaDB 10.0.24 から 10.0.28、10.1、10.2、 10.3、10.3.13、10.4 PostgreSQL 9.4 以降 (バージョン 9.x 用)、10.x、 11.x、および 12.x 10.12 と互換性のある PostgreSQL のターゲットとして使用 MongoDB 3.X、4.0 SAP ASE 15、15.5、15.7、16 以降 IBM DB2 9.7、10.1、10.5、11.1 S3,Amazon Redshift,Amazon DynamoDB,Kinesis Data Streams,Apache Kafka,Amazon Elasticsearch Service,Amazon DocumentDB,Amazon Neptune すべて https://docs.aws.amazon.com/ja_jp/dms/latest/userguide/CHAP_Introduction.Targets.html
  • 18. © 2021, Amazon Web Services, Inc. or its Affiliates. DMSアーキテクチャ
  • 19. © 2021, Amazon Web Services, Inc. or its Affiliates. 一般的なレプリケーション方式 TARGET SOURCE --- --- --- • ソースデータベースで作成されたトランザク ションログファイルをターゲットに転送し、 ターゲットに適用 • データベースのリカバリと同等 --- --- --- トランザクション ログファイル トランザクション ログファイル 物理レプリケーション 論理レプリケーション TARGET SOURCE --- --- --- • ソースデータベースで作成されたトランザク ションログファイルからDMLを作成し、ター ゲットに適用 • 1つのアプリケーション トランザクション ログファイル INSERT 1 INSERT 2
  • 20. © 2021, Amazon Web Services, Inc. or its Affiliates. レプリケーション方式の違い 物理レプリケーション 論理レプリケーション レプリケーション方式 トランザクションログをターゲットに適用 トランザクションログからDMLを作成しター ゲットに適用 連携単位 データベース単位 テーブル単位 データの整合性 差が発生する可能性が低い 差が発生する可能性がある Ex) ターゲット側への更新エラー 文字の文字化け ユーザーによるターゲット側更新 主な制約 ソース、ターゲットでバージョンが同じであ る必要がある 単位はデータベース単位であり、特定のテー ブルを指定することができない テーブルデータとテーブル定義、一部制約の み連携される (製品により異なる) ターゲット側への処理 参照のみ 参照・更新可能 主な製品・サービス DBエンジンの機能 - Oracle DataGuard - PostgreSQL ストリーミングレプリケー ション AWS Database Migration Service Oracle GoldenGate Qlik Replicate
  • 21. © 2021, Amazon Web Services, Inc. or its Affiliates. DMSの連携対象 • DMSで作成されるオブジェクトはテーブルと主キーなどの一部の制約のみ • インデックスやプロシージャ、ビューはターゲット側に手動で反映する必要がある • DRのような同一構成を維持する必要がある場合、ソース、ターゲット両方のデータベースにオブジェ クトを作成する必要がある TARGET SOURCE --- --- --- トランザクション ログファイル INSERT 1 INSERT 2 制約 インデックス プロシージャ ビュー テーブル 制約 インデックス プロシージャ ビュー テーブル
  • 22. © 2021, Amazon Web Services, Inc. or its Affiliates. DMSアーキテクチャ • フルロード • 既存データの連携 • CDC(Change Data Capture) • 更新差分データの連携
  • 23. © 2021, Amazon Web Services, Inc. or its Affiliates. メモリ FULL Load 既存データの連携 TARGET AWS DMS SOURCE 1.SOURCE_UNLOAD 2.TARGET_LOAD --- --- --- CSVファイル 1. ソースのデータベースに対してselect を実行(1万件毎)し、データをアンロード(SOURCE_UNLOAD) テーブルは複数テーブルを同時にアンロード(デフォルト8テーブル) 2. ターゲットのデータベースに対してデータをロード(TARGET_LOAD)。ロード方法はターゲットのエンジンにより異なる。 Oracle,SQL Serverはメモリ上のデータを直接ターゲットにロード、MySQL,PostgreSQLはCSVファイルに出力後ロード。 ※フルロード中に発生した更新差分データは受信バッファで保持 受信バッファ INSERT 1 INSERT 2 INSERT 1 INSERT 2 INSERT 1 COMMIT INSERT 2 トランザクション ログファイル ユーザーA ユーザーB
  • 24. © 2021, Amazon Web Services, Inc. or its Affiliates. メモリ CDC(Change Data Capture) 更新差分データの連携 TARGET AWS DMS SOURCE 1. ソースで発生したデータ変更は受信バッファにキャプチャ(SOURCE_CAPTURE) 2. CDC において、ソースからターゲットへキャプチャされたデータ変更を仲介するバッファ(SORTER) Ex) COMMITの順番にソート、COMMIT済みのデータのみ送信バッファに移動など 3. 送信バッファにキャプチャされたデータ変更をターゲットへ適用(TARGET_APPLY) 受信バッファ 送信バッファ トランザクション ログファイル 1.SOURCE_CAPTURE 3.TARGET_APPLY 2.SORTER INSERT 1 COMMIT INSERT 2 INSERT 1 INSERT 2 INSERT 1 INSERT 2 INSERT 1 INSERT 2 INSERT 1 INSERT 1 ユーザーA ユーザーB
  • 25. © 2021, Amazon Web Services, Inc. or its Affiliates. トランザクションログのキャプチャに必要な条件 • Oracle Database • ARCHIVELOGモード and FORCE LOGGING • サプリメンタルロギング • https://docs.aws.amazon.com/ja_jp/dms/latest/userguide/CHAP_Source.Oracle.html • Microsoft SQL Server • MS-Replication or MS-CDC • https://docs.aws.amazon.com/ja_jp/dms/latest/userguide/CHAP_Source.SQLServer.html • MySQL • binlog_format=ROWのバイナリログ • https://docs.aws.amazon.com/ja_jp/dms/latest/userguide/CHAP_Source.MySQL.html • PostgreSQL • 論理レプリケーション • https://docs.aws.amazon.com/ja_jp/dms/latest/userguide/CHAP_Source.PostgreSQL.html
  • 26. © 2021, Amazon Web Services, Inc. or its Affiliates. DMSアーキテクチャ(SourceがOracleの場 合)
  • 27. © 2021, Amazon Web Services, Inc. or its Affiliates. ソースがOracleの場合のログ読み取り方式 • LogMiner • オンライン REDO ログとアーカイブ REDO ログファイルを読み取る Oracle API • DMSのデフォルト • Binary Reader • REDO ログファイルを DMSが直接解析(BFILE で取得) • DMS独自の方式
  • 28. © 2021, Amazon Web Services, Inc. or its Affiliates. ORDER_LINEテーブルを指定した例 Logminer アーキテクチャ(CDC) AWS DMS SOURCE ① 要求 ④ 転送 ORDERS ORDER_LINE ③ フィルター INSERT 1 INSERT 2 REDO/アーカイブ ログファイル INSERT 1 INSERT 2 INSERT 1 INSERT 2 INSERT 2 INSERT 2 ② 更新情報取得 ユーザーA ユーザーB
  • 29. © 2021, Amazon Web Services, Inc. or its Affiliates. Logminerのポイント • ログの解析はソース側のDBサーバー • REDOログやアーカイブログファイルを解析してSQL文を作成する処理は ソース側のDBサーバー上で実行 • REDOログへの更新が多い場合、解析処理によるDBサーバーの負荷がかかる 可能性有 • ネットワークの転送量は指定したテーブルのみ • ソースデータベースからレプリケーションインスタンスへの転送は、DMSで 指定したテーブルのみ • テーブルを指定することで、ネットワーク転送量を抑えることが可能 • ASM使用有無に依存しない • Logminerの場合、ファイルシステムとASMで設定や転送方式に差異はない
  • 30. © 2021, Amazon Web Services, Inc. or its Affiliates. Binary Reader アーキテクチャ ORDER_LINEテーブルを指定した例 AWS DMS SOURCE ① 要求 ORDERS ORDER_LINE INSERT 1 INSERT 2 REDO/アーカイブ ログファイル INSERT 1 INSERT 2 INSERT 1 INSERT 2 ② 転送 INSERT 2 ユーザーA ユーザーB INSERT 1 INSERT 2 ④ フィルター ③ 更新情報取得
  • 31. © 2021, Amazon Web Services, Inc. or its Affiliates. Binary Readerのポイント • ログの解析はレプリケーションインスタンス • REDOログやアーカイブログファイルを解析する処理はレプリケーションイン スタンス側で実行 • Logminerと比較してDBサーバーへの負荷は低い • ネットワークの転送はログファイル全体 • ソースデータベースからレプリケーションインスタンスへは、REDOログファ イル、アーカイブログファイルを転送 • タスクでテーブルを指定しても、ネットワーク転送量は削減できない • タスク毎にログファイルを転送する為、タスクを複数作成するとタスク毎にロ グファイルが転送されてしまい、ネットワーク転送が増大する可能性がある • ASM使用有無で内部処理が異なる • ASMの場合、ASM用のAPIで転送
  • 32. © 2021, Amazon Web Services, Inc. or its Affiliates. ASM Binary Reader アーキテクチャ(ASM) ORDER_LINEテーブルを指定した例 AWS DMS SOURCE ① 要求 ORDERS ORDER_LINE INSERT 1 INSERT 2 REDO/アーカイブ ログファイル INSERT 1 INSERT 2 INSERT 1 INSERT 2 ④ フィルター ② 転送( ASM API) INSERT 2 ユーザーA ユーザーB INSERT 1 INSERT 2 ③ 更新情報取得
  • 33. © 2021, Amazon Web Services, Inc. or its Affiliates. Oracle ASM時のチューニング • DMS 3.1以前のバージョン • ASMのAPI が1回の呼び出しで最大 32KB で読み取る為、パフォーマンスが 出ないケースも • CopyToTempFolderを指定することでパフォーマンス改善 • https://aws.amazon.com/jp/blogs/news/how-to-migrate-from-oracle- asm-to-aws-using-aws-dms/ • DMS 3.3.0以降のバージョン • 並列スレッド数 (parallelASMReadThreads) および先読みバッファ数 (readAheadBlocks) を追加の接続属性に指定することよりパフォーマンス が向上 • Ex) useLogMinerReader=N;useBfile=Y;asm_user=asm_username;asm_ser ver=RAC_server_ip_address:port_number/+ASM; parallelASMReadThreads=6;readAheadBlocks=150000;
  • 34. © 2021, Amazon Web Services, Inc. or its Affiliates. LogminerとBinary Readerの比較 機能 LogMiner(ログマイナー) Binary Reader 設定が簡単 はい いいえ ソースシステムの I/O および CPU への影響 を下げる いいえ はい CDC パフォーマンスの向上 いいえ はい Oracle テーブルクラスターをサポート はい いいえ すべてのタイプの Oracle Hybrid Columnar Compression (HCC) をサポートします。 はい 部分的 Binary Reader は、CDC を使用するタ スクで QUERY LOW をサポートしてい ません。他のすべての HCC タイプは完 全にサポートされています。 Oracle 12c での LOB 列のサポート いいえ はい LOB 列にのみ影響を与える UPDATE ステー トメントをサポート いいえ はい Oracle 透過的データ暗号化 (TDE) をサポー ト はい 部分的 Binary Reader は、セルフマネージド 型 Oracle データベースに対してのみ TDE をサポートします。 すべての Oracle 圧縮方法をサポートします。はい いいえ pluggable database(PDB)をサポートしま す。 いいえ はい https://docs.aws.amazon.com/ja_jp/dms/latest/userguide/CHAP_Source.Oracle.html#CHAP_Source.Oracle.CDC
  • 35. © 2021, Amazon Web Services, Inc. or its Affiliates. LogMinerとBinary Readerの使い分け • デフォルトであるLogminerの使用を第一候補に検討 • 以下のようなケースでは、Binary Readerを検討 • LogMinerの制約に該当する場合(LOBの使用等) • ソースDBへの負荷を抑えたい場合 • REDOログの生成量が多く、レプリケーションラグが発生する場合 • Binary Readerを使用する際の注意 • ネットワーク転送量が多くなる可能性がある • 同一ソースに対して複数タスクを作成すると、タスク毎にログを転送する • ASMの場合、parallelASMReadThreadsとreadAheadBlocksを指定する
  • 36. © 2021, Amazon Web Services, Inc. or its Affiliates. レプリケーションインスタンスのサイジング
  • 37. © 2021, Amazon Web Services, Inc. or its Affiliates. レプリケーションインスタンスのサイジング • レプリケーションインスタンスのサイジングはテーブル数、データ量、変更 差分の量等様々な要因に依存する為、事前に決定することは難しい • 検証を実施して最適なインスタンスタイプを確認する必要がある • サイジングに影響する要因について理解しておく • CPU • メモリ • ディスク • ネットワーク
  • 38. © 2021, Amazon Web Services, Inc. or its Affiliates. ユーザーA ユーザーB メモリ サイジングへの影響(CPU、メモリ) TARGET AWS DMS SOURCE SOURCE_UNLOAD TARGET_LOAD --- --- --- CSVファイル 受信バッファ INSERT 1 INSERT 2 INSERT 1 INSERT 2 INSERT 1 COMMIT INSERT 2 トランザクション ログファイル メモリ ・FULL Loadの結果のキャッシュ ※FULL Loadは並列で実行(デフォルト8テーブル) ※キャッシュ量はテーブルサイズに依存 ・CDCのキャッシュ ※FULL Load中のCDCもキャッシュ ※FULL Load時間が長い場合、キャッシュ量も 増加する可能性有 CPU ・FULL Loadによるテーブルデータの並列転送 ・大量のトランザクションログの更新 ※バッチ処理等による大量のトランザクションログの更新 により転送量が増大する可能性
  • 39. © 2021, Amazon Web Services, Inc. or its Affiliates. メモリ サイジングへの影響(ディスク) TARGET SOURCE SOURCE_UNLOAD TARGET_LOAD --- --- --- CSVファイル 受信バッファ INSERT 1 INSERT 2 INSERT 1 INSERT 2 INSERT 1 COMMIT INSERT 2 トランザクション ログファイル ・FULL LoadのデータをCSVに出力 ・出力したCSVをターゲットにImport ・DMSのログファイル (デバッグモード時にログ量増加) --- --- --- ・メモリ不足時に、バッファ情報を ファイルに出力 ※フルロード時やソース側DBで長い トランザクションが実行された時に 発生しやすい --- --- --- DMSの ログファイル AWS DMS ユーザーA ユーザーB
  • 40. © 2021, Amazon Web Services, Inc. or its Affiliates. メモリ サイジングへの影響(ネットワーク) TARGET SOURCE SOURCE_UNLOAD TARGET_LOAD --- --- --- CSVファイル 受信バッファ INSERT 1 INSERT 2 INSERT 1 INSERT 2 INSERT 1 COMMIT INSERT 2 トランザクション ログファイル ・FULL Loadデータの転送 ※FULL Load時の並列数に依存 ・CDCの転送 ※バッチ処理等による大量のトランザクションログの更新 により増大する可能性有 ※Binary Readerの場合、ログファイルを転送する 為、転送量が増加する可能性有 ※複数タスクを作成した場合、タスク毎に転送が発生 AWS DMS ユーザーA ユーザーB
  • 41. © 2021, Amazon Web Services, Inc. or its Affiliates. サイジングに向けた情報収集 • サイジングで監視すべきメトリクス • CPU • CPUUtilization • メモリ • FreeableMemory • SwapUsage • ディスク • FreeStorageSpace • ネットワーク • NetworkTransmitThroughput • NetworkReceiveThroughput • レプリケーションラグ • CDCLatencySource • CDCLatencyTarget
  • 42. © 2021, Amazon Web Services, Inc. or its Affiliates. DMSの機能
  • 43. © 2021, Amazon Web Services, Inc. or its Affiliates. DMSの機能 DMSによるレプリケーション対象の制御 • 選択ルール • 変換ルール 移行後のデータ比較 • 移行タスクの検証
  • 44. © 2021, Amazon Web Services, Inc. or its Affiliates. • 行のフィルタ • 列の削除 選択ルール ID >= 3 remove coloumn:stocks ID name stocks 1 apple 100 2 banama 300 3 grape 80 4 mango 20 ID name stocks 3 grape 80 4 Mango 20 ID name stocks 1 apple 100 2 banama 300 3 grape 80 4 mango 20 ID name 1 apple 2 banama 3 grape 4 mango total_stocksテーブル
  • 45. © 2021, Amazon Web Services, Inc. or its Affiliates. • 条件毎に別テーブルに移行 参考) 条件を指定したルール task1 ID <= 1000:total_stock_a task2 ID >= 1001:total_stock_b ID name stocks 1 apple 100 2 banama 300 3 grape 80 4 mango 20 1001 tomato 2 1002 lettuce 1 1003 cabbage 3 1004 carrot 1 ID name stocks 1001 tomato 2 1002 lettuce 1 1003 cabbage 3 1004 carrot 1 ID name stocks 1 apple 100 2 banama 300 3 grape 80 4 mango 20 total_stocksテーブル total_stocks_aテーブル total_stocks_bテーブル
  • 46. © 2021, Amazon Web Services, Inc. or its Affiliates. • テーブル名の変更 • 列名の変更 変換ルール ID name stocks 1 apple 100 2 banama 300 3 grape 80 4 mango 20 total_stocksテーブル ID name stocks 1 apple 100 2 banama 300 3 grape 80 4 mango 20 total_stocks_2021テーブル ID name stocks 1 apple 100 2 banama 300 3 grape 80 4 mango 20 ID product stocks 1 apple 100 2 banama 300 3 grape 80 4 mango 20
  • 47. © 2021, Amazon Web Services, Inc. or its Affiliates. • ターゲットのテーブルに式を使用して列を追加 • "value": "Full_name", • "expression": "$First_name||'_’||$Last_name" 変換ルール customers customers ID First_name Last_name 1 Donald Trump 2 Barack Obama 3 George Bush 4 William Clinton ID First_name Last_name Full_name 1 Donald Trump Donald Trump 2 Barack Obama Barack Obama 3 George Bush George Bush 4 William Clinton William Clinton
  • 48. © 2021, Amazon Web Services, Inc. or its Affiliates. 移行後のデータ比較 • タスクの検証 • データがソースからターゲットに正確に移行されたことを確認 • Full Load時、CDC時のどちらでも検証可能
  • 49. © 2021, Amazon Web Services, Inc. or its Affiliates. タスクの検証 FULL Load時 TARGET AWS DMS SOURCE データをパーティションという単位で分割し、分割したパーティション毎に検証 パーティションはデフォルトで10,000(PartitionSize) Defaultでは5スレッドで実行(ThreadCount) 検証した結果差異が発生した場合、awsdms_validation_failures_v1テーブルに診断情報を格納 検証 awsdms_validation_failures_v1 検証結果を格納 検証 検証
  • 50. © 2021, Amazon Web Services, Inc. or its Affiliates. タスクの検証 Change Data Capture時 TARGET SOURCE 変更された行のみ検証 検証した結果差異が発生した場合、awsdms_validation_failures_v1テーブルに診断情報を格納 変更行が多い場合、フルロードと同じようなパーティション単位で検証 awsdms_validation_failures_v1 検証 検証 検証結果を格納 AWS DMS
  • 51. © 2021, Amazon Web Services, Inc. or its Affiliates. タスクの検証の主な制限事項 • テーブルに主キー/一意キーが存在している必要がある • ソース側、ターゲット側のデータベースに負荷がかかる可能性がある • 検証用のクエリが実行される為 • DMSでフィルタリングを使用している場合や、複数のデータベースを1つ に統合する場合、検証できない • ターゲットデータベースがDMS以外で変更された場合、検証できない • 検証中に1行かそれ以上の行が継続的に変更されている場合、それらの行 を検証できない • 検証中に 10,000 (FailureMaxCount) 件を超える Failed/Suspended が検 出されると、検証が停止 https://docs.aws.amazon.com/ja_jp/dms/latest/userguide/CHAP_Validating.html#CHAP_Validating.Limitations
  • 52. © 2021, Amazon Web Services, Inc. or its Affiliates. 最後に
  • 53. © 2021, Amazon Web Services, Inc. or its Affiliates. DMSの制限(ソース) • Oracleをソースとして使用する場合の制限 • https://docs.aws.amazon.com/ja_jp/dms/latest/userguide/CHAP_Source.Oracle.html#CH AP_Source.Oracle.CDC • SQL Serverをソースとして使用する場合の制限 • https://docs.aws.amazon.com/ja_jp/dms/latest/userguide/CHAP_Source.SQLServer.html #CHAP_Source.SQLServer.Limitations • MySQLをソースとして使用する場合の制限 • https://docs.aws.amazon.com/ja_jp/dms/latest/userguide/CHAP_Source.MySQL.html#C HAP_Source.MySQL.Limitations • PostgreSQLをソースとして使用する場合の制限 • https://docs.aws.amazon.com/ja_jp/dms/latest/userguide/CHAP_Source.PostgreSQL.htm l#CHAP_Source.PostgreSQL.Limitations
  • 54. © 2021, Amazon Web Services, Inc. or its Affiliates. DMSの制限(ターゲット) • Oracleをターゲットとして使用する場合の制限 • https://docs.aws.amazon.com/ja_jp/dms/latest/userguide/CHAP_Target.Oracle.html#CH AP_Target.Oracle.Limitations • SQL Serverをターゲットとして使用する場合の制限 • https://docs.aws.amazon.com/ja_jp/dms/latest/userguide/CHAP_Target.SQLServer.html #CHAP_Target.SQLServer.Limitations • MySQLをターゲットとして使用する場合の制限 • https://docs.aws.amazon.com/ja_jp/dms/latest/userguide/CHAP_Target.MySQL.html#CH AP_Target.MySQL.Limitations • PostgreSQLをターゲットとして使用する場合の制限 • https://docs.aws.amazon.com/ja_jp/dms/latest/userguide/CHAP_Target.PostgreSQL.html #CHAP_Target.PostgreSQL.Limitations • Redshiftをターゲットとして使用する場合の制限 • https://docs.aws.amazon.com/ja_jp/dms/latest/userguide/CHAP_Target.Redshift.html#C HAP_Target.Redshift.Limitations
  • 55. © 2021, Amazon Web Services, Inc. or its Affiliates. トラブルシューティング(1/2) • トラブル発生時の原因調査の為に、CloudWatchログを有効化することを推奨 • 制御テーブルを設定して、タスクに関する情報を収集しておくことでより詳細 な情報を取得可能(デフォルトではawsdms_apply_exceptionsのみ有効)
  • 56. © 2021, Amazon Web Services, Inc. or its Affiliates. トラブルシューティング(2/2) • トラブルが解決しない場合はAWSサポートまでお問い合わせ下さい。お問い合 わせの際に以下にある診断スクリプトで情報を収集頂くと調査がスムーズに進 みます。 • https://docs.aws.amazon.com/dms/latest/userguide/CHAP_SupportScripts.html
  • 57. © 2021, Amazon Web Services, Inc. or its Affiliates. t3.micro: 0.028USD/時 から r4.8xlarge: 3.97USD/時 までの33種類 マルチAZの場合は2倍 汎用 (SSD) ストレージ:0.138USD/GB/月 マルチAZの場合は2倍 受信: 無料 同一AZ内への送信: 無料 別AZへの送信: 0.01USD/GB 別リージョンへの送信: 0.09USD/GB インターネットへの送信(9.999 TB以下): 0.114USD/GB 東京リージョンでの料金 インスタンス + ストレージ + データ転送
  • 58. © 2021, Amazon Web Services, Inc. or its Affiliates. まとめ
  • 59. © 2021, Amazon Web Services, Inc. or its Affiliates. まとめ • データベースの移行やレプリケーションでデータベース間でデータを連携し たい場合、AWS Database Migration Serviceを利用すると解決できます • 同一データベースのアップグレードや異なるデータベースエンジン間での データ連携も可能 • 触ってみたいと思われた方は、公開されているハンズオンで試してみてくだ さい https://bit.ly/38yI4ph
  • 60. © 2021, Amazon Web Services, Inc. or its Affiliates. Q&A お答えできなかったご質問については AWS Japan Blog https://aws.amazon.com/jp/blogs/news/ に 後日掲載します。
  • 61. © 2021, Amazon Web Services, Inc. or its Affiliates. AWS の日本語資料の場所「AWS 資料」で検索 https://amzn.to/JPArchive
  • 62. © 2021, Amazon Web Services, Inc. or its Affiliates. で[検索] AWS イベント 毎週”W-A個別技術相談会”を実施中 • AWSのソリューションアーキテクト(SA)に 対策などを相談することも可能 • 申込みはイベント告知サイトから (https://aws.amazon.com/jp/about-aws/events/) AWS Well-Architected 個別技術相談会
  • 63. © 2021, Amazon Web Services, Inc. or its Affiliates. AWS 公式 Webinar https://amzn.to/JPWebinar 過去資料 https://amzn.to/JPArchive ご視聴ありがとうございました