RDS詳細 -ほぼ週刊AWSマイスターシリーズ第8回-

AWSマイスターシリーズAWS マイスターシリーズ～ Amazon RDS～ RDS ～ 2011年11月16日大谷晋平（ @shot6）ソリューションアーキテクト

ほぼ週刊AWSマイスターシリーズへようこそ！~GoToMeetingの使い方～参加者は、自動的にミュートになっています質問を投げることができます！ GoToMeetingのチャットの仕組みを使って、随時書き込んでくださいただし環境によっては、日本語の直接入力ができないので、お手数ですが、テキストエディタ等に打ち込んでから、貼り付けててください最後のＱ＆Ａの時間で、できるだけ回答させて頂きます書き込んだ質問は、主催者にしか見えません Twitterのハッシュタグは#jawsugでどうぞ Copyright © 2011 Amazon Web Services

セミナーWebセミナーほぼ週刊AWSマイスターシリーズ（全回?）ほぼ週刊マイスターシリーズ（全11回）マイスターシリーズ（全 11/16 第08回 RDS 11/22 第09回 Elastic Beanstalk 11/30 第10回 EMR 12/07 第11回 SES And more 12/15 第12回 S系全部載せ！SQS/SimpleDB/SNS申し込みサイト http://aws.amazon.com/jp/event_schedule/

プレゼント @KenTamagawa画伯の本日のプレゼントは・・・左絵の中にもある超限定 AWSマグネットセット（基本ブロック）を差し上げます！

本スライドで使うアイコン RDS RDS RDS RDS Oracle RDS MySQL RDS マスタースレーブリードレプリカユーザークライアント Internet マネージメントコンソール

Amazon Relational Database Service(RDS)とは 7

AWSプラットフォーム【モバイルSDK】モバイルSDK】 SDK AWS SDK for 【分散処理】分散処理】【メール配信】メール配信】 Android & iOS Amzon Elastic Amazon SES MapReduce 【コンテナ管理】コンテナ管理】サービス AWS Elastic 【キューサービス】キューサービス】【プッシュサービス】プッシュサービス】 Beanstalk Amazon SQS Amazon SNS 【デプロイ管理】デプロイ管理】【RDBMS】 RDBMS】【NoSQL】 NoSQL】 CloudFormation データ Amazon SimpleDB Amazon RDS ベース【仮想ディスク】仮想ディスク】【ロードバランサー】ロードバランサー】 Amazon Elastic 【名前解決】名前解決】 Amazon Elastic Load Balancing Amazon Block store Route 53ネットワーク＆インフラ【仮想サーバ】仮想サーバ】【ストレージ】ストレージ】【コンテンツ配信】コンテンツ配信】 Amazon EC2 Amazon S3 CloudFront 【仮想ネットワーク】仮想ネットワーク】 Amazon VPC エッジデータセンターロケーション 8

Amazon RDSとは？ RDBMS in the Cloud MySQL, Oracle メンテナンスレススケーラブルで柔軟

Amazon RDSとは？- 詳細 -2009年に登場したクラウド上RDBMSサービス設定と運用が容易な”データベース in クラウド”EC2同様、管理の容易なDBサーバを数分で起動自動バックアップ、パッチ更新、レプリケーションおよびリードレプリカはAWSにお任せ既存MySQL/Oracleアプリケーションとツールが利用可能時間単位の従量課金 (DBインスタンスのクラスとリージョンで価格は変動) 10

自社構築 vs RDS OS ラックへ電源とNW NW HWの購入インス設置を設定トール RDBMS RDBMS レプリ RDBMS 基本設定インスケーショ稼働確認トールン設定

自社構築 vs RDSRDSだと RDSのオプアプリケーションをションを選ん書く！！で起動！

自社構築 vs. RDS数分で起動可能か？単一APIコールまたは数クリックでスケールが可能か？起動時に既に適切な設定がされているか？同期レプリケーションと自動フェイルオーバー(option)ポイントインタイムリカバリバックアップやクローンの為のDBスナップショット管理ハードウェアや完全な環境の制御自動パッチ更新(option)既存MySQL製品との互換性コスト0でダッシュボードでCPU/メモリ等メトリクス 13

RDSデモ

RDSの起動GUIからコマンドラインからSDKから

MySQLかOracleを選択(通常はOracle SEも見えます)

ライセンス指定ライセンス指定バージョンを指定 DBバージョンを指定バージョンをタイプを指定 DBタイプを指定タイプをマルチAZオプションオプション指定マルチオプション指定マイナーバージョン自動更新マイナーバージョン自動更新サイズ DBサイズ

データベース名データベース名ポート番号ポート番号アベイラビリティゾーンパラメーターグループ DBパラメーターグループセキュリティグループDBセキュリティグループ

自動バックアップ期間自動バックアップ期間バックアップ日時バックアップ時刻日時バックアップ時刻バックアップメンテナンス時刻メンテナンス時刻

パラメータの確認パラメータの確認

RDSコマンドラインRDS Command Line Tools http://aws.amazon.com/developertools/2928 最新版は1.4.007 (API 2011-04-01)Javaベース AWS_RDS_HOME/JAVA_HOME設定キーの提供アクセスキーのペア X.509の証明書

RDSコマンドラインrds-authorize-db-security-group-ingress rds-describe-db-snapshotsrds-create-db-instance rds-describe-engine-default-parametersrds-create-db-instance-read-replica rds-describe-eventsrds-create-db-parameter-group rds-describe-orderable-db-instance-optionsrds-create-db-security-group rds-describe-reserved-db-instancesrds-create-db-snapshot rds-describe-reserved-db-instances-offeringsrds-delete-db-instance rds-modify-db-instancerds-delete-db-parameter-group rds-modify-db-parameter-grouprds-delete-db-security-group rds-purchase-reserved-db-instances-offeringrds-delete-db-snapshot rds-reboot-db-instancerds-describe-db-engine-versions rds-reset-db-parameter-grouprds-describe-db-instances rds-restore-db-instance-from-db-snapshotrds-describe-db-parameter-groups rds-restore-db-instance-to-point-in-timerds-describe-db-parameters rds-revoke-db-security-group-ingressrds-describe-db-security-groups rds-version

コマンドラインからRDSを起動するrds-create-db-instance yourdb --allocated-storage 5 --db-instance-class db.m1.small --engine mysql --master-username admin --master-user-password admin --availability-zone ap-northeast-1a --db-name hogedb --db-security-groups default --engine-version 5.5.8 --multi-az false --region ap-northeast-1

RDSのSDK RDSの起動やメンテナンス等をSDKから行うことが出来る Java .NET PHP など

Javaから起動するpublic static void main(String[] args) throws IOException { AmazonRDS client = new AmazonRDSClient(…); client.setEndpoint("rds.ap-northeast-1.amazonaws.com"); CreateDBInstanceRequest req = new CreateDBInstanceRequest(); req.setDBInstanceIdentifier(“mydb"); req.setDBName(“mydb"); req.setMultiAZ(Boolean.FALSE); //マルチAZ設定 req.setDBInstanceClass(“db.m1.small”); //m1.smallを利用を req.setAllocatedStorage(new Integer(5)); // 5GB req.setDBSecurityGroups(Arrays.asList("default")); req.setEngine(“MySQL”); //MySQL 5.5.8を利用を req.setEngineVersion("5.5.8"); req.setMasterUsername("admin"); req.setMasterUserPassword("admin"); req.setAvailabilityZone(“ap-northeast-1a”);//AZを指定を //DBを作成するを作成する DBInstance result = client.createDBInstance(req);}

RDSのエンドポイントRegion Endpoint ProtocolUS East (Northern rds.us-east- HTTPSVirginia) Region 1.amazonaws.comUS West (Oregon) rds.us-west- HTTPSRegion 2.amazonaws.comUS West (Northern rds.us-west- HTTPSCalifornia) Region 1.amazonaws.comEU (Ireland) Region rds.eu-west- HTTPS 1.amazonaws.comAsia Pacific (Singapore) rds.ap-southeast- HTTPSRegion 1.amazonaws.comAsia Pacific (Tokyo) rds.ap-northeast- HTTPSRegion 1.amazonaws.com

RDS機能

RDS(MySQL) の全体アーキテクチャアベイラビリティゾーンA アベイラビリティゾーンB自動バック自動バックデータ同期データ同期アップアップ自動フェイルオーバー自動フェイルオーバー非同期レプリケーション非同期レプリケーションスナップシスナップショットョット 33

RDS(MySQL) アーキテクチャアベイラビリティゾーンA アベイラビリティゾーンB自動バック自動バックデータ同期データ同期アップアップ自動フェイルオーバー自動フェイルオーバー非同期レプリケーション非同期レプリケーションマルチAZデプロイメントスナップシスナップショットョット（マルチAZ） 34

マルチAZデプロイメントとは(マルチAZ)ワンクリックで適用可能な耐障害性耐障害性を高めるソ耐障害性リューション高い技術力を持つDBAが行っていた設計をそ DBA のままサービス化同期レプリケーション＋自動フェイルオーバアプリ側での対処は必要なしフェイルオーバのタイミングパッチ適用などのメンテナンス計画停止インスタンスやハードウェア障害 35

RDS(MySQL) アーキテクチャアベイラビリティゾーンA アベイラビリティゾーンB自動バック自動バックデータ同期データ同期アップアップ自動フェイルオーバー自動フェイルオーバー非同期レプリケーションリードレプリカレプリケーション非同期スナップシスナップショットョット 36

リードレプリカとは？特定DBインスタンスの読み込み用のコピー想定ユースケースリードのスケーリング、ビジネスレポートマルチAZの耐障害性の代替の機能ではないマルチAZとは異なり、MySQL本来の非同期レプリケーションをそのまま使う最大5台まで設定可能マルチAZとリードレプリカを併用はもちろん可能 37

RDS(MySQL) アーキテクチャアベイラビリティゾーンA アベイラビリティゾーンB 自動バックアップ機能自動バック自動バックデータ同期データ同期アップアップ自動フェイルオーバー自動フェイルオーバー非同期レプリケーション非同期レプリケーションスナップシスナップショットョット 38

自動バックアップ機能RDS標準装備1日1回＋トランザクションログ保存期間は最大8日間それ以降はスナップショット保存5分前までの任意の期間に復元可能 39

スケールアップ機能マネージメントコンソールからスケールアップ可能一度停止が必要コマンドラインからも勿論可能例：rds-modify-db-instance hogedb -c db.m1.large --apply-immediatelyCPUは1ECUから26ECUまでメモリは1.7GBから68GBまでディスクは5GBから1TBまで大量書き込みなどスケールアウトでの対処が難しい場合にスケールアップで対処可能増量できても削減できないので注意が必要 40

スケールアップ機能

スケールアップ機能・DBインスタンスのタイプインスタンスのタイプ・割り当てたストレージ量・マルチAZ ・マルチ・パラメータグループなど自由に変更可能

Oracle RDS

Oracle RDSとは 2011年Q2ロウンチ Oracle Database 11g Release 2 Oracle Database SE1, SE, EE + オプションパックライセンス持ち込み(BYOL) か従量課金(時間単位) 初期はシングルインスタンスでレプリケーションなどはすぐに機能追加の予定 OracleVMのハードパーティショニングで稼働 44

RDSのOracleサポートライセンス持ち込み(BYOL) RDS部分についてはAWSプレミアムサポート RDS AWS (インフラ部分含む) AWSがパッチとアップグレードを管理 Oracleデータベースに関してはOracleサポートIDを使ったOracle社のサポート従量課金ライセンス RDS部分およびOracleに関してもAWSプレミアムサポートでカバー 45

RDS価格

Amazon RDSプライシング MySQLの標準価格 47

Amazon RDSプライシング MySQLのMultiAZ価格 48

Amazon RDSプライシング Oracleの標準価格 AWSライセンス BYOL (ライセンス持込) 49

RDSプライシング注意点マルチAZでは価格は2倍になるストレージで$0.12/GB $0.12/GB IOで$0.12/100万リクエストバックアップ用ストレージは無料 RDS用リザーブドインスタンスもご提供 1年間、3年間のコミットによる価格を大幅削減 50

Oracle RDSプライシング複数ライセンスオプションが今後利用可能に既存のOracleライセンス OracleまたはOracleパートナーから新規にOracle ライセンスを購入 Amazonからの従量課金制での利用 Amazon RDSの2つのプライシングモデルオンデマンドな時間単位の従量課金モデル Amazon RDS リザーブドインスタンス 51

RDS事例

RDSのお客様代表事例

大規模事例 – gumi様ソーシャルゲーム提供 AWS上で開発・運用特にRDSを積極的にお使いいただいている

Gumiさんのサーバー構成 ELB App App サーバ App c1.xlarge サーバサーバ - 60台 Cache KVS KVS サーバサーバ同期サーバ m1.large m1.large RDS - 4台 - 8台 x 2 - マルチAZ ゾーンA ゾーンゾーンB ゾーン

gumi事例: AWS運用モデル複数のゲームをAWSで運用(全体で25億PV/月) 最大ゲーム1本で6000万PV/日ゲーム毎に、ELB+EC2+RDSの同じセットを再利用人気ゲームゲームA ゲームB ゲームC ELB ELB ELB ELB AA Ap Ap Ap Ap ppA ppAp ppAp ppp App サp ササp p App サササーバApp ーサーーサ Cーササ K サーバー K サーババーバー aバーー V Ca ババ KV Ca ババ KV バ V KV KV c バ SS ch SS ch SS h ササ e ササ e ササ e ーーサーーサーーサババーババーバ Cache KVS バーババサーバ KVS サーババサーバインフラエンジニアは1名！ (~2011/8、今は3名！)

gumi事例: AWS運用モデルゲームのライフサイクルにあわせて、サーバー台数、サーバースペックを調整開発時申請時公開時 ELB ELB App サーバ App App App サーバサーバ App サーバサーバ c1.xlarge - 60台 1台にまとめて Cache KVS KVS 同期サーバサーバサーバ個人毎に m1.large m1.large - 4台 RDS - 8台 x 2 - マルチAZ ゾーンA ゾーンゾーンB ゾーン最小構成に Appサーバーを8台 DBをマルチAZに(m1.large)

gumi事例: ピーク時のさばき方突発的な対応が必要なときは、EC2、RDSのスペックを上げて、時間をかせぐ ELB App m1.large m2.4xlarge App サーバ App サーバサーバメモリ 7.5GB メモリ 68GB CPU 4ECU CPU 26ECU Cache KVS KVS サーバサーバサーバ

gumi事例: バックアップの仕組みデータベース部分 RDSのポイントインタイムリカバリを利用(8日分) • 5分前以前の何時の時点にも戻せる 8日前以前の分については、手動スナップショットを利用する

Gumiさんの事例からわかる事非常にスケールが必要なアプリケーションでもRDSは有効スケールアップスケールアウト(リードレプリカ)DBの管理コストを劇的に削減し、アプリケーションを構築する部分にリソースを集中できるRDSの柔軟さを活用する事で、ピークにもあわてず対応できる

RDSのTips DBセキュリティグループ RDSへのデータの移行パラメーターチューニングタイムゾーンに関してメトリクスマルチAZに関しての考え方いつRDSを使うべきか

DBセキュリティグループRDS専用のセキュリティグループ EC2のセキュリティグループを許可する • または rds-create-db-security-group hoge --db-security- CIDRで許可する group-description "foo" rds-authorize-db-security-group-ingress hoge -g bar - o $ACCOUNT_ID -o:アカウントID -g:EC2セキュリティグループ名 rds-revoke-db-security-group-ingress hoge -o $ACCOUNT_ID -g bar

RDSへのデータの移行MySQLを使った一例 mysqldump • 少量データの場合直接インポート mysqlimportでバルクインポート • フラットなファイルで複数に分割、圧縮 • RDSを一旦停止、スナップショット作成 • スナップショットから新DB作成 • 自動バックアップを一旦停止 • mysqlimportでのデータのロード • 自動バックアップ復旧 • サービス再開

パラメータチューニング ManagementConsoleからは出来ない DBパラメータグループを作成して、パラメータをチューニングする RDSコマンドを使う必要がある • rds-create-db-parameter-group • rds-modify-db-parameter-group を取得するよう変更した例//Slow queryを取得するよう変更した例 rds-modify-db-parameter-group group1 -p "name=slow_query_log, value=ON, method=immediate" -p "name=long_query_time, value=1, method=immediate" -p "name=min_examined_row_limit, value=100, method=immediate"

パラメータチューニング(2)$ rds-describe-db-parameters group1 --source userDBPARAMETER long_query_time engine-default integer dynamic trueDBPARAMETER min_examined_row_limit engine-default integer dynamictrueDBPARAMETER slow_query_log engine-default boolean dynamic true$ rds-describe-db-parameters group1 --source userDBPARAMETER long_query_time 1 user integer dynamic trueDBPARAMETER min_examined_row_limit 100 user integer dynamic trueDBPARAMETER slow_query_log 1 user boolean dynamic true

パラメータチューニング(3)注意点チューニング出来る項目と出来ない項目がある • タイムゾーンは変更不可・・・ rds-describe-db-parametersを使ってチェックまたは、ManagementConsoleでチェック

タイムゾーンに関してrds-describe-db-parametersで見てみると、タイムゾーンは変更不可能な設定項目アプリケーション側でJSTなど適切なタイムゾーンを指定する必要あり init_connectパラメータによる、タイムゾーンの設定は現状保証されない

メトリクスと監視 CloudWatchにてRDSメトリクスを監視メトリクス名説明 BinLogDiskUsage マスターのバイナリログサイズ CPUUtilization CPU利用量 DatabaseConnections DBのコネクション数 FreeableMemory 使えるメモリ量 FreeStorageSpace 使えるディスクスペース ReadIOPS 読み込みの平均IOPS ReadLatency 読み込みのレイテンシ ReadThroughput 読み込みスループット ReplicaLag リードレプリカのタイムラグ SwapUsage DBで使用しているスワップ WriteIOPS 書き込みの平均IOPS WriteLatency 書き込みのレイテンシ WriteThroughput 書き込みスループット

メトリクスと監視(2) Amazon RDS Eventsでも監視可能 ManagementConsoleで監視 rds-describe-events

MultiAZにおけるリードレプリカの更新停止に関して(MySQL) MultiAZ環境でフェイルオーバしたタイミングでリードレプリカの更新の伝播が停止する可能性がある常にそうなるわけではない非同期のMySQLレプリケーション binlogがディスクにフラッシュされていない状況下で、フェイルオーバした場合に稀に発生レプリケーションのコストとの兼ね合い

MultiAZにおけるリードレプリカの更新停止に関して(MySQL)(2) 対応策1 rds-modify-db-parameter-groupで • binlogの同期：sync_binlog=1 • 2PCコミット：innodb_support_xa=1 • http://dev.mysql.com/doc/refman/5.1/en/binary- log.html 対応策2 問題が発生した場合に、リードレプリカを再度作り直す

マルチAZに対しての考え方良く聞く声：マルチAZでマスターをWebアプリと同一のAZに割り当てたいマインドシフトが必要マルチAZでWebアプリが構築されていれば、 RDSのマスターがどちらにあるかは意識しなくてよいマルチAZでの複数DCが利用できるものを最大限に活かしてWebアプリのコンポーネントを分散して配置するのが重要

いつRDSを使うべきかRDSの代替案 Amazon SimpleDB EC2上でMySQLやOracleを展開vs SimpleDB シンプルなクエリ、堅牢性・管理不要を追及したい場合はSimpleDB 既存MySQLの知識やツールを使いたい場合は RDS

いつRDSを使うべきか(2) vs EC2上のMySQLやOracle 完全に自分でコントロールしたい場合、RDSの提供範囲外のものが欲しい場合はEC2 RDSの機能セットや管理機能が必要十分で、運用保守の手間を下げたい場合はRDS http://aws.amazon.com/running_databases/

今後のロードマップ新しいリージョンでの展開Oracle RDS、権限まわりの緩和エラーログアクセスより小さなインスタンスタイプの提供より大きなストレージの割り当て 76

まとめ

Amazon RDSまとめ RDBMS in the Cloud MySQL, Oracle メンテナンスレススケーラブルで柔軟

参考文献RDSのDBインスタンスサイズガイド http://aws.amazon.com/articles/Amazon-RDS/2936RDSのDBパラメータガイド http://aws.amazon.com/articles/Amazon-RDS/2935RDSモニタリングガイド http://aws.amazon.com/articles/Amazon-RDS/2934RDSへのデータインポートガイド MySQL編：http://aws.amazon.com/articles/Amazon- RDS/2933 Oracle編：http://aws.amazon.com/articles/Amazon- RDS/4173109646282306 79

RDS詳細 -ほぼ週刊AWSマイスターシリーズ第8回-

by 玉川憲 (Ken Tamagawa) - Amazon Web Services on Nov 19, 2011

Accessibility

Categories

Tags

Upload Details

Usage Rights

2 Embeds 167

Statistics

RDS詳細 -ほぼ週刊AWSマイスターシリーズ第8回- — Presentation Transcript

http://dev.classmethod.jp	165
http://webcache.googleusercontent.com	2