[よくわかるクラウドデータベース] AWSデータベースアップデート 20140117

4,563 views
4,449 views

Published on

Published in: Technology
0 Comments
12 Likes
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total views
4,563
On SlideShare
0
From Embeds
0
Number of Embeds
1,346
Actions
Shares
0
Downloads
71
Comments
0
Likes
12
Embeds 0
No embeds

No notes for slide

[よくわかるクラウドデータベース] AWSデータベースアップデート 20140117

  1. 1. AWSプロダクトシリーズ|よくわかるクラウドデータベース AWS データベースサービスアップデート 2014/01/17 アマゾン データ サービス ジャパン株式会社 大久保 順
  2. 2. AWSのデータベースサービス Amazon RDS Amazon ElastiCache Amazon DynamoDB スケーラブルで高パフォーマンスな “マネージドデータベース” Amazon Redshift Deployment & Administration Application Services Compute Storage Database Networking AWS Global Infrastructure
  3. 3. なぜマネージドデータベースを活用すべきか? セキュリティ計画 ドキュメント作成 ライセンス管理 トレーニング コード・スクリプト 作成 5% インストール、アップグレード パッチ適用、移行 40% バックアップ/リカバリー データロード/アンロード 5% 25% パフォーマンス チューニング
  4. 4. リレーショナルデータベース 完全マネージド Amazon RDS MySQL, Oracle, SQL Server, PostgreSQL 毎月数兆ものI/Oリクエストを処理
  5. 5. Amazon RDSの主要機能 • 管理性  迅速なデプロイ。パラメーターも汎用に構成済み。  パッチ適用  監視メトリクスをCloudWatchに統合 • 可用性と堅牢性     バックアップの自動化とポイント・イン・タイム・リカバリー データベース・スナップショット 障害発生ホストの自動リプレース(シングルAZ) マルチAZ構成 • スケーラビリティ  ワンタッチでスケール • ストレージ, メモリ, CPU  リードレプリカ
  6. 6. Amazon RDSのアップデート(各エンジン共通) CR1インスタンスタイプの提供(cr1.8xlarge)     64 ビットプラットフォーム 244 GiB メモリ 88 ECU (2.75 ECU x 16 ハイパースレッドバーチャルコア) 10 ギガビットイーサネット リージョン間スナップショットコピー
  7. 7. Amazon RDSのアップデート(MySQL) MySQL 5.6のサポート リードレプリカ関連機能の強化  並列レプリカ作成  リードレプリカ上でのスナップショット作成&ポイント・イン・タイム・リカ バリー(5.6 only)  2階層リードレプリカ(5.6 only)  クロスリージョン・リードレプリカ
  8. 8. 2階層リードレプリカのトポロジー
  9. 9. クロスリージョンサポートの拡充 US West x 2 (N. California and Oregon) US East (Northern Virginia) LATAM (Sao Paola) Europe West (Dublin) >10 data centers In US East alone 9 AWS Regions including 25 Availability Zones and growing 46 world-wide points of presence Asia Pacific Region (Singapore) Asia Pacific Region (Tokyo) Australia Region (Australia) • リージョン間スナップショット・コピー 全エンジン対応 • US GovCloud (US ITAR Region -- Oregon) クロスリージョン・リードレプリカ MySQL 5.6対応
  10. 10. Amazon RDSのアップデート(Oracle/SQL Server) Oracle  Statspackサポート  パッチセット11.2.0.3への対応  タイムゾーンサポート(ホストレベルでタイムゾーンを変更可能に) SQL Server  Transparent Data Encryption (TDE) をサポート
  11. 11. Amazon RDS for PostgreSQL(1/2) PostgreSQL 9.3.1をサポート RDSの主要機能を全リージョンで利用可能         マルチAZ 自動バックアップ、ポイントインタイムリカバリ スナップショット取得とスナップショットからのリストア プロビジョンドIOPS インスタンスサイズの変更(db.t1.micro~db.cr1.8xlarge) VPCサポート 事前によくチューニングされたパラメータ設定 RDSにおけるイベントの通知 リードレプリカは未サポート
  12. 12. Amazon RDS for PostgreSQL(2/2) PostgreSQLの機能サポート  PostGIS • 地図情報アプリケーション構築時のデファクトデータベース  言語エクステンション • Perl、pgSQL、TCLでプロシージャ作成を可能に  フルテキストインデクシング • 自然言語処理で使いやすいように
  13. 13. インメモリキャッシュ 弾力性と堅牢性を兼備 Amazon ElastiCache Memcached & Redis 完全マネージド
  14. 14. ElastiCache: 完全マネージドのキャッシュサービス デプロイが 容易 数クリック/APIコー ルでマスター/ス レーブ構成に 移行が 容易 memcached/R edisと完全互換 エンドポイントを変 更するだけで既存 のコードが動作 管理が 容易 セキュア化 が容易 スケールが 容易 VPCとセキュリティ グループに対応 処理能力のスケー ルアップ・スケールア ウトが可能 障害ノードの自動リ プレース 必要に応じて自動 でパッチを適用 CloudWatchでパ フォーマンス監視
  15. 15. Amazon ElastiCacheのアップデート 2013年9月よりMemcachedに加えてRedisを提供開始 Redisの特長  高速なインメモリ型キー・バリュー・ストア  豊富なデータ型対応 –文字列型, リスト型, セット型, ソート済みセット 型, ハッシュ型  非同期レプリケーション  スナップショットあるいは追記型ファイルによるデータ永続化  Pub/Sub機能
  16. 16. ElastiCache for Redis構成例 読取りクエリーの大部分を インメモリで高速に処理 Read Replica (Redis) Master App Reads Cache Updates Clients Elastic Load Balancing EC2 App Instances RDS MySQL DB Instance with PIOPS
  17. 17. NoSQLデータベース 堅牢かつ低レイテンシー Amazon DynamoDB 完全マネージド 圧倒的でシームレスなスケーラビリティ
  18. 18. 圧倒的なスケーラビリティ = 分散キー ・バリュー データベースサービス 予測可能なパフォーマンス 運用の手間いらず 堅牢で低レイテンシー 高いコストパフォーマンス シンプルなAPI 素早く開発
  19. 19. リレーショナル? それともNoSQL? アプリケーションやワークロードの特性に応じて、柔軟に使い分ける 要素 リレーショナル (RDS) NoSQL (DynamoDB) • 既存のデータベースアプリケーション • ビジネスプロセスを処理するアプリケーション • 新規のWebアプリケーション • 大量の小さなサイズの読込/書込 例:金融トランザクション, ERPアプリケーション, 承認ワークフロー 例:Web, ソーシャル, モバイルアプリ, ショッピ ングカート, オーダー管理, ユーザー属性保存 アプリケーション 特性 • リレーショナルデータモデル, トランザクション処理 • 複雑なクエリ, 結合, 更新 • 単純なデータモデル • 範囲(レンジ)クエリ, 単純な更新 スケーラビリティ アプリケーション開発者かDB管理者が設計 例:クラスタリング, パーティション化, シャーディン グ, キャッシュ シームレスかつマネージド 必要に応じてスケール サービス 品質 • パフォーマンス – データモデル, インデックス, ク エリ, ストレージの最適化に依存 • 信頼性・可用性 – マネージド • 耐久性 – マネージド • パフォーマンス – 自動的に最適化 • 信頼性・可用性 – マネージド • 耐久性 – マネージド 既存の運用・プログラミングスキル SQLとプログラミング言語の知識 Web系のプログラミングスキルと言語知識 アプリケーション 種別 スキルセット 1つのアプリケーションでRDBMSとNoSQLを併用するケースも増えつつある
  20. 20. Amazon DynamoDBのアップデート トランザクションライブラリを公開  AWS SDK for Java用 ジオライブラリを公開  AWS SDK for Java用 AWS Data Pipelineを使って、DynamoDBのデータをリージョン 間でコピー可能に  DynamoDBのテーブルを別のリージョンに定期的にコピーできる ファイングレインアクセス制御  格納データへのアクセス制御をDynamoDB側で設定可能に
  21. 21. Amazon DynamoDBのアップデート デスクトップ開発を可能にする DynamoDB Localリリース  AWSに接続せずに、オフラインでDynamoDBアプリケーションを開発す ることが可能  DynamoDB APIの動きをシミュレート  エンドポイントを書き換えるだけで、開発したアプリケーションコードを そのままAWS上で動かすことが出来る
  22. 22. Amazon DynamoDBのアップデート グローバルセカンダリーインデックス(GSI)のサポート  クエリーの柔軟性を向上
  23. 23. ローカルセカンダリインデックス(LSI)との比較 ローカルセカンダリインデックス (LSI) グローバルセカンダリインデックス (GSI) テーブル当たりの最大数 5つ 5つ キャパシティの指定 不要(テーブルに指定) 単独で必要 検索方法 テーブルのハッシュキーと組み合わ せて検索 テーブルの任意のアトリビュートで検 索可能 整合性モデル 強い整合性(strong consistency)と結果整合性 (eventual consistency) 結果整合性のみ インデックスサイズ ハッシュキーの各値あたり10GBま で 制約なし
  24. 24. ローカルセカンダリインデックスの例 Images Table User Image Date Link Bob aed4c 2013-10-01 s3://… Bob cf2e2 2013-09-05 s3://… Bob f93bae 2013-10-08 s3://… Alice ca61a 2013-09-12 s3://… Table Local to a Hash Key value
  25. 25. ローカルセカンダリインデックスの例 Local Secondary Index on Date Images Table User Image Date Link User Date Image Bob aed4c 2013-10-01 s3://… Bob 2013-09-05 cf2e2 Bob cf2e2 2013-09-05 s3://… Bob 2013-10-01 aed4c Bob f93bae 2013-10-08 s3://… Bob 2013-10-08 f93bae Alice ca61a 2013-09-12 s3://… Alice 2013-09-12 ca61a Table ByDate Local Secondary Index
  26. 26. ローカルセカンダリインデックスの例 Query for Bob’s two most recent images Images Table User Image Date Link User Date Image Bob aed4c 2013-10-01 s3://… Bob 2013-09-05 cf2e2 Bob cf2e2 2013-09-05 s3://… Bob 2013-10-01 aed4c Bob f93bae 2013-10-08 s3://… Bob 2013-10-08 f93bae Alice ca61a 2013-09-12 s3://… Alice 2013-09-12 ca61a Table ByDate Local Secondary Index
  27. 27. グローバルセカンダリインデックスの例 ImageTags Table Image User aed4c Alice aed4c Bob f93bae Alice f93bae Bob Table
  28. 28. グローバルセカンダリインデックスの例 Global Secondary Index on User, Image ImageTags Table Image User User Image aed4c Alice Bob aed4c aed4c Bob Bob f93bae f93bae Alice Alice aed4c f93bae Bob Alice f93bae Table ByUser Global Secondary Index
  29. 29. グローバルセカンダリインデックスの例 ImageTags Table Image User User Image aed4c Alice Bob aed4c aed4c Bob Bob f93bae f93bae Alice Alice aed4c f93bae Bob Alice f93bae Table ByUser Global Secondary Index Alternate Hash and Range Keys
  30. 30. グローバルセカンダリインデックスの例 Query for images tagged Alice ImageTags Table Image User User Image aed4c Alice Bob aed4c aed4c Bob Bob f93bae f93bae Alice Alice aed4c f93bae Bob Alice f93bae Table ByUser Global Secondary Index Alice
  31. 31. ペタバイト級のデータをハンドル 超並列処理 Amazon Redshift リレーショナルなデータウェアハウス 完全マネージド
  32. 32. セキュリティ機能の強化 • • Audit logging SNS Alerts Redshift
  33. 33. 監査記録機能の強化 • HSM/CloudHSM • Audit logging • SNS Alerts AWS CloudTrail System Activity Creates, Changes, Deletes, Resizes Amazon Redshift Database Activity Logins, Login failures, Queries, Loads Amazon S3
  34. 34. イベント通知の強化 • HSM/CloudHSM • Audit logging • Monitoring Security Maintenance Errors SNS Alerts Amazon Redshift SNS Topic
  35. 35. データロード機能の強化 • Cluster Creation • Faster Resize Amazon Corporate Amazon EC2 Data Center EMR Amazon Redshift Amazon S3
  36. 36. データロード機能の強化 • Cluster Creation • Faster Resize Amazon Corporate Amazon EC2 Data Center EMR Amazon Redshift Amazon S3
  37. 37. クラスタ作成の高速化 • COPY from SSH • Cluster Creation • Faster Resize 15-20 min 3 min
  38. 38. クラスタサイズ変更の高速化 • COPY from SSH • Cluster Creation • Faster Resize 29 hours 7 hours
  39. 39. パフォーマンスと同時実行性の改善
  40. 40. パフォーマンスと同時実行性の改善 692.8s 34.9s 誤差 < 2%
  41. 41. パフォーマンスと同時実行性の改善 5,951.7s 2,151.9s
  42. 42. パフォーマンスと同時実行性の改善 15 50
  43. 43. Questions

×