以下のDBサービスに関するアップデート・新サービスについて解説しました。 ・Amazon Redshift ・Amazon S3 Select / Glacier Select ・Amazon Neptune ・Amazon DynamoDB ・Amazon Aurora MySQL-compatible edition

1. re:Invent 2017 AWSデータベースサービス総復習！
Sapporo.aws
2017年12⽉11⽇
クラスメソッド株式会社 ⽯川覚

2. ⾃⼰紹介
ビックデータ関連のコンサルティング、
チューニング、開発⽀援を中⼼に活動。
その他、ハンズオンセミナー講師や
AWSのホワイトペーパー監修、ブロ
グを執筆。
担当はAWS全般、Redshift、Athena、
EMR、Tableau
⽯川 覚 (いしかわ さとる)
データインテグレーション部
2

3. • Amazon Redshift
• Amazon S3 Select / Glacier Select
• Amazon Neptune
• Amazon DynamoDB
• Amazon Aurora MySQL-compatible edition
アジェンダ 3

4. Amazon Redshift
クラウドDWH Redshift の最近のリリースと今後のリリース

5. 新しいコンピュート重視ノード - DC2
• 従来のDC1と⽐較して、30％優れたストレージ利⽤率で3倍のIO性
能を実現
• 利⽤費は従来のDC1と変わらず２倍のパフォーマンス
5

6. Result Caching
処理の流れ
1. クエリはリーダーノードに送ります
2. キャッシュにクエリ結果が含まれている場合は、処理しないで
キャッシュを返します
3. キャッシュにクエリ結果がない場合は、クエリが実⾏され、結
果がキャッシュされます
特⻑
• リーダーノードのインメモリーキャッシュで、1秒未満で結果
を返す
• 透過的 – キャッシュの存在を意識せずに動作します
• WLMのスキップ、処理のスキップ、最適化のスキップ
• キャッシュはセッション間で横断して持続する
• キャッシュによってAmazon Redshiftクラスタが解放され、他
の⾮反復クエリのパフォーマンスが向上します
6

7. Result Caching
Result Cachingによるスループットの向上
• ノードタイプは⾼い⽅が良いです！ （1時間
あたりのクエリ数）
• 読み書き可能なワークロードスモールクエリ
とラージクエリの混在、INSERT、COPY、
VACUUMのRead-writeワークロード
• ds2.xlargeクラスタ、4ノード構成
7
引用: https://www.slideshare.net/AmazonWebServices/abd327migrating-your-traditional-data-warehouse-to-a-modern-data-lake/15

8. Short Query Acceleration (SQA)
ショートクエリ⽤の⾼速レーン
• ショートクエリが⻑い実⾏クエリの後ろにつ
かない
• より⾼いスループット、少ない変動性
• ワークロードのためにカスタマイズされてい
る
• クエリパターンを機械学習して、ショートク
エリと判断すると、適切なキューに移動する
• 透過的 – アクセラレーションの存在を意識せ
ずに動作します
8

9. Short Query Acceleration (SQA)
この構成では、SQA機能を​​有効にしてシ
ョートクエリのランタイムが明確に改善
されています。ショートクエリの多くは
5倍以上の改善を⾒ていましたが、実⾏
時間の⻑いクエリではそれに対応した増
加が⾒られました。これはまさしく「ど
のように機能が動作するか」を表してい
ます。
• 秒未満で実⾏されるクエリでは、平
均待機時間が36秒から0に短縮され
ます。
• ⾮常にビジーなクラスタでP90の待
機時間が370秒から32.1秒に短縮
9
引用: https://www.slideshare.net/AmazonWebServices/abd327migrating-your-traditional-data-warehouse-to-a-modern-data-lake/18

10. Coming Soon: Nested data support
• S3上のネストされてかつ半構造化されたデータをSpectrumを使って分析する
• Amazon Redshift の CTASを⽤いて、ネストされたデータの簡単なETLを可能にする
• オープンな仕様のファイルフォーマットのサポート：Parquet, ORC, JSON, Ion,
AVRO
• ドット表記を使⽤して既存のSQLを拡張する
10

11. Coming Soon: Nested data support
クエリのパフォーマンスを向上させるため、新しいOrdersテーブルには、
OrderItemsがネストされた列として含まれ、結合処理が排除されます
11

12. Coming Soon: Enhanced Monitoring 12
クエリの待ち時間とスループットを監
視してワークロードを最適化する
• クエリのスループットメトリック
を使⽤してAmazon Redshiftクラ
スタを最適化してパフォーマンス
を最⼤限に⾼める
• データベースとワークロードのメ
トリックにアクセスして、クラス
タのパフォーマンスをより深く把
握する
• Amazon SNS経由でアラートと通
知を取得する

13. 参考
【レポート】古いDWHからモダンなデータレイクへマイグレートする
https://dev.classmethod.jp/cloud/aws/re-invent-2017-abd327/
13

14. Amazon S3 Select / Glacier Select
単⼀のS3オブジェクトにクエリを実⾏するサービス

15. S3 Select（Preview）
• 新しいAPIを使⽤して、オブジェ
クト内のデータを選択および取得
します。
• S3オブジェクトデータのサブセ
ットを処理するアプリケーション
の⾼速化します
• データアクセスのパフォーマンス
を最⼤400%に⾼速化
• S3 SELECTを使⽤することで分
析の⾼速化
15
SQL⽂を⽤いてS3オブジェクトから必要とするデータ
の⼀部分のみを取得してパフォーマンスを改善する

16. S3 Select（Preview）
補⾜情報
• プレビュー中の S3 Select では、GZIP 圧縮の有無にかかわらず CSV ファイルまた
は JSON ファイルをサポートします。なお、プレビューでは暗号化(at rest)された
オブジェクトはサポートされません。
• プレビュー中は S3 Select の料⾦はかかりません。
• Amazon Athena、Amazon Redshift、Amazon EMRや、Cloudera、DataBricks、
Hortonworksといったパートナが S3 Selectをサポートする予定です。
16

17. S3 Glacier（Preview） 17
補⾜情報
• Glacier Select は、Glacier のある全てのリージョンでご利⽤になれます。
• Glacierは以下の3つの要素で価格設定されています。
• データがスキャンされたGB容量
• データが返ってきたGB容量
• Select のリクエスト数これらの各要素の価格は、Glacierのアーカイブの取り出しオプシ
ョンによって決まります：迅速(expedited, 1〜5分)、標準(Standard, 3〜5時間)、バ
ルク(Bulk, 5〜12時間)
• 2018年の近いうちに、Athenaが Glacier Select を利⽤してGlacierと連携す
る予定です。
SQL⽂を使⽤して単⼀のGlacierオブジェクトに対して
直接フィルタリング

18. 参考
【速報】新サービスS3 SELECTが発表されました！！ #reinvent
https://dev.classmethod.jp/cloud/aws/re-invent-2017-news-s3-select/
S3 Select（Preview）を試してみました
https://dev.classmethod.jp/cloud/aws/sugano-038-reinvent-s3-select/
S3 Select と Glacier Select – オブジェクトのサブセットを取得
https://aws.amazon.com/jp/blogs/news/s3-glacier-select/
18

19. Amazon Neptune
フルマネージドのグラフデータベースサービス

20. Amazon Neptune （Preview） 20
グラフデータベースとは
• グラフデータベースには頂点と辺 (⽅向が
指定されたリンク) が保存されます。頂点
と辺にはそれぞれ関連するプロパティがあ
ります。次の図は、友達とその趣味の関係
を⽰す簡単なグラフを表しています。
• ユースケースは、SNS、レコメンデーショ
ンエンジン、経路案内、物流最適化、⾃動
診断、侵⼊検知やゲノム配列決定などのア
プリケーションが例に挙げられます。
グラフ構造を持った何⼗億ものデータ・リレーション
に対して、⾼速なクエリを提供するサービス

21. Amazon Neptune （Preview）
Amazon Neptune 特⻑
• Open: Apache TinkerPop をサポートしており、 Resource Description Framework
(RDF): Concepts and Abstract Syntax に準拠したグラフモデル
• Fast And Scalable: 億単位のリレーションを保管した状態で、ミリ秒程度のレイテンシ
• Reliable: 3AZで6つのレプリカを構成し、バックアップ・リストアが可能
• Easy: Gremlin や SPARQL によって、強⼒なクエリを簡単に構築可能
21
対応リージョン: バージニア（2017/12/11現在）

22. 参考
【速報】AWSのフルマネージドグラフデータベースサービス、Amazon Neptune が発表されま
した！
https://dev.classmethod.jp/cloud/aws/reinvent2017-amazon-neptune/
【レポート】NEW LAUNCH! Amazon Neptune Workshop : SPARQL と Gremlin を使って
Amazon Neptune からデータを取得してみよう
https://dev.classmethod.jp/cloud/aws/aws-reinvent2017-amazon-neptune-
workshop/
Amazon Neptune
https://aws.amazon.com/jp/neptune/
Amazon Neptune: クラウド向けに構築された⾼速で信頼性の⾼いグラフデータベース
https://aws.amazon.com/jp/about-aws/whats-new/2017/11/amazon-neptune-
fast-reliable-graph-database-built-for-the-cloud/
22

23. Amazon DynamoDB
NoSQL、スキーマレス、サーバーレスなAWS上のKVSサービス

24. Amazon DynamoDB Global Tables
リージョン間で同期されるテーブル
• リージョンレベルでのテーブルを作成可能
• 数クリックで構築
• 従来のDynamoDBの堅牢性や耐久性に加
えて、世界複数リージョンにエンドポイン
トを持つことが可能
• 課⾦は、従来の読み込み
• 書き込み⽤キャパシティユニットに加え
て、クロスリージョンレプリケーションの
ためのデータ転送料⾦が必要
24
リージョンレベルでのマルチマスターのテーブルを
作成できるDBサービス

25. Amazon DynamoDB Global Tables 25
競合と⼀貫性
• リージョン内
• 結果整合性読み込み:○
• 強い整合性読み込み:○
• グローバルテーブル
• 結果整合性読み込み:○
• 強い整合性読み込み:☓
可⽤性と耐久性
リージョンで障害があった場合は、別リージョンへ読み書きする必要があります。そのた
め、アプリケーションにてリダイレクトする処理を追加します。 障害が復旧した場合は、
伝搬できなかったデータのレプリケーションが双⽅向で再開します。

26. 参考
【速報】DynamoDB Global Tablesが発表されました！
https://dev.classmethod.jp/cloud/aws/aws-reinvent-dynamodb-table/
DynamoDB Global Tableを試す
https://dev.classmethod.jp/cloud/aws/aws-reinvent-2017-dynamodb-global-
table/
26

27. Amazon DynamoDB On-Demand Backup
パフォーマンスの影響なしに数百TBの
バックアップ取得が可能
• 任意のタイミングで利⽤できる⻑
期間のデータ保存
• アプリケーションエラー対応のた
めの、ポイントインタイムリスト
ア
従来は、AWS Data Pipelineを利⽤し
てS3にバック アップを取得していた
のが⼀気に簡単に!
27
パフォーマンスへの影響なしに数百TBのデータの
バックアップ・リストアするサービス

28. 参考
【速報】DynamoDBにバックアップ／リストア機能が追加されました！
https://dev.classmethod.jp/cloud/aws/aws-reinvent-dynamodb-backup-restore/
【新機能】DynamoDB On-Demand Backup and Restoreをお試し
https://dev.classmethod.jp/cloud/aws/hello-dynamodb-backup-and-restore/
28

29. Amazon Aurora MySQL-compatible edition
クラウド向けに再設計されたMySQL互換性のRDBサービス

30. Amazon Aurora Multi-Master（Preview） 30
• マルチAZでRead/Write両⽅でスケー
ルアウト可能なデータベース
• AZ障害やいずれかのWriterが停⽌し
ても、アプリケーションでリトライを
即時に⾏うことでダウンタイム０にな
る
• シングルリージョン・マルチマスター
は、11/29にプレビュー開始
• マルチリージョン・マルチマスタ対応
は2018年を予定
マルチAZでRead/Write両⽅でスケールアウト可能、
かつ ダウンタイム０になるDBサービス

31. Amazon Aurora Multi-Master（Preview） 31
従来は
• Writerは1ノードのみ
• Readerは複数ノード可能
• 読取り性能のみスケーラブル
新しい Multi-Masterは
• Writer・Readerともに複数ノード可能
• 読取り・書込み性能ともにスケーラブル
Oracle RACとの違い
• Oracle RACは1つのデータセンターの1つの部屋に限定される
• Multi-Masterは複数のデータセンターにおけるスケールアウトに対応

32. 参考
【速報】Amazon Auroraのマルチマスタ機能が発表されました！
https://dev.classmethod.jp/cloud/aws/reinvent-2017-aurora-multi-
master/
【レポート】DAT301: Deep-dive to Amazon Aurora
https://dev.classmethod.jp/cloud/aws/reinvent2017-dat301-aurora-deep-
dive/
32

33. Amazon Aurora Serverless（Preview）
特⻑
• インスタンスのプロビジョニング不要
• ディスク容量増減の⾃動化
• オンデマンドによる起動と不要時の⾃
動停⽌
• 秒単位課⾦
• 容量課⾦
33
予測不能/周期的ワークロードに対応した、
オンデマンド、オートスケールDBサービス

34. Amazon Aurora Serverless（Preview） 34
事前準備
・エンドポイント作成・最⼩、最⼤のキャパシティサイズ設定
・クエリのエンドポイント設定スケール変更時のダウンタイム0
スケーリングはホットスタンバイされたリソースからは1秒で発動
既存Auroraからほぼ間違いなく移⾏が可能

35. 参考
【速報】新しいDBサービスAurora Serverlessが発表されました！
https://dev.classmethod.jp/cloud/aws/aws-reinvent-aurora-serverless/
【レポート】DAT301: Deep-dive to Amazon Aurora
https://dev.classmethod.jp/cloud/aws/reinvent2017-dat301-aurora-deep-dive/
In The Works – Amazon Aurora Serverless
https://aws.amazon.com/jp/blogs/aws/in-the-works-amazon-aurora-serverless/
35

36. その他の重要アップデート
• Amazon Aurora Reader Auto Scaling（2017年11⽉）
• Batched scans（Coming soon）
• Hash Joins（Coming soon）
• Parallel query（Coming soon）
• Backtrack（Coming soon）
36

37. 最後に
今年サービス開始
• Amazon Aurora PostgreSQL-compatible edition
• AWS Glue
東京リージョン開始
• Amazon Athena
• Amazon Redshift Spectrum
re:Invent 2017発表/新サービス
• Amazon Neptune
37
この⼀年のAWSのDBサービスの進化・深化

38. ご清聴ありがとうございました