AWS公式オンラインセミナー: https://amzn.to/JPWebinar 過去資料: https://amzn.to/JPArchive

1. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
AWS Webinar
https://amzn.to/JPWebinar https://amzn.to/JPArchive
Junpei Ozono, Solutions Architect
2019/1/22
Amazon Redshift Update
[AWS Black Belt Online Seminar]

2. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
Redshift Specialist Solutions Architect
• Redshift
• DWH Data Lake
• Amazon Redshift
• Amazon QuickSight

3. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
AWS Black Belt Online Seminar
•
•
① 吹き出しをクリック
② 質問を入力
③ Sendをクリック
Twitter
#awsblackbelt

4. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
• 2019 1 22
AWS (http://aws.amazon.com)
• AWS
AWS
•
• AWS does not offer binding price quotes. AWS pricing is publicly available and is subject to
change in accordance with the AWS Customer Agreement available at
http://aws.amazon.com/agreement/. Any pricing information included in this document is provided
only as an estimate of usage charges for AWS services based on certain information that you
have provided. Monthly charges will be based on your actual use of AWS services, and may vary
from the estimates provided.

5. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
• Redshift
• Redshift

6. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
• Redshift
• Redshift 2018
• Redshift (re:Invent2018 )

7. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
• Redshift
• Redshift 2018
• Redshift (re:Invent2018 )

8. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
Amazon Redshift
Amazon
Redshift

9. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
Amazon Redshift
データウェアハウス・分析向けに特化したRDB
さまざまな種類の分析ワークロードについて、より迅速な洞察を取得可能
ペタバイト級までスケールアウト
分析要求やデータ容量が増加しても、動的にスケールアップ/アウトが可能
データレイク上のデータへの直接アクセス
Amazon S3 上のオープンフォーマットデータをそのまま分析可能
高速
スケーラブル
データレイク
への拡張
高いコスト
効果
初期費用なし、小規模から始めて、利用に応じた支払いが可能
約$1,000/TB/年、最小$0.314/時*から
*費用は2019年1月時点での東京リージョンのものです

10. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
Amazon Redshift
• SQL
•
• SQL
•
•
• /
• / ロード
アンロード
バックアップ
リストア
SQL クライアント
/BI ツール
128GB RAM
16TB disk
16 cores
JDBC/ODBC
128GB RAM
16TB disk
16 cores
128GB RAM
16TB disk
16 cores
128GB RAM
16TB disk
16 cores
Amazon S3
Amazon Redshift

11. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
Amazon Redshift
• SQL
•
• SQL
•
•
• /
• /
Amazon Redshift Spectrum
• Amazon S3
SQL クライアント
/BI ツール
128GB RAM
16TB disk
16 cores
JDBC/ODBC
128GB RAM
16TB disk
16 cores
128GB RAM
16TB disk
16 cores
128GB RAM
16TB disk
16 cores
Amazon S3
...
1 2 3 4 N
Amazon
Redshift
Spectrum
ロード
クエリ
Amazon Redshift

12. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
•
• Redshift
MPP : Massive Parallel
Processing
• 1
• Redshift
•
SQL クライアント
/BI ツール
128GB RAM
16TB disk
16 cores
JDBC/ODBC
128GB RAM
16TB disk
16 cores
128GB RAM
16TB disk
16 cores
128GB RAM
16TB disk
16 cores
Amazon Redshift

13. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
•
•
2, 16
•
SQL クライアント
/BI ツール
128GB RAM
16TB disk
16 cores
JDBC/ODBC
128GB RAM
16TB disk
16 cores
128GB RAM
16TB disk
16 cores
128GB RAM
16TB disk
16 cores
Amazon Redshift
Core Core Core Core Core Core

14. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
Amazon Redshift
• SSD DC2 HDD DS2
•
•
DC2 - Dense Compute
vCPU メモリ(GB) ストレージ スライス ノード数 価格(※)
dc2.large 2 15 0.16TB NVMe SSD 2 1~32 $0.314 /1時間
dc2.8xlarge 32 244 2.56TB NVMe SSD 16 2~128 $6.095 /1時間
DS2 – Dense Storage
ds2.xlarge 4 31 2TB HDD 2 1~32 $1.190 /1時間
ds2.8xlarge 36 244 16TB HDD 16 2~128 $9.520 /1時間
※価格は東京リージョンにおいて2019年1月時点のものです

15. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
I/O
列指向ストレージ
•
• 1MB

16. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
I/O
列指向ストレージ
•
• 1MB
データ圧縮
•
• I/O

17. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
I/O
列指向ストレージ
•
• 1MB
データ圧縮
•
• I/O
•
•
min: 100
max: 999

18. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
(SQA)
機械学習 機械学習によってクエリの実行時間
を予測する
1
ショートクエリと判断されたクエリ
は専用の高速キューにルーティング
される
2
リソースはショートクエリのために
動的に確保される
3
SQAの機能
分析およびBI / ダッ
シュボードツール
コンピュー
トノード
コンピュー
トノード
コンピュー
トノード
Amazon
Redshift
高速キュー

19. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
RESULTS CACHE
QUERY_ID RESULT
QUERY_ID RESULT
( )
1
クエリはリーダーノードにて受付1
リーダーノード内のキャッシュにクエリ結果が含
まれている場合、コンピュートノード上での処理
を伴わずに返される
2
クエリ結果がキャッシュに存在しない場合、コン
ピュートノード上でクエリが実行されて、その結
果がキャッシングされる
3
結果セットのキャッシュ機
能
コンピュー
トノード
コンピュー
トノード
コンピュー
トノード
分析およびBI / ダッ
シュボードツール
Amazon
Redshift
結果
キャッシュ

20. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
• コンピュートノードの追加でパ
フォーマンスがリニアに向上
• マネージメントコンソールから
数クリックで拡張・縮小が可能
コンピュー
トノード1
SQLクライアント/BI
ツール
リーダー
ノード
JDBC/ODBC
コンピュー
トノード2
コンピュー
トノード3
コンピュー
トノード1
SQLクライアント/BI
ツール
リーダー
ノード
JDBC/ODBC
コンピュー
トノード2
コンピュー
トノード3
コンピュー
トノード4
コンピュー
トノード5
コンピュー
トノード6

21. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
Amazon Redshift
JDBC/ODBC
...
1 2 3 4 N
Amazon S3 AWS Glue
Redshift Spectrum
SELECT COUNT(*)
FROM S3.EXT_TABLE
GROUP BY ...S3

22. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
Redshift Spectrum
データロード処理が不要に
コンピュートとストレージを分けてスケーリング
RedshiftとS3それぞれに存在するデータを結合
安定したクエリパフォーマンスと高い並行処理
オープンファイルフォーマット対応
(Parquet, ORC, JSON, Grok, Avro, およびCSV等)
スキャンしたデータ量のみの課金制
S3
データレイク
Redshift
データ
Redshift Spectrum
クエリエンジン

23. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
Redshift のインスタンス料金
• x 1
•
•
• 3 , 1
Amazon S3 データレイクへのクエリ料金
• S3 1TB $5
SQL クライアント
/BI ツール
128GB RAM
16TB disk
16 cores
JDBC/ODBC
128GB RAM
16TB disk
16 cores
128GB RAM
16TB disk
16 cores
128GB RAM
16TB disk
16 cores
Amazon S3
...
1 2 3 4 N
Amazon Redshift

24. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
• Redshift
• Redshift 2018
• Redshift (re:Invent2018 )

25. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
Redshift 2018
features and
enhancements
released*
Automatically enabled
short query acceleration
Support for lateral column
alias reference
New Quick Starts
New CloudWatch metrics
Customized
Recommendations
with Advisor
Current and trailing tracks
for release update
Federated authentication
with single sign-on
Improved performance
for commits
COPY from Parquet and
ORC file formats
Additional Spectrum regions
Support for Scalar JSON
and Ion data types
Late materialization for
faster query processing
Support for DATE data
type with Spectrum
Short Query
Acceleration
Utilization reports
Machine learning integration
to accelerate dashboards
and interactive analysis
Improved resource
management for
memory-intensive queries
Faster string manipulation
Support for Parquet and
ORC in Kinesis Data Firehose
Improved workload
management console
experience
Query Editor
Support for late-binding views
SQL Scalar user-defined
functions
Integration with AWS Glue
Support for Nested
Data with Spectrum
Spectrum support
for DATE data type
Improved performance
for UNION ALL queries
Free upgrade from
DC1 to DC2 RIs
Query monitoring rules (QMR)
Support for Zstandard high
compression encoding
Query processing
improvements
Support for Python
UDF logging module
Enhanced VPC routing
Automatically hopping
queries without restarts
Support for uppercase
column names
Result Caching for
Repeat Queries
Support for LISTAGG DISTINCT
Support for ORC and
Grok file formats
Integration with QuickSight
DMS support with Redshift
3.5x Improved
Throughput
Improved performance
for repeat queries
*Since re:Invent 2017

26. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
*Since re:Invent 2017
Redshift 2018
features and
enhancements
released*
Automatically enabled
short query acceleration
Support for lateral column
alias reference
New Quick Starts
New CloudWatch metrics
Customized
Recommendations
with Advisor
Current and trailing tracks
for release update
Federated authentication
with single sign-on
Improved performance
for commits
COPY from Parquet and
ORC file formats
Additional Spectrum regions
Support for Scalar JSON
and Ion data types
Late materialization for
faster query processing
Support for DATE data
type with Spectrum
Short Query
Acceleration
Utilization reports
Machine learning integration
to accelerate dashboards
and interactive analysis
Improved resource
management for
memory-intensive queries
Faster string manipulation
Support for Parquet and
ORC in Kinesis Data Firehose
Improved workload
management console
experience
Query Editor
Support for late-binding views
SQL Scalar user-defined
functions
Integration with AWS Glue
Support for Nested
Data with Spectrum
Spectrum support
for DATE data type
Improved performance
for UNION ALL queries
Free upgrade from
DC1 to DC2 RIs
Query monitoring rules (QMR)
Support for Zstandard high
compression encoding
Query processing
improvements
Support for Python
UDF logging module
Enhanced VPC routing
Automatically hopping
queries without restarts
Support for uppercase
column names
Result Caching for
Repeat Queries
Support for LISTAGG DISTINCT
Support for ORC and
Grok file formats
Integration with QuickSight
DMS support with Redshift
3.5x Improved
Throughput
Improved performance
for repeat queries
Speed ScaleSimplicity

27. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
*Since re:Invent 2017
Compiled code cache
Support for lateral
column alias reference
Resource management
for
memory-intensive
queries
Late materialization
Result caching
Joins involving large numbers of
NULL values in a join key
column
Queries with intermediate
subquery
results that can be distributed
Cluster
resize operations
Queries that refer to stable
functions with constant
expressions
Short query
acceleration
Queries operating over CHAR
and VARCHAR columns
Single-row inserts
Improvements to speed
Expressions on the partition
columns of external tablesFaster string manipulation
Complex EXCEPT
subqueries
Commit processing
enhancements
DC2 nodes
2x the number of tables
in a cluster
Hash join memory utilization
optimizations and cache line
prefetching
COPY operation when
ingesting data from
Parquet
and ORC formats
Performance improvement for
queries that refer to stable
functions over constant
expressions
Improvements for the COPY
operation when ingesting data
from Parquet and ORC formats
Query processing
improvements
Query rewrites that pushdown selective joins
into a subquery
Query planning

28. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
Normalized Queries Per Hour (QPH)
Assuming Redshift’s QPH 6 months ago=100%
Queriesperhour
Asa%ofredshift6months
ago
( )
100%
181%
237%
284%
350%
3倍高速
New!

29. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
•
•
•
•
•
28% 100%
• 64

30. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
Elastic Resize New!
クラスター
リーダーノード
デー
タ
デー
タ
デー
タ
デー
タ
Redshift
マネージド S3
クラスタに追加するノードを数分で追加/削除する
既に Redshift が動作する全リージョンで利用可能

31. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
コンピュー
トノード1
SQLクライアント/BI
ツール
リーダー
ノード
JDBC/ODBC
コンピュー
トノード2
コンピュー
トノード3
Classic Resize ( )

32. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
コンピュー
トノード1
SQLクライアント/BI
ツール
リーダー
ノード
JDBC/ODBC
コンピュー
トノード2
コンピュー
トノード3
Classic Resize ( )
コンピュー
トノード1
リーダー
ノード
コンピュー
トノード2
コンピュー
トノード3
コンピュー
トノード4
コンピュー
トノード5
コンピュー
トノード6

33. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
コンピュー
トノード1
SQLクライアント/BI
ツール
リーダー
ノード
JDBC/ODBC
コンピュー
トノード2
コンピュー
トノード3
Classic Resize ( )
コンピュー
トノード1
リーダー
ノード
コンピュー
トノード2
コンピュー
トノード3
コンピュー
トノード4
コンピュー
トノード5
コンピュー
トノード6

34. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
コンピュー
トノード1
SQLクライアント/BI
ツール
リーダー
ノード
JDBC/ODBC
コンピュー
トノード2
コンピュー
トノード3
Classic Resize ( )
コンピュー
トノード1
リーダー
ノード
コンピュー
トノード2
コンピュー
トノード3
コンピュー
トノード4
コンピュー
トノード5
コンピュー
トノード6
バイナリデータ転送

35. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
コンピュー
トノード1
SQLクライアント/BI
ツール
リーダー
ノード
JDBC/ODBC
コンピュー
トノード2
コンピュー
トノード3
エンドポイントDNS切替
Classic Resize ( )
コンピュー
トノード1
リーダー
ノード
コンピュー
トノード2
コンピュー
トノード3
コンピュー
トノード4
コンピュー
トノード5
コンピュー
トノード6
• データはクラスター間を移動して再分散される（それなりに時間が必要）
• リサイズ中はクラスターは読み取り専用モードになる

36. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
Elastic Resizeにより、数分でノードを増減できる
ユースケース：
 ノードを一時的に増やし、クエリ処理をより高速化
 ノードを一時的に増やし、ETLをより高速に完了
 ノードを一時的に減らし、オフピーク時間のコストを抑制
Elastic Resize

37. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
resize-cluster
resize-cluster
--cluster-identifier <value>
[--cluster-type <value>]
[--node-type <value>]
--number-of-nodes <value>
[--classic | --no-classic]
[--cli-input-json <value>]
[--generate-cli-skeleton <value>]
CLI

38. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
コンピュー
トノード1
SQLクライアント/BI
ツール
リーダー
ノード
JDBC/ODBC
コンピュー
トノード2
コンピュー
トノード3
コンピュー
トノード4
コンピュー
トノード5
コンピュー
トノード6
Elastic Resize Deep Dive
3 6

39. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
• Elastic Resizeが開始されると、
Amazon S3へ自動的にスナップ
ショットが取得される
• その間のクラスターに対する読
み書きは可能
コンピュー
トノード1
SQLクライアント/BI
ツール
リーダー
ノード
JDBC/ODBC
コンピュー
トノード2
コンピュー
トノー3
Amazon S3
Backup Backup Backup
Elastic Resize
のリクエスト
数〜数十分
Elastic Resize :
S3

40. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
40
Amazon S3
• リサイズ中は、既存クラ
スターに新しいノードが
追加、または削除される
• スライスはシャッフル
• すべてのクエリセッショ
ンはリーダーノードで
キューイング
• いくつかのクエリは中断
される可能性がある
コンピュー
トノード1
SQLクライアント/BI
ツール
リーダー
ノード
JDBC/ODBC
コンピュー
トノード2
コンピュー
トノード3
コンピュー
トノード4
コンピュー
トノード5
コンピュー
トノード6
Elastic Resize
のリクエスト 開始 終了
数分
Elastic Resize :
数〜数十分

41. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
41
Amazon S3
• このフェーズでクラス
ターは使用可能になり、
データはS3からバック
グラウンドで転送
• クエリに必要なホット
ブロックから先に戻す
コンピュー
トノード1
リーダー
ノード
JDBC/ODBC
コンピュー
トノード2
コンピュー
トノード3
コンピュー
トノード4
コンピュー
トノード5
コンピュー
トノード6
データ転送
完了
データ転送
Elastic Resize
のリクエスト 開始 終了
Elastic Resize :
数〜数十分 数分
SQLクライアント/BI
ツール

42. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
Elastic Resize
4
dc2.large
ds2.xlarge
1/2
2
2, 4, 8
dc2.8xlarge
ds2.8xlarge
1/2 2 2, 3, 4, 5, 6, 7, 8

43. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
43
Elastic resize Classic resize
/
✔
✔
(SSD <-
> HDD)
✔
Elastic Resize ✔
(
) ( )
Elastic Resize Classic Resize

44. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
*Since re:Invent 2017
Improvements
to simplicity
CloudWatch metrics
for Workload Execution
Breakdown
Current and trailing
tracks for release
updates
Lateral column
alias reference
CloudWatch metrics
for Query Duration
by WLM Queues
Cluster resize operations
CloudWatch
Query Runtime Breakdown metric
Stream real-time data in
Parquet or ORC formats
using Kinesis Data
Firehose
DISTSTYLE AUTO
distribution style
Free upgrade from for DC1
RIs to DC2
Query Monitoring Rules (QMR)
now support 3x more rules
Short query
acceleration is
self-optimizing
Redshift Advisor for best
practice recommendations
CloudWatch metrics
for Query
Throughput by WLM
Queues
Cluster resize Query Editor
Enhancements to
VACUUM DELETE
Manage
components of a
multi-part query in
the AWS console
Automatic vacuum delete
Efficiency of backup performance
CloudWatch metrics for Query
Throughput, Query Duration

45. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
Vacuum Analyze
Vacuum Delete
• Vacuum DELETE UPDATE
•
• Vacuum
•
Analyze
• Analyze
•
• auto_analyze OFF
New!
Analyze
Vacuum
Auto
Auto

46. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
Redshift

47. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
Redshift

48. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
データベースパフォーマンス
タブの追加
Amazon CloudWatch

49. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
(1/2)
メンテナンスウィンドウの延
期
14
Amazon SNS

50. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
(2/2)
メンテナンストラックの設定
Current”
“Trailing”

51. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
Redshift
Query editor & Saved queries

52. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
Redshift &
クエリエディタ機能
Redshift
( )
Saved queries
dc1.8xlarge, dc2.large,
dc2.8xlarge, or ds2.8xlarge
ds2.xlarge

53. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
Redshift
Advisor

54. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
Redshift
アドバイザ機能
Redshift
1.
2. COPY S3
3.
4. WLM
5. COPY
6. COPY S3
7.
8. SQA
9. Interleaved Sort Key

55. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
*Since re:Invent 2017
Improvements to scale
Integrateseamlesslywithyourdatalake
DATE data
type
Retrieving metadata for late-binding
viewsSupport for Enhanced VPC Routing
IN-list predicate processing
in Spectrum scans
Query external tables
during a resize operation
Specify the root of an
S3 bucket as the
source for an existing
table
Spectrum queries with
aggregations on partition
columns
Renaming
external table
columns
Table property to specify the file
compression type for external tables
Push the LENGTH()
string function to
Spectrum
ALTER TABLE ADD/DROP
COLUMN for external tables is
now supported via standard JDBC
calls
Map datatypes in
Spectrum to contain
arrays
Support for Parquet, ORC, Avro,
CSV, and other open file formats
New Spectrum
regions
Spectrum support
for JSON and ION
Spectrum support
for nested data
Arrays of arrays and
arrays of maps

56. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
VPC Spectrum
• VPC VPC Redshift
S3 VPC
• Redshift
• Redshift VPC
Spectrum
• VPC
Spectrum
https://docs.aws.amazon.com/ja_jp/redshift/latest/mgmt/spectrum-enhanced-vpc.html

57. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
Parquet / ORC COPY
ORC Parquet Redshift
COPY table FROM ‘s3 prefix’ FORMAT AS ORC | PARQUET ;
Amazon S3
Amazon Redshift
ORC
Parqu
et

58. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
Spectrum
• ネスト化された半構造化データを、
Redshift Spectrumの外部表として指定す
ることが可能に
• オープンファイルフォーマットをサポー
ト: Parquet, ORC, JSON, Ion
{ Id: 1,
Name: {Given:"John", Family:"Smith"},
Phones: ["123-457789"],
Orders: [ {Shipdate: ”Jul 12,2018 11:59:59",
Price: 100.50}
{Shipdate: ”Jul 13,2018 09:10:00",
Price: 99.12} ]
}
{ Id: 2,
Name: {Given:"Jenny", Family:"Doe"},
Phones: ["858-8675309", "415-9876543"],
Orders: [ ]
}
{ Id: 3,
Name: {Given:"Andy", Family:"Jones"},
Phones: [ ]
Orders: [ {Shipdate: ”Jul 12,2018 08:02:15",
Price: 13.50} ]
}

59. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
Spectrum
• ネスト化された半構造化データを、
Redshift Spectrumの外部表として指定す
ることが可能に
• オープンファイルフォーマットをサポー
ト: Parquet, ORC, JSON, Ion
• サポートするComplex Data Type :
struct, array, map
• 既存のSQLを拡張し、ネスト構造をドッ
ト表記で表現
• CTASを用いて、ネスト化されたデータの
ETL （Redshift Localテーブルへロード）
が容易に
create external table
datalake.nested_customers_orc(
id int,
name struct<given:varchar(20),
family:varchar(20)>,
phones array<varchar(20)>,
orders array<struct
<shipdate:timestamp,
price:double precision>>
)
STORED AS ORC
LOCATION 's3://mybucket/nested_orc/';
SELECT c.id, c.name.given, c.name.family,
o.shipdate, o.price
FROM datalake.nested_customers_orc c
LEFT JOIN c.orders o
ON true;

60. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
id | given | family | shipdate | price
----+-------+--------+---------------------+-------
1 | John | Smith | 2018-07-12 08:02:15 | 100.5
1 | John | Smith | 2018-07-13 09:10:00 | 99.12
2 | Jenny | Doe | |
3 | Andy | Jones | 2018-07-12 08:02:15 | 13.5
(4 rows)
SELECT
c.id, c.name.given, c.name.family, o.shipdate, o.price
FROM
datalake.nested_customers_orc c
LEFT JOIN
c.orders o
ON true;
Array orders
FROM
”c” 1
Orders
create external table
datalake.nested_customers_orc(
id int,
name struct<given:varchar(20),
family:varchar(20)>,
phones array<varchar(20)>,
orders array<struct
<shipdate:timestamp,
price:double precision>>
)
:

61. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
• Redshift
• Redshift 2018
• Redshift (re:Invent2018 )

62. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
Redshift のこれまでの課題
OLTP SQL 1
...
• RDS/Aurora
• BI
• Redshift (Spectrum )

63. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
オンデマンドで追加のクラスターを自動的に起動
従来よりはるかに多くのクエリを同時に処理
エンドポイントはメインクラスターのまま
すべてのクラスターでデータの整合性は保たれる
ConcurrencyScaling(プレビュー)
従来よりはるかに高い同時実行性で一貫して高速なパフォーマンス
New!

64. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
メインクラスターが使用されている24時
間毎に、Concurrency Scalingのために1
時間分のクレジットを提供
追加クラスターで稼働したクエリに対し
て1秒単位の課金
そのため多くのお客様は，Concurrency
Scaling を無料でご利用可能
New!
ConcurrencyScaling(プレビュー)
従来よりはるかに高い同時実行性で一貫して高速なパフォーマンス

65. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
Amazon Redshift
VacuumAnalyze WLM
Concurrency
Setting
AutoAuto Auto
Vacuum や Analyze のような
メンテナンスプロセスはバッ
クグラウンドで自動実行され
るようになる
Redshift は 最適化されたスループットを
提供するため、WLM concurrency setting
の自動調整機能を提供予定
ゼロメンテナンスを
目指して
Coming Soon!
✔ ✔

66. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
Amazon Redshift
パフォーマンス向上と
ディスクスペース最適化
のためテーブルのデータ
分散を自動化します
継続的なワークロード分析に
基づき、インテリジェントな
チューニングリコメンデー
ションを提供します
ALL
keyA keyB keyC keyD
Node 1
Slice 1 Slice 2
Node 2
Slice 3 Slice 4
EVEN
Node 1
Slice 1 Slice 2
Node 2
Slice 3 Slice 4
KEY
Node 1
Slice 1 Slice 2
Node 2
Slice 3 Slice 4
recommended
distribution key
もう distkey で悩む
必要はありません !
Advise
Coming Soon!

67. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
in Redshift
既存のストアドプロシー
ジャを使ってRedshift上で
動かすことができるように
なります
Redshift は PL/pgSQL フォーマットの
ストアドプロシージャをサポートする
予定です。これにより、既存のストア
ドプロシージャをそのまま持ち込むこ
とができるようになります
Redshift への移行が
より容易に！
Coming Soon!
ETL、データバリ
デーション、カスタ
ムビジネスロジック
を効率的に実行する
ための

68. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
Amazon Redshift Spectrum
S3
Redshift Spectrum
Redshift S3
Redshift
データ
S3
データレイク
データロード処理が不要に
コンピュートとストレージを分けてスケーリング
S3 上のデータに直接クエリを実行
オープンファイルフォーマット対応
(Parquet, ORC, JSON, Grok, Avro, およびCSV等)
スキャンしたデータ量のみの課金制
 Unload to Parquet
 Spectrum Request Accelerator
Coming
Soon!

69. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
• Redshift
•
•
•

70. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
Amazon Redshift
• https://aws.amazon.com/jp/redshift/
Amazon Redshift
• https://aws.amazon.com/jp/documentation/redshift/
Amazon Redshift Q A ※ AWS
• https://forums.aws.amazon.com/forum.jspa?forumID=155
Amazon Redshift Release Notes
• https://aws.amazon.com/releasenotes/Amazon-Redshift
Amazon Redshift Top 10
• http://aws.typepad.com/sajp/2015/12/top-10-performance-tuning-techniques-for-amazon-redshift.html
Amazon Redshift Spectrum 10
• https://aws.amazon.com/jp/blogs/news/10-best-practices-for-amazon-redshift-spectrum/
AWS Bigdata Blog
• https://aws.amazon.com/jp/blogs/big-data/

71. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
Q&A
AWS Japan Blog https://aws.amazon.com/jp/blogs/news/

72. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
AWS Well-Architected 個別技術相談会
•
•

73. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
AWS Webinar
https://amzn.to/JPWebinar https://amzn.to/JPArchive