Redshift勉強会

MENU
 Redshiftとは
 テーブル設計について
 Copy・Unloadについて

Redshiftとは
 高速で完全マネージド型、ペタバイト規模のデータウェアハウス（そもそもDB
ではない）
 データウェアハウスとは、一般的には大量のデータを主に追記の形で蓄積し，時系列
などで分析を行うことでビジネスの状態などを把握し，経営を改善したり（Business
Intelligence：BI），システムの効率化用のデータを取得する
 PostgreSQLがベースになっている（PostgreSQL 8.0.2だったような)
 RedShift用のJDBCおよびODBCドライバがある（PostgreSQLのドライバでも接続
可能）
 PostgreSQLではないでの使えない機能も多々ある

特徴
 カラムナー（列指向）データベース
 カラム種別ごとの圧縮エンコード
 MPP（Massively Parallel Processing）
 簡単にインスタンス追加可能

カラムナー（列指向）データベース
 大規模なデータに対する集計処理を行うので，カラムに対する集計関数（合計や
平均など）の実行が基本になる
 カラムごとにデータをブロック化する
 通常のデータベースは行指向データベースとも呼ばれ，ランダムアクセス（ある
特定の行を取得する）に向いている

カラム種別ごとの圧縮エンコード
 ストレージスペースが節約され、ストレージから読み込まれるデータのサイズが
小さくなり、ディスク I/O の量が減少するので、クエリパフォーマンスが向上す
る
 デフォルトでは、raw 形式でデータを格納
 テーブルの作成時に圧縮タイプを手動で適用するか、または COPY コマンドを
使用して圧縮を自動的に分析して適用することができる
 テーブルの作成後に列の圧縮エンコードを変更することはできない

カラム種別ごと圧縮エンコード
エンコードタイプ CREATE TABLE および ALTER TABLE のキーワードデータ型
raw（非圧縮） RAW すべて
バイトディクショナリ BYTEDICT BOOLEAN 以外のすべて
デルタ DELTA SMALLINT、INT、BIGINT、DATE、TIMESTAMP、DECIMAL
DELTA32K INT、BIGINT、DATE、TIMESTAMP、DECIMAL
LZO LZO BOOLEAN、REAL、および DOUBLE PRECISION 以外のすべて
Mostlyn MOSTLY8 SMALLINT、INT、BIGINT、DECIMAL
MOSTLY16 INT、BIGINT、DECIMAL
MOSTLY32 BIGINT、DECIMAL
ランレングス RUNLENGTH すべて
テキスト TEXT255 VARCHAR のみ
TEXT32K VARCHAR のみ

MPP（Massively Parallel Processing）
 超並列分散で処理を実行（Impalaも同じ考え）
 Leader Node（SQLドライバなどが接続するインターフェースを担うノード）と
Compute Node（スケールする，実際に計算・データ保持するノード）に分かれ
ている
 シェアード・ナッシングを実現しているため、クラスターが増えると性能も向上
する

簡単にインスタンス追加
 数クリックでインスタンスを追加することが可能
 再分散も自動で行ってくれる
 普通のデータウェアハウスのインスタンス追加は、莫大な費用と1か月近くの時
間がかかるがRedshiftだと数時間で完了（さすがにデータ用がPBクラスになると
どうなるかわかりません。。。）

注意点
 1件ずつINSERTするととても遅い
 主キー制約、一意制約、外部キー制約は違反してもエラーにならない
 COPYコマンドは全件INSERT
 文字コードが選べない
 PUBLICに対するCREATE権限とUSAGE権限はGRANTしなくても持っている
 タイムゾーンがUTC固定になっている
 マルチAZには対応していない

テーブル設計について
 最良のソートキーの選択
 最適な分散スタイルの選択
 COPY による圧縮エンコードの選択
 プライマリキーおよび外部キーの制約の定義
 最小列サイズの使用
 日付列での日時データ型の使用

最良のソートキーの選択
 ソートキーに応じたソート順でデータをディスクに格納
 クエリオプティマイザは、最適なクエリプランを決定する際にソート順を使用す
る
 ソートキーは最大400個まで指定可能
 結合を行うキーを場合は分散キーの指定も同時に行う

最適な分散スタイルの選択
 必要に応じて結合と集計を実行するために、クエリオプティマイザによって行が
コンピューティングノードに再分散される
 クエリを実行する前にデータを必要な場所に配置しておくことによって、再分散
ステップの影響を最小限に抑える
 指定できる分散キーは1つのみ
 分散のスタイルは以下の3つ
 EVEN・・・ノードに対して均等に分散される
 DIST・・・指定したキーの同一の値は同一のノードに分散される
 ALL・・・すべてを1つのノードに分散する

COPY による圧縮エンコードの選択
 エンコードタイプを指定できるが、ほとんどの場合は自動エンコードが最も適切
な結果を設定してくれる
 エンコードなしのテーブルの場合は自動エンコードが適用される
 すでにデータが含まれているテーブルには自動エンコードは適用できない
 自動エンコード分析を実行するには、サンプリングを可能にするために十分な行
（少なくとも100,000 行）がロードデータに含まれている必要がある
 すでにデータが含まれているテーブルに対してANALYZE COMPRESSIONを実行
すると現在指定されているエンコードタイプを無視して、最適なエンコードタイ
プを算出してくれる

プライマリキーおよび外部キーの制約の
定義
 プライマリキーおよび外部キーは制約としては効力を発揮しない
 クエリオプティマイザはこれらを使用して、より効率的なクエリプランを生成す
る

最小列サイズの使用
 列の最大サイズを使用しないようにする
 一時テーブルに中間クエリ結果を格納しなければならない場合、一時テーブルは
圧縮されないので、不必要に大きな列がメモリおよび一時ディスク領域を過剰に
消費して、クエリパフォーマンスに影響を与える可能性がある

日付列での日時データ型の使用
 DATE および TIMESTAMP データを CHAR または VARCHAR よりも効率的に格納
するので、クエリパフォーマンスが向上する
 日時情報を格納するときに文字型の代わりに DATE または TIMESTAMP データ型
を使用する

Copy・Unloadについて
 データファイルまたは Amazon DynamoDB テーブルから、テーブルにデータを
ロードする
 ファイルは Amazon Simple Storage Service（Amazon S3）バケット、Amazon
Elastic MapReduce（Amazon EMR）クラスターまたは Secure Shell (SSH) 接続を
使用したリモートホストに配置できる
 Amazon S3 サーバー側暗号化 (SSE) 機能を使用して Amazon S3 の 1 つ以上の
ファイルに対するクエリの結果をアンロードします。

Copy
 データファイルまたは Amazon DynamoDB テーブルから、テーブルにデータをロー
ドする
 ファイルは S3バケット、EMRクラスターまたは Secure Shell (SSH) 接続を使用したリ
モートホストに配置できる
 Copyを実行するには以下の3つが必要となる
 テーブル・・・ COPY コマンドのターゲットテーブル名
 データソース・・・ターゲットテーブルにロードするソースデータの場所
 認証情報・・・ AWS ユーザー認証情報
 オプションパラメータ
 https://github.com/ALBERT-Inc/raprog-logging/wiki/RedShiftテーブル設計#コピー時の諸々
redshiftへのデータ投入

Copyコマンド実行時のエラーについて
 コピーコマンド実行においてエラー件数が指定件数に達した場合は処理が終了と
なる
 発生したエラーを見つけるには、STL_LOAD_ERRORS にクエリすることで確認可
能
 一般的にエラーとなるものとして以下がある
 テーブルのデータ型と入力データフィールドの値の不一致
 テーブルの列数と入力データのフィールド数の不一致
 引用符の不一致
 正しくない入力ファイルの日付/時刻形式
 入力ファイルの値が範囲外
 列の値の数がその圧縮エンコーディングの制限を超えている

Unload
 Amazon S3 サーバー側暗号化 (SSE) 機能を使用して Amazon S3 の 1 つ以上の
ファイルに対するクエリの結果をアンロードします。
 PARALLEL
 UNLOAD は、クラスター内のスライスの数に応じて、データを複数のファイルに同時
に書き込む
 PARALLELをOFFにして場合は1つのファイルに出力結果が書き込まれる
 LIMIT 句を使用することはできない
 LIMITを使用したい場合はネスティングされたLIMITを使用するまたは、SELECT…INTO
を使ってテーブルを入力するか、LIMIT 句を使って CREATE TABLE AS を実行し、その
テーブルからアンロードする

おまけ-サンプルSQL
 COPY
 copy tableName from 's3://mybucket/.../' credentials 'aws_access_key_id=<access-key-
id>;aws_secret_access_key=<secret-access-key>';
 UNLOAD
 unload ('select ...') to 's3://mybucket/.../' credentials 'aws_access_key_id=<access-key-
id>;aws_secret_access_key=<secret-access-key>';
 STL_LOAD_ERRORS
 長いのでどこかに載せます

おまけ-サンプルSQL
 実行中クエリのプロセスID
 select pid, user_name, starttime, query
from stv_recents
where status='Running';
 実行中のクエリをキャンセル
 cancel PID;
 データ容量を調べる
 長いのでどこかに載せます

参考サイト
 http://docs.aws.amazon.com/ja_jp/redshift/latest/dg/welcome.html
 http://dev.classmethod.jp/cloud/aws/redshift-point-to-notice/
 http://dev.classmethod.jp/cloud/aws/amazon-redshift-query-performance-
tuning-best-practices/
 http://dev.classmethod.jp/cloud/aws/amazon-redshift-convenient-sqls/
 http://dev.classmethod.jp/cloud/aws/amazon-redshift-dbdeveloper-guide-query-
performance-tuning-etctips/

Redshift勉強会

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Similar to Redshift勉強会

Similar to Redshift勉強会 (20)

Redshift勉強会