Submit Search
Upload
AWS Casual 02: ふつうのRedshiftパフォーマンスチューニング
•
36 likes
•
8,518 views
Minero Aoki
Follow
ふつうのRedshiftパフォーマンスチューニング @ AWS Casual 02, 2014-04-18
Read less
Read more
Technology
Report
Share
Report
Share
1 of 28
Download now
Download to read offline
Recommended
Logをs3とredshiftに格納する仕組み
Logをs3とredshiftに格納する仕組み
Ken Morishita
Amazon Redshiftの開発者がこれだけは知っておきたい10のTIPS / 第18回 AWS User Group - Japan
Amazon Redshiftの開発者がこれだけは知っておきたい10のTIPS / 第18回 AWS User Group - Japan
Koichi Fujikawa
Amazon Redshift ことはじめ
Amazon Redshift ことはじめ
Shiro Miyazaki
Amazon Redshiftへの移行方法と設計のポイント(db tech showcase 2016)
Amazon Redshiftへの移行方法と設計のポイント(db tech showcase 2016)
Amazon Web Services Japan
はじめてのAmazon Redshift
はじめてのAmazon Redshift
Jun Okubo
事例で学ぶApache Cassandra
事例で学ぶApache Cassandra
Yuki Morishita
Windows Azure HDInsight サービスの紹介
Windows Azure HDInsight サービスの紹介
Kuninobu SaSaki
FukuokaCloud_Azure
FukuokaCloud_Azure
Shinichiro Isago
Recommended
Logをs3とredshiftに格納する仕組み
Logをs3とredshiftに格納する仕組み
Ken Morishita
Amazon Redshiftの開発者がこれだけは知っておきたい10のTIPS / 第18回 AWS User Group - Japan
Amazon Redshiftの開発者がこれだけは知っておきたい10のTIPS / 第18回 AWS User Group - Japan
Koichi Fujikawa
Amazon Redshift ことはじめ
Amazon Redshift ことはじめ
Shiro Miyazaki
Amazon Redshiftへの移行方法と設計のポイント(db tech showcase 2016)
Amazon Redshiftへの移行方法と設計のポイント(db tech showcase 2016)
Amazon Web Services Japan
はじめてのAmazon Redshift
はじめてのAmazon Redshift
Jun Okubo
事例で学ぶApache Cassandra
事例で学ぶApache Cassandra
Yuki Morishita
Windows Azure HDInsight サービスの紹介
Windows Azure HDInsight サービスの紹介
Kuninobu SaSaki
FukuokaCloud_Azure
FukuokaCloud_Azure
Shinichiro Isago
Amazon Aurora Deep Dive (db tech showcase 2016)
Amazon Aurora Deep Dive (db tech showcase 2016)
Amazon Web Services Japan
Webアプリケーションから見たCassandra
Webアプリケーションから見たCassandra
2t3
Db tech showcase2015 how to replicate between clusters
Db tech showcase2015 how to replicate between clusters
Hiroaki Kubota
インフラエンジニアのためのcassandra入門
インフラエンジニアのためのcassandra入門
Akihiro Kuwano
RDB開発者のためのApache Cassandra データモデリング入門
RDB開発者のためのApache Cassandra データモデリング入門
Yuki Morishita
AWS Black Belt Techシリーズ Amazon Redshift
AWS Black Belt Techシリーズ Amazon Redshift
Amazon Web Services Japan
Cassandraとh baseの比較して入門するno sql
Cassandraとh baseの比較して入門するno sql
Yutuki r
(LT)Spark and Cassandra
(LT)Spark and Cassandra
datastaxjp
Devsumi2013【15-e-5】NoSQLの野心的な使い方 ~Apache Cassandra編~
Devsumi2013【15-e-5】NoSQLの野心的な使い方 ~Apache Cassandra編~
kishimotosc
Couchbase introduction-20150611
Couchbase introduction-20150611
Couchbase Japan KK
Yahoo! JAPANのプライベートRDBクラウドとマルチライター型 MySQL #dbts2017 #dbtsOSS
Yahoo! JAPANのプライベートRDBクラウドとマルチライター型 MySQL #dbts2017 #dbtsOSS
Yahoo!デベロッパーネットワーク
DB Tech showcase Tokyo 2015 Works Applications
DB Tech showcase Tokyo 2015 Works Applications
2t3
Cassandraのトランザクションサポート化 & web2pyによるcms用プラグイン開発
Cassandraのトランザクションサポート化 & web2pyによるcms用プラグイン開発
kishimotosc
[db tech showcase Tokyo 2015] A33:Amazon Aurora Deep Dive by アマゾン データ サービス ジャ...
[db tech showcase Tokyo 2015] A33:Amazon Aurora Deep Dive by アマゾン データ サービス ジャ...
Insight Technology, Inc.
Db tech showcase 2016
Db tech showcase 2016
datastaxjp
噛み砕いてKafka Streams #kafkajp
噛み砕いてKafka Streams #kafkajp
Yahoo!デベロッパーネットワーク
NoSQLに関するまとめ
NoSQLに関するまとめ
Gosuke Miyashita
[db tech showcase Tokyo 2016] D27: Next Generation Apache Cassandra by ヤフー株式会...
[db tech showcase Tokyo 2016] D27: Next Generation Apache Cassandra by ヤフー株式会...
Insight Technology, Inc.
スマートフォン×Cassandraによるハイパフォーマンス基盤の構築事例
スマートフォン×Cassandraによるハイパフォーマンス基盤の構築事例
terurou
リペア時間短縮にむけた取り組み@Yahoo! JAPAN #casstudy
リペア時間短縮にむけた取り組み@Yahoo! JAPAN #casstudy
Yahoo!デベロッパーネットワーク
ツイートID生成とツイッターリアルタイム検索システムの話
ツイートID生成とツイッターリアルタイム検索システムの話
Preferred Networks
ビッグデータ&データマネジメント展
ビッグデータ&データマネジメント展
Recruit Technologies
More Related Content
What's hot
Amazon Aurora Deep Dive (db tech showcase 2016)
Amazon Aurora Deep Dive (db tech showcase 2016)
Amazon Web Services Japan
Webアプリケーションから見たCassandra
Webアプリケーションから見たCassandra
2t3
Db tech showcase2015 how to replicate between clusters
Db tech showcase2015 how to replicate between clusters
Hiroaki Kubota
インフラエンジニアのためのcassandra入門
インフラエンジニアのためのcassandra入門
Akihiro Kuwano
RDB開発者のためのApache Cassandra データモデリング入門
RDB開発者のためのApache Cassandra データモデリング入門
Yuki Morishita
AWS Black Belt Techシリーズ Amazon Redshift
AWS Black Belt Techシリーズ Amazon Redshift
Amazon Web Services Japan
Cassandraとh baseの比較して入門するno sql
Cassandraとh baseの比較して入門するno sql
Yutuki r
(LT)Spark and Cassandra
(LT)Spark and Cassandra
datastaxjp
Devsumi2013【15-e-5】NoSQLの野心的な使い方 ~Apache Cassandra編~
Devsumi2013【15-e-5】NoSQLの野心的な使い方 ~Apache Cassandra編~
kishimotosc
Couchbase introduction-20150611
Couchbase introduction-20150611
Couchbase Japan KK
Yahoo! JAPANのプライベートRDBクラウドとマルチライター型 MySQL #dbts2017 #dbtsOSS
Yahoo! JAPANのプライベートRDBクラウドとマルチライター型 MySQL #dbts2017 #dbtsOSS
Yahoo!デベロッパーネットワーク
DB Tech showcase Tokyo 2015 Works Applications
DB Tech showcase Tokyo 2015 Works Applications
2t3
Cassandraのトランザクションサポート化 & web2pyによるcms用プラグイン開発
Cassandraのトランザクションサポート化 & web2pyによるcms用プラグイン開発
kishimotosc
[db tech showcase Tokyo 2015] A33:Amazon Aurora Deep Dive by アマゾン データ サービス ジャ...
[db tech showcase Tokyo 2015] A33:Amazon Aurora Deep Dive by アマゾン データ サービス ジャ...
Insight Technology, Inc.
Db tech showcase 2016
Db tech showcase 2016
datastaxjp
噛み砕いてKafka Streams #kafkajp
噛み砕いてKafka Streams #kafkajp
Yahoo!デベロッパーネットワーク
NoSQLに関するまとめ
NoSQLに関するまとめ
Gosuke Miyashita
[db tech showcase Tokyo 2016] D27: Next Generation Apache Cassandra by ヤフー株式会...
[db tech showcase Tokyo 2016] D27: Next Generation Apache Cassandra by ヤフー株式会...
Insight Technology, Inc.
スマートフォン×Cassandraによるハイパフォーマンス基盤の構築事例
スマートフォン×Cassandraによるハイパフォーマンス基盤の構築事例
terurou
リペア時間短縮にむけた取り組み@Yahoo! JAPAN #casstudy
リペア時間短縮にむけた取り組み@Yahoo! JAPAN #casstudy
Yahoo!デベロッパーネットワーク
What's hot
(20)
Amazon Aurora Deep Dive (db tech showcase 2016)
Amazon Aurora Deep Dive (db tech showcase 2016)
Webアプリケーションから見たCassandra
Webアプリケーションから見たCassandra
Db tech showcase2015 how to replicate between clusters
Db tech showcase2015 how to replicate between clusters
インフラエンジニアのためのcassandra入門
インフラエンジニアのためのcassandra入門
RDB開発者のためのApache Cassandra データモデリング入門
RDB開発者のためのApache Cassandra データモデリング入門
AWS Black Belt Techシリーズ Amazon Redshift
AWS Black Belt Techシリーズ Amazon Redshift
Cassandraとh baseの比較して入門するno sql
Cassandraとh baseの比較して入門するno sql
(LT)Spark and Cassandra
(LT)Spark and Cassandra
Devsumi2013【15-e-5】NoSQLの野心的な使い方 ~Apache Cassandra編~
Devsumi2013【15-e-5】NoSQLの野心的な使い方 ~Apache Cassandra編~
Couchbase introduction-20150611
Couchbase introduction-20150611
Yahoo! JAPANのプライベートRDBクラウドとマルチライター型 MySQL #dbts2017 #dbtsOSS
Yahoo! JAPANのプライベートRDBクラウドとマルチライター型 MySQL #dbts2017 #dbtsOSS
DB Tech showcase Tokyo 2015 Works Applications
DB Tech showcase Tokyo 2015 Works Applications
Cassandraのトランザクションサポート化 & web2pyによるcms用プラグイン開発
Cassandraのトランザクションサポート化 & web2pyによるcms用プラグイン開発
[db tech showcase Tokyo 2015] A33:Amazon Aurora Deep Dive by アマゾン データ サービス ジャ...
[db tech showcase Tokyo 2015] A33:Amazon Aurora Deep Dive by アマゾン データ サービス ジャ...
Db tech showcase 2016
Db tech showcase 2016
噛み砕いてKafka Streams #kafkajp
噛み砕いてKafka Streams #kafkajp
NoSQLに関するまとめ
NoSQLに関するまとめ
[db tech showcase Tokyo 2016] D27: Next Generation Apache Cassandra by ヤフー株式会...
[db tech showcase Tokyo 2016] D27: Next Generation Apache Cassandra by ヤフー株式会...
スマートフォン×Cassandraによるハイパフォーマンス基盤の構築事例
スマートフォン×Cassandraによるハイパフォーマンス基盤の構築事例
リペア時間短縮にむけた取り組み@Yahoo! JAPAN #casstudy
リペア時間短縮にむけた取り組み@Yahoo! JAPAN #casstudy
Similar to AWS Casual 02: ふつうのRedshiftパフォーマンスチューニング
ツイートID生成とツイッターリアルタイム検索システムの話
ツイートID生成とツイッターリアルタイム検索システムの話
Preferred Networks
ビッグデータ&データマネジメント展
ビッグデータ&データマネジメント展
Recruit Technologies
Simplest API Server "miq"
Simplest API Server "miq"
Yuki Ito
ORTCの仕様書をざっくり斜め読みする
ORTCの仕様書をざっくり斜め読みする
Yusuke Naka
PHPとMongoDBで学ぶ次世代データストア
PHPとMongoDBで学ぶ次世代データストア
Takuya Sato
続・SECDマシン
続・SECDマシン
t-sin
最近のストリーム処理事情振り返り
最近のストリーム処理事情振り返り
Sotaro Kimura
LineairDBの紹介
LineairDBの紹介
Sho Nakazono
Dalvik仮想マシンのアーキテクチャ 改訂版
Dalvik仮想マシンのアーキテクチャ 改訂版
Takuya Matsunaga
PSoCまつり「PSoCの美味しい料理法」
PSoCまつり「PSoCの美味しい料理法」
betaEncoder
Handlersocket 20140218
Handlersocket 20140218
akirahiguchi
もうSQLとNoSQLを選ぶ必要はない!? ~両者を備えたスケールアウトデータベースGridDB~
もうSQLとNoSQLを選ぶ必要はない!? ~両者を備えたスケールアウトデータベースGridDB~
griddb
クラウドの破壊力
クラウドの破壊力
Osaka University
初心者向け負荷軽減のはなし
初心者向け負荷軽減のはなし
Oonishi Takaaki
コモディティL3SW/ルータでオープンなSDNを実現しよう
コモディティL3SW/ルータでオープンなSDNを実現しよう
Takashi Sogabe
WebDB Forum 2012 基調講演資料
WebDB Forum 2012 基調講演資料
Recruit Technologies
Fluentd meetup #2
Fluentd meetup #2
Tomohiro Ikeda
Ossで作成するチーム開発環境
Ossで作成するチーム開発環境
Tadahiro Ishisaka
Developers.IO 2019 Effective Datalake
Developers.IO 2019 Effective Datalake
Satoru Ishikawa
Webエンジニアがスタートダッシュをキメるためのローカル開発環境の勘所
Webエンジニアがスタートダッシュをキメるためのローカル開発環境の勘所
Y Watanabe
Similar to AWS Casual 02: ふつうのRedshiftパフォーマンスチューニング
(20)
ツイートID生成とツイッターリアルタイム検索システムの話
ツイートID生成とツイッターリアルタイム検索システムの話
ビッグデータ&データマネジメント展
ビッグデータ&データマネジメント展
Simplest API Server "miq"
Simplest API Server "miq"
ORTCの仕様書をざっくり斜め読みする
ORTCの仕様書をざっくり斜め読みする
PHPとMongoDBで学ぶ次世代データストア
PHPとMongoDBで学ぶ次世代データストア
続・SECDマシン
続・SECDマシン
最近のストリーム処理事情振り返り
最近のストリーム処理事情振り返り
LineairDBの紹介
LineairDBの紹介
Dalvik仮想マシンのアーキテクチャ 改訂版
Dalvik仮想マシンのアーキテクチャ 改訂版
PSoCまつり「PSoCの美味しい料理法」
PSoCまつり「PSoCの美味しい料理法」
Handlersocket 20140218
Handlersocket 20140218
もうSQLとNoSQLを選ぶ必要はない!? ~両者を備えたスケールアウトデータベースGridDB~
もうSQLとNoSQLを選ぶ必要はない!? ~両者を備えたスケールアウトデータベースGridDB~
クラウドの破壊力
クラウドの破壊力
初心者向け負荷軽減のはなし
初心者向け負荷軽減のはなし
コモディティL3SW/ルータでオープンなSDNを実現しよう
コモディティL3SW/ルータでオープンなSDNを実現しよう
WebDB Forum 2012 基調講演資料
WebDB Forum 2012 基調講演資料
Fluentd meetup #2
Fluentd meetup #2
Ossで作成するチーム開発環境
Ossで作成するチーム開発環境
Developers.IO 2019 Effective Datalake
Developers.IO 2019 Effective Datalake
Webエンジニアがスタートダッシュをキメるためのローカル開発環境の勘所
Webエンジニアがスタートダッシュをキメるためのローカル開発環境の勘所
Recently uploaded
論文紹介:Semantic segmentation using Vision Transformers: A survey
論文紹介:Semantic segmentation using Vision Transformers: A survey
Toru Tamaki
SOPを理解する 2024/04/19 の勉強会で発表されたものです
SOPを理解する 2024/04/19 の勉強会で発表されたものです
iPride Co., Ltd.
【早稲田AI研究会 講義資料】3DスキャンとTextTo3Dのツールを知ろう!(Vol.1)
【早稲田AI研究会 講義資料】3DスキャンとTextTo3Dのツールを知ろう!(Vol.1)
Hiroki Ichikura
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
Toru Tamaki
論文紹介:Automated Classification of Model Errors on ImageNet
論文紹介:Automated Classification of Model Errors on ImageNet
Toru Tamaki
TataPixel: 畳の異方性を利用した切り替え可能なディスプレイの提案
TataPixel: 畳の異方性を利用した切り替え可能なディスプレイの提案
sugiuralab
TSAL operation mechanism and circuit diagram.pdf
TSAL operation mechanism and circuit diagram.pdf
taisei2219
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Yuma Ohgami
Recently uploaded
(8)
論文紹介:Semantic segmentation using Vision Transformers: A survey
論文紹介:Semantic segmentation using Vision Transformers: A survey
SOPを理解する 2024/04/19 の勉強会で発表されたものです
SOPを理解する 2024/04/19 の勉強会で発表されたものです
【早稲田AI研究会 講義資料】3DスキャンとTextTo3Dのツールを知ろう!(Vol.1)
【早稲田AI研究会 講義資料】3DスキャンとTextTo3Dのツールを知ろう!(Vol.1)
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
論文紹介:Automated Classification of Model Errors on ImageNet
論文紹介:Automated Classification of Model Errors on ImageNet
TataPixel: 畳の異方性を利用した切り替え可能なディスプレイの提案
TataPixel: 畳の異方性を利用した切り替え可能なディスプレイの提案
TSAL operation mechanism and circuit diagram.pdf
TSAL operation mechanism and circuit diagram.pdf
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
AWS Casual 02: ふつうのRedshiftパフォーマンスチューニング
1.
ふつうのRedshift パフォーマンスチューニング 青木峰郎
2.
Redshiftについて
3.
並列RDBMS
4.
Redshiftのアーキテクチャ compute node 0 compute
node 1 leader node compute node 2 compute node 3
5.
並列単位はNode Slice Node 0
Node 1 Node 2 Slice 0 Slice 1 Slice 2 Slice 3 Slice 4 Slice 5
6.
行は分散キーのハッシュ値で決定する node slice 0
node slice 1 node slice 2 node slice 3 time user_id item_id 1398579843 289750 19375
7.
本題
8.
なんかシステムもいろいろ あるじゃないですか
9.
典型的なシステム ウェブとか アプリとか Redshift BIツール Txn, ログ マスター マスター Hadoop 直SQL (人間) バッチ
10.
処理の種類 • オンライン(OLTP)マイクロ秒、更新あり • オンライン(OLAP
/ tactical)0.1∼数秒 • オンライン(OLAP / strategic)数秒∼数分 • バッチ 数分∼数時間
11.
OLTP 無理
12.
具体的に言うと… • リクエストの並列度が高いのは無理 • 秒間2桁以上はやめとけ •
高頻度・細粒度で更新するのは無理 • 5分間隔の追加くらいがギリ
13.
Tactical Query • sortkeyに当てろ •
テーブルサイズを実測して一番小さくしろ • 事前ジョインはあんま効かない(集計はOK)
14.
Strategic, Batch ここからが本番
15.
問題外の頻出パターン Redshift 全行selectしてきてRedshiftの外で非並列処理している Rubyとか Perlとか
16.
やめて!
17.
データを移動したら負け
18.
データの規模感 行数 サイズ 雰囲気
設計時の態度 100億∼ 1TB∼ マジヤバイ 細心の注意 ∼100億 ∼1TB 大きい 真面目にやれ ∼10億 ∼100GB 普通 考える ∼1億 ∼10GB 小さい 適当 ∼1千万 ∼1GB ゴミ 無視
19.
ネットワークが最重要 slice 0 CPU Disk slice 1 CPU Disk slice
2 CPU Disk
20.
dw1.xlargeの場合 最近の速度 速度比 CPU メモリより だいぶ速い x10 メモリ 20GB/s ※DDR3 x100 ディスク 300MB/s
x10 ネットワーク 30MB/s ※実測 1
21.
チューニングすべき順 # リソース 手段 1
ネットワーク distkey 2 I/O encode, sortkey, 正規化, 事前集計 3 CPU sortkey, 正規化, 事前集計
22.
再分散を避ける データ データ データ
データ データ データ データ データ
23.
ジョインキーがdistkeyなら 再分散は起こらない user_id time action 1 1 3 5 user_id
name org 1 3 5 7 user_id time action 2 4 4 4 user_id name org 2 4 6 8 ログテーブル ユーザー マスター
24.
ログテーブル GROUP BYキーがdistkeyなら 再分散は起こらない user_id time
action 1 1 3 5 5 5 7 9 9 user_id time action 2 4 4 4 6 6 8 10 10
25.
目印は DS_DIST_NONE
26.
データを移動したら負け (再)
27.
詳しくは WEB+DB pressの 記事をごら んください
28.
カジュアルなまとめ • 並列RDBではネットワークが最も貴重 • ネットワークの負荷を減らすには再分散を回避 •
再分散を回避するには分散キーを熟慮する
Download now