• Like
RedshiftはDWHだけじゃない
Upcoming SlideShare
Loading in...5
×

RedshiftはDWHだけじゃない

  • 1,436 views
Uploaded on

JAWS Festa Kansai2013のLTで発表した資料です。 …

JAWS Festa Kansai2013のLTで発表した資料です。
Redshiftは高い買い物ですが、DHW意外の使い方もありますよという話。

More in: Technology
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Be the first to comment
No Downloads

Views

Total Views
1,436
On Slideshare
0
From Embeds
0
Number of Embeds
2

Actions

Shares
Downloads
18
Comments
0
Likes
9

Embeds 0

No embeds

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
    No notes for slide

Transcript

  • 1. RedshiftはDWHだけじゃない - 導入したいけど高いとお思いのあなたへ -
  • 2. 星野 豊 (@con_mame) クックパッド株式会社 インフラストラクチャー部 AWS / MySQL / DataStore etc... http://d.conma.me/ http://facebook.com/conmame
  • 3. BIG DATA
  • 4. 世はまさにビッグデータ ログ アクセスログ 行動ログ 購入・決済ログ クリック・動線
  • 5. ビッグデータ
  • 6. DWH / BI tool
  • 7. DWH
  • 8. 数千万∼数億
  • 9. (  ゚д゚)  ・・・        (つд⊂)ゴシゴシ        (;゚д゚)  ・・・        (つд⊂)ゴシゴシゴシ       _̲,  ._̲   (;゚  Д゚)  …!?
  • 10.     ∧_̲∧   ⊂(#・ω・)  置き場所が無い!     /      ノ∪     し―-‐‑‒J  |l|  |                     ⼈人ペシッ!!                 __                 \    \                      ̄ ̄
  • 11. 何より...
  • 12.     ∧_̲∧   ⊂(#・ω・)  ⾼高い!     /      ノ∪     し―-‐‑‒J  |l|  |                     ⼈人ペシッ!!                 __                 \    \                      ̄ ̄
  • 13. Redshift
  • 14. Redshift?
  • 15. Redshift? データウェアハウス フルマネージド 拡張性が高い 数TB∼数PB カラムナ型 リーズナブル? データ保全性が高い(マルチノードなら) 複数ノードでデータ冗長保持 S3へのSnapshotバック・アップ
  • 16. Price
  • 17. 1Y RI 3Y RI
  • 18. XL: 90,000 / 1,080,000 8XL: 720,000 / 8,640,000 1node type: month / year (円) XL: 54,366 / 652,399 8XL: 434,933 / 5,219,199 XL: 32,711 / 392,533 8XL: 261,688 / 3,140,266 1Y RI 3Y RI
  • 19. まだ高い…
  • 20. 1クラスタを複数の用途で 一緒に使えばいいのでは?
  • 21. DWHだけじゃない使い方
  • 22. ユーザ動向 検索ワード動向 監査 データarchive サポート developer more user
  • 23. ユーザ動向 検索ワード動向 監査 データarchive サポート developer more user ユーザ属性変更 行動ログ etc... 他データストアから (後々データ解析で使用で きる可能性のあるもの)
  • 24. app app app fluent proxy fluent proxy manage Separate audit from general logs
  • 25. Development DB Audit DB Service log DB Data archive DB
  • 26. Development DB Audit DB Service log DB Data archive DB 共用 部署A 部署B 部署C
  • 27. 部署ごとにクラスタ料金を 分割出来る
  • 28. Work Load Management
  • 29. Redshiftへのクエリはキューごとに管理される キュー毎に並列度が設定されている defaultでは1つのキュー・5並列 並列度を超えた場合は先行クエリが終わるのを待つ キューの識別 ユーザ クエリグループ サーバリソースは全てのキューで共有
  • 30. 最優先 アプリケーションから発行されるクエリ 並列度高め 優先度低 バッチなどから発行されある程度時間がかかってい いもの どうにもこうにも時間内に収まらない場合はクラス タサイズアップも検討 最低 開発用
  • 31. こう使うと コネクション沢山はってしまう 今は増やせません 同時96 connectionまで… とてつもなく重いクエリ流しちゃった… psqlでも繋げな い… Management Consoleからクエリ killできません 実行が終わるのを待つかtimeoutを適切に HWリソースもクエリ毎に重み付けしたい 今は出来ません…並列度をうまいことやりくりします
  • 32. こう使うと コネクション沢山はってしまう 今は増やせません 同時96 connectionまで… とてつもなく重いクエリ流しちゃった… psqlでも繋げな い… Management Consoleからクエリ killできません 実行が終わるのを待つかtimeoutを適切に HWリソースもクエリ毎に重み付けしたい 今は出来ません…並列度をうまいことやりくりします 実現お待ちしております!!!
  • 33. Conclusion
  • 34. 1用途で高い!と思ったら 動向調査などの普通のDWH以外の使い方も考えてみる 用途が広がればノード代金をシェア出来る (クラスタサイズupも出来るかも) しっかりパフォーマンス測定をして 必要十分を用意する WLMをしっかり考える
  • 35. Thank you!!