Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

20190122 AWS Black Belt Online Seminar Amazon Redshift Update

11,699 views

Published on

AWS公式オンラインセミナー: https://amzn.to/JPWebinar
過去資料: https://amzn.to/JPArchive

Published in: Technology
  • Be the first to comment

20190122 AWS Black Belt Online Seminar Amazon Redshift Update

  1. 1. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark AWS Webinar https://amzn.to/JPWebinar https://amzn.to/JPArchive Junpei Ozono, Solutions Architect 2019/1/22 Amazon Redshift Update [AWS Black Belt Online Seminar]
  2. 2. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark Redshift Specialist Solutions Architect • Redshift • DWH Data Lake • Amazon Redshift • Amazon QuickSight
  3. 3. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark AWS Black Belt Online Seminar • • ① 吹き出しをクリック ② 質問を入力 ③ Sendをクリック Twitter #awsblackbelt
  4. 4. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark • 2019 1 22 AWS (http://aws.amazon.com) • AWS AWS • • AWS does not offer binding price quotes. AWS pricing is publicly available and is subject to change in accordance with the AWS Customer Agreement available at http://aws.amazon.com/agreement/. Any pricing information included in this document is provided only as an estimate of usage charges for AWS services based on certain information that you have provided. Monthly charges will be based on your actual use of AWS services, and may vary from the estimates provided.
  5. 5. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark • Redshift • Redshift
  6. 6. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark • Redshift • Redshift 2018 • Redshift (re:Invent2018 )
  7. 7. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark • Redshift • Redshift 2018 • Redshift (re:Invent2018 )
  8. 8. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark Amazon Redshift Amazon Redshift
  9. 9. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark Amazon Redshift データウェアハウス・分析向けに特化したRDB さまざまな種類の分析ワークロードについて、より迅速な洞察を取得可能 ペタバイト級までスケールアウト 分析要求やデータ容量が増加しても、動的にスケールアップ/アウトが可能 データレイク上のデータへの直接アクセス Amazon S3 上のオープンフォーマットデータをそのまま分析可能 高速 スケーラブル データレイク への拡張 高いコスト 効果 初期費用なし、小規模から始めて、利用に応じた支払いが可能 約$1,000/TB/年、最小$0.314/時*から *費用は2019年1月時点での東京リージョンのものです
  10. 10. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark Amazon Redshift • SQL • • SQL • • • / • / ロード アンロード バックアップ リストア SQL クライアント /BI ツール 128GB RAM 16TB disk 16 cores JDBC/ODBC 128GB RAM 16TB disk 16 cores 128GB RAM 16TB disk 16 cores 128GB RAM 16TB disk 16 cores Amazon S3 Amazon Redshift
  11. 11. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark Amazon Redshift • SQL • • SQL • • • / • / Amazon Redshift Spectrum • Amazon S3 SQL クライアント /BI ツール 128GB RAM 16TB disk 16 cores JDBC/ODBC 128GB RAM 16TB disk 16 cores 128GB RAM 16TB disk 16 cores 128GB RAM 16TB disk 16 cores Amazon S3 ... 1 2 3 4 N Amazon Redshift Spectrum ロード クエリ Amazon Redshift
  12. 12. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark • • Redshift MPP : Massive Parallel Processing • 1 • Redshift • SQL クライアント /BI ツール 128GB RAM 16TB disk 16 cores JDBC/ODBC 128GB RAM 16TB disk 16 cores 128GB RAM 16TB disk 16 cores 128GB RAM 16TB disk 16 cores Amazon Redshift
  13. 13. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark • • 2, 16 • SQL クライアント /BI ツール 128GB RAM 16TB disk 16 cores JDBC/ODBC 128GB RAM 16TB disk 16 cores 128GB RAM 16TB disk 16 cores 128GB RAM 16TB disk 16 cores Amazon Redshift Core Core Core Core Core Core
  14. 14. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark Amazon Redshift • SSD DC2 HDD DS2 • • DC2 - Dense Compute vCPU メモリ(GB) ストレージ スライス ノード数 価格(※) dc2.large 2 15 0.16TB NVMe SSD 2 1~32 $0.314 /1時間 dc2.8xlarge 32 244 2.56TB NVMe SSD 16 2~128 $6.095 /1時間 DS2 – Dense Storage ds2.xlarge 4 31 2TB HDD 2 1~32 $1.190 /1時間 ds2.8xlarge 36 244 16TB HDD 16 2~128 $9.520 /1時間 ※価格は東京リージョンにおいて2019年1月時点のものです
  15. 15. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark I/O 列指向ストレージ • • 1MB
  16. 16. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark I/O 列指向ストレージ • • 1MB データ圧縮 • • I/O
  17. 17. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark I/O 列指向ストレージ • • 1MB データ圧縮 • • I/O • • min: 100 max: 999
  18. 18. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark (SQA) 機械学習 機械学習によってクエリの実行時間 を予測する 1 ショートクエリと判断されたクエリ は専用の高速キューにルーティング される 2 リソースはショートクエリのために 動的に確保される 3 SQAの機能 分析およびBI / ダッ シュボードツール コンピュー トノード コンピュー トノード コンピュー トノード Amazon Redshift 高速キュー
  19. 19. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark RESULTS CACHE QUERY_ID RESULT QUERY_ID RESULT ( ) 1 クエリはリーダーノードにて受付1 リーダーノード内のキャッシュにクエリ結果が含 まれている場合、コンピュートノード上での処理 を伴わずに返される 2 クエリ結果がキャッシュに存在しない場合、コン ピュートノード上でクエリが実行されて、その結 果がキャッシングされる 3 結果セットのキャッシュ機 能 コンピュー トノード コンピュー トノード コンピュー トノード 分析およびBI / ダッ シュボードツール Amazon Redshift 結果 キャッシュ
  20. 20. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark • コンピュートノードの追加でパ フォーマンスがリニアに向上 • マネージメントコンソールから 数クリックで拡張・縮小が可能 コンピュー トノード1 SQLクライアント/BI ツール リーダー ノード JDBC/ODBC コンピュー トノード2 コンピュー トノード3 コンピュー トノード1 SQLクライアント/BI ツール リーダー ノード JDBC/ODBC コンピュー トノード2 コンピュー トノード3 コンピュー トノード4 コンピュー トノード5 コンピュー トノード6
  21. 21. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark Amazon Redshift JDBC/ODBC ... 1 2 3 4 N Amazon S3 AWS Glue Redshift Spectrum SELECT COUNT(*) FROM S3.EXT_TABLE GROUP BY ...S3
  22. 22. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark Redshift Spectrum データロード処理が不要に コンピュートとストレージを分けてスケーリング RedshiftとS3それぞれに存在するデータを結合 安定したクエリパフォーマンスと高い並行処理 オープンファイルフォーマット対応 (Parquet, ORC, JSON, Grok, Avro, およびCSV等) スキャンしたデータ量のみの課金制 S3 データレイク Redshift データ Redshift Spectrum クエリエンジン
  23. 23. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark Redshift のインスタンス料金 • x 1 • • • 3 , 1 Amazon S3 データレイクへのクエリ料金 • S3 1TB $5 SQL クライアント /BI ツール 128GB RAM 16TB disk 16 cores JDBC/ODBC 128GB RAM 16TB disk 16 cores 128GB RAM 16TB disk 16 cores 128GB RAM 16TB disk 16 cores Amazon S3 ... 1 2 3 4 N Amazon Redshift
  24. 24. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark • Redshift • Redshift 2018 • Redshift (re:Invent2018 )
  25. 25. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark Redshift 2018 features and enhancements released* Automatically enabled short query acceleration Support for lateral column alias reference New Quick Starts New CloudWatch metrics Customized Recommendations with Advisor Current and trailing tracks for release update Federated authentication with single sign-on Improved performance for commits COPY from Parquet and ORC file formats Additional Spectrum regions Support for Scalar JSON and Ion data types Late materialization for faster query processing Support for DATE data type with Spectrum Short Query Acceleration Utilization reports Machine learning integration to accelerate dashboards and interactive analysis Improved resource management for memory-intensive queries Faster string manipulation Support for Parquet and ORC in Kinesis Data Firehose Improved workload management console experience Query Editor Support for late-binding views SQL Scalar user-defined functions Integration with AWS Glue Support for Nested Data with Spectrum Spectrum support for DATE data type Improved performance for UNION ALL queries Free upgrade from DC1 to DC2 RIs Query monitoring rules (QMR) Support for Zstandard high compression encoding Query processing improvements Support for Python UDF logging module Enhanced VPC routing Automatically hopping queries without restarts Support for uppercase column names Result Caching for Repeat Queries Support for LISTAGG DISTINCT Support for ORC and Grok file formats Integration with QuickSight DMS support with Redshift 3.5x Improved Throughput Improved performance for repeat queries *Since re:Invent 2017
  26. 26. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark *Since re:Invent 2017 Redshift 2018 features and enhancements released* Automatically enabled short query acceleration Support for lateral column alias reference New Quick Starts New CloudWatch metrics Customized Recommendations with Advisor Current and trailing tracks for release update Federated authentication with single sign-on Improved performance for commits COPY from Parquet and ORC file formats Additional Spectrum regions Support for Scalar JSON and Ion data types Late materialization for faster query processing Support for DATE data type with Spectrum Short Query Acceleration Utilization reports Machine learning integration to accelerate dashboards and interactive analysis Improved resource management for memory-intensive queries Faster string manipulation Support for Parquet and ORC in Kinesis Data Firehose Improved workload management console experience Query Editor Support for late-binding views SQL Scalar user-defined functions Integration with AWS Glue Support for Nested Data with Spectrum Spectrum support for DATE data type Improved performance for UNION ALL queries Free upgrade from DC1 to DC2 RIs Query monitoring rules (QMR) Support for Zstandard high compression encoding Query processing improvements Support for Python UDF logging module Enhanced VPC routing Automatically hopping queries without restarts Support for uppercase column names Result Caching for Repeat Queries Support for LISTAGG DISTINCT Support for ORC and Grok file formats Integration with QuickSight DMS support with Redshift 3.5x Improved Throughput Improved performance for repeat queries Speed ScaleSimplicity
  27. 27. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark *Since re:Invent 2017 Compiled code cache Support for lateral column alias reference Resource management for memory-intensive queries Late materialization Result caching Joins involving large numbers of NULL values in a join key column Queries with intermediate subquery results that can be distributed Cluster resize operations Queries that refer to stable functions with constant expressions Short query acceleration Queries operating over CHAR and VARCHAR columns Single-row inserts Improvements to speed Expressions on the partition columns of external tablesFaster string manipulation Complex EXCEPT subqueries Commit processing enhancements DC2 nodes 2x the number of tables in a cluster Hash join memory utilization optimizations and cache line prefetching COPY operation when ingesting data from Parquet and ORC formats Performance improvement for queries that refer to stable functions over constant expressions Improvements for the COPY operation when ingesting data from Parquet and ORC formats Query processing improvements Query rewrites that pushdown selective joins into a subquery Query planning
  28. 28. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark Normalized Queries Per Hour (QPH) Assuming Redshift’s QPH 6 months ago=100% Queriesperhour Asa%ofredshift6months ago ( ) 100% 181% 237% 284% 350% 3倍高速 New!
  29. 29. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark • • • • • 28% 100% • 64
  30. 30. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark Elastic Resize New! クラスター リーダーノード デー タ デー タ デー タ デー タ Redshift マネージド S3 クラスタに追加するノードを数分で追加/削除する 既に Redshift が動作する全リージョンで利用可能
  31. 31. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark コンピュー トノード1 SQLクライアント/BI ツール リーダー ノード JDBC/ODBC コンピュー トノード2 コンピュー トノード3 Classic Resize ( )
  32. 32. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark コンピュー トノード1 SQLクライアント/BI ツール リーダー ノード JDBC/ODBC コンピュー トノード2 コンピュー トノード3 Classic Resize ( ) コンピュー トノード1 リーダー ノード コンピュー トノード2 コンピュー トノード3 コンピュー トノード4 コンピュー トノード5 コンピュー トノード6
  33. 33. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark コンピュー トノード1 SQLクライアント/BI ツール リーダー ノード JDBC/ODBC コンピュー トノード2 コンピュー トノード3 Classic Resize ( ) コンピュー トノード1 リーダー ノード コンピュー トノード2 コンピュー トノード3 コンピュー トノード4 コンピュー トノード5 コンピュー トノード6
  34. 34. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark コンピュー トノード1 SQLクライアント/BI ツール リーダー ノード JDBC/ODBC コンピュー トノード2 コンピュー トノード3 Classic Resize ( ) コンピュー トノード1 リーダー ノード コンピュー トノード2 コンピュー トノード3 コンピュー トノード4 コンピュー トノード5 コンピュー トノード6 バイナリデータ転送
  35. 35. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark コンピュー トノード1 SQLクライアント/BI ツール リーダー ノード JDBC/ODBC コンピュー トノード2 コンピュー トノード3 エンドポイントDNS切替 Classic Resize ( ) コンピュー トノード1 リーダー ノード コンピュー トノード2 コンピュー トノード3 コンピュー トノード4 コンピュー トノード5 コンピュー トノード6 • データはクラスター間を移動して再分散される(それなりに時間が必要) • リサイズ中はクラスターは読み取り専用モードになる
  36. 36. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark Elastic Resizeにより、数分でノードを増減できる ユースケース:  ノードを一時的に増やし、クエリ処理をより高速化  ノードを一時的に増やし、ETLをより高速に完了  ノードを一時的に減らし、オフピーク時間のコストを抑制 Elastic Resize
  37. 37. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark resize-cluster resize-cluster --cluster-identifier <value> [--cluster-type <value>] [--node-type <value>] --number-of-nodes <value> [--classic | --no-classic] [--cli-input-json <value>] [--generate-cli-skeleton <value>] CLI
  38. 38. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark コンピュー トノード1 SQLクライアント/BI ツール リーダー ノード JDBC/ODBC コンピュー トノード2 コンピュー トノード3 コンピュー トノード4 コンピュー トノード5 コンピュー トノード6 Elastic Resize Deep Dive 3 6
  39. 39. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark • Elastic Resizeが開始されると、 Amazon S3へ自動的にスナップ ショットが取得される • その間のクラスターに対する読 み書きは可能 コンピュー トノード1 SQLクライアント/BI ツール リーダー ノード JDBC/ODBC コンピュー トノード2 コンピュー トノー3 Amazon S3 Backup Backup Backup Elastic Resize のリクエスト 数〜数十分 Elastic Resize : S3
  40. 40. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark 40 Amazon S3 • リサイズ中は、既存クラ スターに新しいノードが 追加、または削除される • スライスはシャッフル • すべてのクエリセッショ ンはリーダーノードで キューイング • いくつかのクエリは中断 される可能性がある コンピュー トノード1 SQLクライアント/BI ツール リーダー ノード JDBC/ODBC コンピュー トノード2 コンピュー トノード3 コンピュー トノード4 コンピュー トノード5 コンピュー トノード6 Elastic Resize のリクエスト 開始 終了 数分 Elastic Resize : 数〜数十分
  41. 41. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark 41 Amazon S3 • このフェーズでクラス ターは使用可能になり、 データはS3からバック グラウンドで転送 • クエリに必要なホット ブロックから先に戻す コンピュー トノード1 リーダー ノード JDBC/ODBC コンピュー トノード2 コンピュー トノード3 コンピュー トノード4 コンピュー トノード5 コンピュー トノード6 データ転送 完了 データ転送 Elastic Resize のリクエスト 開始 終了 Elastic Resize : 数〜数十分 数分 SQLクライアント/BI ツール
  42. 42. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark Elastic Resize 4 dc2.large ds2.xlarge 1/2 2 2, 4, 8 dc2.8xlarge ds2.8xlarge 1/2 2 2, 3, 4, 5, 6, 7, 8
  43. 43. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark 43 Elastic resize Classic resize / ✔ ✔ (SSD <- > HDD) ✔ Elastic Resize ✔ ( ) ( ) Elastic Resize Classic Resize
  44. 44. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark *Since re:Invent 2017 Improvements to simplicity CloudWatch metrics for Workload Execution Breakdown Current and trailing tracks for release updates Lateral column alias reference CloudWatch metrics for Query Duration by WLM Queues Cluster resize operations CloudWatch Query Runtime Breakdown metric Stream real-time data in Parquet or ORC formats using Kinesis Data Firehose DISTSTYLE AUTO distribution style Free upgrade from for DC1 RIs to DC2 Query Monitoring Rules (QMR) now support 3x more rules Short query acceleration is self-optimizing Redshift Advisor for best practice recommendations CloudWatch metrics for Query Throughput by WLM Queues Cluster resize Query Editor Enhancements to VACUUM DELETE Manage components of a multi-part query in the AWS console Automatic vacuum delete Efficiency of backup performance CloudWatch metrics for Query Throughput, Query Duration
  45. 45. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark Vacuum Analyze Vacuum Delete • Vacuum DELETE UPDATE • • Vacuum • Analyze • Analyze • • auto_analyze OFF New! Analyze Vacuum Auto Auto
  46. 46. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark Redshift
  47. 47. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark Redshift
  48. 48. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark データベースパフォーマンス タブの追加 Amazon CloudWatch
  49. 49. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark (1/2) メンテナンスウィンドウの延 期 14 Amazon SNS
  50. 50. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark (2/2) メンテナンストラックの設定 Current” “Trailing”
  51. 51. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark Redshift Query editor & Saved queries
  52. 52. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark Redshift & クエリエディタ機能 Redshift ( ) Saved queries dc1.8xlarge, dc2.large, dc2.8xlarge, or ds2.8xlarge ds2.xlarge
  53. 53. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark Redshift Advisor
  54. 54. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark Redshift アドバイザ機能 Redshift 1. 2. COPY S3 3. 4. WLM 5. COPY 6. COPY S3 7. 8. SQA 9. Interleaved Sort Key
  55. 55. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark *Since re:Invent 2017 Improvements to scale Integrateseamlesslywithyourdatalake DATE data type Retrieving metadata for late-binding viewsSupport for Enhanced VPC Routing IN-list predicate processing in Spectrum scans Query external tables during a resize operation Specify the root of an S3 bucket as the source for an existing table Spectrum queries with aggregations on partition columns Renaming external table columns Table property to specify the file compression type for external tables Push the LENGTH() string function to Spectrum ALTER TABLE ADD/DROP COLUMN for external tables is now supported via standard JDBC calls Map datatypes in Spectrum to contain arrays Support for Parquet, ORC, Avro, CSV, and other open file formats New Spectrum regions Spectrum support for JSON and ION Spectrum support for nested data Arrays of arrays and arrays of maps
  56. 56. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark VPC Spectrum • VPC VPC Redshift S3 VPC • Redshift • Redshift VPC Spectrum • VPC Spectrum https://docs.aws.amazon.com/ja_jp/redshift/latest/mgmt/spectrum-enhanced-vpc.html
  57. 57. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark Parquet / ORC COPY ORC Parquet Redshift COPY table FROM ‘s3 prefix’ FORMAT AS ORC | PARQUET ; Amazon S3 Amazon Redshift ORC Parqu et
  58. 58. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark Spectrum • ネスト化された半構造化データを、 Redshift Spectrumの外部表として指定す ることが可能に • オープンファイルフォーマットをサポー ト: Parquet, ORC, JSON, Ion { Id: 1, Name: {Given:"John", Family:"Smith"}, Phones: ["123-457789"], Orders: [ {Shipdate: ”Jul 12,2018 11:59:59", Price: 100.50} {Shipdate: ”Jul 13,2018 09:10:00", Price: 99.12} ] } { Id: 2, Name: {Given:"Jenny", Family:"Doe"}, Phones: ["858-8675309", "415-9876543"], Orders: [ ] } { Id: 3, Name: {Given:"Andy", Family:"Jones"}, Phones: [ ] Orders: [ {Shipdate: ”Jul 12,2018 08:02:15", Price: 13.50} ] }
  59. 59. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark Spectrum • ネスト化された半構造化データを、 Redshift Spectrumの外部表として指定す ることが可能に • オープンファイルフォーマットをサポー ト: Parquet, ORC, JSON, Ion • サポートするComplex Data Type : struct, array, map • 既存のSQLを拡張し、ネスト構造をドッ ト表記で表現 • CTASを用いて、ネスト化されたデータの ETL (Redshift Localテーブルへロード) が容易に create external table datalake.nested_customers_orc( id int, name struct<given:varchar(20), family:varchar(20)>, phones array<varchar(20)>, orders array<struct <shipdate:timestamp, price:double precision>> ) STORED AS ORC LOCATION 's3://mybucket/nested_orc/'; SELECT c.id, c.name.given, c.name.family, o.shipdate, o.price FROM datalake.nested_customers_orc c LEFT JOIN c.orders o ON true;
  60. 60. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark id | given | family | shipdate | price ----+-------+--------+---------------------+------- 1 | John | Smith | 2018-07-12 08:02:15 | 100.5 1 | John | Smith | 2018-07-13 09:10:00 | 99.12 2 | Jenny | Doe | | 3 | Andy | Jones | 2018-07-12 08:02:15 | 13.5 (4 rows) SELECT c.id, c.name.given, c.name.family, o.shipdate, o.price FROM datalake.nested_customers_orc c LEFT JOIN c.orders o ON true; Array orders FROM ”c” 1 Orders create external table datalake.nested_customers_orc( id int, name struct<given:varchar(20), family:varchar(20)>, phones array<varchar(20)>, orders array<struct <shipdate:timestamp, price:double precision>> ) :
  61. 61. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark • Redshift • Redshift 2018 • Redshift (re:Invent2018 )
  62. 62. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark Redshift のこれまでの課題 OLTP SQL 1 ... • RDS/Aurora • BI • Redshift (Spectrum )
  63. 63. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark オンデマンドで追加のクラスターを自動的に起動 従来よりはるかに多くのクエリを同時に処理 エンドポイントはメインクラスターのまま すべてのクラスターでデータの整合性は保たれる ConcurrencyScaling(プレビュー) 従来よりはるかに高い同時実行性で一貫して高速なパフォーマンス New!
  64. 64. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark メインクラスターが使用されている24時 間毎に、Concurrency Scalingのために1 時間分のクレジットを提供 追加クラスターで稼働したクエリに対し て1秒単位の課金 そのため多くのお客様は,Concurrency Scaling を無料でご利用可能 New! ConcurrencyScaling(プレビュー) 従来よりはるかに高い同時実行性で一貫して高速なパフォーマンス
  65. 65. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark Amazon Redshift VacuumAnalyze WLM Concurrency Setting AutoAuto Auto Vacuum や Analyze のような メンテナンスプロセスはバッ クグラウンドで自動実行され るようになる Redshift は 最適化されたスループットを 提供するため、WLM concurrency setting の自動調整機能を提供予定 ゼロメンテナンスを 目指して Coming Soon! ✔ ✔
  66. 66. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark Amazon Redshift パフォーマンス向上と ディスクスペース最適化 のためテーブルのデータ 分散を自動化します 継続的なワークロード分析に 基づき、インテリジェントな チューニングリコメンデー ションを提供します ALL keyA keyB keyC keyD Node 1 Slice 1 Slice 2 Node 2 Slice 3 Slice 4 EVEN Node 1 Slice 1 Slice 2 Node 2 Slice 3 Slice 4 KEY Node 1 Slice 1 Slice 2 Node 2 Slice 3 Slice 4 recommended distribution key もう distkey で悩む 必要はありません ! Advise Coming Soon!
  67. 67. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark in Redshift 既存のストアドプロシー ジャを使ってRedshift上で 動かすことができるように なります Redshift は PL/pgSQL フォーマットの ストアドプロシージャをサポートする 予定です。これにより、既存のストア ドプロシージャをそのまま持ち込むこ とができるようになります Redshift への移行が より容易に! Coming Soon! ETL、データバリ デーション、カスタ ムビジネスロジック を効率的に実行する ための
  68. 68. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark Amazon Redshift Spectrum S3 Redshift Spectrum Redshift S3 Redshift データ S3 データレイク データロード処理が不要に コンピュートとストレージを分けてスケーリング S3 上のデータに直接クエリを実行 オープンファイルフォーマット対応 (Parquet, ORC, JSON, Grok, Avro, およびCSV等) スキャンしたデータ量のみの課金制  Unload to Parquet  Spectrum Request Accelerator Coming Soon!
  69. 69. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark • Redshift • • •
  70. 70. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark Amazon Redshift • https://aws.amazon.com/jp/redshift/ Amazon Redshift • https://aws.amazon.com/jp/documentation/redshift/ Amazon Redshift Q A ※ AWS • https://forums.aws.amazon.com/forum.jspa?forumID=155 Amazon Redshift Release Notes • https://aws.amazon.com/releasenotes/Amazon-Redshift Amazon Redshift Top 10 • http://aws.typepad.com/sajp/2015/12/top-10-performance-tuning-techniques-for-amazon-redshift.html Amazon Redshift Spectrum 10 • https://aws.amazon.com/jp/blogs/news/10-best-practices-for-amazon-redshift-spectrum/ AWS Bigdata Blog • https://aws.amazon.com/jp/blogs/big-data/
  71. 71. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark Q&A AWS Japan Blog https://aws.amazon.com/jp/blogs/news/
  72. 72. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark AWS Well-Architected 個別技術相談会 • •
  73. 73. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark AWS Webinar https://amzn.to/JPWebinar https://amzn.to/JPArchive

×