Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Microsoft Azure - SQL Data Warehouse

7,485 views

Published on

2015 年 Build Conference でアナウンスのあったMicrosoft Azure - SQL Data Warehouseについて解説。
制限なし。自由にご利用ください。

Published in: Technology
  • Be the first to comment

Microsoft Azure - SQL Data Warehouse

  1. 1. https://azure.microsoft.com/ja-jp/
  2. 2.  
  3. 3.   開発・導入にあたってのポイントと制限
  4. 4. セルフサービス BI (Power BI / Excel) マシンラーニング (Azure ML) 定型レポート (SQL Server Reporting Service) データマイニング (SQL Server Analysis Services)
  5. 5. 6 Scale-out Relational Data warehouse
  6. 6. VS SMP(Shared Memory Parallel) MPP(Massively Parallel Processing)
  7. 7. Control Node Compute Node User ・・・・ ・・・ SQL Server の PDW(Parallel Data Warehouse ) の テクノロジを組み込んだ分散データベース Azure Blob Storage Query ・・・・
  8. 8. Compute Node ユーザー A 10 ユーザー B 100 ユーザー C 1000 ユーザー D 10000
  9. 9. CREATE TABLE [Products](….) WITH ( DISTRIBUTION = HASH(<COLUMN>) ); ハッシュ分散 CREATE TABLE [Products](….) WITH ( DISTRIBUTION = ROUND_ROBIN ); ラウンド ロビン 各 Compute Node が参照できるデータは Local の Storage のみ
  10. 10. 西日本データ、ログを3重化 東日本
  11. 11.        
  12. 12.     DWU Scan Rate Load Rate Cost 100 1M Rows/sec 15K Rows/Sec ¥71.40/時間 (~¥53,142/月) 200 2M Rows/sec 30K Rows/Sec 2x 300 3M Rows/sec 45K Rows/sec 3x 100 DWU = 297 sec 400 DWU = 74 sec 800 DWU = 37 sec 1,600 DWU = 19 sec 10 億行のスキャン検証結果 性能と Compute の料金 ※ 2015/07/13 時点のプレビュー料金 ※ DWU は最大 2000
  13. 13. ストレージ容量 月額 最初の 1 TB/月 ¥12.24 (GB あたり) 次 49 TB (1 ~ 50 TB) /月 ¥10.20 (GB あたり) 次 450 TB (50 ~ 500 TB) /月 ¥9.18 (GB あたり) 次 500 TB (500 ~ 1,000 TB) /月 ¥8.16 (GB あたり) 次 4,000 TB (1,000 ~ 5,000 TB) /月 ¥7.65 (GB あたり) 5,000 TB 超/月 サポートニお問い合わせ
  14. 14. $$$$
  15. 15. SQL Data Warehouse AWS Redshift 価格 分離(computeとstorageを個 別に調整) ノード単位(compute/storage) 弾力性 数秒間でリソースを増減 リソース増減には数時間から数日 停止/再開 あり なし ハイブリッド Azure、オンプレミス AWS のみ 互換性 True SQL support 未サポート(indexes, SQL UDFs, stored procedures, constraints)
  16. 16.  分析ソリューションと SQL Data Warehouse 
  17. 17.      
  18. 18.     サポートツール • Azure Portal • SQL Server Data Tools (SSDT) • Sqlcmd • SQL Server Management Studio は 未サポート(一部利用可能)
  19. 19.    
  20. 20. 日付 購入番号 区分 価格 20111001 11-AAA-11 200 1000 20111001 11-AAA-12 100 2000 20111002 12-BBB-21 300 1800 20111003 12-BBB-22 300 6000 20111003 13-CCC-31 200 4500 20111001 20111001 20111002 20111003 20111003 11-AAA-11 11-AAA-12 12-BBB-21 12-BBB-22 13-CCC-31 200 100 300 300 200 ※エスキューエル・クオリティ社の検証結果 カラム ストア インデックスのパフォーマンスを 100 とした場合の パ フォーマンスを相対で比較 Column Store Index では 列単位にまとめてページに格納することで 参照時の不要な I/O を削減 いままでは... DISTINCT GROUP BY フル テーブル スキャン 非クラスター化インデックス カラム ストア インデックス 12,000 10,000 8,000 6,000 4,000 2,000 0 102 倍 10,244 5,970 100 4,693 2,496 100 1 億 2000 万件で 約 100 倍の性能向上 59 倍 47 倍 25 倍
  21. 21.          2013年受注 2012年受注 2011年受注 Disk1 Disk2 Disk3 売上明細テーブル ファイルグループ 2013/05 … 2011/01 … 2013/04 … 2012/11 … パーティション2013 パーティション2012 パーティション2011 FileGroup1 FileGroup2 FileGroup3
  22. 22.  primary keys  foreign keys  check constraints  unique constraints  unique indexes  computed columns  sparse columns  user-defined types  indexed views  identities  sequences  triggers  synonyms  SSIS、 SSAS、SSRS
  23. 23.  temporary stored procedures  numbered stored procedures  extended stored procedures  CLR stored procedures  encryption option  replication option  table-valued parameters  read-only parameters  default parameters  execution contexts  return statement
  24. 24. DWU Max Concurrent Queries Max Concurrency Slots (CPUメモリなどのリソースセット) DW100 32 4 DW200 32 8 DW300 32 12 DW400 32 16 DW500 32 20 DW600 32 24 DW1000 32 40 DW1200 32 48 DW1500 32 60 DW2000 32 80
  25. 25.       
  26. 26.     
  27. 27. T-SQL query SQL Data Warehouse Hadoop Quote: ************************ ********************** ********************* ********************** *********************** $658.39 Jim Gray Name 11/13/58 DOB WA State Ann Smith 04/29/76 ME
  28. 28. -- Create a data source CREATE EXTERNAL DATA SOURCE [WebLogSource] WITH ( TYPE = HADOOP, LOCATION = 'wasbs://weblogs@sqldwdemo.blob.core.windows.net/', CREDENTIAL = ProdCreds );
  29. 29. App Service Azure SQL Database Azure Machine Learning Intelligent App Hadoop Azure SQL Data Warehouse Power BI
  30. 30. Scale-out relational data warehouse Power BI, ADF, Machine Learning などと連携 storage と compute 分離 Elastic scale http://azure.microsoft.com/ja-jp/documentation/services/sql-data-warehouse/

×