Downloaded 52 times
![オンデマンド での DataLake 参照
SELECT
TOP 100 *
FROM
OPENROWSET(
BULK 'https://<storage>/path/to/files/*.parquet’,
FORMAT = 'Parquet’
) AS [r]
Data Lake SQL on-demand Client](https://image.slidesharecdn.com/20191119datatechmicrosoftdahatake-191119003900/85/SQL-Server-2019-Microsoft-Data-Platform-41-320.jpg)
![Sales
Product
Sales Agg
Customer
Geography
Date
Employee
Reseller
Sales
Aggregations
Date
Employee
Reseller
Sales
Customer
Geography
Product
SummarizeColumns(
Date[Year],
Geography[City],
"Sales", Sum(Sales[Amount])
)](https://image.slidesharecdn.com/20191119datatechmicrosoftdahatake-191119003900/85/SQL-Server-2019-Microsoft-Data-Platform-59-320.jpg)
![Sales
Product
Sales Agg
Customer
Geography
Date
Employee
Reseller
Sales
Aggregations
Date
Employee
Reseller
Sales
Customer
Geography
SELECT [Year],
[Name],
SUM([Amount]) AS [Amount]
FROM [Sales]
INNER JOIN [Date] ON ...
INNER JOIN [Customer] ON ...
GROUP BY [Year],
[Name]
Product
SummarizeColumns(
Date[Year],
Customer[Name],
"Sales", Sum(Sales[Amount])
)](https://image.slidesharecdn.com/20191119datatechmicrosoftdahatake-191119003900/85/SQL-Server-2019-Microsoft-Data-Platform-60-320.jpg)
Uploaded byDaiyu Hatakeyama
SQL Server 2019 とともに知る Microsoft Data Platform
ビジネスにとってのデータの重要性は高まり続ける中、それを支えるデータ管理の技術も進化を遂げています。SQL/NoSQL の垣根を越えてオンプレミス、クラウドで動作するSQL Serverの進化は止まる事を知りません。このセッションでは、Microsoft Ignite の発表も盛り込んだ、最新つまり、最短距離で短期だけでなく中長期的な課題を解決するための最新のMicrosoft のData Platform についてご紹介します。
More Related Content
![【ウェブ セミナー】AI 時代のクラウド データ ウェアハウス Azure SQL Data Warehouse [実践編]](https://cdn.slidesharecdn.com/ss_thumbnails/webinarsqldw20170726-180220004900-thumbnail.jpg?width=640&height=640&fit=bounds)
![[DI12] あらゆるデータをビジネスに活用! Azure Data Lake を中心としたビックデータ処理基盤のアーキテクチャと実装](https://cdn.slidesharecdn.com/ss_thumbnails/di12-170616053736-thumbnail.jpg?width=640&height=640&fit=bounds)
![[DI09] ここまで進化した! マイクロソフトの 「BI 」](https://cdn.slidesharecdn.com/ss_thumbnails/di09-170616014918-thumbnail.jpg?width=640&height=640&fit=bounds)
![[DI07] あらゆるデータに価値がある! アンチ断捨離ストのための Azure Data Lake](https://cdn.slidesharecdn.com/ss_thumbnails/di07-170605024557-thumbnail.jpg?width=640&height=640&fit=bounds)
![【ウェブ セミナー】AI / アナリティクスを支えるビッグデータ基盤 Azure Data Lake [実践編]](https://cdn.slidesharecdn.com/ss_thumbnails/webinaradl20180308-180308093647-thumbnail.jpg?width=640&height=640&fit=bounds)
![[DI03] DWH スペシャリストが語る! Azure SQL Data Warehouse チューニングの勘所](https://cdn.slidesharecdn.com/ss_thumbnails/di03-170605023803-thumbnail.jpg?width=640&height=640&fit=bounds)
![【ウェブ セミナー】AI / アナリティクスを支えるビッグデータ基盤 Azure Data Lake [概要編]](https://cdn.slidesharecdn.com/ss_thumbnails/webinaradl20180215-180219043331-thumbnail.jpg?width=640&height=640&fit=bounds)
![[db tech showcase Tokyo 2017] AzureでOSS DB/データ処理基盤のPaaSサービスを使ってみよう (Azure Dat...](https://cdn.slidesharecdn.com/ss_thumbnails/20170907dbtechshowcaseazureossdb-170907082746-thumbnail.jpg?width=640&height=640&fit=bounds)
Similar to SQL Server 2019 とともに知る Microsoft Data Platform
![M20_Azure SQL Database 最新アップデートをまとめてキャッチアップ [Microsoft Japan Digital Days]](https://cdn.slidesharecdn.com/ss_thumbnails/m20azuresqldatabase-211027133338-thumbnail.jpg?width=640&height=640&fit=bounds)
SQL Server 2019 とともに知る Microsoft Data Platform
- 1. 畠山 大有 |@dahatake Architect && Software Engineer && Applied Data Scientist Microsoft Japan
- 2.
- 3.
- 4.
- 5. SQL Server の進化 Performanceand productivity Self-service BI Cloud-ready Mission Critical and cloud performance Built-in ML Docker & Linux Intelligence over all data SQL Server 2008 SQL Server 2008 R2 SQL Server 2012 SQL Server 2014 SQL Server 2016 SQL Server 2017 SQL Server 2019 Power Pivot (In-Memory) / SharePoint 統合 / Master Data サービス データ圧縮 / ポリシーベース管理 / プログラマビリティ AlwaysOn / In-Memory 列ストア (非クラスター化列ストア) / Data Quality サービス / Power View / クラウド 業界をリードするパフォーマンス / 機械学習 (R) / PolyBase / ハイブリッドクラウドの最適化 / クラウドエンジニアリングファースト / クラウド BI 業界をリードするパフォーマンス / グラフデータベース / 機械学習 (R / Python) / 言語とプラットフォームの選択肢の強化 / クラウドへのシンプルな移行 ワークロード全体のインメモリ化 （In-Memory OLTP / クラスター化列ストアインデックス) / ハイブリッドクラウドの最適化 / クラウド BI すべてのデータに対するインテリジェンス / Spark と HDFS を備えたBig Data Cluster / 機械学習 (R / Python / Java) / データ分類とコンプライアンス追跡 / Azure Data Studio
- 6. R SQL 1 0 10 0 1 0 1 0 1 1 0 SQL Server 2019 PolyBase と Big Data Cluster による データ仮想化 Intelligent Query Processing および インメモリデータベース エンクレーブで常に暗号化されたセキュリティの強化と データの分類による監査機能の強化 可用性グループの機能強化と 高速データベース復旧などの新しい HA 機能 Java による ML Service の機能強化 互換性のある最新のプラットフォームを選択 暗号化テキスト プレーンテキスト エンクレーブ
- 7. Adaptive Query Processing(SQL Server 2017) Adaptive Query Processing Batch Mode Memory Grant Feedback Batch Mode Adaptive Join Interleaved Execution Adaptive query processing in SQL databases https://docs.microsoft.com/en-us/sql/relational-databases/performance/adaptive-query-processing?view=sql-server-ver15
- 8. Intelligent Query Processing IntelligentQP Adaptive QP Adaptive Joins Batch Mode Interleaved Execution Memory Grant Feedback Batch ModeRow Mode Table Variable Deferred Compilation Batch Mode on Row Store Approximate QP Approximate Count Distinct Scalar UDF Inlining Intelligent query processing in SQL databases https://docs.microsoft.com/en-us/sql/relational-databases/performance/intelligent-query-processing?view=sql-server-ver15
- 9. Intelligent Query Processing IntelligentQP Adaptive QP Adaptive Joins Batch Mode Interleaved Execution Memory Grant Feedback Batch ModeRow Mode Table Variable Deferred Compilation Batch Mode on Row Store Approximate QP Approximate Count Distinct Scalar UDF Inlining Intelligent query processing in SQL databases https://docs.microsoft.com/en-us/sql/relational-databases/performance/intelligent-query-processing?view=sql-server-ver15
- 10. ! 企業のデータベースに必要とされる セキュリティ機能 Security management Data protectionNetwork security Monitoring, logging & auditing Identity & access management 認証オプション: Azure AD SQL Auth Windows Auth Azure RBAC Encryption-in-flight via TLS Encryption at-rest via TDE (SQL Server Standard) VNET Injection (VNET) Firewall Rules, NSG Advanced Threat Detection (SQL IaaS も対象に) Vulnerability Assessment (SQL IaaS も対象に) Row-level security Encryption in-use via Always Encrypted (.NET Core support) (Always Encrypted with secure enclaves) SQL Audit (Log Analytics と Event Hubs 連携) Data Discovery & Classification (GA, SQL Server 2019) Dynamic Data Masking Azure Security Center Roles & Permissions User-managed keys (GA in managed instance) Private Link New
- 11.
- 12. Always Encrypted withセキュア エンクレーブ 操作 エンクレーブを使用しない エンクレーブを使用する ランダム暗号化 決定的暗号化 ランダム暗号化 決定的暗号化 インプレース暗号化 非サポート 非サポート サポート サポート 等価による比較 非サポート サポート サポート サポート 不等号による比較 非サポート 非サポート サポート 非サポート LIKE 非サポート 非サポート サポート 非サポート Always Encrypted with Secure Enclaves https://docs.microsoft.com/en-us/sql/relational-databases/security/encryption/always-encrypted-enclaves Tutorial: Getting started with Always Encrypted with secure enclaves using SSMS https://docs.microsoft.com/en-us/sql/relational-databases/security/tutorial-getting-started-with-always-encrypted-enclaves
- 13.
- 14. SQL Server 2019の利用形態 Big Data Cluster (BDC) スケーラブルな大規模データ分析基盤 (新しい構成 / 導入方法)
- 15. SQL Server 2019Big Data Clusters データ仮想化 データを移動 / 複製せず、多数のソースのデータを組 み合わせる パフォーマンスを向上させるため、計算とキャッシュ のプールを スケールアウト T-SQL 分析 アプリ ODBC NoSQL DRAMS HDFS SQL Server 外部テーブル コンピュートプール / データプール 完全な AI プラットフォーム 多数のソースから統合したデータを、機械学習の モデルの訓練に容易に活用することができる データの取り込みと準備 (前処理) を行い、モデルの 訓練 / 保存 / 運用を一つのシステムで実行 外部データ ソース SQL Server ML Services Spark & Spark ML HDFS モデル用の REST API コンテ ナー Managed SQL Server / Spark Data Lake 大量のデータを Data Lake に保存し、SQL または Spark を使用して容易にアクセス 管理されたサービス, ダッシュボード, および統合さ れた セキュリティより、すべての管理を容易に実施 SQL Server Spark ダッシュボードと管理されたサービス 統合されたAD ベースのセキュリティ スケーラブル, 共有ストレージ (HDFS) 統一された展開 / ガバナンス およびツールを使用したシンプルな管理と分析により 保有しているすべてのデータを情報 / 資産として活用
- 16. SQL Database PostgreSQLMySQL Azure Hyperscale Databases スケールする Relational Databases 100 Tran / sec GB 100万 Tran / Sec 100TB
- 17.
- 19. ハイパースケール(Citus) を使用した 数百のコアにわたる 水平方向のスケーリング Postgresデータベースを複数のノードに またがってシャーディング メモリ、コンピューティング、ストレー ジを増やす ワーカーノードを簡単に追加して水平ス ケール 最大 100 個のノードまで拡張 Coordinator Table metadata それぞれのノードに PostgreSQL と Citus がインストールさ れている1 shard = 1 PostgreSQL table 複数ノードにデータをシャーディング
- 20.
- 21.
- 22.
- 23. 集合関数と GROUP BY句のパフォーマンス改善
- 24. Auto Pilot Containers 最小限のキャパシティープラン オートスケール 全てのAzure Cosmos DB API に適用
- 25.
- 26.
- 27.
- 28.
- 29.
- 30. Big Data または Relational Data DataLake Data warehouse 使いやすさ 迅速な探索 すぐに利用開始 実証済みのセキュリティ 鉄壁のプライバシー 信頼性の高いパフォーマン ス
- 31.
- 32. 制限のない世界へようこそ データ ウェアハウス とビッグ データ分析を 1 つのサービスに統合 Azure Synapse Analytics
- 33. Azure Synapse Analytics 無限のスケール強力な分析 統合環境 強固な セキュリティ Provisioned Data WarehouseGENERALLY AVAILABLE On-demand Query as a ServicePREVIEW
- 34. データ分析のための無制限のデータウェアハウス Store Azure DataLake Storage SQL Analytics Runtimes Synapse Studio Unified experience Integration Management Monitoring Security Cloud data SaaS data On-premises data Devices data Power BI Azure Synapse Analytics
- 35.
- 36. 開発ハブ/SQL スクリプト SQLスクリプト
- 37. Synapse Studio –PySpark (Python)
- 38. サポートされている集計関数: MAX、MIN、AVG、COUNT、 COUNT_BIG、SUM、VAR、STDEV CREATE MATERIALIZEDVIEW Sales.vw_Orders WITH ( DISTRIBUTION = ROUND_ROBIN | HASH(ProductID) ) AS SELECT SUM(UnitPrice*OrderQty) AS Revenue, OrderDate, ProductID, COUNT_BIG(*) AS OrderCount FROM Sales.SalesOrderDetail GROUP BY OrderDate, ProductID; GO Petabytes への スケール Materialized Views
- 39.
- 40. -- Turn on/offresult-set caching for a database -- Must be run on the MASTER database ALTER DATABASE {database_name} SET RESULT_SET_CACHING { ON | OFF } -- Turn on/off result-set caching for a client session -- Run on target data warehouse SET RESULT_SET_CACHING {ON | OFF} -- Check result-set caching setting for a database -- Run on target data warehouse SELECT is_result_set_caching_on FROM sys.databases WHERE name = {database_name} -- Return all query requests with cache hits -- Run on target data warehouse SELECT * FROM sys.dm_pdw_request_steps WHERE command like '%DWResultCacheDb%' AND step_index = 0 Petabytes への スケール Result Set の Cache
- 41. オンデマンド での DataLake参照 SELECT TOP 100 * FROM OPENROWSET( BULK 'https://<storage>/path/to/files/*.parquet’, FORMAT = 'Parquet’ ) AS [r] Data Lake SQL on-demand Client
- 42. Azure Cosmos DBと Azure Synapse の連携 Global distribution, elastic scale, low latency, intuitive consistency modes, 99.999 SLA Multi-model Key-value Column-family Document Graph SQL Cassandra MongoDB Gremlin Table API ETCD Jupyter NotebooksAzure Synapse - Spark Transactional store (rows) Analytical store (columns) Jupyter Notebooks 組み込み Analytical store 組み込み Azure Synapse の Spark Analytics 時間のかかる ETL’s 不要 Transactional と Analytical Storage の分類
- 43. Analytical Storage Select * fromBlock N where column1 > column2 Select * from Block N where column1 > column2 Select * from Block N where column1 > column2 Snapshot Tn
- 46.
- 47.
- 50. Management experiences Azure Portal Azure CLI AzureSDK Azure Arc technologies: Azure Arc Azure Identity RBAC Policy Index Groups Etc. Azure Resource Manager Azure Arc data RP Container registry Azure Arc K8s RP Azure Arc server RP Azure Data Services Wave 1 • SQL • PostgreSQL Azure Arc data controller Kubernetes Azure PaaS Control K8s Cluster Azure Arc data agent GitOps Manager Azure Arc K8s agent Servers Linux Windows Server Azure Arc server agent Resource specific tools Azure Data Studio Cluster provisioning Cluster upgrade and patch management Cluster lifecycle management Cluster monitoring K8s Native Tools Server Admin Tools Customer locations
- 52. あらゆる スケール あらゆる DataAPI あらゆる データモデル あらゆる ハードウェア あらゆる クラウド
- 54. Developing Composite Models witPower BI
- 55.
- 56.
- 57.
- 58.
- 59.
- 60. Sales Product Sales Agg Customer Geography Date Employee Reseller Sales Aggregations Date Employee Reseller Sales Customer Geography SELECT [Year], [Name], SUM([Amount])AS [Amount] FROM [Sales] INNER JOIN [Date] ON ... INNER JOIN [Customer] ON ... GROUP BY [Year], [Name] Product SummarizeColumns( Date[Year], Customer[Name], "Sales", Sum(Sales[Amount]) )