DLLAB Ignite Update Data Platform

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

大髙領介 | 中里浩之
Cloud Solution Architect
& Data Engineer
& Data Scientist
Microsoft Japan
撮影OKTweet OK

Data + Analytics

Data + Analytics

Data + Analytics

Big Data
または
Relational Data
Data Lake Data warehouse
使いやすさ
迅速な探索
すぐに利用開始
実証済みのセキュリティ
鉄壁のプライバシー
信頼性の高いパフォーマンス

使いやすさ
迅速な探索
すぐに利用開始
実証済みのセキュリティ
鉄壁のプライバシー
信頼性の高いパフォーマンス

制限のない世界へようこそ
データウェアハウスとビッグデータ分析を 1 つのサービスに統合
Azure Synapse Analytics

Azure Synapse Analytics
無限のスケール強力な分析統合環境強固な
セキュリティ
Provisioned Data WarehouseGENERALLY AVAILABLE On-demand Query as a S...

データ分析のための無制限のデータウェアハウス
Store Azure Data Lake Storage
SQL
Analytics Runtimes
Synapse Studio
Unified experience
Integration ...

Synapse Studio

開発ハブ/SQL スクリプト
 SQL スクリプト

Synapse Studio – PySpark (Python)

オンデマンドでの DataLake 参照
SELECT
TOP 100 *
FROM
OPENROWSET(
BULK 'https://<storage>/path/to/files/*.parquet’,
FORMAT = 'Parque...

13X
SQL Analytics
Data Lake 統合
ParquetDirect

CREATE EXTERNAL TABLE AS SELECT -- Create a database master key if one does not already exist
CREATE MASTER KEY ENCRYPTION...

データの読み込み
 概要
 ストレージアカウントから目的のリンクされた
サービスにデータを読み込む機能を提供
パイプラインの手動実行または調整による
データの読み込み
 利点
 一般的な読み込みパターンをサポート
 Polybase...

データの準備と変換
 データフローのマッピング
 コード不要の規模に応じたデータ変換
データフローのラングリング
コード不要の規模に応じたデータ準備

Developing Composite
Models wit Power BI

売り上げ
日付
顧客
商品
従業員
地理
再販業者の
売り上げ
DirectQuery
売り上げ
日付
顧客
商品
従業員
地理
再販業者の
売り上げ

売り上げ売り上げ
商品
顧客
地理
日付
従業員
再販業者の
売り上げ
DirectQuery
日付
従業員
再販業者の
売り上げ
顧客
地理
商品

売り上げ集計売り上げ
商品
顧客
地理
日付
従業員
再販業者の
売り上げ
日付
従業員
再販業者の
売り上げ
顧客
地理
商品
DirectQuery

売り上げ
商品
売上集計
顧客
地理
日付
従業員
再販業者の
売り上げ
集計
日付
従業員
再販業者の
売り上げ
顧客
地理
商品

売り上げ
商品
売上集計
顧客
地理
日付
従業員
再販業者の
売り上げ
集計
日付
従業員
再販業者の
売り上げ
顧客
地理
商品
SummarizeColumns(
Date[Year],
Geography[City],
"Sales",...

売り上げ
商品
売上集計
顧客
地理
日付
従業員の
再販業者の
売り上げ
集計
日付
従業員
再販業者の
売り上げ
顧客
地理
商品
SummarizeColumns(
Date[Year],
Customer[Name],
"Sales",...

Data + Analytics

Azure Machine Learning – Data Store

 サポートされている集計関数:
MAX、MIN、AVG、COUNT、
COUNT_BIG、SUM、VAR、STDEV
CREATE MATERIALIZED VIEW Sales.vw_Orders
WITH
(
DISTRIBUTION =...

275
5
0
50
100
150
200
250
300
No Materialized View With Materialized View
Seconds
クエリー実行時間
Petabytes への
スケール
Materialized...

$-- Turn on/off result-set caching for a database -- Must be run on the MASTER database ALTER DATABASE {database_name} SET ...$

--T-SQL syntax for scoring data in SQL DW
SELECT d.*, p.Score
FROM PREDICT(MODEL = @onnx_model, DATA = dbo.mytable AS d)
W...

Azure Arc
Announcing
PREVIEW

https://aka.ms/azure-arc https://aka.ms/azure-arc

Management
experiences
Azure Portal
Azure CLI
Azure SDK
Azure Arc
technologies:
Azure Arc
Azure
Identity
RBAC
Policy
Index...

Data + Analytics

Planet-scale data

Column-family
Document
Graph
地球規模でのデータ分散
迅速なスケールアウト
高速なスループット
99%の低遅延保障
業界随一の SLAs
5段階のトランザクションモデル
Table API
Key-value
地球規...

集合関数と GROUP BY 句のパフォーマンス改善

Auto Pilot Containers
最小限のキャパシティープラン
オートスケール
全ての Azure Cosmos DB API に適用

Azure Cosmos DB と Azure Synapse の連携
Global distribution, elastic scale, low latency, intuitive consistency modes, 99.999
S...

組み込み Jupyter Notebooks & with Apache Spark

Analytical Storage
Select *
from Block
N where
column1 >
column2
Select *
from Block
N where
column1 >
column2
Select *
fr...

Data + Analytics

Announcing

SQL Server の進化
Performance and
productivity
Self-service BI Cloud-ready
Mission Critical
and cloud
performance
Built-in ML...

R
SQL
1 0 1 0
0 1 0 1
0 1 1 0
SQL Server 2019
PolyBase と Big Data Cluster による
データ仮想化
Intelligent Query Processing および
インメモ...

Adaptive Query Processing (SQL Server 2017)
Adaptive Query
Processing
Batch Mode
Memory Grant Feedback
Batch Mode
Adaptive...

Intelligent Query Processing
行ストア
Intelligent QP
Adaptive QP
Adaptive Joins
Batch Mode
Interleaved Execution
Memory Grant
...

Intelligent Query Processing
行ストア
Intelligent QP
Adaptive QP
Adaptive Joins
Batch Mode
Interleaved Execution
Memory Grant
...

!
企業のデータベースに必要とされるセキュリティ機能
Security
management
Data protection Network security
Monitoring,
logging & auditing
Identity &...

Always Encrypted with セキュアエンクレーブ
操作
エンクレーブを使用しないエンクレーブを使用する
ランダム暗号化決定的暗号化ランダム暗号化決定的暗号化
インプレース暗号化非サポート非サポートサポートサポー...

Private Link
PaaS services

Data without limits

SQL Server 2019 の利用形態
Big Data Cluster (BDC)
スケーラブルな大規模データ分析基盤
(新しい構成 / 導入方法)

SQL Server 2019 Big Data Clusters
データ仮想化
データを移動 / 複製せず、多数のソースのデータを組み合わせる
パフォーマンスを向上させるため、計算とキャッシュのプールを
スケールアウト
T-SQL
分析アプ...

SQL Database PostgreSQL MySQL
Azure Hyperscale Databases
スケールする Relational Databases
100 Tran / sec
GB
100万 Tran / Sec
100...

Announcing

ハイパースケール(Citus) を使用した
数百のコアにわたる水平方向のスケーリング
Postgresデータベースを複数のノードにまたがって
シャーディング
メモリ、コンピューティング、ストレージを増やす
ワーカーノードを簡単に追加して水平...

あらゆるスケール
あらゆる Data API
あらゆるデータモデル
あらゆるハードウェア
あらゆるクラウド

© Copyright Microsoft Corporation. All rights reserved.

Appendix

Azure Analytics
Power BI

SQL Analytics
2019/11 リリースの新機能
GA した機能 :
⚫ 性能 : Resultset Caching
⚫ 性能 : Materialized View
⚫ 性能 : Ordered ColumnStore
⚫ デー...

Share Slideshare

LinkedIn
Facebook
Twitter

Embed

Size (px)

Show related Slideshows at end

WordPress Shortcode

Link

Share
Email

2024 Trend Updates: What Really Wor... by Search Engine Jou... 1036216 views
Storytelling For The Web: Integrate... by Chiara Aliotta 948112 views
Artificial Intelligence, Data and C... by OECD Directorate ... 870219 views
How to Leverage AI to Boost Employe... by SocialHRCamp 365506 views
2024 State of Marketing Report – by... by Marius Sescu 207694 views
Everything You Need To Know About C... by Expeed Software 227895 views

View on Slideshare

1 of 68 Ad

View on Slideshare

1 of 68 Ad