Big Data 時代の最新のデータプラットフォームのご紹介。オンプレミス、SQL, NoSQL, Cloud Native などの選択肢とともに。 - SQL Server 2019 - Azure Data Services - Hadoop / Spark

3. 世界の変化のスピード2007 $100,000
2013 $700
2007 $40,000
2014 $100
2007 $550,000
2014 $20,000
2000 $2.7bn
2007 $10m
2014 $1,000
1984 $30
2014 $0.16
2009 $30,000
2014 $80
2007 $499
2015 $10
DNA
Solar
Smartphones
Drones
3D Printing
Industrial
Robots
Sensor (3D)
技術の価格破壊のスピードは速く、
驚異的なペースでの新しいビジネスを生む
2
2
3
3
4
4
5
6
6
8
20
0 2 4 6 8 10 12 14 16 18 20 22
1
2
3
4
5
6
7
8
9
10
11
years
時価総額が1,000億円に達するまで
Source: World Economic Forum

4. 製造設備
原材料、プロダクト
予防保全
顧客中心主義
迅速に革新し、より機敏になる
スマートプロダクト
サービス・エコシステム
コネクテッド・コンシュー
マ
顧客
サプライ
チェーン
設計開発
製造
マーケティ
ング 販売
サービス

7. 従業員

8. 顧客

9. 業務

10. 製品

12. 完全自動運転で100%無事故を
実現しようとすると最低でも
88億マイルを
テストしなければならない。1
2020年、自動運転車は1日に
約4,000ギガバイ
トのデータを生成し、消費する。2
Paris Auto Show Automobility Los Angeles Gartner TechRadar Earthdata
Automobility Los Angeles
2020年、204億のモ
ノがつながる。3
90分のアニメーション映像を製作す
るために、6,500万時
間分の
画像レンダリングが必要となる。4
2020年、飛行機から1日
に
40テラバイ
NASAの地球観測システムおよび
情報システム（EODSIS）は、
1日に約28テラバイ
トのデータを配信している。5

13. AI

15. Linux の
機械学習サービス
Linux での分散トランザクション
Red Hat Enterprise Linux コンテナー イメージ
常時暗号化によるセキュリティで
保護されたエンクレーブ
データベースの状態に関する統計情報を改良
Azure Data Studio でのノートブックのサポート
Kubernetes アーキテクチャを利用し、
ニーズに合わせてコンピューティングと
ストレージを柔軟に拡張
オンラインのメンテナンス プロセスの増加によって
ビジネスのアップタイムが向上
Linux での
複製
自己調節のパフォーマンスの向上
同時並行性とスケーラビリティの向上
同時並行性とスケーラビリティの向上
グラフ サポートの強化
Java 言語のサポートの拡大
SQL Server ベースのデータ レイクの作成
HDFS を対象とした
読み取りと書き込み
Always On 時の SQL Server インスタンス レベルのフェールオーバー
インテリジェントなクエリ処理
UTF-8 文字エンコードの
ネイティブ サポート
Oracle、Teradata、MongoDB へのネイティブの PolyBase コネクタ
Spark ジョブを使用してデータを変
換、準備して SQL Server に読み込む
データベースの状態を追加
Kubernetes での高可用性をサポート
SQL Server 向けの Azure ハイブリッド特典
列ストア インデックスの圧縮を推定
再開可能なオンライン インデックス作成
新しい組み込みの T-SQL で
ページ リソースの待機の問題を解消
オープン LDAP
プロバイダーのサポート
脆弱性評価レポート
データの分類とラベル付け
SparkML を利用し、SQL Server や HDFS で
大規模なデータセットを使用してモデルを
トレーニング
統合型セキュリティ モデル内にすべてのデータを保管
Azure Data Studio の SQL Server ビッグ データ ツール
SQL Configuration Manager で証明書の管理を簡略化
永続メモリ (PMEM) をサポート
Always On 可用性グループの読み取り/
書き込み接続のリダイレクトが向上
高可用性を強化してフェールオーバー時間を短縮
データ マートのスケール アウト
パフォーマンス関連の統計情報にいつでもアクセス、
低負荷のプロファイリングが既定で有効

19. Featurization,
Normalization,
encoding
classifier model
での スコアリング
Web App
Diagnosis: 35% certainty
Python / R で実装した ストアドプロシージャ ストアド
プロシージャ
で、患者IDだ
け指定
Model table,
Features table,
New Images table
SQL Server
画像を
送らなくてよ
い

20. In-memory OLTPColumn Store
大量データの
書き込み処理
PowerBI Dashboard高速かつスケールす
る
Database 内の学習
ユーザー
分析の用意
Stored
Procedure
Visualize
秒間100万件の機械学習の推論処理も

21. Custom apps AnalyticsBI
KUBERNETES POD
SQL
SQL Server 2019 big data clusters

22. Custom apps AnalyticsBI
KUBERNETES POD
SQL
SQL Server 2019 big data clusters
CREATE EXTERNAL TABLE
"wcs_click_date_sk" BIGINT
"wcs_click_time_sk" BIGINT
"wcs_sales_sk" BIGINT
"wcs_item_sk" BIGINT
"wcs_web_page_sk" BIGINT
"wcs_user_sk" BIGINT
WITH
'/clickstream_data'
HDFS 上の
ファイル

24. スピーディで動的なストレージ スケーリング
Azure SQL Database Intelligent Insights
インテリジェントなクエリ処理
Azure Database for MariaDB (プレビュー)
インメモリ テクノロジ
Azure DMS による SQL Database Managed Instance へのオンライン移行
Always On: 組み込みの高可用性
データベース内分析
PostgreSQL のインテリジェント パフォーマンス – クエリ ストア、
Query Performance Insights、パフォーマンスの推奨事項 (プレビュー)
インテリジェントデータセキュリティソリューション
自動スケーリング テクノロジ
Azure DMS による PostgreSQL/MySQL 向け
Azure Database Services へのオンライン移行
高パフォーマンス
MySQL (プレビュー) 予約容量のレプリカを読み取り
データ移行ガイド
Azure DMS Business Critical レベル
Azure DMS の MongoDB から Azure Cosmos DB への移行サポート (プレビュー)
Azure SQL Database のアダプティブ クエリ処理の
一般リリース
機械学習とアダプティブ テクノロジ
スループットと待機時間の向上
Azure DMS でプロジェクトを削減してアクティビティを実行
インテリジェントな保護
Advanced Threat Protection
既存のバックアップ ファイルを移行に利用
SQL Server 向けの Azure ハイブリッド特典
Azure Database Migration Service
MI 評価のための DMA サポート
SQL Database Managed Instance (一般リリース)SQL Database Hyperscale (プレビュー)
インテリジェントパフォーマンス

29. 4 TB
100 TB

33. Azure Cosmos DB Java Async SDK 2.0.0 の一般リリース
Cosmos
Explorer
ポータルでのアカウント作成エクスペリエンスを刷新
データベースレベルでプロビジョニングされたスループットの最小エントリポイントを5分の1に低減
.NET、Java、JavaScript、Python SDK の更新
Azure Cosmos DB 試用版: Azure Cosmos DB の 1 か月無料試用版
推奨事項やアラートなどの Azure Cosmos DB ポータルの更新
変更フィード サポートのパブリック プレビュー
マルチマスター サポートの一般リリー
ス
Cassandra API の一般リリース
予約容量の一般リリース
新しい Azure Cosmos DB JavaScript SDK 2.0 の一般リリース
Azure Cosmos DB エミュレーターの更
新

36. Realtime

37. Cart

38. Delivery Service Refund Service
Notification Service

40. Azure SQL DW Compute Optimized Gen2 レベル
Azure SQL DW インテリジェント インサイト
Azure SQL DW と Azure Databricks の統合
Azure SQL DW の列レベルのセキュリティ
Azure Government リージョンの Azure SQL D
Azure SQL DW のユーザー定義のメンテナンス ウィンドウ
Azure SQL DW の脆弱性評価ツール
Azure SQL DW と Informatica iPaaS の統合 (プレビュー)
オーストラリア、イギリス、フランスで Azure SQL DW をリリース
Azure SQL DW でのユーザー定義の復元ポイントをサポート
Azure SQL DW による統計情報の自動作成
Azure SQL DW でレプリケートされた
テーブルをサポート
Azure SQL DW の透過的なデータ暗号化
Azure SQL DW の迅速なデータ移行
Azure SQL DW で 128 件のクエリを同時実行
日本、インド、中国、イギリス、オーストラリアで Azure Databricks をリリース
Azure Databricks で Azure Active Directory の条件付きアクセスをサポート
Azure SQL DW での Azure Databricks ストリームのサポート
Azure Databricks、Azure Key Vault をベースとしたシークレット スコープをサポート
無料の Databricks ユニット付きの Azure Databricks プレミアム試用版
RStudio Azure Databricks の統合
Azure Databricks、Azure Data Lake Storage Gen2 をサポート (プレ
ビュー)
Azure Data Lake Storage のプレビューを 12 のリージョンにリリース
Office 365 向け ADF コネクタ
ADF の 75 個以上のネイティブ コネクタ
Git と統合された、ADF のコード不要のビジュアル オーケストレーション ツール
ADF のリフトアンドシフト SSIS によるオンプレミスから Azure への移
行
ADF によって、Azure Databricks の
データ変換ジョブを実行 ADF でのイベント ベース、実時間、時間枠などの柔軟なスケジュール設定
ADF によって、SSIS IR でサード パーティの ISV コンポーネントを実行

42. 70 以上のコネクタ 高いコスト効率 最高の
Spark サービス
高速 DW 最新 BI

46. Azure Bot Service
Azure Cognitive Services
Azure Cognitive
Search
Azure Databricks
Azure Machine Learning

48. Azure Databricks
マネージドサービス
エンタープライズ
セキュリティ
データサービスとの
連携
Spark SQL
Spark
Streaming
MLlib GraphX
Collaborative Notebooks

49. 5
8
3
出典: https://databricks.com/blog/2017/07/12/benchmarking-big-data-sql-platforms-in-the-cloud.html

50.  モデルのトレー
ニング
 モデルの評価
 トレーニング履歴
管理
 モデル管理
Azure Databricks
Azure Machine
Learning Service
Azure Kubernetes
Service / Azure
Container Instance
Docker
IoT Edge
IoT Edge

51. AI

52. APPLICATIONS
DASHBOARDSBUSINESS / CUSTOM
APPS
(STRUCTURED)
LOGS, FILES AND MEDIA
(UNSTRUCTURED)
r
SENSORS AND IOT
(UNSTRUCTURED)
STORAGE DATABRICKS
MACHINE
LEARNING
SERVICE
DATABRICKS
(SparkML)
NOTEBOOKS
COSMOS DB
SQL DB
SQL DW
ANALYSIS
SERVICES
COSMOS DB
DATA
FACTORY
KUBERNETES
SERVICE
SQL Server
(In-databaseML)
DATA EXPLORER
FUNCTIONS
DATA LAKE
STORAGE
IOT HUB STREAM
ANALYTICS
SENSORS AND IOT

53. データが
ビジネスを動かす
新しい原動力になる