Data Architecture

2. デベロッパーがさらに
Innovativeなことにフォーカスできる
プラットフォームを提供

3. Stream
Analytics
RDB
SQL Database
MySQL, PostgreSQL
File Based
Storage
- Storage
- Data Lake
Azure
Databricks
（Spark)
IoT Hub
Event Hubs
NoSQL
Cosmos DB
Smart Devices
Micro Devices
Spark,
Storm on
HDInsight
Kafka on
HDInsight
DWH
SQL Data
Warehouse
Analytical
dashboards
Predictive apps
Operational
reports
Functions

4. Azure SQL Database
SQL Server as a Service （フルマネージドサービス）
SQL DB

5. VM上の SQL Server
データベース
SQL Server
ゲスト OS
Azure が管理
利用者が管理
ホスト OS
仮想化
フルコントロール
データベース
SQL Server
ゲスト OS
仮想化
ホスト OS
容易な管理
Azure SQL Database

6. 自動化している機能例





FW

7. Azure Database for PostgreSQL
Azure Database for MySQL
高可用、セキュア
ダウンタイムなしでエラスティックにスケールアップ、ダウン
既存のドライバ、ライブラリ、ツールと100% 互換
MySQL PostgreSQL

9. PowerBI,AppServices,DataFactory,
Analytics,ML,Cognitive,Bot…
Global Azure with 38 Regions
Azure Compute
SQL Data
Warehouse
Azure Storage
SQL Database MySQLPREVIEW PostgreSQLPREVIEW
Flexible: On-demand scaling, Resource governance
Trusted: HA/DR, Backup/Restore, Security, Audit, Isolation
Intelligent: Advisors, Tuning, Monitoring
Database
Services
Platform
PowerBI,AppServices,DataFactory,
Analytics,ML,Cognitive,Bot…
Global Azure
Azure Compute
SQL Data
Warehouse
Azure Storage
SQL Database MySQLPREVIEW PostgreSQLPREVIEW
Flexible: On-demand scaling, Resource governance
Trusted: HA/DR, Backup/Restore, Security, Audit, Isolation
Intelligent: Advisors, Tuning, Monitoring
Database
Services
Platform
MariaDBROADMAP
長年利用している同じインフラストラクチャーを共有

10. Control Node
Query
Compute
Node(可変) ・・・・
・・・
Blob
Storage(60) ・・・・

11. 多くのデバイスで生成されるデータを
たった一台で分析するのは限界がある
一人じゃムリ…
複数のコンピューターによる並列分散処理が必要
手分けしよう！

13. $$$$

15. 惑星規模のアプリでも使える
データベース
Azure Cosmos DB

16. • LATEXの開発者
• 時相論理・フォールトトレランス・分散
コンピューティング(Paxos等)の研究者
• マイクロソフトリサーチで研究
• 2013年チューリング賞受賞

17. SQL (DocumentDB)
MongoDB
Azure Table Storage
Gremlin グラフ
Apache Cassandra API
Apache Spark

18. ターン キー
形式の
グローバル分散
すべてのデータを自動的に
世界中の Azure リージョンにレプリケート

19. ストレージとスループットを
水平スケール アウトしあらゆるニーズに対応
数百万トラン
ザクション/秒
PB 級のデータ
数百トラン
ザクション/秒
GB 級のデータ
Cosmos
DB

20. Read < 2 ms
Writes < 6 ms
Read < 10 ms
Writes < 15 ms
99%50%

21. 01
Strong
Bounded
Staleness
Session
Consistent
Prefix
Eventual
アプリ
パフォーマンス
高可用性

22. Azure に最適化した高速でシンプルなApache® Spark™
ベースのプラットフォーム
Best of Databricks Best of Microsoft
Apache SparkのFounderとのコラボレーションでデザイン
ストリーミングワークフローをワンクリックでセットアップ
データサイエンティストやエンジニア、アナリストのコラボレーション可能なインタラクティブなワークプレイス
Azure のサービスとの連携 (Power BI, SQL DW, Cosmos DB, Blob Storage)
エンタープライズレベルのセキュリティ (Active Directory integration, compliance, enterprise-grade SLAs)

23. Optimized Databricks Runtime Engine
DATABRICKS I/O SERVERLESS
Collaborative Workspace
Cloud storage
Data warehouses
Hadoop storage
IoT / streaming data
Rest APIs
Machine learning models
BI tools
Data exports
Data warehouses
Azure Databricks
Enhance Productivity
Deploy Production Jobs & Workflows
APACHE SPARK
MULTI-STAGE PIPELINES
DATA ENGINEER
JOB SCHEDULER NOTIFICATION & LOGS
DATA SCIENTIST BUSINESS ANALYST
Build on secure & trusted cloud Scale without limits

24. What is Stream
Processing

25. Topic Apache Spark Apache Storm Stream Analytics
Input Sources Event Hubs, IoT Hubs,
Cosmos DB, Blob Storage,
ADLS, Kafka, Bring-Your-
Own-Source
Event Hubs, IoT Hubs, Kafka,
Bring-Your-Own-Source
Event Hubs, IoT Hubs, Blob
Storage
Language of Choice SQL, Scala, Python, Java, R Java, Python, C#, Bring-
your-own-language
SAQL
Customization/UDF
Language
Scala, Java, Python Java, Python, C#, Bring-
your-own-language
JavaScript
Output Sinks Bring-Your-Own-Sink Bring-Your-Own-Sink Fixed Number of Sinks
supported
File Formats Supported JSON, CSV, Parquet, Avro,
ORC, Bring-your-own-
format
JSON, CSV, Parquet, Avro,
ORC, Bring-your-own-
format
JSON, CSV, Avro
On-Premises Compatibility Yes Yes No
Data Encoding Formats Bring-Your-Own-Encoding-
Format
Bring-Your-Own-Encoding-
Format
UTF-8
Reference Data Bring-Your-Own-Data-
Source
Bring-Your-Own-Data-
Source
Blob Storage (up to 100MB)
Compression Support Yes Yes No
Offering in Azure SaaS ; PaaS ; IaaS PaaS ; IaaS PaaS
For more information, consult the Azure Data Architecture Guide

26. Comparison Topic Azure HDInsight Azure Databricks
Type of Offering Platform as a Service Software as a Service ;
Serverless
Microsoft Support Yes Yes
Spark Flavor Hortonworks Databricks
Hadoop Components
Support
Yes No
On-Premises
Compatibility
Yes Yes
Comparing the different Spark
Offerings

27. How does it work in Spark
Structured Streaming?
Stores as a
“Data Frame”

28. What is a Dataframe?
Data Frame
=
“tabular data”
=
Data structure consisting of rows of data
=
Data structure that contains “SQL-like” table