[ウェビナー] Build 2018 アップデート～データプラットフォーム/IoT編～

Build 2018 アップデート
～データプラットフォーム/IoT編～

Build 2018 アップデート～データプラットフォーム/IoT編～

https://www.microsoft.com/ja-jp/events/decode/2018/online/default.aspx

Azure Cosmos DB
Azure SQL Database
Azure Database for MySQL / PostgreSQL
SQL Data Warehouse
Azure Databricks
IoT
Azure IoT Suite
Microsoft IoT Cetnral
IoT エッジ
Microsoft Azure Sphere
de:code 2018 Online - セッション資料/動画

本セッションで紹介する Azure サービス

Azure Cosmos DB
SQL
MongoDB
Table API
ターンキー
グローバル分散
ストレージ、スループットの
エラスティックスケールアウト
99 パーセンタイルでの
低レイテンシ保証
包括的な SLA
5 つの明確に定義された
整合性モデル
ドキュメント列ファミリ
キー/値グラフ

要求ユニット (RU)
GET
POST
PUT
Query
…
=
=
=
=

要求ユニット (RU)
最小 RU/秒
最大 RU/秒
入力リクエスト
レプリカが
休止状態
レート制限
レート制限なし

New 一連のコンテナーに対するRU/秒のプロビジョニング
コンテナーレベルで
スループットを
プロビジョニング
データベースレベルで
スループットを
プロビジョニング
テナント
テーブルコンテナーグラフ
コンテナー
データベース内の
一連のコンテナー
リソースパーティションリソースパーティション
データベースレベルでのスループットのプロビジョニング

ストレージとスループットのエラスティックなスケールアウト

ターンキーグローバル分散

New グローバルスケールのマルチマスター (プレビュー)

New 仮想ネットワークサービスエンドポイント

Azure のデータベースサービス
オンプレ RDBMS
連動型
ETL
PaaS RDB
IaaS +
PaaS NoSQL
https://azure.microsoft.com/ja-jp/product-categories/databases/

SQL Server ファミリーのポートフォリオ
オンプレミス
共有
低コスト
専有
高コスト
管理工数高管理工数低
クラウド

フルマネージドの SQL Server
データベース
SQL Server
OS
Azure が管理
利用者が管理
VM上の SQL Server
ホスト OS
仮想化
フルコントロール
データベース
SQL Server
OS
仮想化
ホスト OS
容易な管理
Azure SQL Database

SQL Server と SQL Database エンジンの比較
項目 SQL Server SQL Database
冗長構成 SQL Server の高可用性機能
を使用し個別に構成
既定で DC 内の3重化構成
(SLA:99.99 %)
Geo レプリケーションでリージョ
ン間の冗長構成が可能
Premium / Business
Critical では、ゾーン冗長 /
読み取りスケールを利用可能
トランザクション
分離レベル
ロック方式 (Read
Committed) が既定、行バー
ジョン管理方式への変更可能
行バージョン管理方式 (RCSI
または、SNAPSHOT) が既定

データベースの継続性
自動バックアップ
ポイントタイム復元
エクスポート
エクスポート時点
への復元
BLOB ストレージ
Bacpac ファイル
Azure SQL Database
プライマリーレプリカ
セカンダリレプリカ
アプリケーション
からの読み取り
と書き込み
データセンター内 (三重化)
https://docs.microsoft.com/ja-jp/azure/sql-database/sql-database-read-scale-out

コントロールリング
冗長構成について（Basic/Standard/汎用）

冗長構成について(Premium/Business Critical）
テナントリング

アクティブ geo レプリケーション
Azure SQL Database
プライマリーレプリカ
アプリケーション
からの読み取り
と書き込み
https://docs.microsoft.com/ja-jp/azure/sql-database/sql-database-read-scale-out
東日本リージョン
西日本リージョン
東アジアリージョン
西ヨーロッパリージョン

自動フェールオーバーグループ (プレビュー)
フェールオーバーグループリージョン1 リージョン2
プライマリセカンダリ (Read Only)
Azure SQL サーバー
(論理サーバー)
Azure SQL サーバー
(論理サーバー)
2 種類の CNAME レコード
• 読み取り/書き込みリスナー：<グループ名>.database.windows.net
• 読み取りリスナー：<グループ名>.secondary.database.windows.net
https://docs.microsoft.com/ja-jp/azure/sql-database/sql-database-geo-replication-overview

おさらい：Database Transaction Unit (DTU) とは
参考：データベーストランザクションユニット (DTU) とエラスティックデータベーストランザクションユニット (eDTU) の説明
https://docs.microsoft.com/ja-jp/azure/sql-database/sql-database-what-is-a-dtu
DTU
使用率

vCore モデル（プレビュー）
DTU モデル vCore モデル
https://docs.microsoft.com/ja-jp/azure/sql-database/sql-database-service-tiers-vcore

vCore モデル別の違い
モデル SLA 説明
汎用 99.99
％
ほとんどのビジネスワークロードに最適でバランスのとれたオプション
Azure Premium Storage ページ BLOB を使用
Business
Critical
IO要件の高いビジネスアプリケーション
分離された複数のレプリカを使用した最高の耐障害性
ローカルSSDストレージを使用
SQL Server の Azure ハイブリッド特典を使用することで
ライセンスコストを減らすことも可能
Premium ≒ Business Critical

SQL Database Managed Instance (プレビュー)
https://docs.microsoft.com/ja-jp/azure/sql-database/sql-database-managed-instance

長期的なバックアップ保有期間 (プレビュー）
https://docs.microsoft.com/ja-jp/azure/sql-database/sql-database-long-term-retention

おさらい: 冗長構成について

ゾーン冗長の構成（プレビュー）

セキュリティ関連機能一覧
Security Management
Threat Protection
Information Protection

Virtual Network サービスエンドポイント

検出、分類、ラベル付け & 保護
データの検出と分類 (プレビュー）
https://docs.microsoft.com/ja-jp/azure/sql-database/sql-database-data-discovery-and-classification
ポータルから設定状況
を確認可能
推奨事項の確認/設定と
手動設定が可能

SQL 脆弱性評価
https://docs.microsoft.com/ja-jp/sql/relational-databases/security/sql-vulnerability-assessment?view=sql-server-

透過的なデータ暗号化 (TDE)
暗号化されると
錠前付きに
bacpac ファイル / bcp コマンド
によるエクスポート時には暗号化
されていないことに注意

Azure
Key Vault
透過的データ暗号化(BYOK)
https://docs.microsoft.com/ja-jp/sql/relational-databases/security/encryption/transparent-data-encryption-byok-azure-sql?view=azuresqldb-current

• Azure Security Center
監査と脅威の検出
https://docs.microsoft.com/ja-jp/azure/sql-database/sql-database-threat-detection

脅威検出の種類と方法
アラートを知らせる
メール

SQL Advanced Threat Protection (ATP)

Azure Database Migration Service (DMS)
DMS
SQL Server
2005 - 2017
SQL
Assessment
tools
SSMA &
DMA
SQL Database
Managed
Instance

移行元データベースの評価
https://blogs.msdn.microsoft.com/dataplatjp/2018/05/22/azure-database-migration-service-01/

移行プロジェクトの作成

SQL Database の管理ツール
SQL Server
Management Studio
• 以前からあるツール
• Windows 版のみ
• 最新版は17.6
• SQL Server インストール
媒体と別に配布
Visual Studio Code
プラグイン
（vscode-mssql)
• マルチプラットフォーム対応
• OSS
• マーケットプレイスから
インストール可能
SQL Operations Studio
（プレビュー）
• マルチプラットフォーム対応
• OSS
https://marketplace.visualstudio.com/items?itemName=ms-mssql.mssql
https://docs.microsoft.com/en-us/sql/sql-operations-studio/download

Azure Database for
MySQL/PostgreSQL

Azure Database for MySQL / PostgreSQL Overview
MySQL Community 版
/ PostgreSQL
組み込み高可用性
秒単位のスケールアウト
お好みの言語
お好みのフレームワーク
MySQL : 5.6 , 5.7
PostgreSQL : 9.5 , 9.6
MySQL : 8.0 ( coming soon )
PostgreSQL : 10 (6月)
1台で SLA 99.99 %
InnoDB
MyISAM

Azure Database for MySQL / PostgreSQL Overview
標準でデータは暗号化
Protect data
Control access
SSL接続
ファイアウォール
Identity
MySQL / PostgreSQL
ネイティブ認証

高可用性 / スケールアップ
Postgres:5432
Master
Slave
Slave
Slave
Azure Storage
<hostname>.postgres.database.azure.com
Master

バックアップ / リストア
バックアップ / リストア
標準で実装済み
Point in Time RestoreLRS or GRS
ローカルリージョン
ペアリージョン
選択可能
完全バックアップ
1 回 / 1week
差分バックアップ
2 回 / 1day
トランザクションログ
1 回 / 5min
標準 7 days
MAX 35 days

リソース確認 / 監視
Azure Portal から簡単にリソース利用状況を確認 / 監視が可能
リソース状況確認アラート生成
CPU percent
IO percent
Memory percent
…etc
メール送信
Webhook

• Private Preview Scenarios to GA
• OSS Databases – MySQL and PostgreSQL
Azure Database Migration
Service (Azure DMS)
A seamless, end-to-end solution for
moving on-premises SQL Server, Oracle,
and other relational databases to the cloud

負荷分散 ( MySQL )
Replica
WriteRead Read

データインレプリケーション (MySQL)

仮想ネットワークサービスエンドポイント

ペタバイトクラスのスケールアウト型クラウドデータウェアハウス
• 超並列処理 (MPP) アーキテクチャ
• エラスティックなスケーラビリティ
• SQL Server と同等の使い勝手
• 優れた性能/

コントロール
ノード
コンピュート
ノード
Azure Storage
コントロールノード
ユーザーからの接続
コンピュートとストレージの調整
コンピュートノード
クエリ実行
スケールアウト / イン可能
不要なときは停止可能
リモートストレージ
データベース保存
60 分散（ディストリビューション）
コンピュート
ノード
コンピュート
ノード
コンピュート
ノード

クエリ性能のパワーを表す指標
DWH において最も重要な以下の 3 要素を数値化
• 行のスキャン性能
• ロード性能
• ノード間のコピー性能スキャン性能 3.36M row/sec
ロード性能 130K row/sec
ノード間のコピー性能 350K row/sec
DW100 あたりの参考性能
※参考の数値となります
DW100
＝ 1 コンピュートノード

リモート
ストレージ
D51
D52
D53
D60
…
D41
D42
D43
D50
…
D31
D32
D33
D40…
D21
D22
D23
D30
…
D11
D12
D13
D20
…
D1
D2
D3
D10
…

リモート
ストレージ
D51
D52
D53
D60
…
D41
D42
D43
D50
…
D31
D32
D33
D40…
D21
D22
D23
D30
…
D11
D12
D13
D20
…
D1
D2
D3
D10
…
クエリ

リモート
ストレージ
D51
D52
D53
D60
…
D41
D42
D43
D50
…
D31
D32
D33
D40…
D21
D22
D23
D30
…
D11
D12
D13
D20
…
D1
D2
D3
D10
…
結果

D51
D52
D53
D60
…
D41
D42
D43
D50…
D31
D32
D33
D40
…
D21
D22
D23
D30
…
D11
D12
D13
D20
…
D1
D2
D3
D10
…

• 2018/5/1 に GA した新アーキテクチャ
計算ノードリソースの大幅な強化
リモートストレージとキャッシュレイヤ
(NVMe SSD) の組み合わせでデータを保持
同時実行クエリ数が 32→128 に
カラムストアの容量が無制限に
※ 従来の Optimized for Elasticity は Compute Optimized Gen1 に

リモート
ストレージ
D51
D52
D53
D60
…
D41
D42
D43
D50
…
D31
D32
D33
D40…
D21
D22
D23
D30
…
D11
D12
D13
D20
…
D1
D2
D3
D10
…
LRU2 アルゴリズムにより
頻度の高いデータを
キャッシュ化
キャッシュ

• キャッシュアクセス：~ 数10μs
リモートディスクへのアクセスを避けることにより、
データアクセス時間を大幅に短縮

パフォーマンスレベルコンピュートノードコンピュートノード当たりの
ディストリビューション
DW あたりの
メモリ (GB)
Gen1 同数コンピュートノードの
場合のメモリ (GB)
DW1000c 2 30 600 48 (DW200)
DW1500c 3 20 900 72 (DW300)
DW2000c 4 15 1200 96 (DW400)
DW2500c 5 12 1500 120 (DW500)
DW3000c 6 10 1800 144 (DW600)
DW5000c 10 6 3000 240 (DW1000)
DW6000c 12 5 3600 288 (DW1200)
DW7500c 15 4 4500 360 (DW1500)
DW10000c 20 3 6000 480 (DW2000)
DW15000c 30 2 9000 720 (DW3000)
DW30000c 60 1 18000 1440 (DW6000)

• 32 を超える同時実行クエリを行うときには静的リソースクラスを使用
• Gen1→Gen2 はアップグレードできますが、逆は不可

ラウンドロビン分散ハッシュ分散レプリケート
全てのディストリビューション
に均等にランダムに分散
指定した列のハッシュ値に
基づいて分散
テーブルを各コンピューティング
ノードの最初のディストリビュー
ションに複製
DISTRIBUTION=
ROUND_ROBIN
DISTRIBUTION=
HASH(Key)
DISTRIBUTION=
REPLICATED
2018/4/26 に GA

データ移動が発生しないため
高パフォーマンスを期待できる
利用を検討すると良いケース
ハッシュ
分散

再構成が必要な時
再構成のタイミング
• 簡単な SQL で再構成を行う
SELECT TOP 1 * FROM <表名>;
再構成の動作
• 再構成中は ExclusiveUpdate
ロックがテーブルに適用される

DWH 処理においてボトルネックとなる要素を解消

Bigdata システムの課題
バッチ処理 ⇒ 限られた
時間で大量データを
処理したい
リアルタイム分析 ⇒ データ
の生成から遅延時間を
最小限にして分析したい
蓄積された大量データを活用した
アドバンストアナリティクスを実施したい
POS システム、EC サイト、IoT データ分析、CDR 分析、コールセンターデータ、・・・

Bigdata プラットフォームの要件

Apache Spark というソリューション
© Databricks 2018
SQL Query
Data Frame
Unresolved
Logical Plan
Logical Plan Optimized
Logical Plan
Selected
Physical
Plan
RDDsPhysical
Plans
CostModel
Catalog
Analysis Logical
Optimization
Physical
Planning
Code
Generation
Catalyst
分散処理
オプティマイザー
インメモリ処理

Azure Databricks
システムの要件をクリアするソリューション
並列分散処理を可能にする
オープンソース分析エンジン
Apache Spark の
PaaS ソリューション

構造化データ
Azure Databricks で実現できること
バッチ分析 ⇒ 限られた時間で大量データを処理をしたい
分析アプリ
ダッシュボード
ログ、メディア
r
センサーデータ
CDR、POSデータど
データ加工集計非構造化データ
基幹業務
DWH
システム
オンラインデータ

リアルタイム分析 ⇒ データの生成から遅延時間を最小限にした分析をしたい
加工・集計データ
ライブストリームデータ
ストリーム処理
CDR、POS データなど分析アプリ
データリポジトリ

蓄積された大量データを活用したアドバンストアナリティクスを実施したい
データコレクター
ストリームデータ
CDR、POS など
基幹業務
アドバンスト
アナリティクス
分析アプリ

Databricks Notebook
ジョブ
スケジュール
グラフ種別
スクリプト
記述部分
実行結果
詳細表示

• Azure Databricks は Azure の 1st パーティーサービス
• Azure の各種サービスとの統合
• AAD 統合
なぜ Azure Databricks なのか
Microsoft Azure

Azure Databricks は Azure の 1st パーティーサービス
Azure の多様なビッグデータソリューション
Azure Data Lake
Analytics
Azure Data Lake Store
Azure Storage
Any Hadoop technology,
any distribution
Workload optimized,
managed clusters
Data Engineering in a
Job-as-a-service model
Azure Marketplace
HDP | CDH | MapR
Azure Data Lake
Analytics
IaaS Clusters Managed Clusters Big Data as-a-Service
Azure HDInsight
Frictionless & Optimized
Spark clusters
Azure Databricks
BIGDATA
STORAGE
BIGDATA
ANALYTICS
ReducedAdministration
CONTROL EASE OF USE
1st パーティーサービス

Azure Databricks は Azure の 1st パーティーサービス
Azure の他のサービスとの比較
HDInsight with
Spark
Azure Databricks
Azure Data Lake
Analytics
マネージドサービス Yes Yes Yes
オートスケール No Yes Yes
スケール時停止不要 No Yes Yes
開発言語
Python, Scala, Java,
R, SQL
Python, Scala, Java,
R, SQL
C#/U-SQL
スケールアウト単位クラスタークラスタージョブ単位
数分以内のスケールアウト No Yes Yes
インメモリ処理 Yes Yes No

Azure の各種サービスとの統合
Azure ストレージサービスへのダイレクトデータアクセス
Azure ストレージサービスを Databricks に直接マウントして集約された
データを処理
IoT デバイスやメディアなどの非構造化データ、オンプレミスの構造化データを Azure ストレージサービ
スに集約
Blob
Storage
基幹系アプリ
(構造化データ)
r
(非構造化データ)
ログ/ファイル/メディア
(非構造化データ)
Azure Databricks
Data Lake
Store
Data
Factory
IoT
Hub
Stream
Analytics

Azure ストレージアカウントのアクセス（DBFS としてマウント）
指定項目このサンプルでの値
コンテナ名 democontainer00
ストレージアカウント名 testadflabstaging
マウントポイント /mnt/demofolder00

Azure PaaS サービスへのダイレクトアクセス
Azure Databricks で加工された構造化データを Azure Data
Warehouse へロード（Polybase データロードをサポート）
Blob Storage
Azure Databricks
Data Lake Store
SQL Data
Warehouse
Azure Machine
Learning
Azure Analysis
Services

SQLDW サーバー名 adventureworks098
ステージングコンテナ stagingcontainer

Data
Factory
Azure
Databricks
Blob
Storage
Cosmos DB
SQL
Database
SQL Data
Warehouse
Data Lake
Store
Power BI
Cosmos DB
Connector
JDBC
connection
DBFS
mount
DBFS
mount
Event Hubs
Connector SQL DB
Connector
SQL DW
Connector
Event Hubs
Kafka
Streaming
Data Factory
Activity
Kafka on
HDInsight

AAD 統合
クラスター
ワークスペース
ジョブ
フォルダー
ノートブック
テーブル

リアルタイム分析 ⇒ データの生成から遅延時間を最小限にした分析をしたい
加工・集計データ
ストリーム処理
CDR、POS データなど分析アプリ
再掲

Structured Streaming
ライブストリームデータ
インプットテーブルクエリ― アウトプットテーブル
外部データストア
センサーデータのリアルタイムな分析
金融市場の変化をリアルタイムに追跡
モバイル端末データのリアルタイムな可視化
POS端末データのリアルタイム分析と需要予測

kafka のサブスクライブ設定例

蓄積された大量データを活用したアドバンストアナリティクスを実施したい
データコレクター
CDR、POS など
基幹業務
アドバンスト
アナリティクス
分析アプリ
再掲

様々な機械学習応用シーンに活用

• Spark MLlib プリインストール済
• DataFrame ベースの API サポート
• Tungsten や Catalyst による最適化
• 言語・ML アルゴリズムをとおして統一された API を提供
• ML pipeline サポート
• 複数の ML 処理を一つのパイプラインとして記述
• MMLSpark
• マシンラーニング・モデルの構築に必要なデータ操作を効率化
• Cognitive Toolkit, TensorFlowOnSpark, BigDL などのライブラリ/フ
レームワークを用いたディープラーニングモデル開発
Spark Machine Learning

ディープラーニングモデル開発
Deep Learning Pipelines for Apache Spark
• Python ベースのハイレベル API でディープ
ラーニングを簡潔に記述
• Spark Cluster を利用した大規模スコアリン
グ（Batch/Streaming）
• イメージデータのための転移学習、
ハイパーパラメタチューニングの支援
• ImageNet の学習済モデルを利用可能
Spark クラスタ上でハイパーパラメタチューニング
転移学習への応用

Microsoft Azure IoT Reference Architecture

IoT の SaaS と PaaS
PaaS
SaaS
SaaS – Microsoft IoT Central
PaaS – IoT Solution Accelerators

PaaS, コンテナ, OSS
Microservices
VM
Devices
Cosmos DB
Web App
IoT Hub
C# simulator
Active
Directory

IoT Hub は傾聴のスペシャリスト

IoT Edge 機能強化について

[ウェビナー] Build 2018 アップデート ～ データ プラットフォーム/IoT編 ～

More Related Content

What's hot

Similar to [ウェビナー] Build 2018 アップデート ～ データ プラットフォーム/IoT編 ～

More from Naoki (Neo) SATO

Recently uploaded