Downloaded 10 times
![データレイクの考え方
これまでの分析 ← → これからの分析
• ユーザによる活用 (分
析) シナリオを想定し、
そこからデータ蓄積
先の
スキーマを設計
• 業務システムからは、
そのシナリオ実現の
ためにETLで「デー
タ」抽出
• 想定に含まれなかっ
た「データ」の周辺
データは埋没
Schema-on-Write
• 将来のあらゆる分
析要件に対応する
ために、すべての
データを、
可能な限りネイ
ティブフォーマッ
トのまま蓄積
• 利用時にはじめて
スキーマ・データ
構造を定義し、
Read を実施
Schema-on-Read
abe, 95, 46, 85, 85
itoh, 89, 72, 46, 76,
34
ueda, 95, 13, 57, 63,
87
emoto, 50, 68, 38,
85, 98
otsuka, 13, 16, 67,
100, 7
katase, 42, 61, 90,
11, 33
{"name" : "cat",
"count" : 105}
{"name" : "dog",
"count" : 81}
{"name" : "rabbit",
"count" : 2030}
{"name" : "turtle",
"count" : 1550}
{"name" : "tiger",
"count" : 300}
{"name" : "lion",
"count" : 533}
{"name" : "whale",
"count" : 2934}
xxx.xxx.xxx.xxx - -
[27/Jan/2018:14:20:17
+0000] "GET
/item/giftcards/3720
HTTP/1.1" 200 70 "-"
"Mozilla/5.0
(Windows NT 6.1;
WOW64; rv:10.0.1)
Gecko/20100101
Firefox/10.0.1"
ネイティブフォーマットを、そのまま蓄積
SELECT ~~~ FROM ~~~
WHERE ~~~ ORDER BY ~~~;
利用時にデータ構造を定義
10
ストレージ総保有コスト
の低下](https://image.slidesharecdn.com/01bigdataanalyticsworkshop-200617093617/75/BigData-Architecture-for-Azure-10-2048.jpg)
![[DI03] DWH スペシャリストが語る! Azure SQL Data Warehouse チューニングの勘所](https://cdn.slidesharecdn.com/ss_thumbnails/di03-170605023803-thumbnail.jpg?width=640&height=640&fit=bounds)
![[de:code 2019 振り返り Night!] Data Platform](https://cdn.slidesharecdn.com/ss_thumbnails/20190610decode2019dataplatformrecap-190610113039-thumbnail.jpg?width=640&height=640&fit=bounds)
![[Japanese Content] Lance Riedel_The App Server, The Hive in Tokyo_Aug29](https://cdn.slidesharecdn.com/ss_thumbnails/lanceriedelappserver-thehiveaug29-130920154018-phpapp01-thumbnail.jpg?width=640&height=640&fit=bounds)
![【ウェブ セミナー】AI 時代のクラウド データ ウェアハウス Azure SQL Data Warehouse [実践編]](https://cdn.slidesharecdn.com/ss_thumbnails/webinarsqldw20170726-180220004900-thumbnail.jpg?width=640&height=640&fit=bounds)
BigData Architecture for Azure
- 1. Bigdata Architecture forAzure 概論
- 2. 1. Big DataArchitecture 概論 1. はじめに 2. データレイク 3. 分散処理技術 4. ワークロード分離（PaaS指向、CQRS） 5. 分析におけるセマンティック層 6. ラムダアーキテクチャ 7. データストアの選択・使い分け 8. Azure ソリューション アジェンダ
- 3.
- 4.
- 5. データを取扱うシステムの分類と一般的特徴 基幹系システム 特徴 （≒考慮事項） 情報系システム 少 Volume データ量 大 単 Variety システム内で扱うデータ形式 複 短 Velocity 発生から消費まで長 多 Concurrency 同時アクセス 少 小 Cost 費用 大 ERP CRM MES DataLakeDWH いわゆるビッグデータの3V
- 6. 従来の情報基盤におけるデータ処理の課題 データ収集 データ加工 データ蓄積データ分析データソース ETL DWH ダッシュボード レポート リレーショナル データベース ニーズ： 業務システムがサイロ化しているため、 分析のために業務データを集約した DWH が 必要であった 現状認識や課題： • リレーショナル データベース (DWH/DM) を中核とした情報基 盤 • 増大するデータや新たなデータ形式の扱いに、処理能力が対応 できない • 新たなデータ分析のニーズに適応できない
- 7. 新たな情報基盤の考え方 - Big DataReference Architecture データ収集 データ加工データ蓄積 データ活用データソース ダッシュボード レポート ML/DL リレーショナル データベース ファイル 半構造化・非構造 化データ メッセージ ストリームデータ Batch Layer （Cold Path） Service Layer リアルタイム アプリケーション Speed Layer (Hot Path) ニーズ： 業務データのみでなく、センサーデータ や画像など様々な形式のデータを扱え、 かつリアルタイムなデータ処理も可能な 基盤が必要となる 方針：ラムダ アーキテクチャ等の ビッグデータアーキ テクチャ ※ • データの処理頻度やデータサイズに応じた処理形式にデータフ ローを分ける • データ形式に応じたデータストアを活用する (構造化データ： リレーショナル、 半構造化、非構造化データ：NoSQL、 Document Db 等) • データソースのデータはそのままの蓄積し、必要な時に加工し て利用する 参考URL: http://lambda-architecture.net/ https://docs.microsoft.com/en-us/azure/architecture/data-guide/big-data/
- 8.
- 9.
- 10. データレイクの考え方 これまでの分析 ← →これからの分析 • ユーザによる活用 (分 析) シナリオを想定し、 そこからデータ蓄積 先の スキーマを設計 • 業務システムからは、 そのシナリオ実現の ためにETLで「デー タ」抽出 • 想定に含まれなかっ た「データ」の周辺 データは埋没 Schema-on-Write • 将来のあらゆる分 析要件に対応する ために、すべての データを、 可能な限りネイ ティブフォーマッ トのまま蓄積 • 利用時にはじめて スキーマ・データ 構造を定義し、 Read を実施 Schema-on-Read abe, 95, 46, 85, 85 itoh, 89, 72, 46, 76, 34 ueda, 95, 13, 57, 63, 87 emoto, 50, 68, 38, 85, 98 otsuka, 13, 16, 67, 100, 7 katase, 42, 61, 90, 11, 33 {"name" : "cat", "count" : 105} {"name" : "dog", "count" : 81} {"name" : "rabbit", "count" : 2030} {"name" : "turtle", "count" : 1550} {"name" : "tiger", "count" : 300} {"name" : "lion", "count" : 533} {"name" : "whale", "count" : 2934} xxx.xxx.xxx.xxx - - [27/Jan/2018:14:20:17 +0000] "GET /item/giftcards/3720 HTTP/1.1" 200 70 "-" "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:10.0.1) Gecko/20100101 Firefox/10.0.1" ネイティブフォーマットを、そのまま蓄積 SELECT ~~~ FROM ~~~ WHERE ~~~ ORDER BY ~~~; 利用時にデータ構造を定義 10 ストレージ総保有コスト の低下
- 11. ETLからELTへのトレンド変遷 これまでの分析（ETL） ← →これからの分析(ELT) • さまざまなソースからデータを収集し、ビジネス ルールに従ってデータを変換し、宛先データ スト アに読み込むために使用 • フィルター処理、並べ替え、集計、データ結合、 データ クレンジング、重複除去、 データ検証など • ネイティブフォーマットのデータを、そのまま 蓄積し、独立した変換エンジンを使用する代わ りに、データ ストア側（もしくは近辺）の処理 機能で変換 11
- 12.
- 13.
- 14. ビッグデータ処理技術のトレンド変遷 • データ量の増大 • 非構造データへの対応 •求められる処理能力 Hadoop 分散処理フレームワークの利用 クラスタ管理の煩雑さ 繰り返し処理時の非効率性 高速インタラクティブ処理への要望（機械学習） • インメモリ高速分散処理基盤 • Hadoopの不得意な部分に改善を加え、 ビッグデータに対するバッチ処理/リ アルタイム処理/インタラクティブ分 析（繰り返し処理）を高速実現 14
- 15. 15 Disk 現代のDWHのアーキテクチャ • OLTP処理向けの従来のDBMS製品でのスタン ダード • ディスク、メモリが複数のCPUに共有される →CPU性能の頭打ちなどの背景から、ビッグデータ に対する大量処理要件を満たすことができなく なった CPUCPU CPU Shared Memory Worker Node CPU Memory Disk ・・・ Disk Worker Node CPU Memory Control Node ABC XYZ ・・・ ABC…XYZ SMP (対称型マルチプロセッシング ) MPP (超並列処理) • ビッグデータに対応するDWH製品でのスタンダー ド • ディスク、メモリは各ノードで独立(Shared Nothing) • データは分配され、それぞれのノードで並列に処 理される • Control Nodeがクエリの分配、整合性をチェック Shared Disk型の構造 Shared Nothing型の構造 ビッグデータへの対応
- 16. 列指向ストレージ • OLTPシステム向けの従来のストレージシステム • データ（ブロック）は1レコードを構成する複数列 が格納される •集計クエリでは特定のカラム集計値もすべてのカラ ムをリードする必要がある • DWHなど分析システム向けのストレージシステム • データ（ブロック）は複数行にまたがって一つの列 が格納される • 分析クエリでは通常少数の列しか利用しないため、 必要なスキャンのみを実施可能 行指向ストレージ 列指向ストレージ 参考：https://www.slideshare.net/nttdata-tech/bigdata-storage-layer-software-nttdata 対象列 対象列対象列 対象列
- 17. • 一般に圧縮効率はユニークなデータが少ないほど高効率となる • 列指向ストレージでは列ごとのデータ形式となるため、同じ値 が頻出することが多く（カーディナリティが低い）、データ圧 縮の効果が高い 列指向ストレージによる圧縮の効率化 IDユーザ名 都市 性別 1 AAA Tokyo 男 2 BBB Osaka 女 3 CCC Nagoya 男 同一のデータが頻出 列のデータ型毎に最適な圧縮技法を利用可能
- 18.
- 19. PaaS指向による独立スケーリングと適切なテクノロジー導入 19 オンプレミス クラウド （PaaS） • 汎用性を重視した製品選定 •部分的な需要の増加に対して全 体を拡張する • コンポーネントの要求に合わせたサービス選 択・細分化 • 需要増加したコンポーネントを部分的に拡張 • 新機能の導入≒サービスの追加 →特にデータ基盤では処理と提供のワークロー ドを切り分けることで性能が改善するケースが 書き込みクエリ、読み取りクエリが混在 書き込み処理→Hadoop,Spark 読み取り処理→SQL クエリ 分離
- 20. データストアにおける、UpdateとReadの操作を分離する手法 CQRS(コマンド クエリ責務分離 )パターン •更新スキーマと読み取りスキーマが異なる →Select、SUMしたい情報≠更新すべき列 • 混在ワークロードの影響 →パフォーマンス、データ競合 従来のCRUD対応システム CQRSパターン • 最適なスキーマ →更新用スキーマ、読み取り用スキーマ • アクセス制御の分離 →Viewとベーステーブルに個別の権限実装
- 21. データストアにおける、UpdateとReadの操作を分離する手法 CQRS(コマンド クエリ責務分離 )パターン •更新スキーマと読み取りスキーマが異なる →Select、SUMしたい情報≠更新すべき列 • 混在ワークロードの影響 →パフォーマンス、データ競合 従来のCRUD対応システム CQRSパターン • 最適なスキーマ →更新用スキーマ、読み取り用スキーマ • アクセス制御の分離 →ストアごとに個別の権限実装 • 個別のストアの独立スケーリング →PaaSの利用により簡易に実現 • 適材適所原則から異種のテクノロジー利用可能 →書き込みストアにNoSQL,読み取りストアに RDBなど 分離
- 22.
- 23.
- 24. 24 BIシステム内での役割分離 一般的にBIシステムでは可視化の際、業務ユーザーとDWHをつなぐ 「セマンティック層」（＝データマート）を提供している Reporting Semantic Layer Data Warehouse DataSources ビジネスユーザーの分析を支援するためのセ マンティックモデルの役割 • ビジネスロジック • リレーション構造のモデリング • 行レベルでのデータアクセス制御 • データ取得先に対するクエリの作成・ 発行 • 物理名から分析用の名称の変換 • 多言語対応 …etc. 一般にBIツールがカバーする範囲 BIセマンティックモデル ※DWH上のViewで構成される場合も多い データ統合 クエリ結果取得 OLAP分析操作
- 25. 25 セマンティックモデルの利点 1. ビジネスユーザの利便性向上 • 複雑な物理名ではなく、ビジネスニーズのための命名 SalesResultProfit-> Profit 2. 共通モデルを利用することによる結果の保証 • 同一ビジネスロジック、同一リレーション • 作業者によって計算結果が異なるなどの問題を防ぐ 3. セキュリティポリシー対応 • データの分離 • ユーザアクセス制御 • 同レポートをユーザごとに見せる範囲を変えたい、など
- 26. 26 補足：セマンティック層の実装方式 方式 DWHで保持 BIサーバ BIツールに内包 RDB上のMaterializedViewなどで結合 済みの表を作成 リレーションシップ、メジャーを定義したOLAPモデルを作成 特徴 • 最もコストの高い結合操作をあら かじめ計算しておく • 性能はDWHに完全依存する • DWH開発者による開発 • 専用サーバにデータをキャッシュ しておく • 製品により差分更新、グローバル な負荷分散など機能が多い • モデル開発者による開発 • BIツール内の専用領域にデータを キャッシュしておく • BIサーバと比較すると負荷分散な どが苦手なケースあり • ビジネスユーザ側で作成している ことが多い
- 27.
- 28.
- 29.
- 30. Big Data基盤における一般的なアーキテクチャ • スピードレイヤ（速報データ）とバッチレイヤ（蓄積データ）により、リアルタイム分析と時系列分析を両立 •バッチレイヤで生データを保持し（DataLake）、ビジネスロジック変更後の再計算が可能 ラムダアーキテクチャ https://docs.microsoft.com/ja-jp/azure/architecture/data-guide/big-data/#lambda-architecture データソース Hot Path Cold Path
- 31. ストリー ム処理 参考URL: https://docs.microsoft.com/en-us/azure/architecture/data-guide/big-data/ データソース リレーショナル データベース ファイル メッセージ データ蓄積 Data Lake バッチ処 理 (並列分散 処理基盤) 分析データ ストア (書/読) BIレポート (集計分析) (機械学習) ・ セルフサー ビス BI データ 収集 リアルタイ ム インジェス ト リアルタイ ム ダッシュ ボード (異常検知) 分析データ ストア (書/読) ２種類のパスにコンポーネントを分割・最適化
- 32.
- 33. ストリー ム処理 参考URL: https://docs.microsoft.com/en-us/azure/architecture/data-guide/big-data/ データソース リレーショナル データベース ファイル メッセージ データ蓄積 Data Lake バッチ処 理 (並列分散 処理基盤) 分析データ ストア (書/読) BIレポート (集計分析) (機械学習) ・ セルフサー ビス BI データ 収集 リアルタイ ム インジェス ト リアルタイ ム ダッシュ ボード (異常検知) 分析データ ストア (書/読)
- 34. 34 データストアの使い分け 利用者の要件に合わせた提供方法 • 提供頻度、形式の考慮 • どのような鮮度のデータを提供すべきか、利用したいBIツール、アプリケーションに適した形式はなに かを検討することが重要 •ワークロード分離 • データストア使い分けによる、個別での性能最適化 アプリケーション ML/DL BI
- 35. 35 データストアの使い分け Cold Pathにおける負荷分散 • セマンティック層の有効利用 •キャッシュ • 複数の分析ユーザは類似のデータを必要とすることが多いため、事前キャッシュが有効 • 分離スケール • DWHとは個別に、読み取りに特化したスケールアウト、スケールアップ対応が可能 キャッシュ済みデータ による高速応答 キャッシュ外データに は直接クエリ データソース キャッシュ キャッシュ済みモデル … セマンティック層可視化 スケールアウト
- 36.
- 37. ストリー ム処理 参考URL: https://docs.microsoft.com/en-us/azure/architecture/data-guide/big-data/ データソース リレーショナル データベース ファイル メッセージ Data Lake バッチ処 理 (並列分散 処理基盤) 分析データ ストア （書/読） BIレポート (集計分析) (機械学習) ・ セルフサー ビス BI データ 収集 リアルタイ ム インジェス ト リアルタイ ム ダッシュ ボード (異常検知) 分析データ ストア （書/読） データカタログ オーケストレーション
- 38. 役割 Azure AWS(参考)その他(参考) データレイク オーケストレー ション データ収集 - バッチ処理 分析データスト ア（コールドパ ス） Azure Databricks Data Factory Azure Analysis Services Azure Synapse Analytics SQL Pool Amazon Redshift AWS Glue Databricks (3rd Party)HDInsight Amazon EMR Storage Accounts Amazon Simple Storage Service (S3)
- 39. 役割 Azure AWS(参考)その他(参考) リアルタイム インジェスト ストリーム処理 分析データスト ア（ホットパ ス） ストリーム処理 +分析データス トア（ホットパ ス） +可視化 - - Azure IoT Hub Event Hubs Azure DatabricksAzure Stream Analytics Azure Cosmos DB Azure SQL Database Time Series Insights AWS IoT Amazon Kinesis Amazon Kinesis Amazon DynamoDB Amazon RDS
- 40. 役割 Azure AWS(参考)その他(参考) データカタログ 可視化 セルフサービス BI 機械学習 DevOps クエリエンジン Data Catalog Power BI Machine Learning Azure Dev Ops https://docs.microsoft.com/ja-jp/azure/architecture/aws-professional/services Amazon SageMaker Amazon QuickSight AWS Glue Azure Synapse Analytics(SQL On-demand) Amazon Athena CodeCommit CodeDeploy CodePipelineCodeBuild
- 41. 41 Azure Solution Modern DataWarehouse “データウェアハウスにすべての データを集約したい” Advanced Analytics “ロスト危機にある顧客を 特定したい” Realtime Analytics “リアルタイムで端末機器から インサイトを得たい”
- 42. 42 Modern Data Warehouse DataFactory Data Lake Storage Analysis Services or Databricks Synapse Analytics Power BI Services そのまま コピー Or Spark ETL(GUI) Spark ETL生データの保存 大量クライアントの 負荷分散 Power BI Dataset
- 43. 43 Advanced Analytics Databricks Power BI Services 実験、学習、スコアリング MachineLearning Data Factory Synapse Analytics Data Lake Storage Container Service モデルデプロイ Application Power BI Dataset Analysis Services or
- 44. 44 Advanced Analytics Databricks Power BI Services 実験、学習、スコアリング MachineLearning Data Factory Synapse Analytics Data Lake Storage Container Service モデルデプロイ Application Analysis Services or Power BI Dataset
- 45. 45 Realtime Analytics Data Factory Databricks PowerBI Services Cosmos DBStream Analytics Realtime Application Synapse Analytics Event Hubs リアルタイムにデータ連携 Event , Telemetry IoT hub データレイクへの蓄積 世界規模の分散即時集計書き込み リアルタイム情報可視化 長期的・大規模データの分析Data Lake Storage Power BI Dataset Analysis Services or
- 46. 46 Realtime Analytics Data Factory Databricks PowerBI Services Cosmos DBStream Analytics Realtime Application Synapse Analytics Event Hubs リアルタイムにデータ連携 Event , Telemetry IoT hub データレイクへの蓄積 世界規模の分散即時集計書き込み リアルタイム情報可視化 長期的・大規模データの分析Data Lake Storage Power BI Dataset Analysis Services or データが到着す ると、ほぼリア ルタイムでその データを分析 毎時または毎日 バッチ処理を実 行し、大量デー タを分析
- 47. 役割 Azure AWS(参考)その他(参考) データレイク オーケストレー ション データ収集 - バッチ処理 分析データスト ア（コールドパ ス） Azure Analysis Services Azure Synapse Analytics Amazon Redshift AWS Glue Databricks (3rd Party)Amazon EMR Storage Accounts Amazon Simple Storage Service (S3)
- 48. 48 Azure Synapse AnalyticsMDW Azure Synapse Analytics Synapse Pipeline SQL Pool Spark PoolData Lake Storage そのまま コピー or Spark ETL(GUI) On-Demand クエリ Spark ETL Overview Data Develop MonitorOrchestrate Manage Synapse Studio 統合管理 Power BI Dataset Analysis Services or
- 49. 49 Azure Synapse AnalyticsML Azure Synapse Analytics Synapse Pipeline SQL Pool Spark PoolData Lake Storage そのまま コピー or Spark ETL(GUI) On-Demand クエリ Spark ETL Overview Data Develop MonitorOrchestrate Manage Synapse Studio 統合管理 Machine Learning 実験、学習、スコアリング Container Service モデルデプロイ Application Power BI Dataset Analysis Services or
- 50. 50 Azure Synapse AnalyticsLambda Cosmos DBEvent Hubs リアルタイム情報可視化 リアルタイムにデータ連携 世界規模の分散 Azure Synapse Analytics Synapse Pipeline Event , Telemetry Application SQL Pool Spark PoolData Lake Storage そのまま コピー or Spark ETL(GUI) On-Demand クエリ Spark ETL Overview Data Develop MonitorOrchestrate Manage Synapse Studio 統合管理 データレイクへの蓄積 即時集計書き込み 長期的・大規模データの分析 IoT hub Stream Analytics Power BI Dataset Analysis Services or
- 51. 51 Azure Synapse AnalyticsLambda Cosmos DBEvent Hubs リアルタイム情報可視化 リアルタイムにデータ連携 世界規模の分散 Azure Synapse Analytics Synapse Pipeline Event , Telemetry Application SQL Pool Spark PoolData Lake Storage そのまま コピー or Spark ETL(GUI) On-Demand クエリ Spark ETL Overview Data Develop MonitorOrchestrate Manage Synapse Studio 統合管理 データレイクへの蓄積 即時集計書き込み 長期的・大規模データの分析 IoT hub Stream Analytics Power BI Dataset Analysis Services or