Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

分析データとトランザクションデータ

654 views

Published on

2019/4/24 セミナーで使用した資料です。
Azureの概要、Data Services の各コンポーネント、ラムダアーキテクチャについてのL100+の資料です。

Published in: Software
  • Be the first to comment

分析データとトランザクションデータ

  1. 1. 分析データと トランザクションデー タ
  2. 2. 作成日時点 予告なく変更される場合
  3. 3. FastTrack (2019/2/27) Azure Lab Services (2019/2/27) SQL MI rename (2019/2/26) SQL DB as reference data input (2019/2/25) DMA support for SQL MI (2019/2/7) SMA supports SQL MI (2019/2/7) DMS supports for AWS RDS online (2019/2/7) DMS supports AWS RDS online (2019/1/23) SQL DB upgraded monitoring alerts (2019/1/17) Token-based identity for Azure AD and SQL DB on PBI pv (2019/1/23) DMS online support for SQL to SQL DB (2019/1/9) Additional compute levels added to SQL DB elastic pools (2019/1/9) 大きな機能追加はバージョン変更時 https://support.microsoft.com/ja-jp/lifecycle/search https://azure.microsoft.com/en-us/updates/ 2019/1 2019/2 2018 20192008 2009 2010 2011 2012 2013 2014 2015 2016 2017 SQL Server 2008 (2008/11/07) SQL Server 2008 R2 (2011/7/12) SQL Server 2012 (2012/05/20) SQL Server 2016 (2016/06/01) SQL Server 2014 (2015/04/14) SQL Server 2017 (2017/09/29) 数年単位 数か月単位
  4. 4. https://azureheatmap.azurewebsites.net/ https://azure.microsoft.com/ja- jp/updates/
  5. 5. Microsoft Azure の概要 (おさらい)
  6. 6. Productive + Hybrid + Intelligent + Trusted
  7. 7. どなたでも 2
  8. 8. 地球約56周 1.6PB
  9. 9. Azure: 最も信頼性の高いクラウド
  10. 10. 7.5億 Azure Active Directory の ユーザー数 1940億 Azure App Service への 外部からのリクエスト数 3400億 Azure SQL Database への リクエスト数 100兆 Azure Storage の オブジェクト数 Fortune 500 企業の Microsoft Cloud 利用率
  11. 11. $1B 3500+ 数兆
  12. 12. Azureでは、100以上のサービスを提供中 Microsoft Azure のすべてのサービス 一覧 = https://azure.microsoft.com/ja-jp/services/ Azure Datacenter Infrastructure Azure Backup Site Recovery Azure Monitor Azure Policy Azure Bluepirnts Log Analytics Azure Migrate Databox Family Compute Storage Networking Linux Virtual Machine Compute / Containers Web / Mobile DevOps / Developer Container Instance Functions Service Fabric Integration IoT Data Services Service Bus Event Grid Logic Apps API Management Management Platform as a Services ( PaaS ) Security Infrastructure as a Services ( IaaS ) Disk Storage Managed Disks Windows Virtual Machines Express Route Load Balancer Azure Firewall Virtual WAN Network Watcher Virtual Network VPN Gateway Media Services Content Delivery Network Media / CDN Cognitive Services IoT Hub Stream Analytics Role- based access control Azure Digital Twins Time Series Insights IoT Central IoT Edge Bot Services SQL Data Warehouse Azure Databricks HDInsight AI Machine Learning Studio Machine Learning Service Azure Search Analytics Data Lake Storage Gen2 Mobile Apps Web Apps Logic Apps API Apps Notification Hubs SignalR Service Application Insights Lab Services Azure DevOps SDK SQL Database Data Factory Database for MySQL Cosmos DB Database for PostgreSQL Database for MariaDB Database Migration Service Azure Cache for Redis Azure AD Key Vault Security Center DDoS Protection Multi-Factor Authentication Azure ATP Azure AD for Domain Services Azure AD B2C Cost Management Video Indexer Content Protection Kubernetes Service SQL Data Warehouse Table Storage
  13. 13. Microsoft Azure における データ アーキテクチャ
  14. 14. “構造化” データ 表形式で表せる “非構造化” データ 表形式では表せない
  15. 15. “構造化” データ 表形式で表せる “非構造化” データ 表形式では表せない
  16. 16. データストア スト レージ データベース RDB その他
  17. 17. https://azure.microsoft.com/ja-jp/product-categories/databases/ SQL Server ファミリー OSS Database Service
  18. 18. 冗長構成を考える必要あり 論理データベース Write Write Ack Ack Read value write Ack 自動的に3重化 SLA 99.99%
  19. 19. 東日本 非同期 非同期 非同期 西日本 東アジア 米国中央 Read Only Read Write セカンダリ レプリカ セカンダリ レプリカ セカンダリ レプリカ セカンダリ レプリカ プライマリ レプリカ Read Only 非同期 GUI で簡単にGEOレプリケーション構成が可能
  20. 20. 自動バックアッ プ ポイントタイム 復元 自動エクスポー ト エクスポート時 点への復元 BLOB ストレージ Bacpac ファイル システムのサービスレベルに合わせてリカバ リタイムを考えてバックアップ/リカバリ方 法を設計し、運用と管理をする必要がある。 自動で35日間 (価格レベル S0以上) のバックアップを取得
  21. 21. 分析(など)データストア そのほか
  22. 22. Call Log Files Customer Table Call Log Files Customer Table Customer Churn Table Data Sources Ingest Transform & Analyze Publish Customer Call Details Customers Likely to Churn
  23. 23. 蓄積 準備& トレーニング モデリング& 提供 収集 Azure Data Lake Storage Azure Data Factory Azure SQL Database Azure Analysis Services Power BI ログ (非構造化) メディア (非構造化) ファイル (非構造化) ビジネス/ カスタムアプリ (構造化) Azure Data Factory
  24. 24. ドキュメント列ファミリキー/値 グラフ SQL MongoDB Table API
  25. 25. A Z U R E C O S M O S D B  グローバル分散、スケーラブル、 マルチ モデル データベース サービス 多彩な整合性モデル • Strong (強い整合性) • Bounded Staleness (有界整合性制約) • Session (セッション) • Consistent Prefix (一貫性のあるプレフィッ クス) • Eventual (結果整合性)
  26. 26. A Z U R E C O S M O S D B M U L T I - M A S T E R • マルチマスター書き込み サポート (これまでは読み書き可能な単 一の書き込みリージョン+複数 の読み取り専用リージョンの構 成) • グローバル分散が構成さ れているすべてのリー ジョンで読み書き可能 • SLA 99.999% (読み書き両方に対して)
  27. 27. 蓄積 準備& トレーニング モデリング& 提供 収集 Azure Data Lake Storage Azure Data Factory Azure Cosmos DB Azure Analysis Services Power BI ログ (非構造化) メディア (非構造化) ファイル (非構造化) ビジネス/ カスタムアプリ (構造化) Azure Data Factory
  28. 28. S Q L D A T A W A R E H O U S E  SQL Server テクノロジーを活用した 「データウエアハウス」 as a Service  パワフルなETLツールのエコシステム  様々なデータ・ソースからの直接の ロード  透明性のある並列ロード  結果の整合性と安定性の保証 • 大規模データ処理 • 高速なスケールアウト / イン • 一時停止 / 再開 • 使い慣れたクエリ
  29. 29. Control Node SQL DB Compute Node Compute Node Compute Node Compute Node SQL DB SQL DB SQL DB SQL DB コンピュート層 • スケールアウト・ダウ ン可能 • 停止可能 データはストレージ層 MPP処理 コンピュート層とスト レージ層を分離するこ とで、スケール アウトを容易にし、同 時に 課金も柔軟にする DMS DMS DMS DMS DMS Compute Node SQL DB DMS プレミアムストレージ(SSD)
  30. 30. 蓄積 準備& トレーニング モデリング& 提供 収集 Azure Blob StorageAzure Data Factory PolyBase Azure SQL Data Warehouse Azure Analysis Services Power BI ログ (非構造化) メディア (非構造化) ファイル (非構造化) ビジネス/ カスタムアプリ (構造化)
  31. 31. 蓄積 準備& トレーニング モデリング& 提供 収集
  32. 32. ログ (非構造化) メディア (非構造化) ファイル (非構造化) ビジネス/ カスタムアプリ (構造化) センサーと IoT (非構造化) Azure Blob Storage Data Lake Store Azure Databricks / HDInsight SparkR HDInsight/ Databricks (Kafka) IoT Hub Event Hubs HDInsight (Storm/Spark Streaming) Stream Analytics HDInsight (Hive/Hbase/Spa rk SQL) Analysis Services Databricks Databricks SQL Data Warehouse Power BI SparkR Machine Learning Spark ML Data Factory データソース オーケストレーション 分析及び レポートデータ ストレージ リアルタイム メッセージインジェスト バッチ処理 ストリーム処理 分析データストア 機械学習
  33. 33. 蓄積 準備& トレーニング モデリング& 提供 収集
  34. 34. ログ (非構造化) メディア (非構造化) ファイル (非構造化) ビジネス/ カスタムアプリ (構造化) センサーと IoT (非構造化) Azure Blob Storage Data Lake Store Azure Databricks / HDInsight SparkR HDInsight/ Databricks (Kafka) IoT Hub Event Hubs HDInsight (Storm/Spark Streaming) Stream Analytics HDInsight (Hive/Hbase/Spa rk SQL) Analysis Services Databricks Databricks SQL Data Warehouse Power BI SparkR Machine Learning Spark ML Data Factory データソース オーケストレーション 分析及び レポートデータ ストレージ バッチ処理 分析データストア リアルタイム メッセージインジェスト ストリーム処理 機械学習
  35. 35. Database 外部ファイル SQL Data Warehouse Analysis Service Power BI Azure Active Directory データソースが オンプレミスの データベース 市区町村の人口など 分析に必要な外部 データファイル 分析のためには複数 のデータソースが必 要となる 様々なデータを RAW データとし て格納保管 大規模なデータ分析を 目的として設計された 分散システム型フルマ ネージドデータベース データの移動、変換を自動化するフルマネージドサービ ス ETLプロセスに相当 データモデリング機能を 提供するフルマネージド サービス 行レベルのアクセス制御 も行う Azure上の認証基盤 Power BI、Analysis Serviceの認証を行う Data Lake Storage Databricks データを分析データに 加工する並列分散処理 可能なフルマネージド サービス データソース 分析及びレポートデータ ストレージ バッチ処理 分析データストア Data Factory オーケストレーション オンプレミス Azure
  36. 36. ログ (非構造化) メディア (非構造化) ファイル (非構造化) ビジネス/ カスタムアプリ (構造化) センサーと IoT (非構造化) Azure Blob Storage Data Lake Store Azure Databricks / HDInsight SparkR HDInsight/ Databricks (Kafka) IoT Hub Event Hubs HDInsight (Storm/Spark Streaming) Stream Analytics HDInsight (Hive/Hbase/Spa rk SQL) Analysis Services Databricks Databricks SQL Data Warehouse Power BI SparkR Machine Learning Spark ML Data Factory データソース オーケストレーション 分析及び レポートデータ ストレージ リアルタイム メッセージインジェスト ストリーム処理 分析データストア 機械学習 バッチ処理
  37. 37. Power BI リアルタイム処理をするため、 ストリーム処理をデバイスで 実行します。 大量のデバイスがセキュア に接続しデータ受信を行う IoT Hubからコマンドを送 信ことも可能 リアルタイムメッセー ジを分析のためにフィ ルター、集計を行って 結果を出力する ストリームデータをリ アルタイムに視覚化 IoT Hub Stream Analytics Cosmos DB Time Series Insight Web Apps デバイスが直接 IoT Hub に 接続しメッセージを送信 デバイス情報などを高速にJSONド キュメントを格納し、トリガーを 使ってリアルタイムに処理を実行 大量のデータを安価 に格納 収集された過去 データの分析 IoT データを準リアル タイムの分析、視覚化 過去データから学習 モデルを作成 学習モデルのAPIを コールして自動判断 Data Lake Storage オンプレミス Azure データソース 分析及び レポートリアルタイム メッセージインジェスト ストリーム処理 分析データストア 機械学習 Machine Learning
  38. 38. https://aka.ms/mspnp
  39. 39.  本書に記載した情報は、本書各項目に関する発行日現在の Microsoft の見解を表明するものですMicrosoftは絶えず変化する市場に対応しなければならないため、ここに記載した情報に 対していかなる責務を負うものではなく、提示された情報の信憑性については保証できません  本書は情報提供のみを目的としています Microsoft は、明示的または暗示的を問わず、本書にいかなる保証も与えるものではありません  すべての当該著作権法を遵守することはお客様の責務ですMicrosoftの書面による明確な許可なく、本書の如何なる部分についても、転載や検索システムへの格納または挿入を行うこと は、どのような形式または手段(電子的、機械的、複写、レコーディング、その他)、および目的であっても禁じられていますこれらは著作権保護された権利を制限するものではあり ません  Microsoftは、本書の内容を保護する特許、特許出願書、商標、著作権、またはその他の知的財産権を保有する場合がありますMicrosoftから書面によるライセンス契約が明確に供給さ れる場合を除いて、本書の提供はこれらの特許、商標、著作権、またはその他の知的財産へのライセンスを与えるものではありません © 2019 Microsoft Corporation. All rights reserved. Microsoft, Windows, その他本文中に登場した各製品名は、Microsoft Corporation の米国およびその他の国における登録商標または商標です その他、記載されている会社名および製品名は、一般に各社の商標です

×