Download as PDF, PPTX
Uploaded byDaisuke Masubuchi
Azure上の データベース 機能の選び方。KVSからDWHまで
「Azure は生まれた時からPaaSでした。そして、PaaSという言葉から、開発プラットフォームとしての お得意の話をしたいところですが、そういう アプリ開発のPaaS機能 としての側面はだいぶ語りつくされてきてますので、今回はあえて、データベースストアとしての PaaS機能に絞ってお話させていただきます。」 #勉強会 #paasjp #PaaS勉強会 勉強会サイト https://paas.connpass.com/ イベントの実況まとめtg https://togetter.com/li/1128578?page=2
More Related Content
Similar to Azure上の データベース 機能の選び方。KVSからDWHまで
![[Japan Tech summit 2017] DAL 003](https://cdn.slidesharecdn.com/ss_thumbnails/techsummit2017pdfdal003-171115033147-thumbnail.jpg?width=640&height=640&fit=bounds)
![[DI07] あらゆるデータに価値がある! アンチ断捨離ストのための Azure Data Lake](https://cdn.slidesharecdn.com/ss_thumbnails/di07-170605024557-thumbnail.jpg?width=640&height=640&fit=bounds)
![[de:code 2019 振り返り Night!] Data Platform](https://cdn.slidesharecdn.com/ss_thumbnails/20190610decode2019dataplatformrecap-190610113039-thumbnail.jpg?width=640&height=640&fit=bounds)
![[db tech showcase Tokyo 2017] AzureでOSS DB/データ処理基盤のPaaSサービスを使ってみよう (Azure Dat...](https://cdn.slidesharecdn.com/ss_thumbnails/20170907dbtechshowcaseazureossdb-170907082746-thumbnail.jpg?width=640&height=640&fit=bounds)
![[db tech showcase OSS 2017] A24: マイクロソフトと OSS Database - Azure Database for M...](https://cdn.slidesharecdn.com/ss_thumbnails/uikouazurepostgresqlver1-170621081553-thumbnail.jpg?width=640&height=640&fit=bounds)
![[ウェビナー] Build 2018 アップデート ～ データ プラットフォーム/IoT編 ～](https://cdn.slidesharecdn.com/ss_thumbnails/20180614azuredataiotwebinar-180614083401-thumbnail.jpg?width=640&height=640&fit=bounds)
Azure上の データベース 機能の選び方。KVSからDWHまで
- 1.
- 2. Microsoft アカウント Microsoft Azure無料サブスクリプション Visual Studio 無料サブスクリプション Python SDK Windows版 のインストール Python SDK Mac のインストール Microsoft Developer Network Azure コマンドラインインタフェース のインストール AzCopy コマンドライン ツール (Azure Storage 用) ストレージエクスプローラー・Windows版 のインストール ストレージエクスプローラー・Mac版 のインストール
- 3. Platform Services Infrastructure Services WebApps Mobile Apps API Management API Apps Logic Apps Notification Hubs Content Delivery Network (CDN) Media Services BizTalk Services Hybrid Connections Service Bus Storage Queues Hybrid Operations Backup StorSimple Azure Site Recovery Import/Export SQL Database DocumentDB Redis Cache Azure Search Storage Tables Data Warehouse Azure AD Health Monitoring AD Privileged Identity Management Operational Analytics Cloud Services Batch RemoteApp Service Fabric Visual Studio App Insights Azure SDK VS Online Domain Services HDInsight Machine Learning Stream Analytics Data Factory Event Hubs Mobile Engagement Data Lake IoT Hub Data Catalog Security & Management Azure Active Directory Multi-Factor Authentication Automation Portal Key Vault Store/ Marketplace VM Image Gallery & VM Depot Azure AD B2C Scheduler The Azure Platform
- 4. 様々なアプリ開発が行われています Web & mobileBusiness apps Microservice apps Development & test Big data & analytics Internet of Things Backup, recovery & archive High Performance Computing Digital media
- 5. Identity & security Media & CDN IntegrationDeveloper services Data Analytics & IoT MY APP と、マイクロソフトさんはいうけれど・・・
- 7. デバイス Machine Learning Stream Analytics SQL Database Azure Storage HDInsight (Hadoop) Event Hubs BIツール （Power BIなど） 機器 制御装置 Stream Analytics Data Factory Data Lake Store SQL Data Warehouse 業務システム Machine Learning API IoT Hub Document DB Data Lake Analytics service Revolution R Enterprise Recommendations, customer churn, forecasting, etc. Face, vision Speech, text Cognitive Services
- 8. デバイス Machine Learning Stream Analytics SQL Database Azure Storage HDInsight (Hadoop) Event Hubs BIツール （Power BIなど） 機器 制御装置 Stream Analytics Data Factory Data Lake Store SQL Data Warehouse 業務システム Machine Learning API IoT Hub Document DB Data Lake Analytics service Revolution R Enterprise Recommendations, customer churn, forecasting, etc. Face, vision Speech, text Cognitive Services ①大量データの 受け入れ ②リアルタイム処理 データの集約 ③データの蓄積 ・構造化 ・非構造化 ・文書 など様々な形式 での保存 ④データの加 工・移行 ⑥機械学習 ⑦Hadoop解析 ⑧マイクロソフト技 術を用いた分散 解析 ⑨・通常のR ・MSが機能を 追加した企業 向けR を使用した解析 ⑪クラウドベースの Self- Service BI 機能 ⑫機械学習の予測 モデルを業務システ ムなどから呼び出し 可能にするサービス 外部クラウドなど からのデータ取り 込み ②リアルタイム処理 データの加工 ⑤ディープラーニング ⑩Excelを用いた可視化
- 9. ✓ Azure Storage 様々な文書、Blobデータ、テーブル形式のデータが保存可能なストレージ ✓SQL Database SQL Server 2016 と同等の機能を提供する PaaS 型データベース サービス ✓ Azure Database for MySQL/PostgreSQL PaaS 型データベース サービス のMySQL/PostgreSQL版 ✓ Azure SQL Data Warehouse ペタバイト単位のストレージを有した PaaS 型データ ウェアハウス サービス ✓ Cosmos DB マルチデータモデルのグローバル分散DB ✓ Azure Data Lake Store ビッグ データの分析ワークロードに対応する大規模データ格納エリア ✓ 補足資料： 各種データストアの選び方（英語） 本日のご紹介内容
- 10. IoT Hub Event Hubs DataWarehouse Data Factory App Insights Log Analytics Monitor CDN Search Power BI Blob Storage Pillars Open & Interoperable Manageable & Cost Efficient Scalable & Performant Secure & Compliant Durable & Available Machine Learning Stream Analytics Batch Functions Data Lake Analytics Azure HDInsight Big Data Use Cases Ingest & ETL Streaming Analytics & Machine Learning Data Aggregation Presentation
- 11. Queues Reliable queues at scalefor cloud services ファイルを保存する際には この3つの選択肢があります
- 12.
- 13.
- 15. フルマネージドの RDBMS データベース RDBMS OS Azure が管理 利用者が管理 VM上のRDBMS ホスト OS 仮想化 フルコントロール データベース RDBMS OS 仮想化 ホスト OS 容易な管理 Azure Database
- 16. SQL Server 物理マシン/仮想マシン SQL Serveron Azure VM 仮想マシン SQL Database, Data Warehouse PaaS
- 17. 物理マシン/仮想マシン VM Template /Marketplace 仮想マシン Azure Database for MySQL / PostgreSQL
- 18. Azure Database for MySQL/PostgreSQL登場 • High Availability • 使用したリソースに応じた課金（Pay-as-you-go） • 無停止でのスケール変更 • セキュリティ • 自動バックアップ + Point-In-Time-Restore （最大35日） • Azure Web Apps との統合 ＊パブリックプレビュー開始
- 19.
- 20. データベース トランザクション ユニット(DTU) とエラスティック データベース トランザクション ユニット (eDTU) の説明 https://docs.microsoft.com/ja-jp/azure/sql-database/sql-database-what-is-a-dtu
- 21. Azure SQL DatabaseQuery Performance Insight https://docs.microsoft.com/ja-jp/azure/sql-database/sql-database-query-performance Query Store is turned on by default for Azure SQL Database https://azure.microsoft.com/ja-jp/updates/query-store-on-is-the-new-default-for-azure-sql-database/
- 22.
- 23. SQL Database Advisor https://docs.microsoft.com/ja-jp/azure/sql-database/sql-database-advisor AzurePortal を使用した SQL Database Advisor https://docs.microsoft.com/ja-jp/azure/sql-database/sql-database-advisor-portal
- 24. 領域 改善後 新しいインデックス提案が作成されるまで 18時間以内 T-SQL文が実行されるまでのタイムラグ即時（数分以内） 「悪い」チューニング内容に対しての検知時間 1時間以内 次のインデックス提案が行われるまでの待ち時 間 即時（数分以内） 導入までの総時間 1日以内
- 25.
- 26. // // Flexible PostgreSQLPREVIEWMySQL PREVIEWPowerBI,AppServices,DataFactory,Analytics,ML, Cognitive,Bot… Global Azure with 38 Regions Azure Compute SQL Data Warehouse Azure Storage SQL Database Flexible: On-demand scaling, Resource governance Trusted: HA/DR, Backup/Restore, Security, Audit, Isolation Intelligent: Advisors, Tuning, Monitoring Azure Database Services Platform
- 27. コントロール ノード SQL DB Azure Blob Storage(WASB) 100DWU < > 2000 DWUコントロールノード ユーザーからの接続 コンピュートとストレージの調整 コンピュート ノード コンピュート ノード コンピュート ノード コンピュート ノード SQL DB SQL DB SQL DB SQL DB
- 28.
- 29.
- 31. Azure Cosmos DBMicrosoftのグローバル分散データベース サービス
- 34.
- 35.
- 36. 9 PM PST 少ない スループット 多くの スループット 多くの スループット 少ない スループット 11PM PST11 PM PST
- 37. Read < 2ms Writes < 6 ms Read < 10 ms Writes < 15 ms 99%50%
- 38. キー/バリュー ドキュメント グラフ SQL (DocumentDB) MongoDB Azure TableStorage Gremlin グラフ
- 39. Cosmos DB はマルチモデル型データベース 従来の MySQL PostgreSQL （LAMP） ドキュメント指向DB型 （MongoDB互換） グラフ型 （Gremlin互換） SQL ドキュメント指向DB 型 Column Family（Document DB） キーバリューストア （Azure Table） Azure Storage: Standard Table API
- 40.
- 41. Navigating CAP theorem Consistentdata worldwide
- 42. Strong Bounded-stateless SessionConsistent prefix Eventual
- 45. 45 データ無制限のストレージ と 分析プラットフォーム 無制限のストレージ（エクサバイト超） ネイティブ HDFS に基づく実装 HDInsight, Hortonworks, Cloudera との統合 全ての HDFS 準拠プロジェクトとの親和性 (Spark, Storm, Flume, Sqoop, Kafka, R, etc.) Azure Data Lake Store - Hadoop Distributed File System (HDFS) For The Cloud 構造化データと非構造化データに対するデータ処理 宣言型の SQL 文 とカスタムコード (UDF, UDT, UDO, … ) ローカルとリモートに対するクエリ バッチ型、インタラクティブ型、ストリーミング型(in the future) Azure Data Lake Analytics - New Query Language : U-SQL
- 46.
- 47.
- 48.
- 49. 49 無制限のサイズ ギガバイトからペタバイトのサイズの単一ファイル 巨大なスループットを必要とする大規模な分析システムを実現 あらゆるスループットに自動最適化 ペタバイト超のデータの並列コンピューティング 同一リージョン内に３つのコピーを自動的に作成 インストールやチューニングは不要 数分で稼働開始 必要に応じてどのようなサイズにもスケールアウト可能
- 50. データウェアハウスデータレイクストア 非構造Rawデータ （ログ、文書、バイナリ） Tier 1 Machine Learning Data Lake AnalyticsHDInsight 目的に合わせた データウェハウス分析処理 （売上分析、経営分析） データウェハウスに 格納しきれなかった 過去データ、関連データ を連結して分析 ハードウェアの性能限界 によって行えなかった 処理量の分析を実現 ※ディスク／コンピューティング 非構造データの 分析処理 （画像、音声、映像など） 広範囲のデータを利用した 機械学習、統計解析処理 などによる高度分析 SQL Data Warehouse Data Lake Analytics HDInsight Data Lake Analytics 構造化データ 半構造データ 分析用に加工(csv等) Tier 2 アーカイブデータ Tier 2, DWHのアーカイブ Tier 3
- 51. Analytics Storage HDInsight (“managed clusters”) Azure DataLake Analytics Azure Data Lake Store Azure Data Lake
- 52. LOB Applications SocialDevices Clickstream Sensors Video Web Relational HDInsight Data LakeAnalytics Machine Learning Spark R Azure Data Lake Store
- 53. Azure Data LakeStore Azure Storage Blob 外部表Azure SQL Data Warehouse
- 54. HDInsight 開発者は OSS に馴染んでいる: Java,Eclipse, Hive, etc. マネージド Hadoop クラスタにおいて、 カスタマイズ・管理が可能で、フレキ シビリティがある Azure Data Lake Analytics C#, SQL & PowerShell のスキル・ 経験を活かせる 利便性、効率性、自動スケール、 ジョブ実行の仕組みが提供される
- 55.
- 56.
- 57. REFERENCE ASSEMBLY WebLogExtASM; @rs= EXTRACT UserID string, Start DateTime, End DateTime, Region string, SitesVisited string, PagesVisited string FROM “/Logs/WebLogRecords.txt” USING WebLogExtractor (); @result = SELECT UserID, (End.Subtract(Start)).TotalSeconds AS Duration FROM @rs ORDER BY Duration DESC FETCH 10; OUTPUT @result TO “/Logs/Results/top10.tsv" USING Outputter.Tsv(); • 型定義は C# の型定義と同じ • データをファイルから抽出・読み込み するときに、スキーマが必要 Data Lake Store 内 のファイル 独自形式を解析するカスタム関数 C# の関数 行セット: （中間テーブルの概念 に近い） TSV形式で書き込む関数
- 58. U-SQL ジョブのサブミット Azure PortalやVisualStudioのAzure Data Lake ToolsからU-SQLジョブをサブミット可能 58
- 59.
- 60. 従来型の処理・分析 Azure DataLake を中心とした処理・分析 Business apps Custom apps Sensors and devices ADL Store People 非構造化データも 含めてあらゆる データを格納 Azure SQL DW Azure AD Power BI ADF ADL Analytics • 処理・分析業務の大半はデータ準備作業が占める • 処理・分析業務に手間・時間が必要 Business apps Custom apps Sensors and devices HDInsight ユーザー管理、認証 データの連携 Power BI File System Database Database Hadoop DWH Data Mart
- 61.
- 62. Microsoft data platformsolutions Product Category Description More Info SQL Server 2016 RDBMS Earned top spot in Gartner’s Operational Database magic quadrant. JSON support. Linux TBD https://www.microsoft.com/en-us/server- cloud/products/sql-server-2016/ SQL Database RDBMS/DBaaS Cloud-based service that is provisioned and scaled quickly. Has built-in high availability and disaster recovery. JSON support https://azure.microsoft.com/en- us/services/sql-database/ SQL Data Warehouse MPP RDBMS/DBaaS Cloud-based service that handles relational big data. Provision and scale quickly. Can pause service to reduce cost https://azure.microsoft.com/en- us/services/sql-data-warehouse/ Analytics Platform System (APS) MPP RDBMS Big data analytics appliance for high performance and seamless integration of all your data https://www.microsoft.com/en-us/server- cloud/products/analytics-platform-system/ Azure Data Lake Store Hadoop storage Removes the complexities of ingesting and storing all of your data while making it faster to get up and running with batch, streaming, and interactive analytics https://azure.microsoft.com/en- us/services/data-lake-store/ Azure Data Lake Analytics On-demand analytics job service/Big Data-as-a- service Cloud-based service that dynamically provisions resources so you can run queries on exabytes of data. Includes U-SQL, a new big data query language https://azure.microsoft.com/en- us/services/data-lake-analytics/ HDInsight PaaS Hadoop compute/Hadoop clusters-as-a-service A managed Apache Hadoop, Spark, R, HBase, Kafka, and Storm cloud service made easy https://azure.microsoft.com/en- us/services/hdinsight/ DocumentDB PaaS NoSQL: Document Store Get your apps up and running in hours with a fully managed NoSQL database service that indexes, stores, and queries data using familiar SQL syntax https://azure.microsoft.com/en- us/services/documentdb/ Azure Table Storage PaaS NoSQL: Key-value Store Store large amount of semi-structured data in the cloud https://azure.microsoft.com/en- us/services/storage/tables/
- 63. Microsoft Big DataPortfolio SQL Server Stretch Business intelligence Machine learning analytics Insights Azure SQL Database SQL Server 2016 SQL Server 2016 Fast Track Azure SQL DW ADLS & ADLA DocumentDB HDInsight Hadoop Analytics Platform System Sequential Scale Out + AcrossScale Up Key Relational Non-relational On-premisesCloud Microsoft has solutions covering and connecting all four quadrants – that’s why SQL Server is one of the most utilized databases in the world
- 64. Azure Data Lake Store Azure BlobStorage Purpose Optimized for big data analytics General purpose bulk storage Use Cases Batch, Interactive, Streaming App backend, backup data, media storage for streaming Units of Storage Accounts / Folders / Files Accounts / Containers / Blobs Structure Hierarchical File System Flat namespace WebHDFS Implements WebHDFS No (WASB) Security AD SAS keys Storage Auto Shared/Files chunked Manually manage expansion/Files intact Service State Generally Available. PolyBase just supported! Generally Available Billing Pay for data stored and for I/O Pay for data stored and for I/O Region Availability Two US regions (Other regions coming soon) All Azure Regions ADL Store vs Blob Store https://docs.microsoft.com/en-us/azure/data-lake-store/data-lake-store-comparison-with-blob-storage
- 65. Want Hadoop? Need exact same on- prem Need interactive/ streaming? Mandatory No strong opinion Azure Marketplace (IaaS) • Need all workloads exactly like on- premises • Need 100% Hortonworks/Cloudera/MapR Azure HDInsight • Most Hadoop workloads • Fully managed by Microsoft • Sell HDI + ADLS • Stickier to Microsoft than VMs • Can do interactive (Spark) and streaming (Storm/Spark) Azure Data Lake Analytics • Easiest experience for admin: no sense of clusters, instant scale per job • Easiest experience for developers: Visual Studio/U-SQL (C#+SQL) • Sell ADLA + ADLS • Batch workloads only Need everything exactly like on-prem Need core projects Yes Batch is OK Always present ADLA if .NET or Visual Studio Shop If .NET or VS shop?
- 66. Azure SQL DWHDInsight Hive HDInsight Spark Azure Data Lake SQL Server (IaaS) Volume Petabytes Petabytes Petabytes Petabytes Terabytes Security Encryption, TD, Audit ADLS / Apache Ranger ADLS AAD Security Groups (data) Encryption, TD Audit Languages T-SQL HiveQL SparkSQL, HiveQL, Scala, Java, Python, R U-SQL T-SQL Extensibility No Yes, .NET/SerDe Yes, Packages Yes, .NET Yes, .NET CLR External File Types ORC, TXT, Parquet, RCFile ORC, CSV, Parquet + others Parquet, JSON, Hive + others Many ORC, TXT, Parquet, RCFile Admin Low-Medium Medium-High Medium-High Low High Cost Model DWU Nodes & VM Nodes & VM Units/Jobs VM Schema Definition Schema on Write / Polybase Schema on Read Schema on Read Schema on Read Schema on Write / Polybase Max DB Size 240TB Comp (5X = 1PB) Unlimited 64TB (64 1TB drives)
- 67. Big Data Solutions DecisionTree https://biz-excellence.com/2016/08/30/big-data-dt/
- 68.