Download as PDF, PPTX
![Use Bindings in Your Code function.json
"bindings": [
{
"type": "httpTrigger",
"direction": "in",
"webHookType": "genericJson",
"name": "req"
},
{
"type": "http",
"direction": "out",
"name": "res"
},
{
"type": "queue",
"name": "eventOutput",
"queueName": "aievents1",
"connection":"AiStorageConnection",
"direction": "out"
}
]
public static class OrderHandler
{
[FunctionName("OrderWebhook")]
public static async Task<HttpResponseMessage> Run(
[HttpTrigger] HttpRequestMessage req,
[Queue("aievents1", Connection = "AiStorageConnection")]
IAsyncCollector<String> eventOutput,
TraceWriter log)
{
log.Info($"Webhook was triggered!");
string jsonContent = await req.Content.ReadAsStringAsync();
dynamic data = JsonConvert.DeserializeObject(jsonContent);
await eventOutput.AddAsync(
JsonConvert.SerializeObject(GetLogData(data)));
int orderId = PlaceOrder(data);
return req.CreateResponse(HttpStatusCode.OK,
new {orderNumber = orderId });
}
. . .
}](https://image.slidesharecdn.com/microsoftazureds-170701070644/75/Microsoft-Azure-KVS-DWH-107-2048.jpg)
Uploaded byDaisuke Masubuchi
やりたいことから考えるMicrosoft Azure 上の データストアの選び方とデータサイエンティスト向け活用法。KVSからDWHまで
Microsoft Azure は機能が沢山あります。また機能を引き出すためのデータストアの仕方も合わせて考える必要があります。本セッションでは普段Azureを利用していない方とのハッカソンの経験をもとに、プロダクト機能からではなく、ユーザー側のニーズや想定されるワークロードから最適な Microsoft Azure のデータベースやストレージの選び方をご説明します。 ---- イベント情報： https://insight-tec.connpass.com/event/55971/ データ分析ブームにのった勉強会やセミナーは数多くありますが、真に理解できるよう、意味のある勉強会はごくわずか。本当に理解し使いこなすため、その一歩を踏み出すための勉強会、札幌にて開催します。 本イベントは、世界的に開催されているオープンソースGIS（地理情報システム）の祭典「FOSS4G Hokkaido 2017」と同時開催になります。本イベントへの申込みで、どちらのセッションにもご参加いただけます。 ※6月30日に予定されているFOSS4G Hokkaidoのハンズオン（体験型講習会）は有料となります。
More Related Content
![S03_まずはここから！Microsoft 365 E3 でセキュリティの第一歩を踏み出す [Microsoft Japan Digital Days]](https://cdn.slidesharecdn.com/ss_thumbnails/s03microsoft365e3-211028133442-thumbnail.jpg?width=640&height=640&fit=bounds)
![[JAWS DAYS 2019] Amazon DocumentDB（with MongoDB Compatibility）入門](https://cdn.slidesharecdn.com/ss_thumbnails/jawsdays-2019-190222234012-thumbnail.jpg?width=640&height=640&fit=bounds)
Similar to やりたいことから考えるMicrosoft Azure 上の データストアの選び方とデータサイエンティスト向け活用法。KVSからDWHまで
![[Japan Tech summit 2017] DAL 003](https://cdn.slidesharecdn.com/ss_thumbnails/techsummit2017pdfdal003-171115033147-thumbnail.jpg?width=640&height=640&fit=bounds)
![[de:code 2019 振り返り Night!] Data Platform](https://cdn.slidesharecdn.com/ss_thumbnails/20190610decode2019dataplatformrecap-190610113039-thumbnail.jpg?width=640&height=640&fit=bounds)
![[ウェビナー] Build 2018 アップデート ～ データ プラットフォーム/IoT編 ～](https://cdn.slidesharecdn.com/ss_thumbnails/20180614azuredataiotwebinar-180614083401-thumbnail.jpg?width=640&height=640&fit=bounds)
![[db tech showcase Tokyo 2017] AzureでOSS DB/データ処理基盤のPaaSサービスを使ってみよう (Azure Dat...](https://cdn.slidesharecdn.com/ss_thumbnails/20170907dbtechshowcaseazureossdb-170907082746-thumbnail.jpg?width=640&height=640&fit=bounds)
![[db tech showcase OSS 2017] A24: マイクロソフトと OSS Database - Azure Database for M...](https://cdn.slidesharecdn.com/ss_thumbnails/uikouazurepostgresqlver1-170621081553-thumbnail.jpg?width=640&height=640&fit=bounds)
![[Azureビッグデータ関連サービスとHortonworks勉強会] Azureビッグデータ関連サービス最新情報](https://cdn.slidesharecdn.com/ss_thumbnails/20160719hortonworksmeetupazuredata-160721074638-thumbnail.jpg?width=640&height=640&fit=bounds)
やりたいことから考えるMicrosoft Azure 上の データストアの選び方とデータサイエンティスト向け活用法。KVSからDWHまで
- 1. db analytics showcaseSapporo 2017
- 2. Microsoft アカウント Microsoft Azure無料サブスクリプション Visual Studio 無料サブスクリプション Python SDK Windows版 のインストール Python SDK Mac のインストール Microsoft Developer Network Azure コマンドラインインタフェース のインストール AzCopy コマンドライン ツール (Azure Storage 用) ストレージエクスプローラー・Windows版 のインストール ストレージエクスプローラー・Mac版 のインストール
- 3.
- 5.
- 9. Computational Network Toolkit(CNTK) Vowpal Wabbit XGBoost Rattle mxnet Weka Apache Drill CUDA, CUDNN, Nvidia Driver GPU based Deep Learning Tools Use Deep Learning Toolkit for DSVM Ubuntu Edition Only * Microsoft Cognitive Toolkit (CNTK) Y Y * Tensorflow Y Y * MXNet Y Y * Caffe & Caffe2 N Y * Torch N Y * Theano N Y * Keras N Y * NVidia Digits N Y * CUDA, CUDNN, Nvidia Driver Y Y
- 10.
- 13. Platform Services Infrastructure Services WebApps Mobile Apps API Management API Apps Logic Apps Notification Hubs Content Delivery Network (CDN) Media Services BizTalk Services Hybrid Connections Service Bus Storage Queues Hybrid Operations Backup StorSimple Azure Site Recovery Import/Export SQL Database DocumentDB Redis Cache Azure Search Storage Tables Data Warehouse Azure AD Health Monitoring AD Privileged Identity Management Operational Analytics Cloud Services Batch RemoteApp Service Fabric Visual Studio App Insights Azure SDK VS Online Domain Services HDInsight Machine Learning Stream Analytics Data Factory Event Hubs Mobile Engagement Data Lake IoT Hub Data Catalog Security & Management Azure Active Directory Multi-Factor Authentication Automation Portal Key Vault Store/ Marketplace VM Image Gallery & VM Depot Azure AD B2C Scheduler The Azure Platform
- 14. 様々なアプリ開発が行われています Web & mobileBusiness apps Microservice apps Development & test Big data & analytics Internet of Things Backup, recovery & archive High Performance Computing Digital media
- 15. Identity & security Media & CDN IntegrationDeveloper services Data Analytics & IoT MY APP
- 16. デバイス Machine Learning Stream Analytics SQL Database Azure Storage HDInsight (Hadoop) Event Hubs BIツール （Power BIなど） 機器 制御装置 Stream Analytics Data Factory Data Lake Store SQL Data Warehouse 業務システム Machine Learning API IoT Hub Document DB Data Lake Analytics service Revolution R Enterprise Recommendations, customer churn, forecasting, etc. Face, vision Speech, text Cognitive Services
- 18. デバイス Machine Learning Stream Analytics SQL Database Azure Storage HDInsight (Hadoop) Event Hubs BIツール （Power BIなど） 機器 制御装置 Stream Analytics Data Factory Data Lake Store SQL Data Warehouse 業務システム Machine Learning API IoT Hub Document DB Data Lake Analytics service Revolution R Enterprise Recommendations, customer churn, forecasting, etc. Face, vision Speech, text Cognitive Services
- 19. デバイス Machine Learning Stream Analytics SQL Database Azure Storage HDInsight (Hadoop) Event Hubs BIツール （Power BIなど） 機器 制御装置 Stream Analytics Data Factory Data Lake Store SQL Data Warehouse 業務システム Machine Learning API IoT Hub Document DB Data Lake Analytics service Revolution R Enterprise Recommendations, customer churn, forecasting, etc. Face, vision Speech, text Cognitive Services ①大量データの 受け入れ ②リアルタイム処理 データの集約 ③データの蓄積 ・構造化 ・非構造化 ・文書 など様々な形式 での保存 ④データの加 工・移行 ⑥機械学習 ⑦Hadoop解析 ⑧マイクロソフト技 術を用いた分散 解析 ⑨・通常のR ・MSが機能を 追加した企業 向けR を使用した解析 ⑪クラウドベースの Self- Service BI 機能 ⑫機械学習の予測 モデルを業務システ ムなどから呼び出し 可能にするサービス 外部クラウドなど からのデータ取り 込み ②リアルタイム処理 データの加工 ⑤ディープラーニング ⑩Excelを用いた可視化
- 21. Cognitive ServicesAPI Azure Gallery
- 22. Microsoft RServer Azure Machine Learning Studio
- 23. Cognitive ToolkitTensor Flow
- 24. Seamlessly blendtechnologies Azure Data Lake Analytics
- 25. 取り扱いたい データタイプ Audio, video,images. Meaningless without adding some structure 非構造データ Unstructured 構造化データ Structured CSV, Columnar Storage (Parquet, ORC). Strict data model structure JSON, XML, sensor data, social media, device data, web logs. Flexible data model structure 文書など、緩やかな構 造を持つ半構造データ Semi-Structured
- 26. ✓ Azure Storage 様々な文書、Blobデータ、テーブル形式のデータが保存可能なストレージ ✓SQL Database SQL Server 2016 と同等の機能を提供する PaaS 型データベース サービス ✓ Azure Database for MySQL/PostgreSQL PaaS 型データベース サービス のMySQL/PostgreSQL版 ✓ Cosmos DB マルチデータモデルのグローバル分散DB ✓ Azure Data Lake Store ビッグ データの分析ワークロードに対応する大規模データ格納エリア ✓ Azure SQL Data Warehouse ペタバイト単位のストレージを有した PaaS 型データ ウェアハウス サービス
- 28. IoT Hub Event Hubs DataWarehouse Data Factory App Insights Log Analytics Monitor CDN Search Power BI Blob Storage Pillars Open & Interoperable Manageable & Cost Efficient Scalable & Performant Secure & Compliant Durable & Available Machine Learning Stream Analytics Batch Functions Data Lake Analytics Azure HDInsight Big Data Use Cases Ingest & ETL Streaming Analytics & Machine Learning Data Aggregation Presentation
- 29. Queues Reliable queues at scalefor cloud services ファイルを保存する際には この3つの選択肢があります
- 30.
- 31.
- 32. BLOB 効率 利用 仮想 マシン + BLOB 001.log 002.log 003.log 004.log EN EN EN EN EN EN PS PS PS PS EN EN 001.log 002.log 003.log 004.log disk1.vhd PS =パーティション サーバー EN ＝ エクステント ノード 001.log 002.log 003.log 004.log EN EN EN EN EN EN PS PS PS PS EN EN
- 33. Block 1 Block4Block 3Block 2 Image.jpg Sparse File 512 byte aligned 512 1024 1536 2048 2560
- 34. AZCopy – Robocopyfor Azure Storage Storage Explorer – Cross platform UX
- 35. Data Movement Libraryon CoreCLR Python client library
- 36. 仮想マシン SQL Enterprise DS4 の場合 8Core/ 28 GB RAM Disk #0 読み取り/書き込み Disk #1 Disk #2 P30 読み取りのみ C: システム D: キャッシュ 永続性あり 永続性なし 永続性あり (複数ボリュームの分割やストライプの構成が可能) Premium Storage デフォルト作成(仮想マシン付属） ユーザーが任意に追加 ・OS ・Page ファイル ・DBMS Exe ・SQL Server バッファープール拡張 https://azure.microsoft.com/ja-jp/documentation/articles/virtual-machines-sql-server-performance-best-practices/ https://azure.microsoft.com/ja-jp/documentation/articles/virtual-machines-sql-server-use-premium-storage/ Disk #n P30 読み取りのみ E: ・SQL データ(ページ圧縮) ・Temp DB Disk #3 P30 なし F: ・Transaction- Log Disk Cache 344GB 最大Disk IOPS 256MB/sec P30合計の 600MB/sは出ない ・NTFSアロケーションユニットサイズ: 64KB ・データベース ページ圧縮: 有効 Table用、Index用、Temp DB用に別 ドライブに拡張可能 キャッシュ設定は添付の ＵＲＬを参照 最大Disk IOPS 200MB/sec 最大Disk IOPS 200MB/sec 最大Disk IOPS 200MB/sec
- 38. フルマネージドの RDBMS データベース RDBMS OS Azure が管理 利用者が管理 VM上のRDBMS ホスト OS 仮想化 フルコントロール データベース RDBMS OS 仮想化 ホスト OS 容易な管理 Azure Database
- 39. SQL Server 物理マシン/仮想マシン SQL Serveron Azure VM 仮想マシン SQL Database, Data Warehouse PaaS
- 40. 物理マシン/仮想マシン VM Template /Marketplace 仮想マシン Azure Database for MySQL / PostgreSQL
- 41.
- 42. データベース トランザクション ユニット(DTU) とエラスティック データベース トランザクション ユニット (eDTU) の説明 https://docs.microsoft.com/ja-jp/azure/sql-database/sql-database-what-is-a-dtu
- 43. Azure SQL DatabaseQuery Performance Insight https://docs.microsoft.com/ja-jp/azure/sql-database/sql-database-query-performance Query Store is turned on by default for Azure SQL Database https://azure.microsoft.com/ja-jp/updates/query-store-on-is-the-new-default-for-azure-sql-database/
- 44.
- 45. SQL Database Advisor https://docs.microsoft.com/ja-jp/azure/sql-database/sql-database-advisor AzurePortal を使用した SQL Database Advisor https://docs.microsoft.com/ja-jp/azure/sql-database/sql-database-advisor-portal
- 46. 領域 改善後 新しいインデックス提案が作成されるまで 18時間以内 T-SQL文が実行されるまでのタイムラグ即時（数分以内） 「悪い」チューニング内容に対しての検知時間 1時間以内 次のインデックス提案が行われるまでの待ち時 間 即時（数分以内） 導入までの総時間 1日以内
- 47.
- 48. コントロール ノード SQL DB Azure Blob Storage(WASB) 100DWU < > 2000 DWUコントロールノード ユーザーからの接続 コンピュートとストレージの調整 コンピュート ノード コンピュート ノード コンピュート ノード コンピュート ノード SQL DB SQL DB SQL DB SQL DB
- 49.
- 50.
- 54. 54 データ無制限のストレージ と 分析プラットフォーム 無制限のストレージ（エクサバイト超） ネイティブ HDFS に基づく実装 HDInsight, Hortonworks, Cloudera との統合 全ての HDFS 準拠プロジェクトとの親和性 (Spark, Storm, Flume, Sqoop, Kafka, R, etc.) Azure Data Lake Store - Hadoop Distributed File System (HDFS) For The Cloud 構造化データと非構造化データに対するデータ処理 宣言型の SQL 文 とカスタムコード (UDF, UDT, UDO, … ) ローカルとリモートに対するクエリ バッチ型、インタラクティブ型、ストリーミング型(in the future) Azure Data Lake Analytics - New Query Language : U-SQL
- 55.
- 56.
- 57.
- 58. 58 無制限のサイズ ギガバイトからペタバイトのサイズの単一ファイル 巨大なスループットを必要とする大規模な分析システムを実現 あらゆるスループットに自動最適化 ペタバイト超のデータの並列コンピューティング 同一リージョン内に３つのコピーを自動的に作成 インストールやチューニングは不要 数分で稼働開始 必要に応じてどのようなサイズにもスケールアウト可能
- 59. データウェアハウスデータレイクストア 非構造Rawデータ （ログ、文書、バイナリ） Tier 1 Machine Learning Data Lake AnalyticsHDInsight 目的に合わせた データウェハウス分析処理 （売上分析、経営分析） データウェハウスに 格納しきれなかった 過去データ、関連データ を連結して分析 ハードウェアの性能限界 によって行えなかった 処理量の分析を実現 ※ディスク／コンピューティング 非構造データの 分析処理 （画像、音声、映像など） 広範囲のデータを利用した 機械学習、統計解析処理 などによる高度分析 SQL Data Warehouse Data Lake Analytics HDInsight Data Lake Analytics 構造化データ 半構造データ 分析用に加工(csv等) Tier 2 アーカイブデータ Tier 2, DWHのアーカイブ Tier 3
- 60. Analytics Storage HDInsight (“managed clusters”) Azure DataLake Analytics Azure Data Lake Store Azure Data Lake
- 61. LOB Applications SocialDevices Clickstream Sensors Video Web Relational HDInsight Data LakeAnalytics Machine Learning Spark R Azure Data Lake Store
- 62. Azure Data LakeStore Azure Storage Blob 外部表Azure SQL Data Warehouse
- 63. HDInsight 開発者は OSS に馴染んでいる: Java,Eclipse, Hive, etc. マネージド Hadoop クラスタにおいて、 カスタマイズ・管理が可能で、フレキ シビリティがある Azure Data Lake Analytics C#, SQL & PowerShell のスキル・ 経験を活かせる 利便性、効率性、自動スケール、 ジョブ実行の仕組みが提供される
- 64.
- 65.
- 66. REFERENCE ASSEMBLY WebLogExtASM; @rs= EXTRACT UserID string, Start DateTime, End DateTime, Region string, SitesVisited string, PagesVisited string FROM “/Logs/WebLogRecords.txt” USING WebLogExtractor (); @result = SELECT UserID, (End.Subtract(Start)).TotalSeconds AS Duration FROM @rs ORDER BY Duration DESC FETCH 10; OUTPUT @result TO “/Logs/Results/top10.tsv" USING Outputter.Tsv(); • 型定義は C# の型定義と同じ • データをファイルから抽出・読み込み するときに、スキーマが必要 Data Lake Store 内 のファイル 独自形式を解析するカスタム関数 C# の関数 行セット: （中間テーブルの概念 に近い） TSV形式で書き込む関数
- 67. U-SQL ジョブのサブミット Azure PortalやVisualStudioのAzure Data Lake ToolsからU-SQLジョブをサブミット可能 67
- 68.
- 69. 従来型の処理・分析 Azure DataLake を中心とした処理・分析 Business apps Custom apps Sensors and devices ADL Store People 非構造化データも 含めてあらゆる データを格納 Azure SQL DW Azure AD Power BI ADF ADL Analytics • 処理・分析業務の大半はデータ準備作業が占める • 処理・分析業務に手間・時間が必要 Business apps Custom apps Sensors and devices HDInsight ユーザー管理、認証 データの連携 Power BI File System Database Database Hadoop DWH Data Mart
- 70. デバイス Machine Learning Stream Analytics SQL Database Azure Storage HDInsight (Hadoop) Event Hubs BIツール （Power BIなど） 機器 制御装置 Stream Analytics Data Factory Data Lake Store SQL Data Warehouse 業務システム Machine Learning API IoT Hub Document DB Data Lake Analytics service Revolution R Enterprise Recommendations, customer churn, forecasting, etc. Face, vision Speech, text Cognitive Services ①大量データの 受け入れ ②リアルタイム処理 データの集約 ③データの蓄積 ・構造化 ・非構造化 ・文書 など様々な形式 での保存 ④データの加 工・移行 ⑥機械学習 ⑦Hadoop解析 ⑧マイクロソフト技 術を用いた分散 解析 ⑨・通常のR ・MSが機能を 追加した企業 向けR を使用した解析 ⑪クラウドベースの Self- Service BI 機能 ⑫機械学習の予測 モデルを業務システ ムなどから呼び出し 可能にするサービス 外部クラウドなど からのデータ取り 込み ②リアルタイム処理 データの加工 ⑤ディープラーニング ⑩Excelを用いた可視化
- 71. デバイス Machine Learning Stream Analytics SQL Database Azure Storage HDInsight (Hadoop) Event Hubs BIツール （Power BIなど） 機器 制御装置 Stream Analytics Data Factory Data Lake Store SQL Data Warehouse 業務システム Machine Learning API IoT Hub Document DB Data Lake Analytics service Revolution R Enterprise Recommendations, customer churn, forecasting, etc. Face, vision Speech, text Cognitive Services
- 72. デバイス Machine Learning Stream Analytics SQL Database Azure Storage HDInsight (Hadoop) Event Hubs BIツール （Power BIなど） 機器 制御装置 Stream Analytics Data Factory Data Lake Store SQL Data Warehouse 業務システム Machine Learning API IoT Hub Document DB Data Lake Analytics service Revolution R Enterprise Recommendations, customer churn, forecasting, etc. Face, vision Speech, text Cognitive Services リアルタイム バッチ
- 76. Data Factory Toolsfor Visual Studio Azure Portal
- 77. Azure Table Storage (Web ログ レコード) DataFactory HDInsight (Web ログを ファイルにして バッチ処理で集計) SQL Database (集計データを DB テーブル に格納) Power BI
- 78. 社内システム Data Management Gateway SQL Database Data Warehouse BlobStorage Table Storage
- 82.
- 84. 接続 メッセージ作成 メッセージ送信 var cs =“接続文字列”; var path = “イベントハブ名”; var eh = EventHubClient.CreateFromConnectionString(cs, path); var msg = new { user = this.User.Identity.Name, level = level, timestamp = demo.Timestamp }; var json = JsonConvert.SerializeObject(msg); eh.Send(new EventData(Encoding.UTF8.GetBytes(json)));
- 85.
- 86.
- 87. Point of Service Devices SelfCheckout Stations Kiosks Smart Phones Slates/ Tablets PCs/ Laptops Servers Digital Signs Diagnostic EquipmentRemote Medical Monitors Logic Controllers Specialized DevicesThin Clients Handhelds Security POS Terminals Automation Devices Vending Machines Kinect ATM
- 88.
- 89. • “入力”、“出力”をクリックし、それ ぞれ作成 • “クエリ”をクリックし、クエリを定義 •作業が終わったら“▶開始”で実 行開始
- 90.
- 91. SELECT user levelAS SATLevel timestamp INTO FROM
- 93. デバイス接続性とデバイス管理 およびブローカーサービス データ管理と高度な分析 情報活用 業務の生産性と プロセスの最適化 IoT Agent /Gateway 予兆／原因の学習モデル ダッシュボード 参照 ERP • 顧客 • 設備 • 担当者 Notification Hubs 通知 予兆イベント メンテ方法 の推奨 • ヘルス状態 • インシデント管理 • 対応のディスパッチ 現地技術要員の モバイルデバイス オペレーション センター • イベント : ✓ドア開閉、軸アライメント、キャビン速度、 モーター温度など • アラーム : ✓故障アラーム、エラーコードなど http://isstke.azurewebsites.net/#/ Event Hub Stream Analytics Azure ML 制御機器とセンサーのデータ マシンデータの 蓄積 メンテナンス方法の 学習モデル Machine Learning Blob Storage セルフサービス分析 Power BI
- 95. Microsoft data platformsolutions Product Category Description More Info SQL Server 2016 RDBMS Earned top spot in Gartner’s Operational Database magic quadrant. JSON support. Linux TBD https://www.microsoft.com/en-us/server- cloud/products/sql-server-2016/ SQL Database RDBMS/DBaaS Cloud-based service that is provisioned and scaled quickly. Has built-in high availability and disaster recovery. JSON support https://azure.microsoft.com/en- us/services/sql-database/ SQL Data Warehouse MPP RDBMS/DBaaS Cloud-based service that handles relational big data. Provision and scale quickly. Can pause service to reduce cost https://azure.microsoft.com/en- us/services/sql-data-warehouse/ Analytics Platform System (APS) MPP RDBMS Big data analytics appliance for high performance and seamless integration of all your data https://www.microsoft.com/en-us/server- cloud/products/analytics-platform- system/ Azure Data Lake Store Hadoop storage Removes the complexities of ingesting and storing all of your data while making it faster to get up and running with batch, streaming, and interactive analytics https://azure.microsoft.com/en- us/services/data-lake-store/ Azure Data Lake Analytics On-demand analytics job service/Big Data-as-a- service Cloud-based service that dynamically provisions resources so you can run queries on exabytes of data. Includes U- SQL, a new big data query language https://azure.microsoft.com/en- us/services/data-lake-analytics/ HDInsight PaaS Hadoop compute/Hadoop clusters-as-a-service A managed Apache Hadoop, Spark, R, HBase, Kafka, and Storm cloud service made easy https://azure.microsoft.com/en- us/services/hdinsight/ DocumentDB PaaS NoSQL: Document Store Get your apps up and running in hours with a fully managed NoSQL database service that indexes, stores, and queries data using familiar SQL syntax https://azure.microsoft.com/en- us/services/documentdb/ Azure Table Storage PaaS NoSQL: Key-value Store Store large amount of semi-structured data in the cloud https://azure.microsoft.com/en- us/services/storage/tables/
- 97. What do allof these have in common?
- 98. They can alluse Azure Analysis Services Azure Analysis Services
- 99. Azure Analysis Services BIsemantic model Business logic & metrics Data modeling Security Azure Analysis Services Lifecycle management In-memory cache On-premises Cloud Data sources SQL Database SQL Data Warehouse Other data sources SQL Server Analytics platform system Other data sources On-premises Cloud Client tools Power BI Excel Third party BI tools Power BI Desktop
- 100. Rich semantic modelling locatioidentifier identifiertype fieldidentifier numberofunitssoldtodate remaningnumber Numberofuntissoldtoday receivedback productidentifier descriptionline1 descriptionline2 qtyafterqtysales familyidentifier SourceData Complex raw data optimized for processing Semantic Model Rich, business user friendly semantic model Product Id Product Name Product Description Category Category Id Category Name Category Description Sub Category Product Id Shelf qty Return qty Order qty Sale qty Cloud Data On-Premises Data Azure Analysis Services
- 101.
- 102.
- 103.
- 104. DOMINOS STORES Key Vault AzureActive Directory Azure Files SSIS FRANCHISEE AZURE WEST EUROPE Azure Function KEMPSSDE SSRS IN- AND EXTERNAL DATA SOURCES
- 105.
- 107. Use Bindings inYour Code function.json "bindings": [ { "type": "httpTrigger", "direction": "in", "webHookType": "genericJson", "name": "req" }, { "type": "http", "direction": "out", "name": "res" }, { "type": "queue", "name": "eventOutput", "queueName": "aievents1", "connection":"AiStorageConnection", "direction": "out" } ] public static class OrderHandler { [FunctionName("OrderWebhook")] public static async Task<HttpResponseMessage> Run( [HttpTrigger] HttpRequestMessage req, [Queue("aievents1", Connection = "AiStorageConnection")] IAsyncCollector<String> eventOutput, TraceWriter log) { log.Info($"Webhook was triggered!"); string jsonContent = await req.Content.ReadAsStringAsync(); dynamic data = JsonConvert.DeserializeObject(jsonContent); await eventOutput.AddAsync( JsonConvert.SerializeObject(GetLogData(data))); int orderId = PlaceOrder(data); return req.CreateResponse(HttpStatusCode.OK, new {orderNumber = orderId }); } . . . }
- 108. • Workflow inthe cloud • Powerful control flow • Connect functions and APIs • Declarative definition to persist in source control and drive deployments
- 109. Logic Apps Cloud APIsand platform • Supports over 125 built-in connectors • Scales to meet your needs • Enables rapid development • Extends with custom APIs and Functions API connections • Authenticate once and reuse
- 111. Big Data Solutions DecisionTree https://biz-excellence.com/2016/08/30/big-data-dt/
- 112.
- 113. Microsoft data platformsolutions Product Category Description More Info SQL Server 2016 RDBMS Earned top spot in Gartner’s Operational Database magic quadrant. JSON support. Linux TBD https://www.microsoft.com/en-us/server- cloud/products/sql-server-2016/ SQL Database RDBMS/DBaaS Cloud-based service that is provisioned and scaled quickly. Has built-in high availability and disaster recovery. JSON support https://azure.microsoft.com/en- us/services/sql-database/ SQL Data Warehouse MPP RDBMS/DBaaS Cloud-based service that handles relational big data. Provision and scale quickly. Can pause service to reduce cost https://azure.microsoft.com/en- us/services/sql-data-warehouse/ Analytics Platform System (APS) MPP RDBMS Big data analytics appliance for high performance and seamless integration of all your data https://www.microsoft.com/en-us/server- cloud/products/analytics-platform-system/ Azure Data Lake Store Hadoop storage Removes the complexities of ingesting and storing all of your data while making it faster to get up and running with batch, streaming, and interactive analytics https://azure.microsoft.com/en- us/services/data-lake-store/ Azure Data Lake Analytics On-demand analytics job service/Big Data-as-a- service Cloud-based service that dynamically provisions resources so you can run queries on exabytes of data. Includes U-SQL, a new big data query language https://azure.microsoft.com/en- us/services/data-lake-analytics/ HDInsight PaaS Hadoop compute/Hadoop clusters-as-a-service A managed Apache Hadoop, Spark, R, HBase, Kafka, and Storm cloud service made easy https://azure.microsoft.com/en- us/services/hdinsight/ DocumentDB PaaS NoSQL: Document Store Get your apps up and running in hours with a fully managed NoSQL database service that indexes, stores, and queries data using familiar SQL syntax https://azure.microsoft.com/en- us/services/documentdb/ Azure Table Storage PaaS NoSQL: Key-value Store Store large amount of semi-structured data in the cloud https://azure.microsoft.com/en- us/services/storage/tables/
- 114. Microsoft Big DataPortfolio SQL Server Stretch Business intelligence Machine learning analytics Insights Azure SQL Database SQL Server 2016 SQL Server 2016 Fast Track Azure SQL DW ADLS & ADLA DocumentDB HDInsight Hadoop Analytics Platform System Sequential Scale Out + AcrossScale Up Key Relational Non-relational On-premisesCloud Microsoft has solutions covering and connecting all four quadrants – that’s why SQL Server is one of the most utilized databases in the world
- 115. Azure Data Lake Store Azure BlobStorage Purpose Optimized for big data analytics General purpose bulk storage Use Cases Batch, Interactive, Streaming App backend, backup data, media storage for streaming Units of Storage Accounts / Folders / Files Accounts / Containers / Blobs Structure Hierarchical File System Flat namespace WebHDFS Implements WebHDFS No (WASB) Security AD SAS keys Storage Auto Shared/Files chunked Manually manage expansion/Files intact Service State Generally Available. PolyBase just supported! Generally Available Billing Pay for data stored and for I/O Pay for data stored and for I/O Region Availability Two US regions (Other regions coming soon) All Azure Regions ADL Store vs Blob Store https://docs.microsoft.com/en-us/azure/data-lake-store/data-lake-store-comparison-with-blob-storage
- 116. Want Hadoop? Need exact same on- prem Need interactive/ streaming? Mandatory No strong opinion Azure Marketplace (IaaS) • Need all workloads exactly like on- premises • Need 100% Hortonworks/Cloudera/MapR Azure HDInsight • Most Hadoop workloads • Fully managed by Microsoft • Sell HDI + ADLS • Stickier to Microsoft than VMs • Can do interactive (Spark) and streaming (Storm/Spark) Azure Data Lake Analytics • Easiest experience for admin: no sense of clusters, instant scale per job • Easiest experience for developers: Visual Studio/U-SQL (C#+SQL) • Sell ADLA + ADLS • Batch workloads only Need everything exactly like on-prem Need core projects Yes Batch is OK Always present ADLA if .NET or Visual Studio Shop If .NET or VS shop?
- 117. Azure SQL DWHDInsight Hive HDInsight Spark Azure Data Lake SQL Server (IaaS) Volume Petabytes Petabytes Petabytes Petabytes Terabytes Security Encryption, TD, Audit ADLS / Apache Ranger ADLS AAD Security Groups (data) Encryption, TD Audit Languages T-SQL HiveQL SparkSQL, HiveQL, Scala, Java, Python, R U-SQL T-SQL Extensibility No Yes, .NET/SerDe Yes, Packages Yes, .NET Yes, .NET CLR External File Types ORC, TXT, Parquet, RCFile ORC, CSV, Parquet + others Parquet, JSON, Hive + others Many ORC, TXT, Parquet, RCFile Admin Low-Medium Medium-High Medium-High Low High Cost Model DWU Nodes & VM Nodes & VM Units/Jobs VM Schema Definition Schema on Write / Polybase Schema on Read Schema on Read Schema on Read Schema on Write / Polybase Max DB Size 240TB Comp (5X = 1PB) Unlimited 64TB (64 1TB drives)
- 119. 機械学習 Deep Learning深層強化学習 画像解析 音声解析 データ分類 異常検知, 顧客グルーピング 数値予測 売上予測, 需要予測, 品質管理 ラベル分類 不良品分析, 故障予測, チャーン分析 機械学習より強力な分析 自律学習型ロボット 自動運転車 テキストや画像等の自動生成 活用例 主に多層のニューラルネットワーク を用いた手法での分析 分析のためには、莫大なデータ量、 計算量、知識・スキルを要する 統計に基づいた手法での分析 そのため、比較的少ないデータ量と 計算量で分析を行うことができる 定義したあるべき姿に従い試行錯誤 をして自ら学習を行うための分析手 法である強化学習と、深層学習を組 み合わせた分析 Azure Machine Learning Cognitive Toolkit / GPU Instance (N-Series) マイクロソフトが提供する技術
- 120. テキストデータ 機器のログデータなど 画像データ 監視カメラの録画データ, 機器の外観画像, 顔画像など 動画データ 監視カメラの録画データ,機器の稼働状況, 人の作業映像など 音声データ マイクからの収集データ, 稼働音, 室内音, 人の音声など 数値データ センサーデータ, 機器の制御データ＆計測データなど67,234,23,45... 機械学習 ・統計理論に基づいた 分析手法を用いる ・用意するべきデータ量と 処理する計算量の敷居が低め ・導入しやすい Deep Learning ・データ量が大きいため、 強力な分析手法が必要 ・「膨大なデータ量を用意」 「莫大な計算量を処理」 が必要で、敷居が非常に高い ・導入にはそれなりの覚悟が必要
- 121. Action People Automated Systems Apps Web Mobile Bots Intelligence Dashboards & Visualizations Cortana Bot Framework Cognitive Services Power BI Information Management EventHubs Data Catalog Data Factory Machine Learning and Analytics HDInsight Stream Analytics Intelligence Data Lake Analytics Machine Learning Big Data Stores SQL Data Warehouse Data Lake Store Data Sources Apps Sensors & Devices Data Cortana Intelligence Suite
- 122.
- 123.
- 124.
- 125.
- 126.
- 127. SearchSpeech マーケティング (Buzz) 新規チャネル 定型業務の削減 新たな解決方法 製品の評価分析 お客様対応の向上 コカ・コーラ 誕生 100周年キャンペーン コカ・コーラボトルを 「100歳」と認識 •自撮り写真をUp ＆結果をSNS拡散 ナビタイムジャパン様 自然言語入力による 路線検索BOT • ユーザーとの新たな接点 (LINE) • 自然言語入力 Vision Language Knowledge
- 128. Vision Knowledge SearchSpeechLanguage マーケティング (Buzz) 新規チャネル 定型業務の削減 新たな解決方法 製品の評価分析 お客様対応の向上 Microsoft Support Virtual Agent 自然言語入力による 自動応答サポート窓口 • 過去Q&Aデータ解析 に基づく回答抽出 • 定型外は“人対応” UBER 登録ドライバーを スマホ経由で顔認証 VOLVO 表情からの危険予測
- 129. Search マーケティング (Buzz) 新規チャネル 定型業務の削減 新たな解決方法 製品の評価分析 お客様対応の向上 アロバ様 監視カメラによる 店舗内行動分析 • 顔認識による顧 客識別 • 表情分析 東京サマーランド 様にて導入済み HmComm 様 コールセンター ソリューション • 会話をテキスト化、 キーワードを解析 • 過去Q&A検索 • 内容をCRM保存 Vision KnowledgeSpeech Language
- 131.
- 132.
- 133.