Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
#azurejp
#azurejp
#azurejp
Event Hubs : スケールするフルマネージドのメッセージブローカー
Stream Analytics : SQLでデータストリームをホゲホゲしたい
Event Hubsから入ってくるデータストリームをSQLで処理
処理したデータをE...
SELECT
system.timestamp AS OutTime ,
deviceId AS deviceId,
AVG (windSpeed) AS Avg_windSpeed ,
COUNT (*) AS Cnt_Event
INTO ...
Map reduce
Hbase
トランザクショ
ン
HDFS アプリケーションHive クエリ
Azure HDInsight
Hadoop WebHDFS クライアント
Hadoop WebHDFS クライアント
WebHDFS
エンドポイ...
REFERENCE ASSEMBLY WebLogExtASM;
@rs =
EXTRACT
UserID string,
Start DateTime,
End DateTime,
Region string,
SitesVisited st...
#azurejp
YouMicrosoft
© 2017 Microsoft Corporation. All rights reserved. Microsoft, Windows, Windows Vista and other
product names ...
2017年のサーバレスアーキテクチャを考える - WebApps/Event Hubs/Stream Analytics/Data Lake & Functions
2017年のサーバレスアーキテクチャを考える - WebApps/Event Hubs/Stream Analytics/Data Lake & Functions
2017年のサーバレスアーキテクチャを考える - WebApps/Event Hubs/Stream Analytics/Data Lake & Functions
2017年のサーバレスアーキテクチャを考える - WebApps/Event Hubs/Stream Analytics/Data Lake & Functions
2017年のサーバレスアーキテクチャを考える - WebApps/Event Hubs/Stream Analytics/Data Lake & Functions
2017年のサーバレスアーキテクチャを考える - WebApps/Event Hubs/Stream Analytics/Data Lake & Functions
2017年のサーバレスアーキテクチャを考える - WebApps/Event Hubs/Stream Analytics/Data Lake & Functions
2017年のサーバレスアーキテクチャを考える - WebApps/Event Hubs/Stream Analytics/Data Lake & Functions
2017年のサーバレスアーキテクチャを考える - WebApps/Event Hubs/Stream Analytics/Data Lake & Functions
2017年のサーバレスアーキテクチャを考える - WebApps/Event Hubs/Stream Analytics/Data Lake & Functions
Upcoming SlideShare
Loading in …5
×

2017年のサーバレスアーキテクチャを考える - WebApps/Event Hubs/Stream Analytics/Data Lake & Functions

4,367 views

Published on

2017/1/17に行われた Serverless Meetup Tokyo #2 の発表資料です。
Microsoft Azure の PaaS と Functions を紹介しています。

Published in: Technology

2017年のサーバレスアーキテクチャを考える - WebApps/Event Hubs/Stream Analytics/Data Lake & Functions

  1. 1. #azurejp
  2. 2. #azurejp
  3. 3. #azurejp
  4. 4. Event Hubs : スケールするフルマネージドのメッセージブローカー Stream Analytics : SQLでデータストリームをホゲホゲしたい Event Hubsから入ってくるデータストリームをSQLで処理 処理したデータをEvent Hubsに戻したり他のデータストア に送る Point of Service Devices Self Checkout Stations Kiosks Smart Phones Slates/ Tablets PCs/ Laptops Servers Digital Signs Diagnostic EquipmentRemote Medical Monitors Logic Controllers Specialized DevicesThin Clients Handhelds Security POS Terminals Automation Devices Vending Machines Kinect ATM
  5. 5. SELECT system.timestamp AS OutTime , deviceId AS deviceId, AVG (windSpeed) AS Avg_windSpeed , COUNT (*) AS Cnt_Event INTO [powerbi-output] FROM [iothub-input] GROUP BY deviceId,TumblingWindow(Duration(minute,5))
  6. 6. Map reduce Hbase トランザクショ ン HDFS アプリケーションHive クエリ Azure HDInsight Hadoop WebHDFS クライアント Hadoop WebHDFS クライアント WebHDFS エンドポイント WebHDFS REST API WebHDFS REST API ADL Store file ADL Store file ADL Store file ADL Store fileADL Store file Azure Data Lake Store
  7. 7. REFERENCE ASSEMBLY WebLogExtASM; @rs = EXTRACT UserID string, Start DateTime, End DateTime, Region string, SitesVisited string, PagesVisited string FROM "swebhdfs://Logs/WebLogRecords.csv" USING WebLogExtractor (); @result = SELECT UserID, (End.Subtract(Start)).TotalSeconds AS Duration FROM @rs ORDER BY Duration DESC FETCH 10; OUTPUT @result TO "swebhdfs://Logs/Results/top10.txt" USING Outputter.Tsv(); • 型定義は C# の型定義と同じ • データをファイルから抽出・読 み込み するときに、スキーマが必要 Data Lake Store のファイ ル独自形式を解析するカスタム 関数 C# の関数 行セット TSV形式で読み取る関数
  8. 8. #azurejp
  9. 9. YouMicrosoft © 2017 Microsoft Corporation. All rights reserved. Microsoft, Windows, Windows Vista and other product names are or may be registered trademarks and/or trademarks in the U.S. and/or other countries. The information herein is for informational purposes only and represents the current view of Microsoft Corporation as of the date of this presentation. Because Microsoft must respond to changing market conditions, it should not be interpreted to be a commitment on the part of Microsoft, and Microsoft cannot guarantee the accuracy of any information provided after the date of this presentation. MICROSOFT MAKES NO WARRANTIES, EXPRESS, IMPLIED OR STATUTORY, AS TO THE INFORMATION IN THIS PRESENTATION.

×