GoAzure 2015 Session 3-3で話したAzure Stream Analyticsのスライド

1. IoTなどの大量データを
Stream Analyticsで
リアルタイムデータ分析してみよう
Hidemasa Togashi

2. 自 己 紹 介

3. Introduction
富樫 英雅 (@hid_tgc)
Infrastructure Engineer
at gloops
2012∼
2014∼
Infrastructure Manager
at Capy Inc.
滞在国
イスラエル
日本
アメリカ

4. C a p y I n c .

5. 99%

6. http://www.geek.com/apps/googles-street-view-can-beat-captchas-99-of-the-time-1591547/
Google`s Street View can beat CAPTCHAs 99% of the the time

10. こ の 講 演 の き っ か け は . . .

12. 本 題

13. C o n t e n t s
IoTとは？トレンドの紹介 1
Azure Stream Analyticsを使った事例紹介 3
Azure Stream Analyticsの紹介 2
Capyがどのように使っているかの実例紹介 4
実際に使った際の考察 5

14. I o T と は ？ ト レ ン ド の 紹 介

15. OI oT

16. Internet Of ThingsI TO

17. トレンド

18. ref: http://iot-analytics.com/wp/wp-content/uploads/2014/10/IoT-Economic-value-forecast-1.png
市場

19. 15Trillion USD on 2034
≒16.8GDP of USA on 2013

20. 26,000,000,000
objects linked together in the IoT by 2020.
http://www.siemens.com/innovation/en/home/pictures-of-the-future/digitalization-and-software/internet-of-things-facts-and-forecasts.html

21. .Net micro framework Windows Developer Program for IoT
MSもIoTにかなり力を注いできている

22. デバイスが増える データも増える
これをどうやって集計するか…

23. Batch Interactive
/MPP
R e a l t i m e

24. Batch Interactive
/MPP
R e a l t i m e

25. Batch
Hadoop

26. B a t c h
23%
24%
28%
24%
バッチ処理は膨大なデータを並列的に処理することで統計処理などデータ処理を行うことがメイン。

27. Batch Interactive
/MPP
R e a l t i m e

28. Interactive / MPP
MPP: Massively Parallel Processing
Redshift Spark Big Query

29. I n t e r a c t i v e / M P P
低レイテンシーに処理することでイテレーション処理などを行うことがメイン。
25%
25% 25%
25%

30. I n t e r a c t i v e / M P P
22%
22%
33%
22%
低レイテンシーに処理することでイテレーション処理などを行うことがメイン。

31. I n t e r a c t i v e / M P P
25%
25% 25%
25%
低レイテンシーに処理することでイテレーション処理などを行うことがメイン。

32. I n t e r a c t i v e / M P P
21%
29% 29%
21%
低レイテンシーに処理することでイテレーション処理などを行うことがメイン。

33. Batch Interactive
/MPP
R e a l t i m e

34. R e a l t i m e

35. これはイベントドリブンのようにイベント毎に処理を行うことを目的としています。
R e a l t i m e
100%
14%
29%
29%
29%
20%
30% 30%
20%21%
29% 29%
21%19%
24%
33%
24%25%
21% 32%
21%
27%
20% 30%
23%28%
21% 26%
26%
30%
20% 24%
26%28%
21% 26%
25%26%
20%
28%
26%25%
22%
28%
25%25%
24% 28%
24%23%
25% 29%
23%

36. 用途 例
Batch 膨大なデータ処理を行うアプリケーション ETL, リコメンデーション
Interactive
低レイテンシーが必要なアプリケーション
繰り返しの計算が必要なアプリケーション
機械学習
Realtime
膨大な入力に対して今のデータが重要なアプリケーション
Batch処理の入力データ整形
異常検知
イベント処理
トレンド検知
膨大な入力

37. 膨大な入力
どうやって送信する？
どうやって受信する？
どうやって処理する？

38. 膨大な入力
どうやって送信する？
どうやって受信する？
どうやって処理する？

39. 処 理 受 信

40. 処 理 受 信

41. Kinesis
Application
受信処 理 受 信

42. 受信処 理 受 信

43. Service Bus
Event Hubs

44. L a n g u a g e s

45. Product Protocol API / SDK
Apache Kafka 独自Protocol Producer API
Amazon Kinesis HTTPS AWS SDK
Azure Event Hubs
HTTPS
AMQPS
REST API
Azure SDK
プ ロ ト コ ル

46. 膨大な入力
どうやって送信する？
どうやって受信する？
どうやって処理する？

47. 膨大な入力
どうやって送信する？
どうやって受信する？
どうやって処理する？

48. デバイスから
イベント送信

49. デバイスから
イベント送信
セキュアに

50. HTTPS
MQTT
CoAP
AMQP
メ ジ ャ ー な プ ロ ト コ ル

51. ロ グ 送 信 と い え ば

53. https://github.com/htgc/fluent-plugin-azureeventhubs

54. https://github.com/htgc/fluent-plugin-kafka

55. 膨大な入力
どうやって送信する？
どうやって受信する？
どうやって処理する？

56. 膨大な入力
どうやって送信する？
どうやって受信する？
どうやって処理する？

57. Vs.独 自 コ ー ド SQL Like Query

58. 独 自 コ ー ド SQL Like Query

59. 独 自 コ ー ド SQL Like Query
処理の柔軟性

60. 独 自 コ ー ド SQL Like Query
開発の容易性

61. 独 自 コ ー ド SQL Like Query
CloudServiceSelf-Managed

62. Stream Analytics
SQL Like なクエリでストリーム処理ができるクラウドサービス

63. C o n t e n t s
IoTとは？トレンドの紹介 1
Azure Stream Analyticsを使った事例紹介 3
Azure Stream Analyticsの紹介 2
Capyがどのように使っているかの実例紹介 4
実際に使った際の考察 5

64. A z u r e S t r e a m A n a l y t i c s の 紹 介

65. Blob Storage
更新頻度の低いリファレンスデータなど
Event Hubs
デバイスなどから都度送信されてくるイベント
データなど
I n p u t

66. Blob Storage
HDInsightやAzure MLなどの入力用
Event Hubs
別イベント処理の入力用
O u t p u t
SQL Database
アプリケーションの参照用

67. Type Description
bigint 64bit 符号付き整数
float 64bit 符号付き浮動小数点数
nvarchar(max) string
datetime datetime型
D a t a Ty p e s

68. SELECT FROM WHERE
GROUP BY HAVING CASE
JOIN UNION WITH
Q u e r y

69. Sliding Window
Hopping Window
Tumbling Window
W i n d o w i n g

70. Sliding Window
Hopping Window
Tumbling Window
W i n d o w i n g

71. 指定した時間(windowsize)で間隔を区切り、
区切られた時間内のイベントを対象として処理する。
TUMBLINGWINDOW ( timeunit , windowsize )
TUMBLINGWINDOW ( Duration( timeunit , windowsize ) )
Tumbling Window
1
2

72. SELECT
System.TimeStamp AS OutTime,
TollId,
COUNT(*)
FROM Input
TIMESTAMP BY EntryTime
GROUP BY TollId, TumblingWindow(minute,5)
Tumbling Window

73. Sliding Window
Hopping Window
Tumbling Window
W i n d o w i n g

74. 指定した時間(hopsize)毎に、区切られた時間
(windowsize)内のイベントを対象として処理する。
HOPPINGWINDOW ( timeunit , windowsize , hopsize )
HOPPINGWINDOW ( Duration( timeunit , windowsize ) ,
Hop (timeunit , windowsize )
Hopping Window
1
2

75. SELECT
System.TimeStamp AS OutTime,
TollId,
COUNT(*)
FROM Input
TIMESTAMP BY EntryTime
GROUP BY TollId, HoppingWindow(minute,10 , 5)
Hopping Window

76. Sliding Window
Hopping Window
Tumbling Window
W i n d o w i n g

77. イベント事に指定した時間(windowsize)内の
イベントを対象として処理する。
SLIDINGWINDOW ( timeunit , windowsize )
SLIDINGWINDOW ( Duration( timeunit , windowsize ) )
Sliding Window
1
2

78. SELECT
DateAdd(minute,-3,System.TimeStamp) AS WinStartTime,
System.TimeStamp AS WinEndTime,
TollId,
COUNT(*)
FROM Input TIMESTAMP BY EntryTime
GROUP BY TollId, SlidingWindow(minute, 3)
HAVING COUNT(*) > 3
Sliding Window

79. Time unit Abbreviations
day dd, d
hour hh
minute mi, n
second ss, s
millisecond ms
microsecond mcs
nanosecond ns

80. C o n t e n t s
IoTとは？トレンドの紹介 1
Azure Stream Analyticsを使った事例紹介 3
Azure Stream Analyticsの紹介 2
Capyがどのように使っているかの実例紹介 4
実際に使った際の考察 5

81. A z u r e S t r e a m A n a l y t i c s を 使 っ た 事 例 紹 介

82. Use Case

83. Home Security

84. 家 / 火 災 報 知 器

87. Device Control

91. C o n t e n t s
IoTとは？トレンドの紹介 1
Azure Stream Analyticsを使った事例紹介 3
Azure Stream Analyticsの紹介 2
Capyがどのように使っているかの実例紹介 4
実際に使った際の考察 5

92. C a p y が ど の よ う に 使 って い る か の 実 例 紹 介

94. SELECT remote_ip, COUNT(*)
FROM access_log
WHERE uri = ‘<URI>’
GROUP BY remote_ip,
SLIDING_WINDOW(minute, 10)
HAVING COUNT(*) > 10;
Subscribe
EventProcessorHost
SETEX
Expire: PenaltyTime

95. C o n t e n t s
IoTとは？トレンドの紹介 1
Azure Stream Analyticsを使った事例紹介 3
Azure Stream Analyticsの紹介 2
Capyがどのように使っているかの実例紹介 4
実際に使った際の考察 5

96. 実 際 に 使 っ た 際 の 考 察

97. は ま っ た 点

98. Event HubsからのイベントをSubscribeできない
当初、他のシステムと同様PythonでSubscribe→RedisへSETを行おうと
考えていたが、Qpid-Protonを使用してもEvent Hubsへ接続が行えず断
念。(原因は恐らくConsumerGroupとPartitionの指定の不備)
しかしAMQPでのDirect Connectの場合はパーティション毎にコネクショ
ンを張る必要があり面倒なので、EventProcessorHost classを用いて接続
した方が全然楽。
はまった点
Stream AnalyticsからのJSONデータがデコードできない
出力をJSONに指定するとリスト型で出力されるが、何故かリストが閉じ
ていないためJSONのデコードに失敗する。
今のところは原始的ですが
var listObject = DynamicJSON.Parse(string.Format(“{0}]”, data));

99. Event HubsからのイベントをSubscribeできない
当初、他のシステムと同様PythonでSubscribe→RedisへSETを行おうと
考えていたが、Qpid-Protonを使用してもEvent Hubsへ接続が行えず断
念。(原因は恐らくConsumerGroupとPartitionの指定の不備)
しかしAMQPでのDirect Connectの場合はパーティション毎にコネクショ
ンを張る必要があり面倒なので、EventProcessorHost classを用いて接続
した方が全然楽。
はまった点

100. はまった点
Stream AnalyticsからのJSONデータがデコードできない
出力をJSONに指定するとリスト型で出力されるが、何故かリストが閉じ
ていないためJSONのデコードに失敗する。
今のところは原始的ですが
var listObject = DynamicJSON.Parse(string.Format(“{0}]”, data));
のように強制的にリストを閉じてデコードしてます。

101. 課 題

102. Stream Analyticsのもろもろの設定を変更する際には一度停止が必要。
e.g.
• Inputs
• Output
• Query
• Scale

103. Stream Analyticsのスケール要否の判断基準がメトリ
クスから読み取りにくい。
※見ることの出来るデータは以下のとおり
• Input Events
• Output Events
• Data Conversion Errors
• Out of order Events
• Errors

104. Event Hubsからのイベント受信の使い勝手が
EventProcessorHost以外では悪い。
そのためLinux系でシステムを組みながらEvent Hubs
でLambda Architectureなどを組みづらい。

105. 現状はまだプレビュー版のため正式リリース時にはこ
の課題も解消しているかもしれません。

106. ま と め

107. • IoTのトレンドは今後確実に伸びていく
• 大量のデバイスから生成されるデータ集計にはバッ
チ処理に加えてリアルタイム性も必要となってくる
• Event Hubsへのデータの送信からStream Analytics
でのクエリ実行までは物凄く簡単
• Event Hubs + Stream AnalyticsはIoTのみでなくM2M
のリアルタムログ分析基盤としてはかなり強力なツー
ルになり得る

108. Thank you