Jazug信州 AzureでIoT解析の足掛かり

1. クラウドとデータ解析
JAZUG信州, 松本上陸記念！
JAZUG信州 : 吉野翼

2. 免責事項
このセッションは, 所属する企業, 団体とは, 一切関係ありません

3. 自己紹介
吉野翼
株式会社エスキュービズムテクノロジー
Azureしなのコアメンバー
@papemk2
http://blog.qaramell.com
C#, Xaml, Azure, Xbox

4. このセッションについて
Azureでデータ解析する方法を知ってもらう
AzureでIoTをやるための足掛かり(になればいいな)

5. Internet of Things

7. Internet of Things
IoTの定義とは...
◦ 単純にインターネットに繋がったら…？
◦ センシングしてクラウドにデータ集約したら…？
◦ インターネットを経由してデバイス・センサーがやりとりしたら…？

8. Before

10. After

13. 2018年 : 全世界180億デバイスがインターネットと接続
2018年の世界人口 : 約75億人
180億 / 75億 == 2.4

14. 全人類が平均2.4個のWebにつながるデバイスを持つ

16. 爆発的に増えるデバイス・センサー
爆発的に増えるデータ
爆発的に増えないリソース

17. このビッグデータどうするの…？

18. 現状
爆発的に増えるデータにどう対応するか
データは, 常に増え続ける
◦ 迅速なスケールに対応する
◦ できるだけ無駄の少ない運用
◦ 柔軟なスケール求
データを迅速に解析して金に換えたい
◦ リアルタイムな分析

19. 既存のリアルタイム分析処理の問題
とにかく構築が複雑
システムのスケール問題
フォールトトレランス構築
監視・運用コストが非常に高い

20. 金さえあれば何も要らない

22. 今回紹介するもの

24. Event Hub
大量なデータの取り込み基盤
イベント収集の入り口
イベントストリームの生成
Event Hubで受けてStream Analyticsに流す

25. Event Hub

26. 想定されるシナリオ
インターネットに繋がった車
モバイルデバイスのトラッキング
トラフィック監視
各種センサーからのデータ収集
ウェアラブルからの身体情報収集

27. 想定されるシナリオ

28. Event Hubの特徴
イベントの順序の維持
大量のデータ取り込みのための適切な容量の提供
AMQP, HTTPにより大量のプラットフォームのサポート
高スループット : 1sあたり数百万件のイベントのストリーミング配信
◦ 受信 : 1MB/s or 1000イベント
◦ 送信 : 2MB/s

29. EventHubの特徴
メッセージを複数クライアントで同時処理
◦ 永続化しつつ分析するとか
データ保持期間中なら何度もイベントを呼べる
キューで管理
First in First out
一定の保存期間ののち古いものから削除
◦ 期間中は, 明示的に削除不可

30. パーティション
Event Hubのデータ保存先
◦ 8 ～ 32個で構成
◦ 32個以上パーティションを作りたい場合は, Service Busチームに連絡しよう
それぞれが独立
◦ 基本的にラウンドロビン型
◦ イベントの明示的な削除は不可
◦ 明示的に特定パーティションに
データを渡すのはバッドプラクティス

32. Stream Analytics
リアルタイムなイベント処理
データのリアルタイム解析
センサ類の解析と相性抜群
SQLライクなクエリで操作可能

33. Stream Analytics
複数の入力ソースをまとめて使用可能
出力先も種類がたくさん
ユニット単位でスケール
◦ 1ユニット1MB/s
◦ 48ユニットまでは, 自由に使用可
◦ それ以上は, メールを送ろう

34. 特徴
クエリ錬成でデータ加工
くっつけたり計算したり絞ったり
SELECT
FROM
WHERE
JOIN
ORDER BY
Etc…

35. Stream Analyticsでデータを加工したり永続化したり
データの食わせ方さえどうにかなればいい

36. ？

37. データを取り込んだら分析がしたい！

38. データを取り込んだら分析がしたい！
と, 思うゴーファーであった

41. グラフってどうやってパソコンで作るの？？？
学校で方眼紙に書いたことならあるよ！

42. ん？

43. 方眼紙？

45. 男は黙ってExcelだ！

46. そんなあなたに朗報です

47. そんなツールあります

51. PowerBI
Excelでビッグデータ分析
Excelを持っていなくてもOK
Stream Analyticsの出力先として使用可能
Excelの素早く簡単な可視化をビッグデータ解析に提供
いろいろなソースを食える

53. コンセプト
ビッグデータをビジネスに役立てる
ビジネスに関わる全社員がデータを活用する
現場の人間が自らデータを扱える

54. 今まで

55. これから
＋

56. これから

57. 特徴
さまざまなデータソースからデータを流し込める
業務に役立つことがすぐにできる
今日からみんなデータサイエンティスト

60. GitHubのリポジトリを解析してみる
Microsoftのdotnetリポジトリ

62. まとめ
誰もがビッグデータを扱う時代がすぐそこ
Azureで手軽にデータ解析ができるようになる
◦ まずは, 手軽に始めてみよう
◦ PaaSで足りなくなったら, IaaSなりもっとパワーを求めよう
◦ 最初からパワーを求めても持て余す
データと睨めっこするのは, 今も昔もとても大事
◦ データを見て知見を得るのは, まだ人間のほうが強い
◦ データ加工の時間を効率化 → 睨めっこする時間が増やせる