これまでのセッションではデータ分析サービスを紹介して来ましたが、今回は Cloud Pub/Sub、Cloud Dataflow を利用したストリーミングデータ処理基盤のアーキテクチャーと構築プロセスを解説します。

1. Cloud Onr
Cloud OnAir
Cloud OnAir
GCP上でストリーミング
データ処理基盤を構築してみよう！
2018 年 9 月 13 日 放送

2. Agenda
Cloud OnAir
1
3
2
4
Googleが考えるストリームデータ処理
Cloud Dataflow
Cloud Pub/Sub
Pub/Sub と Dataflow でストリーミング処理を行う

3. Cloud OnAir
Cloud OnAir
Googleが考えるストリームデータ処理

4. Cloud OnAir
データ...

5. Cloud OnAir
...大量なデータ...

6. Cloud OnAir
...もっと大量なデータ...
Tuesday
Wednesday
Thursday

7. Cloud OnAir
...無限まで大きい... ストリーミングデータ
9:008:00 14:0013:0012:0011:0010:00

8. Cloud OnAir
ストリーミングデータ
9:008:00 14:0013:0012:0011:0010:00
8:00
8:008:00
処理時刻
(Processing Time)
イベント時刻
(Event Time)

9. Cloud OnAir
13:00 14:008:00 9:00 10:00 11:00 12:00
Processing
Time
∑ ∑ ∑ ∑ ∑ ∑ ∑8:00 8:00
処理時刻によるデータのグルーピング

10. Cloud OnAir
処理時刻
(Processing
Time)
11:0010:00 15:0014:0013:0012:00
イベント時刻
(Event Time)
11:0010:00 15:0014:0013:0012:00
インプット
アウトプット
∑ ∑ ∑ ∑ ∑ ∑
イベント時刻によるデータのグルーピング

11. Cloud OnAir
● Watermark
イベント時刻ベースでどこまで処理が完了したか
● Trigger
ウィンドウ集計結果をどのタイミングで出力するか
● Accumulation
集計結果出力時の累積計算方式
○ 破棄モード(Discarding)
○ 累算モード(Accumulating)
○ 累算＆後退モード(Accumulating & Retracting)
問題を解決する ３ つの要素

12. Cloud OnAir
Watermark に基づいたデータ処理

13. Cloud OnAir
遅延データの処理について

14. Cloud OnAir
Dataflow モデルと Cloud Dataflow
● バッチ / ストリーミングデータ処
理の共通モデル
● パイプラインを構築するための
SDK のコレクション
並列化データ処理
パイプラインを実行するための
フルマネージドサービス
Cloud DataflowApache Beam

15. Cloud OnAir
GCP 上のストリーミングデータ処理
Ingest Pipelines
Standard
Devices
HTTPS
Gateway
Analytics
Cloud
Pub/Sub
Cloud
Dataflow
BigQuery
ストリーミング処理に利用する主なサービス

16. Cloud OnAir
Cloud OnAir
Cloud Dataflow

17. Cloud OnAir
Cloud Dataflow の特徴
Deploy
Schedule & Monitor
ジョブのオートスケーリング
フルマネージドで自動構成
最適な実行パスのための自動グラフ最適化
ジョブの動的な負荷のリバランシング
1
2
3
4

18. Cloud OnAir
Cloud Dataflow の特徴
ジョブのオートスケーリング
フルマネージドで自動構成
最適な実行パスのための自動グラフ最適化
ジョブの動的な負荷のリバランシング
1
2
3
4
C D
C+D
C
C+D
A GBK +
A+ GBK +

19. Cloud OnAir
ジョブのオートスケーリング
フルマネージドで自動構成
最適な実行パスのための自動グラフ最適化
ジョブの動的な負荷のリバランシング
1
2
3
4
800 RPS 1200 RPS
Cloud Dataflow の特徴

20. Cloud OnAir
ジョブのオートスケーリング
フルマネージドで自動構成
最適な実行パスのための自動グラフ最適化
ジョブの動的な負荷のリバランシング
1
2
3
4
100 mins.
vs.
Cloud Dataflow の特徴

21. Cloud OnAir
ワークロードによる動的なスケーリング
少ないワーカーでスタート
10 分
3 日
必要に応じてワーカーを追加し、
既存ワークロードを自動的にリバ
ランス
アイドル
ワーカーが必要以上にある場合は自動的に
ワーカーの数を削減

22. Cloud OnAir
パイプラインの基本コンセプト
● PipelineIO：外部データリポジトリにデータを読み書きする
● PCollection：データを保持する内部データタイプ
● PTransformation：インプットを変換する機能
● パイプライン：PipelineIO と PTransformationからなるデータフロー
Pipeline IO
(インプット)
Pipeline IO
(アウトプット)
PTransform
PTransform
PTransform
PCollection
(データ)
パイプライン
Data
Input
Data
Result

23. Cloud OnAir
● テキストファイルの単語のカウントパイプライン
PTransform
PTransform
PipelineIO
(Text)
PipelineIO
(Text)
Cloud
Storage
PTransform
Cloud
Storage
単語のカウント単語の抽出 結果の整形ファイルの読み取り
ファイルへ
の書込み
パイプラインの基本コンセプト

24. Cloud OnAir
● “Hello my daddy” を読み取り、処理する
PipelineIO
(Text)Hello my daddy
Hellomydaddy
PTransform
PTransform
Hello:1
my : 1
daddy :1
Hello my baby Hellomybaby
PTransform
PTransform
Hello:2
my : 2
daddy :1
baby : 1
PipelineIO
(Text)
PTransform
PipelineIO
(Text)
Cloud
Storage
Cloud
Storage
PTransform
PipelineIO
(Text)
Cloud
Storage
Cloud
Storage
● “Hello my baby” を読み取り、処理する
単語のカウント単語の抽出 結果の整形
単語のカウント単語の抽出 結果の整形
パイプラインの基本コンセプト

25. Cloud OnAir
● 全ての単語をカウントし終わりましたら、ファイルへ書き込む
PTransform
PTransform
PipelineIO
(Text)
PipelineIO
(Text)
Cloud
Storage
PTransform
Cloud
Storage
Hello:2
my : 2
daddy :1
baby : 1
“Hello:2”
“my : 2”
“daddy :1”
“baby : 1”
単語のカウント単語の抽出 結果の整形ファイルの読み取り
ファイルへ
の書込み
パイプラインの基本コンセプト

26. Cloud OnAir
サンプルコード：単語のカウント処理
PTransform
Pipeline IO
(Text)
Cloud
Storage
PTransform
PTransform
Pipeline IO
(Text)
Cloud
Storage
単語のカウント
単語の抽出
結果の整形
ファイルの読み取り
ファイルへの書込み

27. Cloud OnAir
Dataflow パイプラインのコードサンプル
Group 1
Filter 2
Transform 1
Write
Read
Filter 1
Input
Output
Pipeline p = Pipeline.create();
p.
p.run();
.apply(ParDo.of(new Filter1()))
.apply(new Transform1())
.apply(new Group1())
.apply(ParDo.of(new Filter2())
.apply(TextIO.Write.to(“gs://…”));
.apply(PubSubIO.Read.from(pubsub_topic))
class Filter1 extends DoFn<...> {
public void
processElement(ProcessContext c) {
... = c.element();
...
c.output(...);
}
並列タスク(ランタイムによる自
動スケール)
Dataflow 以外のランタイム
でも実行可能
ストリーミング処理の場合
Cloud Pub/Sub からデータを
読み取る

28. Cloud OnAir
Apache Beam の処理操作について
バッチ
ストリーム
プリミティブ型の変換とカスタム
変換の組み合わせ
フィルター
フィルターとグループ
フィルターとグループとウィンドウ

29. Cloud OnAir
Pub/Sub から BigQuery への書き込み
Dataflow テンプレートによるストリーミング処理
Ingest
Cloud
Pub/Sub
Pipelines
Cloud
Dataflow
Analytics
BigQuery
Cloud Console を使用してテンプレート
ジョブを起動
適切なテンプレートを選択
このデモは下記 Qwiklab に基づいて作成しております。
https://qwiklabs.com/focuses/1099?parent=catalog

30. Cloud OnAir
Cloud OnAir
Cloud Pub/Sub

31. Cloud OnAir
at-least-once 配信
プロビジョニング不要の自動処理
グローバルにデザインされた高い可用性
信頼性の高いリアルタイムのメッセージング
Cloud Pub/Sub

32. Cloud OnAir
Publisher
Subscriber
Topic
Subscription
Message
Message
Pub/Sub の基本構造

33. Cloud OnAir
Publisher
Subscriber
Topic
Subscription
Message
Message
Subscriber
Publisher
Subscriber
Message
Subscriber
Message
Message
Message
Publisher
Message
Message
Topic
Subscription
Subscriber
Publisher
Subscriber
Topic
Message
Message
Message
Message
Message
Message
Subscription Subscription
構成パターン

34. Cloud OnAir
エンドポイントは API
呼び出しを行えるサーバー
もしくはデバイス
メッセージ配信は
Subscriber のタイミング
エンドポイントは Webhook
を受け付ける HTTPS サー
バーのみ
イベントが発生した直後に配
信される
Push と Pull の比較

35. Cloud OnAir
Cloud OnAir
Pub/Sub と Dataflow で
ストリーミング処理を行う

36. Cloud OnAir
このデモの構成と概要
Cloud Pub/Sub Cloud Dataflow BigQueryCompute Engine
このデモでは、シミュレートされたトラフィックセンサーからトラフィックイベントを
Cloud Pub/Sub へ送信します。Dataflow を使用し、 レーンごとの平均スピードを求める
パイプラインを実行し、後で分析するためにデータを BigQuery に保存します。

37. Cloud OnAir
デモの手順
# 1.トピックの作成
$ gcloud beta pubsub topics create sandiego
# 2.トラフィック センサー シミュレータプログラムのダウンロード
$ cd ~
$ git clone
https://github.com/GoogleCloudPlatform/training-data-analyst
$ cd ~/training-data-analyst/courses/streaming/publish
3.データのダウンロード
$ ./download_data.sh
# 4.ユーザ認証
$ gcloud auth application-default login
# 5.トピックにメッセージのパブリッシュ
$ ./send_sensor_data.py --speedFactor=60 --project=YOUR-PROJECT-ID
1. トピックの作成
2. サブスクリプションの作成
3. トラフィックセンサーを
シミュレートし、生成した
データを Cloud Pub/Sub
に送信

38. Cloud OnAir
デモの手順
# 6 [demos] という BigQuery のデータセットを作成
# 7. Dataflow パイプラインのプログラムのダウンロード
$ cd ~
$ git clone
https://github.com/GoogleCloudPlatform/training-data-analyst
$ cd ~/training-data-analyst/courses/streaming/process/sandiego
# 8. Dataflow パイプラインの実行コマンドを確認 (パラメータの確認 )
$ nano run_oncloud.sh
# 9. Pub/Sub からメッセージを読み取り、 BigQuery へ送信
$ cd ~/training-data-analyst/courses/streaming/process/sandiego
$ ./run_oncloud.sh YOUR-PROJECT-ID gs://[YOUR_BUCKET_NAME] AverageSpeeds
# 10. BigQuery にて下記のクエリを発行し結果を確認
SELECT * FROM [<PROJECTID>:demos.average_speeds]
ORDER BY timestamp DESC
LIMIT 100

39. Cloud OnAir
Cloud OnAir
まとめ

40. Cloud OnAir
Dataflow モデルと Cloud Dataflow
● バッチ / ストリーミングデータ処
理の共通モデル
● パイプラインを構築するための
SDK のコレクション
並列化データ処理
パイプラインを実行するための
フルマネージドサービス
Cloud DataflowApache Beam