2018/10/23（火）に開催された GCPUG Kansai Summitで、 プログラマー萬代がセッション登壇したときの発表資料です。

1. GCPだから出来た
自動Web監視システムのインフラ構築（仮）

2. 自己紹介
名前：萬代陽一
普段はゲームAPIとか作ったりする仕事をしています
VisualStudioCodeおじさん

3. こういうサービスをリリースしました

4. どんなシステムか
ウェブサイトを監視するサービス
登録カンタン

5. どんなシステムか
ウェブサイトを監視するサービス
登録カンタン
会員登録 → URL登録 → 監視開始

6. どんなシステムか
ウェブサイトを監視するサービス
簡単な割に色々する

7. どんなシステムか
ウェブサイトを監視するサービス
簡単な割に色々する
レスポンスタイム監視 スナップショット比較
レスポンスコード監視 HTML比較
ドメイン有効期限監視 SSL証明書有効期限監視
リンク切れ監視 マルウェア監視
ソーシャルエンジニアリング監視

8. GCPを選んだ理由
Cloud Datastore を使いたかった
各種監視データなど細かいデータの蓄積に最適
Cloud Storage の値段が安い
監視対象のスナップショットを撮りまくるシステムなので
Cloud Pub/Sub を使ってスケーラブルな感じに
いざという時は数の暴力で乗り切る
Cloud Architect の勉強がてら → 無事合格！

9. 構成図
Cloud
Storage
Compute
Engine
Cloud Load
Balancing
Cloud SQL
Cloud
Datastore
Cloud
Pub/Sub
Cloud
Functions
Logging
Error
Reporting
Monitoring

10. Google Compute Engine
言わずと知れたVM環境
起動が速い
仕組み上、GCE を起点としたシステムになっている

11. サーバーレス化できなかった
監視処理は GCE で実行
監視元の IPアドレス問題
1回の監視の実行時間が監視先によってまちまち
画面のスナップショットを撮影する仕組みが環境を選ぶ

12. Cloud Datastore
監視データの主な置き場所
約300サイト程度の詳細な監視データ
15分に1回の頻度（フリープラン）
1分に1回の頻度（有料プラン）

13. Cloud Datastore
監視データの主な置き場所

14. Cloud Datastore の設計で悩む日々
祖先クエリ、エンティティ、種類、インデックス……。
ソートできない → インデックスの再作成 → インデックスのエクササイズ
SQL 脳なので、うまくできてるかは謎。
ただし、データはちゃんと入っているし出せているのでOKとしたい
トランザクションは試せなかったので試したい

15. Cloud Storage
ここにも監視データ
スナップショットデータ
HTMLデータ

16. Cloud Storage
ここにも監視データ
スナップショットデータ
HTMLデータ
毎日取得 × 約60日分
サイトの縦の大きさに依存するファイルサイズ → サイズが読めない

17. Cloud Storage
ここにも監視データ
スナップショットデータ
HTMLデータ
毎日取得 × 約60日分
サイトの縦の大きさに依存するファイルサイズ → サイズが読めない
自動削除ができるので運用は楽

18. Cloud Pub/Sub
監視処理のタスクキューを積み上げる
どんどん捌く、の繰り返し

19. Cloud Pub/Sub
監視処理のタスクキューを積み上げる
どんどん捌く、の繰り返し
特にリンク切れ監視は、監視対象のサイトからのリンク先を全て確認するので
1件ずつ個別処理できるように全件 Pub/Sub に登録している

20. Cloud Pub/Sub
監視処理のタスクキューを積み上げる
どんどん捌く、の繰り返し
特にリンク切れ監視は、監視対象のサイトからのリンク先を全て確認するので
1件ずつ個別処理できるように全件 Pub/Sub に登録している
データも一緒にPubするとSubした時に便利

21. Cloud Pub/Sub は便利だが
順序指定がしたくなる時もある
メッセージキューが見たくなる時もある
これももう少しうまく使いたい

22. 余談：プリエンプティブインスタンスを使い倒す
GCE のプリエンプティブインスタンスで監視処理ができないか
課題
起動し続けることはできない（最大24時間）
起動した瞬間に落とされることも
結論
ミッションクリティカルな処理には不向き
（ドキュメントに書いてある）

23. まとめ
Appmill というサービスを GCP 上で作りました。
よく言われてますが、データ分析をするなら、出だしから GCP にすると連携が取りやす
くていいと思います。
GPC最高！

24. Thank you
and have fun GUPUG Kansai!