AWSのいわゆるXaaSで作ったウェブサイト、サービスを外部から観測することの意義、ツールについて説明する

1. 俺と「AWS外部から観測」
JAWS-UG金沢 第10回勉強会
ふぁらお加藤

2. Profile
Name
ふぁらお加藤 / @PharaohKJ
BelongTo
Kanazawa.rb
JAWS-UG 金沢
Job & Works
PhalanXware (Freelancer)
OCR system com / .NET
ISDB-T MFC / Linux C++
Social Game PHP / Java
Information App AngularJS / CakePHP
Factory Automation .NET

3. 運用における観測のモチベーション
提供しているサービスが想定外のタイミングで異常になった場合、なるべく早
く通常に戻したい。

4. 通常とは？
やはり立場が違えば通常は違いますよね？

5. 通常の定義
提供者からみた通常
提供したい内容が「正しく」「使える速度で」提供でき、これらを「構成する
要素が全て想定どおり動き」、「望んでいないものは提供していない」こと。

6. 通常の定義
お客様からみた通常
欲しい内容が「正しく」「使える速度で」提供してもらえること。

7. 通常に戻したい - 1
ゲーム提供サイトから数分間、お
客様へのレスポンスが滞ると、強
制的に「メンテ中です」となる。
原因レポートを提出しないとアプ
リを再開することはできない。
ゲーム提供サイト
ユーザ
サービスサーバ

8. 通常に戻したい - 2
不安がったお客様からあらゆる手
段で運営に連絡をいただく。
お返事は相当がんばらないといけ
ない。なかなか信頼は取り戻せな
い。
ゲーム提供サイト
ユーザ
サービスサーバ
カスタマーサポート
ありとあらゆる
方法

9. 発生したら高コスト
このようなことが「お客様からみ
た異常」が発生するので、時間が
かかるとどんどんコストが膨らん
でいってしまう。

10. 予想される異常
トリガ
マスタデータの設定ミス
アクセス過多
乗っ取り
ハードウェア障害
XaaS障害

11. 内部から観測
閉じたネットワーク、セグメント
といった内部から観測すると、お
客様に最終的に提供できているも
のと違う可能性がどうしてもある
。
サービス提供サイト
ユーザ
サービスサーバ

12. 外部から観測
お客様からみたサービスが異常じ
ゃないかを確認しないといけない
。
サービス提供サイト
ユーザ
サービスサーバ

13. お客様にできるだけ近いかたち
AWSで構成されたサービスに対しても、お客様から「通常」に見えるかは確認
すべき

14. 外部・内部から観測あるある
• 内部DNSを使っちゃって、社内からのみアクセスでき
て異常を目視できない。
• 外部からのアクセスで管理者ツールメニュー見えちゃ
う・・・。
• 時限式イベントがでちゃってる、隠しページが隠れて
ない！隠れたまま！

15. 外部観測は手間がかかる・・・
結局何を観測すれば？
ツール使ってみた例と、やってみた事例を紹介

16. さくらのシンプル
監視
• プロトコルとFQDNを指定して
、簡単な監視をしてくれる。
• 月額 21円。(さくらクラウド内
部の場合は無料)
• https で使ってみた。
• 現時点では nagios 。(アクセス
ログで確認)
• Slack と 電子メールで通知がく
る。

17. 使ってみた
Slackの画像

18. 他にやった経験
• 外部にCIサーバを用意する。
• 定期的に実行し、以下を記録し続ける
• トップページダウンロード速度、ハ
ッシュ、サイズ
• リンクを辿って4xxがないか
• IMGタグはあってるか
• sshやMySQLなどで接続して「失敗
する」ことを確認する
サービス提供サイト
CI
サービスサーバ

19. そして得た知見
http getが平均から2倍ぐらい遅い
時間がある。
内部観測zabbixと比較。
バッチ処理中にアクセスがあると
とか発生していた。
DBをスケールアウトして対応。
(見せられる画像がないのでこれは
他プロジェクト)

20. 外部観測は開発しながらやりましょう
サイト、サービス製作者は、レギュレーションを意識しながら製品を作ること
ができる。みなで「通常」を策定できる。スロウクエリイ、殺すべし！

21. まとめ
外部観測の重要性について話した。
AWSで作ったサービスを簡単に外部から観測する方法を紹介した。

22. ふぁらお加藤
ご清聴ありがとうございました