Recommended
More Related Content
What's hot
What's hot (20)
Similar to 続・Freeプランで緩く監視させてもらってる話など
Similar to 続・Freeプランで緩く監視させてもらってる話など (20)
More from Koichi Ota
続・Freeプランで緩く監視させてもらってる話など
- 2. 目次 • 自己紹介 • 何してるのか？ • 1年くらいの間の出来事 • 思ったこと
- 3. 自己紹介 • 名前：太田浩一 • 仕事：（株）ウフルで色々なITシステムの開発IoTとか • Twitter：@koudenpa • Mackerel歴：15カ月位 • 仕事で使い始めて • 趣味でも使わせてもらうように • 今回はも趣味側
- 5. 何してるのか？ • 普通にメトリクス収集して • 普通にアラートを通知してる • だけ • それでも便利
- 6. 普通にメトリクス収集 • 対象 • いくつかのLinux系VPSインスタンス • 大体KUSANAGI（CentOS系） • WordPressじゃないサーバも含む • 設定 • エージェントをインストール時のデフォルト • と mackerel-plugin-accesslog • 位
- 9. 普通にアラートを通知 • なんとなくリソースの監視 • CPU,Memory,Diskなど • 70％でWarning • 90%でCritical • ロードアベレージはとりあえず1超えたら • こえないし…… • 動作しているアプリケーションのcheck-log • ERROR レベルが来るように
- 10. New Feature！ • URL外形監視！ • Freeでない？ • Yes…… • 私用の別オーガニゼーションをStandardに • そちらで監視
- 11. まとめると • Mackerelの機能を普通に使っているだけ！ • サーバのメトリクス収集 • メトリクスなどを監視してアラートを通知
- 12. 1年間の出来事 本題です
- 14. CheckLogに慣れる • ERRORログは随時通知されるが…… • 「これは大丈夫なログだ！！」 • という慣れが修正を放置
- 15. CheckLogに慣れる • 潰すべき…… • このLTスライド作成を機に 少しERRORログの要因をつぶし始めた きっかけって大事 • 気づくべきアラートに気づかないリスク
- 16. マジのリソース消費アラート • 対象サービスは劇的にバズるようなものではない • リソースの消費状況は横ばい • 時間帯で凸凹は有り
- 17. マジのリソース消費アラート • 射幸心をあおる機能をリリース • → アクセスが集中 • 油断していたのでアラートはありがたかった
- 18. マジのリソース消費アラート • この場はリソースの限界を越えず • メトリクスを経過観察 • スケール不要の判断のネタに
- 19. サービスレベルの振り返り • HTTP外形監視で定期的に不通 • 実際どのくらい落ちてるのか？ • アラート履歴を見て確認 • サービス見直しの切っ掛けに
- 20. 振り返りかた • HTTP外形監視アラートの履歴を集計 • アラート取得APIでは閉じたアラートは取れない • 2018-09現在 • Chromeの開発者コンソールでJSON取得 • jq ワークで整形
- 22. でもAPIで取れた方が楽 • 閉じたアラートもAPIでGetしたい！ • 振り返り資料の作成に便利！ • 最低限1例ここに • 俺がはてなインターン生だったら作っていた！ • ※お酒の席の発言です • ※2018年のインターン生はMackerelの機能拡充に圧倒的な 成果を出しています • https://mackerel.io/ja/blog/entry/weekly/20180907 • https://blog.meteors.me/entry/2018/09/08/112050
- 23. イケていないTLS証明書運用のフォロー • Web/Appサーバをロードバランシング • ↑普通 • TLS終端はWebサーバ • ↑まぁ普通 • TLS証明書を自動更新できていない • ↑ダサい、辛い • HTTP外形監視が期限アラート通知してきたら手動処理 • ↑現実、しかしおかげで期限を切らしていない
- 25. 思ったこと • とても緩い運用・監視 • それでもサービスは割かし動く • 身の丈に合った開発・運用・監視を続けたい
Editor's Notes
- ちょうど一年くらい前にLTしていて、その時に話した監視対象がまだ動いているので、1年間で印象的だったことを共有したいと思います。 参考になったり、共感を得ていただけたりしたら嬉しいです。
- 全然関係ないですが。 KUSANAGIはマスコットキャラがかわいいです。