実践　自動復旧

Copyright © GREE, Inc. All Rights Reserved.Copyright © GREE, Inc. All Rights Reserved.
実践自動復旧
Hiroaki Kobayashi
2019-02-26

Copyright © GREE, Inc. All Rights Reserved.
小林裕明
● 所属: グリー株式会社開発本部インフラストラクチャ部
● 業務:
● プロダクトリリース・運用支援
● モニタリングシステム運用
自己紹介

よいアラートの仕組みを作る6つの方法
● アラートにメールを使うのをやめよう
● 手順書を書こう
● 固定の閾値を決めることだけが方法ではない
● アラートを削除し、チューニングしよう
● メンテナンス期間を使おう
● まずは自動復旧を試そう <- !?
入門監視 3章より

● AWS環境の通知種別と配信基盤
● 自動復旧を導入した話
● 何から手を付けるか
● どうやって実装するか
● 導入 / 効果測定 / イテレーション
● 自動復旧との付き合い方
話すこと

● critical
● 即時対応が必要
● 通知先: PagerDuty, Slack, ...
● a.k.a: アラート, ページ
● warning
● 即時対応は不要
● 通知先: Slack, ...
● a.k.a: (アラート), ロギング
● ticket
● 期日までに対応が必要
● 通知先: Slack, JIRA
通知の種別

Architecture
アラート配信基盤
Alert
Yusura
- distribute alerts
- summarize alerts
- fetch metadata
Job

対応手順書を書く
● 観測して明文化する
● このアラートは何を意味するのか
● サービス(SLO)への影響はあるか
● 何を確認すべきか
● どのような行動を取るべきか
● 法則が見えてくる
● 実はコマンド1発叩いているだけ
● 単純なアラートほど頻出する
● アラートにhookしてコマンド実行できれば良いのでは
何から手を付けるか

● シンプルにする
● 単一インスタンスで完結させる
● オーケストレーションはしない
● サービスレベルを悪化させない
● SLOの範囲内で実施
● サービスアウトされたインスタンスに実施
● バッファを持ち欠損しない処理に実施
● Fail Safeにする
● プロセス再起動するなら、プロセスチェックする
● しきい値であれば2重に設定する
どうやって実装するか方針

リソース管理のためのサービス
● コマンド実行に関係する機能
● Run Command: タスク・コマンド実行
● Automation: タスクのステップ実行
● SSM Documents: タスク・コマンド群の定義
● AWS APIでコマンド実行できる
● SNS -> Lambda -> SSM RunCommand
● CloudWatch Event -> SSM RunCommand
AWS System Manager (SSM)
$ aws ssm send-command
--document-name "AWS-RunShellScript"
--instance-ids i-123
--parameters '{"commands":["hostname"]}'

Architecture
実装自動復旧
SQS
Yusura
Target
SNS
SSM
1. notify
3. notify
5. resolve
Lambda

実行宣言 / 結果報告

設定イメージ
{
"SOME_ROLE:SOME_ALERT": {
"commands": [
"PROC_CHECK --ignore-check
FOO_PROCESS",
"service FOO_PROCESS restart",
"service FOO_PROCESS status"
]
}
}

● 導入は慎重に行う
● 導入初期はアラートも飛ばして人が見守る
● 実績ができ次第アラートは無効にする (Warning化)
● アラートレポートで可視化・イテレートする
● 無効化・ルール見直し・自動復旧・恒久対応
導入 / 効果測定 / イテレーション

Architecture
Alert Report
Scheduled Search
Webhook Connection
Webhook
Webhook

● 自動復旧は恒久対応ではない
● あくまで一次対応の負担を下げるもの
● 根本原因は解決されていない
● 浮いた時間で恒久対応する
● 恒久対応は時間がかかる
● 担当者の工数確保
● OSSのフィードバック、修正、リリース
● ミドルウェアのバージョンアップ
● アーキテクチャの再設計
● オンコールが疲弊しないための自動復旧
● 必要以上に依存しない
自動復旧との付き合い方

● 手順書を書いてアルゴリズムを把握する
● 自動化できるかの指針になる
● アラート削減や恒久対応の際の指針になる
● SNS, Lambda, SSMがあればわりとなんとかなる
● 自動復旧は恒久対応ではないので使いすぎには注意
まとめ

実践　自動復旧

実践　自動復旧

Recommended

More Related Content

What's hot

What's hot(20)

Similar to 実践　自動復旧

Similar to 実践　自動復旧(20)

More from gree_tech

More from gree_tech(20)

Recently uploaded

Recently uploaded(6)