Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

DevOpsのはじめの一歩 〜監視の変遷〜

6,974 views

Published on

  • Be the first to comment

DevOpsのはじめの一歩 〜監視の変遷〜

  1. 1. DevOpsのはじめの一歩 〜監視の変遷〜 株式会社サイバーエージェント アメーバ事業本部プラットフォームディビジョン システムディベロップメントグループ CA Developers Connect 桑野 章弘
  2. 2. 自己紹介桑野章弘インフラエンジニア アメーバピグの運用/構築を担当 ピグライフの運用/構築を担当Twitter http://twitter.com/kuwa_twBlog http://d.hatena.ne.jp/akuwano/著書/活動 「MySQLによるタフなサイトの作り方」 勉強会(hbstudy, qpstudyほか)などでの発表など 2
  3. 3. ピグライフ 宣伝タイム終了 3
  4. 4. DevOpsについてはなすの?よし書こう宮下さんの資料を⾒直した 4
  5. 5. DevOpsについてはなすの? 5
  6. 6. DevOpsについてはなすの?よし書こう宮下さんの資料を⾒直したあれ、、、いいたい事殆ど言われてる、、、 ちょwいうこと無いw 6
  7. 7. と、言うわけでこれは変化球しかないと、思った時弊社のサービス運用には特徴があることを思いだしました。 7
  8. 8. kuwa_twの主張 プログラマが、監 視の一時受け、監 視設定をやってま す!!! 8
  9. 9. 大昔のアメーバ 昔の話をしよう ン コ ワ 9
  10. 10. 大昔のアメーバアウトソーシング監視 とりあえず問題あった らマニュアルどおり対 監視よろし おまちくだ 応してくれる くー。 さーい♪ 対応できない障害はイ ンフラチーム それはそれでとっても 幸せな事? 10
  11. 11. 大昔のアメーバアウトソースの弊害 なんとなく再起動が発動してなんとなく復旧し ている 何が起きてるか視えづらい為監視項目は洗い出 しにくい インフラが障害対応する事が極端に多かった 監視項目が十分でなかったり、監視側にうまく 伝わらないパターンなどのコミュニケーション 障害このシステムなんで動いてるの? 11
  12. 12. 大昔のアメーバ継続的な改善がしづらいアウトソースが当たり前で自分たちが運用すると言う当事者意識が薄くなる開発の⼈たちは特にサーバ以下を意識しづらくなってしまうスキルの蓄積が⾏いにくい 12
  13. 13. も 現在のアメーバ う いい 現在の話をしよう 13
  14. 14. 監視の内製化外部で⾏っていた監視を中へ⼤号令監視システムを内へ持ってきた障害対応もすべて内製 14
  15. 15. 監視の内製化障害対応 障害一時受け〜切り分けはサービス開発側責任 者は必ず⾏う 切り分けた結果がインフラ側と思われるならイ ンフラへエスカレーションシステムについて知らざるを得ない 15
  16. 16. 監視の内製化後〜現在実施できている事PDCAサービス運用者の責任プログラマ/インフラの垣根を低く(DevOps?) 16
  17. 17. 監視の内製化後〜現在PDCA(Plan Do Check Act) 定期的なアラートチェック 種別 例) APサーバのLoadAverage 頻度 例)5回/日 時間など 例)ピーク時 チェック漏れの改善 プログラマ/インフラ で話し合って決める 「これだとDBレプリが遅れた時にチェックできないから チェック追加しよう」 17
  18. 18. 監視の内製化サービス運用者の責任監視のソリューションは各サービス運用者が決定する 通知系 - Mon - Nagios - Zabbix リソース系 - Munin - Cacti - Ganglia - MRTG 18
  19. 19. 監視の内製化サービス運用者の責任障害監視の一時受けは開発の責任者 自分が寝るためにSPOFを作らないとか リソースチェックして必要なら爆発する前に追加するとか 自分のサービスへの責任 19
  20. 20. 監視の内製化プログラマ/インフラの垣根を低く(DevOps?)プログラマが監視にかかわる事で、インフラもプログラマも一緒にサービスのシステムがどう動いているかを把握する。プログラマがサーバを。インフラがコードを。 20
  21. 21. 監視の内製化結果として自動化/共有ツールが出来るMon設定の自動化/集約ツール障害情報集約ツール機器情報管理ツールRedmineWikiEtc Etc 21
  22. 22. kuwa_twの主張? DevOpsはアウト ソースではやりに くい!? 22
  23. 23. アウトソースって悪?そんなことは無い甘えでアウトソースをしているのでは無く必要性がわかった上でアウトソースをする我々は「何を」アウトソースしているのか 23
  24. 24. まとめ監視は一例 サービス運営者として自分がサービスに関わっている 事 サービスが安定してればOK?NO! 事業が最⼤化する形で安定させ続ける形にするのが目 的 DevOpsに至るはじめの一歩 24
  25. 25. ご清聴ありがとうございました! 25

×