DevOpsのはじめの一歩　〜監視の変遷〜

DevOpsのはじめの一歩〜監視の変遷〜株式会社サイバーエージェントアメーバ事業本部プラットフォームディビジョンシステムディベロップメントグループ CA Developers Connect 桑野章弘

自己紹介桑野章弘インフラエンジニアアメーバピグの運用／構築を担当ピグライフの運用／構築を担当Twitter http://twitter.com/kuwa_twBlog http://d.hatena.ne.jp/akuwano/著書／活動「MySQLによるタフなサイトの作り方」勉強会（hbstudy, qpstudyほか）などでの発表など 2

ピグライフ宣伝タイム終了 3

DevOpsについてはなすの？よし書こう宮下さんの資料を⾒直した 4

DevOpsについてはなすの？ 5

DevOpsについてはなすの？よし書こう宮下さんの資料を⾒直したあれ、、、いいたい事殆ど言われてる、、、ちょｗいうこと無いｗ 6

と、言うわけでこれは変化球しかないと、思った時弊社のサービス運用には特徴があることを思いだしました。 7

kuwa_twの主張プログラマが、監視の一時受け、監視設定をやってます！！！ 8

大昔のアメーバ昔の話をしようンコワ 9

大昔のアメーバアウトソーシング監視とりあえず問題あったらマニュアルどおり対監視よろしおまちくだ応してくれるくー。さーい♪ 対応できない障害はインフラチームそれはそれでとっても幸せな事？ 10

大昔のアメーバアウトソースの弊害なんとなく再起動が発動してなんとなく復旧している何が起きてるか視えづらい為監視項目は洗い出しにくいインフラが障害対応する事が極端に多かった監視項目が十分でなかったり、監視側にうまく伝わらないパターンなどのコミュニケーション障害このシステムなんで動いてるの？ 11

大昔のアメーバ継続的な改善がしづらいアウトソースが当たり前で自分たちが運用すると言う当事者意識が薄くなる開発の⼈たちは特にサーバ以下を意識しづらくなってしまうスキルの蓄積が⾏いにくい 12

も現在のアメーバういい現在の話をしよう 13

監視の内製化外部で⾏っていた監視を中へ⼤号令監視システムを内へ持ってきた障害対応もすべて内製 14

監視の内製化障害対応障害一時受け〜切り分けはサービス開発側責任者は必ず⾏う切り分けた結果がインフラ側と思われるならインフラへエスカレーションシステムについて知らざるを得ない 15

監視の内製化後〜現在実施できている事PDCAサービス運用者の責任プログラマ／インフラの垣根を低く（DevOps？） 16

監視の内製化後〜現在PDCA（Plan Do Check Act) 定期的なアラートチェック種別例） APサーバのLoadAverage 頻度例）5回／日時間など例）ピーク時チェック漏れの改善プログラマ／インフラで話し合って決める「これだとDBレプリが遅れた時にチェックできないからチェック追加しよう」 17

監視の内製化サービス運用者の責任監視のソリューションは各サービス運用者が決定する通知系 - Mon - Nagios - Zabbix リソース系 - Munin - Cacti - Ganglia - MRTG 18

監視の内製化サービス運用者の責任障害監視の一時受けは開発の責任者自分が寝るためにSPOFを作らないとかリソースチェックして必要なら爆発する前に追加するとか自分のサービスへの責任 19

監視の内製化プログラマ／インフラの垣根を低く（DevOps？）プログラマが監視にかかわる事で、インフラもプログラマも一緒にサービスのシステムがどう動いているかを把握する。プログラマがサーバを。インフラがコードを。 20

監視の内製化結果として自動化／共有ツールが出来るMon設定の自動化／集約ツール障害情報集約ツール機器情報管理ツールRedmineWikiEtc Etc 21

kuwa_twの主張？ DevOpsはアウトソースではやりにくい！？ 22

アウトソースって悪？そんなことは無い甘えでアウトソースをしているのでは無く必要性がわかった上でアウトソースをする我々は「何を」アウトソースしているのか 23

まとめ監視は一例サービス運営者として自分がサービスに関わっている事サービスが安定してればOK？NO! 事業が最⼤化する形で安定させ続ける形にするのが目的 DevOpsに至るはじめの一歩 24

ご清聴ありがとうございました！ 25

http://d.hatena.ne.jp	2485
http://infra.rrdtool.net	16
url_unknown	13
http://paper.li	10
http://webcache.googleusercontent.com	7
http://www.slideshare.net	6
http://translate.googleusercontent.com	1
http://rss.ameba.jp	1

DevOpsのはじめの一歩　〜監視の変遷〜

by Akihiro Kuwano on Jun 26, 2011

Accessibility

Categories

Upload Details

Usage Rights

8 Embeds 2,539

Statistics