Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
OpsJAWS #5-1 2016-04-20
D E V O P S 運 用
ア ン チ パ タ ー ン 3 連 発
OpsJAWS #5-1 2016-04-20
OpsJAWS #5-1 2016-04-20
ヴ ィ ジ ョ ン ア ー ツ 株 式 会 社
• 黎 明 期 よ り ク ラ ウ ド サ ー ビ ス の
構 築 ・ 運 用 に 従 事
• R e : I n v e n t 2 0 1 5 ...
OpsJAWS #5-1 2016-04-20
憧れの、夜明けの海
OpsJAWS #5-1 2016-04-20
OpsJAWS #5-1 2016-04-20
かけがえの無い、二人だけのとき
OpsJAWS #5-1 2016-04-20
OpsJAWS #5-1 2016-04-20
至 福 の 時 を 襲 う 通 知 音
OpsJAWS #5-1 2016-04-20
サ ー バ で 何 か 起 き た ❗️
こ ん な 時 に … 💢
OpsJAWS #5-1 2016-04-20
ま た 来 よ う か … 😞
OpsJAWS #5-1 2016-04-20
OpsJAWS #5-1 2016-04-20
幸 い 、 問 題 の 無 い 警 報 だ っ た
で も 、 二 人 の 時 間 は も う 戻 ら な い
OpsJAWS #5-1 2016-04-20
D E V O P S
開 発 者 を 運 用 地 獄 に 誘 う 甘 い 罠 ?
OpsJAWS #5-1 2016-04-20
D E V O P S 運 用
ア ン チ パ タ ー ン 3 連 発
かけがえの無いひとときを守るための
OpsJAWS #5-1 2016-04-20
「 運 用 」 無 視 の サ ー バ ー ロ グ
其 の 1
OpsJAWS #5-1 2016-04-20
困 っ た ロ グ
• タイムスタンプが無い
• フォーマットがバラバラ
• 調査や再現に必要な情報が無い
• バックトレースの垂れ流し
• メッセージ識別用のIDが無い
• 大量に出て収拾がつか...
OpsJAWS #5-1 2016-04-20
弊 害
• 障害時の現象切り分けが困難
• RUNBOOKが作れない → 職人芸の世界へ
• ログ解析処理が重くなる
• 異常の識別を自動化できない
• デバッグや障害調査が進まない
OpsJAWS #5-1 2016-04-20
機 械 的 に 処 理 で き る よ う 、 ロ グ を 整 理
• 「 フ ォ ー マ ッ ト 」 と 「 メ ッ セ ー ジ コ ー ド 体 系 」 を 規 定
• 運 用 観 点 か ら ...
OpsJAWS #5-1 2016-04-20
ロ グ を 味 方 に 付 け て
幸 せ な D E V O P S へ
OpsJAWS #5-1 2016-04-20
充 実 し す ぎ た
自 前 の 「 開 発 ・ 運 用 基 盤 」
其 の 2
OpsJAWS #5-1 2016-04-20
開 発 ・ 運 用 ツ ー ル い ろ い ろ
• 構成管理
• チケット管理
• 認証
• 監視・メトリクス
• CI
• プロビジョニング
• コミュニケーション
GIT / SVN
Redl...
OpsJAWS #5-1 2016-04-20
こ れ 、 管 理 し 続 け る の 大 変 !
大変だから、「共通チーム」が管理
→ 結果的にDEVOPSチームの選択権とアジリティを奪う
OpsJAWS #5-1 2016-04-20
全 部 S a a S に ス イ ッ チ
GITHUB
GITHUB
GITHUB
CircleCI
CloudFormation + ElasticBeanstalk
CloudWatch +...
OpsJAWS #5-1 2016-04-20
開 発 に 集 中 で き る D E V O P S
「共通チーム」は解散
→各DEVOPSチームに合流して、チームのために活躍
OpsJAWS #5-1 2016-04-20
当 番 制 な の に 一 斉 通 知 メ ー ル
其 の 3
OpsJAWS #5-1 2016-04-20
当 初 の 仕 組 み
OpsJAWS #5-1 2016-04-20
異常❗️
監視システム監視対象
A さ ん , B の み に 負 担
障 害 対 処 は 「 A さ ん 頼 み 」
無条件に一斉通知
マネージャ
スタッフ
B 一時切り分け可
A 障害対処可
OpsJAWS #5-1 2016-04-20
可 哀 想 だ か ら
他 チ ー ム の メ ン バ ー を 加 え よ う !
OpsJAWS #5-1 2016-04-20
異常❗️
マネージャ
監視システム監視対象 スタッフ
関係者に無条件に一斉通知
週次
ローテーション
B 当番(一時切り分け可)
A 非番(障害対処可)
D 非番(連絡係)
C サブ(連絡係)
E...
OpsJAWS #5-1 2016-04-20
追加
週次
ローテーション
D 非番(連絡係)
マネージャ
C サブ(連絡係)
E 非番(連絡係)
異常❗️
監視システム監視対象 スタッフ
B 当番(一時切り分け可)
A 非番(障害対処可)
監...
OpsJAWS #5-1 2016-04-20
不 幸 な 人 を 増 し や し た だ け
マネージャの気持ちもわからなくも無いのですが…
OpsJAWS #5-1 2016-04-20
最 終 的 に は こ う な っ た
システムのRebuildに合わせ、監視・通知系も再構築
OpsJAWS #5-1 2016-04-20
当番
マネージャ
サブ
非番
1
2
3
判別結果が「緊急」だったら通知
週替わりシフト
誰でも対処可能
O p s G e n i e が 良 い 感 じ で 判 別 & 振 り 分 け
OpsJAWS #5-1 2016-04-20
通知方法は柔軟に個人別カスタマイズ可
App + Mail初報
App + Mail + TEL 繰り返し再通知
次の連絡先(Gr)へダメだ!
で心理負担も軽減
OpsJAWS #5-1 2016-04-20
通 知 シ ス テ ム を 整 備 し て
O F F を エ ン ジ ョ イ !
OpsJAWS #5-1 2016-04-20
お 知 ら せ
ク ラ ウ ド エ ン ジ ニ ア 絶 賛 募 集 中 !
ヴ ィ ジ ョ ン ア ー ツ 株 式 会 社
http://www.visionarts.co.jp
OpsJAWS ...
OpsJAWS #5-1 2016-04-20
E N D
D E V O P S 運 用 ア ン チ パ タ ー ン 3 連 発
OpsJAWS #5-1 2016-04-20
Upcoming SlideShare
Loading in …5
×

OpsJAWS#5-1 20160420 DEVOPS operations 3 Anti Patterns

2,092 views

Published on

DEVOPS 運用アンチパターン3連発

Published in: Technology
  • Be the first to comment

OpsJAWS#5-1 20160420 DEVOPS operations 3 Anti Patterns

  1. 1. OpsJAWS #5-1 2016-04-20 D E V O P S 運 用 ア ン チ パ タ ー ン 3 連 発 OpsJAWS #5-1 2016-04-20
  2. 2. OpsJAWS #5-1 2016-04-20 ヴ ィ ジ ョ ン ア ー ツ 株 式 会 社 • 黎 明 期 よ り ク ラ ウ ド サ ー ビ ス の 構 築 ・ 運 用 に 従 事 • R e : I n v e n t 2 0 1 5 に て E l a s t i c B e a n s t a l k に つ い て 講 演 • 趣 味 写 真 撮 影 岡 田 澄 夫 OpsJAWS #5-1 2016-04-20
  3. 3. OpsJAWS #5-1 2016-04-20 憧れの、夜明けの海 OpsJAWS #5-1 2016-04-20
  4. 4. OpsJAWS #5-1 2016-04-20 かけがえの無い、二人だけのとき OpsJAWS #5-1 2016-04-20
  5. 5. OpsJAWS #5-1 2016-04-20 至 福 の 時 を 襲 う 通 知 音
  6. 6. OpsJAWS #5-1 2016-04-20 サ ー バ で 何 か 起 き た ❗️ こ ん な 時 に … 💢
  7. 7. OpsJAWS #5-1 2016-04-20 ま た 来 よ う か … 😞 OpsJAWS #5-1 2016-04-20
  8. 8. OpsJAWS #5-1 2016-04-20 幸 い 、 問 題 の 無 い 警 報 だ っ た で も 、 二 人 の 時 間 は も う 戻 ら な い
  9. 9. OpsJAWS #5-1 2016-04-20 D E V O P S 開 発 者 を 運 用 地 獄 に 誘 う 甘 い 罠 ?
  10. 10. OpsJAWS #5-1 2016-04-20 D E V O P S 運 用 ア ン チ パ タ ー ン 3 連 発 かけがえの無いひとときを守るための
  11. 11. OpsJAWS #5-1 2016-04-20 「 運 用 」 無 視 の サ ー バ ー ロ グ 其 の 1
  12. 12. OpsJAWS #5-1 2016-04-20 困 っ た ロ グ • タイムスタンプが無い • フォーマットがバラバラ • 調査や再現に必要な情報が無い • バックトレースの垂れ流し • メッセージ識別用のIDが無い • 大量に出て収拾がつかない
  13. 13. OpsJAWS #5-1 2016-04-20 弊 害 • 障害時の現象切り分けが困難 • RUNBOOKが作れない → 職人芸の世界へ • ログ解析処理が重くなる • 異常の識別を自動化できない • デバッグや障害調査が進まない
  14. 14. OpsJAWS #5-1 2016-04-20 機 械 的 に 処 理 で き る よ う 、 ロ グ を 整 理 • 「 フ ォ ー マ ッ ト 」 と 「 メ ッ セ ー ジ コ ー ド 体 系 」 を 規 定 • 運 用 観 点 か ら 重 要 度 に 応 じ て 分 類 • I N F O 正 常 • W A R N 通 常 問 題 な し 、 頻 度 や 状 況 を 確 認 • E R R O R 直 ち に 確 認 が 必 要 • T r a n s a c t i o n I D で シ ス テ ム 全 体 に 跨 る リ ン ク を 確 保 • R e d S h i f t な ど に 入 れ て 、 分 析 に 備 え る RedShift
  15. 15. OpsJAWS #5-1 2016-04-20 ロ グ を 味 方 に 付 け て 幸 せ な D E V O P S へ
  16. 16. OpsJAWS #5-1 2016-04-20 充 実 し す ぎ た 自 前 の 「 開 発 ・ 運 用 基 盤 」 其 の 2
  17. 17. OpsJAWS #5-1 2016-04-20 開 発 ・ 運 用 ツ ー ル い ろ い ろ • 構成管理 • チケット管理 • 認証 • 監視・メトリクス • CI • プロビジョニング • コミュニケーション GIT / SVN Redline / Jira LDAP Nagios Jenkins / Maven Chef / Puppet Mail
  18. 18. OpsJAWS #5-1 2016-04-20 こ れ 、 管 理 し 続 け る の 大 変 ! 大変だから、「共通チーム」が管理 → 結果的にDEVOPSチームの選択権とアジリティを奪う
  19. 19. OpsJAWS #5-1 2016-04-20 全 部 S a a S に ス イ ッ チ GITHUB GITHUB GITHUB CircleCI CloudFormation + ElasticBeanstalk CloudWatch + DataDog Slack • 構成管理 • チケット管理 • 認証 • CI • プロビジョニング • 監視・メトリクス • コミュニケーション
  20. 20. OpsJAWS #5-1 2016-04-20 開 発 に 集 中 で き る D E V O P S 「共通チーム」は解散 →各DEVOPSチームに合流して、チームのために活躍
  21. 21. OpsJAWS #5-1 2016-04-20 当 番 制 な の に 一 斉 通 知 メ ー ル 其 の 3
  22. 22. OpsJAWS #5-1 2016-04-20 当 初 の 仕 組 み
  23. 23. OpsJAWS #5-1 2016-04-20 異常❗️ 監視システム監視対象 A さ ん , B の み に 負 担 障 害 対 処 は 「 A さ ん 頼 み 」 無条件に一斉通知 マネージャ スタッフ B 一時切り分け可 A 障害対処可
  24. 24. OpsJAWS #5-1 2016-04-20 可 哀 想 だ か ら 他 チ ー ム の メ ン バ ー を 加 え よ う !
  25. 25. OpsJAWS #5-1 2016-04-20 異常❗️ マネージャ 監視システム監視対象 スタッフ 関係者に無条件に一斉通知 週次 ローテーション B 当番(一時切り分け可) A 非番(障害対処可) D 非番(連絡係) C サブ(連絡係) E 非番(連絡係) 追加
  26. 26. OpsJAWS #5-1 2016-04-20 追加 週次 ローテーション D 非番(連絡係) マネージャ C サブ(連絡係) E 非番(連絡係) 異常❗️ 監視システム監視対象 スタッフ B 当番(一時切り分け可) A 非番(障害対処可) 監 視 メ ン バ は 増 え た が … 「 A さ ん 頼 み 」 は 変 わ ら ず B さ ん の 負 担 も 大 き い ま ま
  27. 27. OpsJAWS #5-1 2016-04-20 不 幸 な 人 を 増 し や し た だ け マネージャの気持ちもわからなくも無いのですが…
  28. 28. OpsJAWS #5-1 2016-04-20 最 終 的 に は こ う な っ た システムのRebuildに合わせ、監視・通知系も再構築
  29. 29. OpsJAWS #5-1 2016-04-20 当番 マネージャ サブ 非番 1 2 3 判別結果が「緊急」だったら通知 週替わりシフト 誰でも対処可能 O p s G e n i e が 良 い 感 じ で 判 別 & 振 り 分 け
  30. 30. OpsJAWS #5-1 2016-04-20 通知方法は柔軟に個人別カスタマイズ可 App + Mail初報 App + Mail + TEL 繰り返し再通知 次の連絡先(Gr)へダメだ! で心理負担も軽減
  31. 31. OpsJAWS #5-1 2016-04-20 通 知 シ ス テ ム を 整 備 し て O F F を エ ン ジ ョ イ !
  32. 32. OpsJAWS #5-1 2016-04-20 お 知 ら せ ク ラ ウ ド エ ン ジ ニ ア 絶 賛 募 集 中 ! ヴ ィ ジ ョ ン ア ー ツ 株 式 会 社 http://www.visionarts.co.jp OpsJAWS #5-1 2016-04-20
  33. 33. OpsJAWS #5-1 2016-04-20 E N D D E V O P S 運 用 ア ン チ パ タ ー ン 3 連 発 OpsJAWS #5-1 2016-04-20

×