Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

パケットキャプチャでインフラ主導のデバッグ環境を作る

5,298 views

Published on

Packet capture for infrastructure-driven debugging

Published in: Technology
  • Be the first to comment

パケットキャプチャでインフラ主導のデバッグ環境を作る

  1. 1. パケットキャプチャでインフラ主導 のデバッグ環境を作る @Clorets8lack NetOpsCoding#5 × ネットワークプログラマビリティ勉強会#13
  2. 2. ある日の会話 アプリ担当者 「昨日夜間バッチがコケてたんだけど、インフラおかしくな かった?」 ぼく 「?????」
  3. 3. 「昨日夜間バッチがコケてたんだけど、イン フラおかしくなかった?」 言葉の意味はよく分からんがとにかく凄い自信だ
  4. 4. 仲良くしようぜ 集英社コミックス ゆでたまご著 キン肉マンより引用
  5. 5. 原因はユーザー入力のデータバグ アプリ内部の例外処理漏れ (想定外だったのでログは出なかった) この手の問題にインフラ側が汎用的に協 力できる仕組みを考える
  6. 6. ある時間に、インフラが問題なく動作していた事をエビ デンスとして示す事は意外と難しい。 死活監視->Ping、SNMP、ログ解析 エビデンスか?と言われるとどうですかね… ・正常に動いていないかもしれないシステムのログ ・5分間隔で起動する解像度の低いサービス監視 ・状況証拠にはなり得ても問題解決に繋がるか? そもそも論
  7. 7. どうしているか? ・DBサーバ周辺に予めパケットキャプチャを仕込む ・パケットを収集し、一定期間保存する ・リモートデータベース処理は全SQLを後追いできる ・警告処理を独自に実装可能 -> 再発防止に繋げる 問題発生時に、サーバ応答がどういう状態だったかをアプ リ非依存でシステム外部から独自に検証できる
  8. 8. インフラの無罪証明とアプリの信頼を勝ちとる ・正常な夜間バッチの通信と問題の入出力を比較 ・DBに流れたクエリと応答からデータバグを発見 ・暫定対策としてDBからの一部のエラーコードを検知して メールで警告するように設定 ここまで約1時間でした
  9. 9. アプリとインフラが力を合わせて何かいい感じになること、 それが俺達のDevOpsじゃないのかな…? 集英社コミックス ゆでたまご著 キン肉マンより引用
  10. 10. 同人誌出します! 10/22(日)技術書典3 @秋葉原UDX @Clorets8lack パケットキャプチャによる エラー検知と警告システムの 構築について書きました

×