Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

パケットキャプチャとIoT

1,431 views

Published on

Packet capture with IoT

Published in: Engineering
  • Be the first to comment

パケットキャプチャとIoT

  1. 1. パケットキャプチャとIoT ネットワークパケットを読む会(仮)
  2. 2. 自己紹介 @Clorets8lack ▷ ユーザー企業の情シス部門で国際インフラを担当 ▷ トラブルシューティングを効率化する   パケットレコーダー「Sonarman」を開発、販売中 ▷ 現場の不幸を無くすため手を動かしています Slideshare: https://www.slideshare.net/cloretsblack Blog: http://cloretsblack.hatenablog.com/
  3. 3. 今日お話しすること ▷ ユーザー企業の現場でパケットキャプチャを 活用したIoTを稼働中 ▷ どう使っているか ▷ 使ってみて思ったことなど
  4. 4. ユーザーを取り巻く状況 ▷ クラウドによって、サーバ/ネットワークの抽象化が 進む ▷ パケットキャプチャという低レイヤ技術がロストテク ノロジーになりつつある。 ○ ネットワークは誰でも簡単に使えるリソースになった ○ 同時にトラブルシューティングが困難になっている。
  5. 5. 具体例 ▷ 利用範囲が拡大し続けている ○ テレワーク、遠隔保守 ▷ 様々な機器が繋がっている ○ BYOD ○ NW機器、NFVなど ○ ちゃんと分かった上で管理されているか? とても難しい
  6. 6. 構造の変化 動作が担保され、整然としたク ラウドのサーバ群 雑然としたLAN 障害が起きやすく、サポートが薄い
  7. 7. この構造で起きていること ▷ 問題が起きた時、外部ベンダから言われる こと ○ 「ログに残っていないので、こちらの障害ではありま せん」(ホントかウソかは分からない) ○ 「他社様では同様の報告は上がっていません」 ○ まともに動いていない(かもしれない)機械のログを 信じるという矛盾 ▷ 対抗手段のないLANの管理者は立ち往生し てしまう
  8. 8. そこでパケットキャプチャ ▷ パケットキャプチャはI/Oを常に観測できる ▷ ログが残らない・再現しない障害に有効 ○ ハングアップや遅延などの現象に対し、明確なエビ デンスを示せる
  9. 9. やったこと ▷ パケットキャプチャを取得し、自動ローテー ションするIoT機器を開発 ▷ 収集したキャプチャを機械学習で分析し自 動連携等へ活用 ▷ 障害対応、運用現場を効率化した
  10. 10. 機材 ▷ RaspberryPi3をベースにしたIoT機器 ○ 遠隔拠点に設置して利用 ○ WebGUI ○ 128GbyteのUSBメモリ搭載 ○ 機械学習による解析機能を実装 「Sonarman-R」  ソナーマン・アール
  11. 11. 構成図 ③遠隔地から参照 ①ミラーリングされた通信デー タを集積しつつ解析 ②解析 警告 一旦設置したら、既存のサーバやネットワー クに影響を与えない スイッチでミラーリング
  12. 12. 機械学習による異常検知 ▷ パケットとトラフィックパターン両方の特徴を抽出 ▷ 特徴ごとに、外れ値検出を行い、問題があれば警 告 ▷ 月末月初や曜日、時間帯等を考慮に入れてチェッ クする 今日は詳しい説明は省きます 詳細が知りたい方は別途お声掛けください
  13. 13. パケットキャプチャの本質的な利点 ▷ 最も解像度の高い可視化 ▷ ファクトベースの問題解決ができる 対象を理解し、裏付けを持って試行錯誤する 単位時間当たりの試行の質と量を向上させる
  14. 14. 原因究明 復旧作業 機器を落とさずに出来るだけデー タを収集したい 一刻も早く再起動したい 相反するタスク 障害対応時のジレンマ
  15. 15. 原因究明フェーズは事前準備できる ▷ パケットキャプチャを取ればI/Oが把 握できる ▷ 入力データや問題発生時の詳しい 状況が後追いできる 復旧作業に集中出来るため、 ダウンタイムを削減できる
  16. 16. ユースケース 現場で実際に使った事例を ご紹介します
  17. 17. 某クラウドサービス ▷ 夜間のメール送信がコケる ▷ クラウドからのService not availableを確認 ▷ クラウド側では何もしてくれない(SLAが全て) ▷ 原因を知ることで割り切って使う方向にシフト ▷ 再送機能を持つMTAを途中に挟むことで解決 ベンダへの過剰な期待から来る余計なストレスを感じ なくなった。精神的勝利
  18. 18. この 誰よ? ▷ VDIシステムのデプロイが失敗 ▷ 原因は誰かがプログラムをつかんでいたため ▷ Macアドレスと個人の自動紐づけ機能を実装 ▷ 無事特定し、帰宅時にはPCを落とすよう指導 パケットキャプチャからのデータ抽出技術を磨くと 色々便利
  19. 19. やってみたことのまとめ ▷ LANは複雑化し、管理出来なくなっている ▷ パケットキャプチャでデータ化すると捗る ▷ 高解像度データのため、ビッグデータとして活用で きる
  20. 20. 思考 ▷ なぜこのようなIoTを考えたか ▷ 使ってみて思ったこと
  21. 21. パケットキャプチャの布教 ▷ パケットキャプチャは大変便利だが、イマイチ浸透 していない ▷ 情シスでパケットキャプチャを障害対応に活用して いる人があまりいない(※個人の感想です) なぜなのかを考えてみた
  22. 22. パケットキャプチャの難しさ 本質は間違い探し 右の絵の間違いを探 してください
  23. 23. 正解発表 問題 オリジナル 右下にウォーズマンがいます 違和感はあっても確証を持 つ事は難しい
  24. 24. 対比によるトラブルシューティング ▷ 通信はコンピュータ同士の会話そのもの ▷ どういう応答によって中断しているか ▷ 普段(正常時)と比べてどうか データください まだですか? おーい 既読 14:32 既読 14:33 既読 14:34 ちょ、今忙しい もぅマヂ無理 既読 14:33 既読 14:35 何で忙しいのか? リクエスト集中? 内部処理の負荷? データください 既読 14:32 OK!既読 14:33 ドンドン 送って! (^-^)ゝ 既読 14:33 既読 14:34 正常時 異常時
  25. 25. 伝達手段としてのパケットキャプチャ ▷ 比較することで説明しやすくなる ▷ エビデンスとして有効 ▷ パケットキャプチャによって言語の壁を幾度と なく越えてきた 「このパケットを見れば一目瞭然だ」 という内容と共にパケットキャプチャを送りつ けると、それが読めるレベルのエンジニアか ら返信が来る。 エンジニアをフィルタにかけられるというライフ ハック 海外とのやり取りでは特に効果的
  26. 26. 教育効果 ▷ 障害時のパケットキャプチャのみでの解析は初見 の間違い探しを予備知識でカバーしている ▷ プロトコルや振る舞いに関する知識がない初心者 には敷居が高い ▷ パケットキャプチャを比べることができれば解析の 難易度が下がる ▷ ナレッジの蓄積が可能になる
  27. 27. 良い循環が生まれる 問題がスパッと解決すると 「振り返り」をやろうという気になる 良い循環 解決して「俺カッコイイ」と思って いるうちに反省すると素直な気持 ちになれる 感情コントロール大事
  28. 28. で売ってます 製品ページ 
  29. 29. ありがとうございました お気軽にお声掛けいただければ 嬉しく思います

×