1. パケットキャプチャとIoT
ネットワークパケットを読む会（仮）

2. 自己紹介
＠Clorets8lack
▷ ユーザー企業の情シス部門で国際インフラを担当
▷ トラブルシューティングを効率化する
パケットレコーダー「Sonarman」を開発、販売中
▷ 現場の不幸を無くすため手を動かしています
Slideshare: https://www.slideshare.net/cloretsblack
Blog: http://cloretsblack.hatenablog.com/

3. 今日お話しすること
▷ ユーザー企業の現場でパケットキャプチャを
活用したIoTを稼働中
▷ どう使っているか
▷ 使ってみて思ったことなど

4. ユーザーを取り巻く状況
▷ クラウドによって、サーバ/ネットワークの抽象化が
進む
▷ パケットキャプチャという低レイヤ技術がロストテク
ノロジーになりつつある。
○ ネットワークは誰でも簡単に使えるリソースになった
○ 同時にトラブルシューティングが困難になっている。

5. 具体例
▷ 利用範囲が拡大し続けている
○ テレワーク、遠隔保守
▷ 様々な機器が繋がっている
○ BYOD
○ NW機器、NFVなど
○ ちゃんと分かった上で管理されているか？
とても難しい

6. 構造の変化
動作が担保され、整然としたク
ラウドのサーバ群
雑然としたLAN
障害が起きやすく、サポートが薄い

7. この構造で起きていること
▷ 問題が起きた時、外部ベンダから言われる
こと
○ 「ログに残っていないので、こちらの障害ではありま
せん」（ホントかウソかは分からない）
○ 「他社様では同様の報告は上がっていません」
○ まともに動いていない（かもしれない）機械のログを
信じるという矛盾
▷ 対抗手段のないLANの管理者は立ち往生し
てしまう

8. そこでパケットキャプチャ
▷ パケットキャプチャはI/Oを常に観測できる
▷ ログが残らない・再現しない障害に有効
○ ハングアップや遅延などの現象に対し、明確なエビ
デンスを示せる

9. やったこと
▷ パケットキャプチャを取得し、自動ローテー
ションするIoT機器を開発
▷ 収集したキャプチャを機械学習で分析し自
動連携等へ活用
▷ 障害対応、運用現場を効率化した

10. 機材
▷ RaspberryPi3をベースにしたIoT機器
○ 遠隔拠点に設置して利用
○ WebGUI
○ 128GbyteのUSBメモリ搭載
○ 機械学習による解析機能を実装
「Sonarman－R」
ソナーマン・アール

11. 構成図
③遠隔地から参照
①ミラーリングされた通信デー
タを集積しつつ解析
②解析 警告
一旦設置したら、既存のサーバやネットワー
クに影響を与えない
スイッチでミラーリング

12. 機械学習による異常検知
▷ パケットとトラフィックパターン両方の特徴を抽出
▷ 特徴ごとに、外れ値検出を行い、問題があれば警
告
▷ 月末月初や曜日、時間帯等を考慮に入れてチェッ
クする
今日は詳しい説明は省きます
詳細が知りたい方は別途お声掛けください

13. パケットキャプチャの本質的な利点
▷ 最も解像度の高い可視化
▷ ファクトベースの問題解決ができる
対象を理解し、裏付けを持って試行錯誤する
単位時間当たりの試行の質と量を向上させる

14. 原因究明
復旧作業
機器を落とさずに出来るだけデー
タを収集したい
一刻も早く再起動したい
相反するタスク
障害対応時のジレンマ

15. 原因究明フェーズは事前準備できる
▷ パケットキャプチャを取ればI/Oが把
握できる
▷ 入力データや問題発生時の詳しい
状況が後追いできる
復旧作業に集中出来るため、
ダウンタイムを削減できる

16. ユースケース
現場で実際に使った事例を
ご紹介します

17. 某クラウドサービス
▷ 夜間のメール送信がコケる
▷ クラウドからのService not availableを確認
▷ クラウド側では何もしてくれない（SLAが全て）
▷ 原因を知ることで割り切って使う方向にシフト
▷ 再送機能を持つMTAを途中に挟むことで解決
ベンダへの過剰な期待から来る余計なストレスを感じ
なくなった。精神的勝利

18. この 誰よ？
▷ VDIシステムのデプロイが失敗
▷ 原因は誰かがプログラムをつかんでいたため
▷ Macアドレスと個人の自動紐づけ機能を実装
▷ 無事特定し、帰宅時にはPCを落とすよう指導
パケットキャプチャからのデータ抽出技術を磨くと
色々便利

19. やってみたことのまとめ
▷ LANは複雑化し、管理出来なくなっている
▷ パケットキャプチャでデータ化すると捗る
▷ 高解像度データのため、ビッグデータとして活用で
きる

20. 思考
▷ なぜこのようなIoTを考えたか
▷ 使ってみて思ったこと

21. パケットキャプチャの布教
▷ パケットキャプチャは大変便利だが、イマイチ浸透
していない
▷ 情シスでパケットキャプチャを障害対応に活用して
いる人があまりいない（※個人の感想です）
なぜなのかを考えてみた

22. パケットキャプチャの難しさ
本質は間違い探し
右の絵の間違いを探
してください

23. 正解発表
問題 オリジナル
右下にウォーズマンがいます 違和感はあっても確証を持
つ事は難しい

24. 対比によるトラブルシューティング
▷ 通信はコンピュータ同士の会話そのもの
▷ どういう応答によって中断しているか
▷ 普段（正常時）と比べてどうか
データください
まだですか？
おーい
既読
14:32
既読
14:33
既読
14:34
ちょ、今忙しい
もぅﾏﾁﾞ無理
既読
14:33
既読
14:35
何で忙しいのか？
リクエスト集中？
内部処理の負荷？
データください
既読
14:32
OK！既読
14:33
ドンドン
送って！ (^-^)ゝ
既読
14:33 既読
14:34
正常時 異常時

25. 伝達手段としてのパケットキャプチャ
▷ 比較することで説明しやすくなる
▷ エビデンスとして有効
▷ パケットキャプチャによって言語の壁を幾度と
なく越えてきた
「このパケットを見れば一目瞭然だ」
という内容と共にパケットキャプチャを送りつ
けると、それが読めるレベルのエンジニアか
ら返信が来る。
エンジニアをフィルタにかけられるというライフ
ハック
海外とのやり取りでは特に効果的

26. 教育効果
▷ 障害時のパケットキャプチャのみでの解析は初見
の間違い探しを予備知識でカバーしている
▷ プロトコルや振る舞いに関する知識がない初心者
には敷居が高い
▷ パケットキャプチャを比べることができれば解析の
難易度が下がる
▷ ナレッジの蓄積が可能になる

27. 良い循環が生まれる
問題がスパッと解決すると
「振り返り」をやろうという気になる
良い循環
解決して「俺カッコイイ」と思って
いるうちに反省すると素直な気持
ちになれる
感情コントロール大事

28. で売ってます
製品ページ

29. ありがとうございました
お気軽にお声掛けいただければ
嬉しく思います