20191001 セキュリティ事故物件で登壇したスライドです。 タイトル「ミエナイチカラ」

2. 自己紹介
@Typhon666_death
仕事：大手SIにてインフラ・セキュリティエンジニア/
コンサルタント/アナリスト/営業
主な活動コミュニティ：
OWASP Japan Promotion Teamメンバー
Security-JAWS 運営メンバー
X-Tech JAWS 運営メンバー
レトロゲーム勉強会運営メンバー
過去の発表資料など
https://www.slideshare.net/Typhon666_death

3. あれはまだ陽の明るい秋の昼頃。。
顧客依頼でDC作業を作業員にお願いして、私はシステ
ム監視していた時のお話
この物語はフィクション？
今日の話はレイヤー低め

4. ネットワーク構成
各NW機器はHAケーブル接続で冗長化
FWやLBは正系がダウンすると、F/O
L2SWはStack組んでる
L2SW正副間のケーブルを通って、通信が
切り替わる
Web/AppサーバやDBサーバはNIC
teaming組んでいるとする
MGTポートから各種インターフェースに
ping、snmp監視でリンクダウンを検知
BBルータ
L2スイッチ
Firewall
ロードバランサ
Web/Appサーバ
DBサーバ
ケーブル

5. 通常通信
すべての機器で正系側をとお
り、バランシング先の正系副
系のサーバに対してアクセス
する通信があるとしたら、ピ
ンクの線の通りの経路となる
。
BBルータ
L2スイッチ
Firewall
ロードバランサ
Web/Appサーバ
DBサーバ
ケーブル

6. F/O時の通信
例えば、LB正系に異常があったとする
LBと接続先L2SWのI/Fでリンクダウン
LB同士のHA I/Fでリンクダウン
LBがF/O
一段目FWは正系側を、その後、次の
L2SWの副系側を通って、LB副系を通り
、さらに次のL2SW正系側に戻り、
Web/Appサーバの正系にアクセスされ
る
BBルータ
L2スイッチ
Firewall
ロードバランサ
Web/Appサーバ
DBサーバ
ケーブル

7. コスト削減の一貫で、冗長構成で組まれたネットワーク
をシングル化せざるを得なかった、あの日。。。
実に不可解な事件は起きた。
PJ[聖域なきコスト削減]

8. L2SWはStackを組んでいるため、その他NW機器が正系
すべてにおいてActiveであること、副系がStandbyであ
ることを確認し、Standby側の機器を切り離していくこ
とをしても、問題はないはずであった。
サーバはすべて台数はそのままに副系L2SWにさしてた
ケーブルを正系L2SWにさしかえられていて準備は万端
であった。
PJ[聖域なきコスト削減]

9. 予定作業
✗のマークに関する機器を現地作
業員に切り離ししてもらうケーブ
ルさえ間違えなければ誰でもでき
る作業
切り離した機器とケーブルの接続
先I/F がリンクダウンすることを
確認
URL監視で顧客サイトが参照可能
BBルータ
L2スイッチ
Firewall
ロードバランサ
Web/Appサーバ
DBサーバ
ケーブル

10. 予定作業
経験上、作業順はこうしてい
たはず(今でもそうする)
一段目FW→二段目FW→LB→
各種L2SWの順(すべて副系)
FWをすべて切り離し終わった
後に事件は起きた。
BBルータ
L2スイッチ
Firewall
ロードバランサ
Web/Appサーバ
DBサーバ
ケーブル

11. LB副系につながるUntrust、
Trust、HAの3本を切り離すと
予定作業、そして、、、
BBルータ
L2スイッチ
Firewall
ロードバランサ
Web/Appサーバ
DBサーバ
ケーブル
Untrust
Trust
HA

14. 普通なら
LBと上下L2SWだけに着目
本来の通信は右図になる。
✗の箇所がリンクダウンになる
なお、機器は電源を落として
いなくて、MGTポートへの
snmp監視から、機器のリンク
ダウン状況もきちんと見れる
。

15. しかし、、
リンクダウンしてるのは、LB
副系Untrustに対して、上位の
副系L2SW I/Fだけでなく、正
系L2SWのI/Fまでが落ちてしま
った。
このとき、正系LBのUntrust
I/Fはリンクが上がったまま

16. 復旧優先で戻し作業
なぜか不明だが、副系LBを再
度つなぎ治すと通信は復旧
原因不明過ぎて対策が打てな
いので、再度、副系LBを切り
離すと、、、、

19. ミエナイチカラ
LB副系を切り離そうとすると
、上位L2SWの正系側I/Fが勝
手にリンクダウン
Untrust
Trust
HA

21. サイト全面リプレイスするまでは、設定変更をすること
はあっても、撤去はおろか、物理的に触れることは決し
てなかった。
今日はそんな呪われたLBおよびL2SWのお話
信じるか信じないかはあなた次第
その後