vm meetup_tokyo #1 NSX の運用と DFW トラブルシューティング

Copyright 2019 FUJITSU CLOUD TECHNOLOGIES LIMITED
VM Meetup Tokyo #1
NSX の運用
DFWトラブルシューティング

自己紹介
2
樋口茂幸
所属: 富士通クラウドテクノロジーズ株式会社
Model: 2012年度入社モデルエンジニア
Uptime: 社会人7年目
State: Connected
Twitter: @YOMOGItanpop(つぶやいていない)
興味分野:

Copyright 2019 FUJITSU CLOUD TECHNOLOGIES LIMITED 3
ニフクラと NSX

◼ 2010年よりクラウド事業を開始
ニフティ株式会社時代のISP事業やWebサービス事業で培ったノウハウとインフラ資産を活用
◼ 2017年4月社名変更
ニフティ株式会社から富士通クラウドテクノロジーズに
◼ 2017年11月ブランド変更、ニフティクラウドからニフクラに
4
1980年~
パソコン通信/ISP通信/WEBサービス事業
2010年~
クラウド事業
ノウハウとインフラ資産の活用
2017年
VMware APJ最大規模！
ニフクラってなに？
ML/mBaaS/PaaS も
2006年から、ずっと VMware

どこで NSX を使っているのか？
5
バックアップ/DRサービス
for VMware vSphere®
デスクトップサービス
（専有型）
ニフクラ
IaaS

どこで NSX を使っているのか？
6
バックアップ/DRサービス
for VMware vSphere®
デスクトップサービス
（専有型）
ニフクラ
IaaS
※一部を利用

NSX 利用で特に変わっているところは？
7
ニフクラ
IaaS
リモートアクセスVPNゲートウェイ
2019年4月リリース
new
活性移行
以前の製品
ファイアウォールマイグレーション
数10データセンターに展開、1データーセンター内でも世界最大規模の利用

運用のチーム体制はどうなっているのか？
8
vCenter/ESXi
担当者
物理機器
担当者
ニフクラ
アプリケーション担当者
顧客サポート
担当者
NSX 担当者
vib
企画
設計
運用開発

運用ツールはどうなっているのか
9
API監視
アプリケーション
(自作：nsxraml 利用)
ファイアウォール
ログパース
アプリケーション
（自作）
ESXiNSX Manager
ユーザー
構成管理
運用者

運用ツール開発はどうなっているのか
コミット
テスト
環境作成テスト
リリース
NS
X
VM VM
nested
ESXi
nested
ESXi
nested
ESXi
vC VM VM
テスト環境 VMware vSphere®
nested の環境をクローン
NS
X
VM VM
nested
ESXi
nested
ESXi
nested
ESXi
vC VM VM
テスト環境 VMware vSphere®
ESXi ESXi
テスト
環境
テスト
環境
テスト
環境
new
VM 変更したコードを実行し
vSphere を含む全体の挙動をテスト
10
CI 利用

Copyright 2019 FUJITSU CLOUD TECHNOLOGIES LIMITED 11
DFWのトラブルシューティング

大きく分けると2種類
IP Port Act
A 80 Allow
12
IP Port Act
A 80 Allow
A 443 Allow
設定が反映されていないルールで許可しているがドロップ
SrcIP:A
80/tcp
IP Port Act
A 80 Allow
参考： vForum 2016 資料「マイクロセグメンテーション運用のためのNSX for vSphere -Distributed Firewall トラブルシューティング」

IP Port Act
A 80 Allow
13
IP Port Act
A 80 Allow
A 443 Allow
SrcIP:A
80/tcp
IP Port Act
A 80 Allow

設定が反映されていない場合の切り分け
◼ 設定したファイアウォールルールの設定は左のような
流れになっている
14
NSX Manager
ESXi
dvfilter
vsip
vsfwd
全体像

◼ まずは意図したとおりのルールがNSXに入っているか確認
する
◼ UI や API で確認できる
15
NSX Manager
ESXi
dvfilter
vsip
vsfwd
全体像
% curl -s -k -u admin:$PASS -H 'Accept: application/json‘
https://$NSXIP/api/4.0/firewall/globalroot-0/config
| jq -r '.layer3Sections.layer3Sections[].rules[]‘

◼ ある時点のファイアウォールのルールは
generation number という番号とともに管理される
16
NSX Manager
ESXi
dvfilter
vsip
vsfwd
NSX Manager から各ホストに配信されているか？
% curl -s -k -u admin:$PASS -H 'Accept: application/json'
“https://$NSXIP/api/4.0/firewall/globalroot-0/status” | jq -r .
{
"startTime": 1557974013000,
"status": "published",
"generationNumber": "1557974013000",
"generationNumberObjects": "1558005383998",
"clusterList": [
{
"clusterId": "domain-c113",
"generationNumberObjects": "1558005383998",
"hostStatusList": [
{
"hostId": "host-24459",
"hostName": “xxxxx",
"errorCode": 0,
"startTime": 1557974017329,
"endTime": 1558006428268,
"clusterId": "domain-c113",
% curl -s -k -u admin:$PASS -H 'Accept: application/json'
“https://$NSXIP/api/4.0/firewall/globalroot-0/config” | jq -r .generationNumber
1557974013000
◼ API でどのホストにどの generation number のファ
イアウォールが配信されているか分かる

◼ vsm.log （NSX Manager のログ）
17
NSX Manager
ESXi
dvfilter
vsip
vsfwd
NSX Manager から各ホストに配信されているか？（ログ）
# クラスタへの配信開始
ConfigurationPublisher:89 - Updating Cluster domain-c136174 with Generation Number
1558017119337
# ホストへの配信開始
ConfigurationPublisher:248 - Updating host host-160805 status for firewall, generation
1558017119337 ; StatusCode - 0, Status Message –
# ホストへの配信完了
FirewallDao:1241 - Host Status update for host host-160805 with latest generation
number 1558017119337 , end time 1558017151737, errorCode null

◼ ルールセットが正しく vsip まで展開されているかは
以下のコマンドで確認できる
18
NSX Manager
ESXi
dvfilter
vsip
vsfwd
ESXi 上で正しく展開されているか？
[root@host:~] vsipioctl loadruleset | grep ^Generation
Generation : 1557974013000
2019-05-16T18:22:57Z vsfwd: [INFO] Applying firewall config to vnic list on host
host-24459
2019-05-16T18:22:57Z vsfwd: [INFO] Applied RuleSet 1557974013000 on vnic
50190c49-ffcf-4e6c-fd97-3b12a0849333.001
2019-05-16T18:22:57Z vsfwd: [INFO] Applied RuleSet 1557974013000 on vnic
50190c49-ffcf-4e6c-fd97-3b12a0849333.000
2019-05-16T18:22:57Z vsfwd: [INFO] Applied RuleSet 1557974013000 for all
vnics
2019-05-16T18:22:57Z vsfwd: [INFO] Sending vsa reply of domain-c113 host
host-24459: 0
◼ ログで確認する事もできる
(ESXi) vsfwd.log

◼ 各 dvfilter は ID 単位で操作できる
◼ 以下のコマンドが dvfilter を識別するコマンド
19
NSX Manager
ESXi
dvfilter
vsip
vsfwd
[root@host:~] summarize-dvfilter
…
port 84136444 vm.eth0
vNic slot 2
name: nic-102377785-eth0-vmware-sfw.2
…
[root@host:~] vsipioctl getrules -f nic-102377785-eth0-vmware-sfw.2
ruleset domain-c113 {
# Filter rules
rule 1006 at 1 in protocol tcp from addrset ip-ipset-7 to any port 10050 accept;
rule 1005 at 2 in protocol tcp from addrset ip-ipset-8 to any port 10050 accept;
rule 1001 at 3 inout protocol any from any to any accept;
}
◼ vsipioctl getrules で各 dvfilter ごとに適用されてい
るルールを確認できる

◼ アドレスセットがどの様になっているかは
vsipioctl getaddrsets で確認できる
20
NSX Manager
ESXi
dvfilter
vsip
vsfwd
[root@host:~] vsipioctl getaddrsets -f nic-102377785-eth0-
vmware-sfw.2
addrset ip-ipset-7 {
ip 10.20.0.32,
◼ Source や Destination に vCenter object や Security
Group を指定した場合
VMware tools が動作していないなどの理由により IP が
展開されないことがある
対策としては
VMware tools を起動するか
Snooping 有効にするか

切り分け方法
◼ 入れたルールがただしいか調べる
◼ 配信されているか調べる
考えられる問題
◼ 入れたルールが正しくない
◼ vsfwd と NSX Manager が通信できない
◼ VMware tools が停止している
21
NSX Manager
ESXi
dvfilter
vsip
vsfwd
まとめ

IP Port Act
A 80 Allow
22
IP Port Act
A 80 Allow
A 443 Allow
SrcIP:A
80/tcp
IP Port Act
A 80 Allow

ルールで許可しているがドロップするケース
◼ コネクショントラッカーテーブルとルールテーブルを持っている
◼ 既存コネクション
• コネクショントラッカーテーブルで評価され一致すれば通過
◼ 新規コネクション
• ルールテーブルに一致する場合通過、コネクショントラッカーテーブル
にエントリーを追加
23
sIP sPort dIP dPort State Seq IP Port Dir State
コネクション有
TCP正常
コネクション無 Allow
Reject/Drop
TCP異常
ruleconntrack
dfwpktlogs.log
DFW のメカニズム概要

◼ Dvfilter の統計情報から確認
24
TCP正常
Reject/Drop
TCP異常
ruleconntrack
dfwpktlogs.log
ファイアウォールで拒否していることを切り分ける方法
[root@host:~] vsipioctl getfilterstat -f nic-16002942-eth1-vmware-sfw.2
PACKETS IN OUT
------- -- ---
v4 pass: 83 3
v4 drop: 608 0

◼ DFW 前後でパケットキャプチャから差分を確認
25
TCP正常
Reject/Drop
TCP異常
ruleconntrack
dfwpktlogs.log
ファイアウォールで拒否していることを切り分ける方法
# ファイアウォール直前パケットキャプチャ
pktcap-uw --capture PreDvFilter --dvfilter $DVFILTER
# ファイアウォール直後パケットキャプチャ
pktcap-uw --capture PostDvFilter --dvfilter $DVFILTER
詳細はドキュメント「DVFilter レベルでのパケットのキャプチャ」

◼ dfwpktlogs.log
26
TCP正常
Reject/Drop
TCP異常
ruleconntrack
dfwpktlogs.log
ルールテーブルでドロップしている場合の切り分け方
INET match DROP domain-c171871/11064 IN 40 TCP 192.168.0.31/50325->192.168.0.32/80 S
ルールにマッチしドロップ
ルールID 送信元/送信先
方向 TCP フラグ

◼ 拒否するケースに合致しないか調査する
• 拒否するケースが記載されているKB:
PF reason codes in NSX for vSphere 6.x (2149586)
◼ 具体的に知りたい場合：
パケットキャプチャと dfwpktlogs.log の差分を調べる
27
TCP正常
Reject/Drop
TCP異常
ruleconntrack
dfwpktlogs.log
コネクショントラッカーテーブルで拒否しているパケットを切り分ける方法

Conntrack が理由でドロップするケース
◼ DFW はウィンドウの計算もしていて、ウインドウを超えた場合はドロップする
◼ 行き/戻りで通信元/通信先が一致しない場合計算できず、
約 65KB を超えるとドロップしてしまう。
28
非対称ルーティング
SEND
ACK
SEND
SEND
SEND

◼ クライアントが異常終了した場合など、サーバーが ESTABLISHED 状
態で有るにかかわらず SYN を送ってしまうケースがある
◼ NSX6.2.3 以降だと challenge ack を返すようになり改善されている
29
EST 状態で SYN を受け取った場合（6.2.3 で改善）
SYN
SYN/ACK
ACK
EST
SYN
HA 等の理由でクライアントの
コネクションがリセット
(ハーフオープン状態)
ESTABLISHED 状態で
SYN 受信は不正と判断しドロップ

◼ クライアントが異常終了した場合など、サーバーが ESTABLISHED 状
態で有るにかかわらず SYN を送ってしまうケースがある
◼ NSX6.2.3 以降だと challenge ack を返すようになり改善されている
30
EST 状態で SYN を受け取った場合（6.2.3 で改善）
SYN
SYN/ACK
ACK
EST
SYN
HA 等の理由でクライアントの
コネクションがリセット
(ハーフオープン状態)
ステートクリア
ACK
RST
SYN
SYN/ACK
ACK
DFW が代理応答で ACK
SYNSENT 状態で ACK を受け取り
RST を返却、DFWのステートが
クリアされる
NSX 6.2.3 以降

今日の内容
IP Port Act
A 80 Allow
31
IP Port Act
A 80 Allow
A 443 Allow
SrcIP:A
80/tcp
IP Port Act
A 80 Allow

まとめ
今日の内容
◼ニフクラは大規模な環境運用のため基盤の紹介
◼NSX の DFW のトラブルシューティングの紹介
32
一緒にクラウドを作ってくれる方募集中です！
（NSX-T など検証中）

vm meetup_tokyo #1 NSX の運用と DFW トラブルシューティング

vm meetup_tokyo #1 NSX の運用と DFW トラブルシューティング

Recommended

More Related Content

What's hot

What's hot(20)

Similar to vm meetup_tokyo #1 NSX の運用と DFW トラブルシューティング

Similar to vm meetup_tokyo #1 NSX の運用と DFW トラブルシューティング(20)

More from 富士通クラウドテクノロジーズ株式会社

More from 富士通クラウドテクノロジーズ株式会社(20)

Recently uploaded

Recently uploaded(7)

vm meetup_tokyo #1 NSX の運用と DFW トラブルシューティング