Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

vm meetup_tokyo #1 NSX の運用と DFW トラブルシューティング

908 views

Published on

20190517 vm meetup_tokyo
NSX の運用と DFW トラブルシューティング

Published in: Engineering
  • DOWNLOAD THE BOOK INTO AVAILABLE FORMAT (New Update) ......................................................................................................................... ......................................................................................................................... Download Full PDF EBOOK here { https://soo.gd/irt2 } ......................................................................................................................... Download Full EPUB Ebook here { https://soo.gd/irt2 } ......................................................................................................................... Download Full doc Ebook here { https://soo.gd/irt2 } ......................................................................................................................... Download PDF EBOOK here { https://soo.gd/irt2 } ......................................................................................................................... Download EPUB Ebook here { https://soo.gd/irt2 } ......................................................................................................................... Download doc Ebook here { https://soo.gd/irt2 } ......................................................................................................................... ......................................................................................................................... ................................................................................................................................... eBook is an electronic version of a traditional print book THE can be read by using a personal computer or by using an eBook reader. (An eBook reader can be a software application for use on a computer such as Microsoft's free Reader application, or a book-sized computer THE is used solely as a reading device such as Nuvomedia's Rocket eBook.) Users can purchase an eBook on diskette or CD, but the most popular method of getting an eBook is to purchase a downloadable file of the eBook (or other reading material) from a Web site (such as Barnes and Noble) to be read from the user's computer or reading device. Generally, an eBook can be downloaded in five minutes or less ......................................................................................................................... .............. Browse by Genre Available eBOOK .............................................................................................................................. Art, Biography, Business, Chick Lit, Children's, Christian, Classics, Comics, Contemporary, CookBOOK, Manga, Memoir, Music, Mystery, Non Fiction, Paranormal, Philosophy, Poetry, Psychology, Religion, Romance, Science, Science Fiction, Self Help, Suspense, Spirituality, Sports, Thriller, Travel, Young Adult, Crime, EBOOK, Fantasy, Fiction, Graphic Novels, Historical Fiction, History, Horror, Humor And Comedy, ......................................................................................................................... ......................................................................................................................... .....BEST SELLER FOR EBOOK RECOMMEND............................................................. ......................................................................................................................... Blowout: Corrupted Democracy, Rogue State Russia, and the Richest, Most Destructive Industry on Earth,-- The Ride of a Lifetime: Lessons Learned from 15 Years as CEO of the Walt Disney Company,-- Call Sign Chaos: Learning to Lead,-- StrengthsFinder 2.0,-- Stillness Is the Key,-- She Said: Breaking the Sexual Harassment Story THE Helped Ignite a Movement,-- Atomic Habits: An Easy & Proven Way to Build Good Habits & Break Bad Ones,-- Everything Is Figureoutable,-- What It Takes: Lessons in the Pursuit of Excellence,-- Rich Dad Poor Dad: What the Rich Teach Their Kids About Money THE the Poor and Middle Class Do Not!,-- The Total Money Makeover: Classic Edition: A Proven Plan for Financial Fitness,-- Shut Up and Listen!: Hard Business Truths THE Will Help You Succeed, ......................................................................................................................... .........................................................................................................................
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here
  • DOWNLOAD THIS BOOKS INTO AVAILABLE FORMAT (2019 Update) ......................................................................................................................... ......................................................................................................................... Download Full PDF EBOOK here { https://soo.gd/irt2 } ......................................................................................................................... Download Full EPUB Ebook here { https://soo.gd/irt2 } ......................................................................................................................... Download Full doc Ebook here { https://soo.gd/irt2 } ......................................................................................................................... Download PDF EBOOK here { https://soo.gd/irt2 } ......................................................................................................................... Download EPUB Ebook here { https://soo.gd/irt2 } ......................................................................................................................... Download doc Ebook here { https://soo.gd/irt2 } ......................................................................................................................... ......................................................................................................................... ................................................................................................................................... eBook is an electronic version of a traditional print book THIS can be read by using a personal computer or by using an eBook reader. (An eBook reader can be a software application for use on a computer such as Microsoft's free Reader application, or a book-sized computer THIS is used solely as a reading device such as Nuvomedia's Rocket eBook.) Users can purchase an eBook on diskette or CD, but the most popular method of getting an eBook is to purchase a downloadable file of the eBook (or other reading material) from a Web site (such as Barnes and Noble) to be read from the user's computer or reading device. Generally, an eBook can be downloaded in five minutes or less ......................................................................................................................... .............. Browse by Genre Available eBooks .............................................................................................................................. Art, Biography, Business, Chick Lit, Children's, Christian, Classics, Comics, Contemporary, Cookbooks, Manga, Memoir, Music, Mystery, Non Fiction, Paranormal, Philosophy, Poetry, Psychology, Religion, Romance, Science, Science Fiction, Self Help, Suspense, Spirituality, Sports, Thriller, Travel, Young Adult, Crime, Ebooks, Fantasy, Fiction, Graphic Novels, Historical Fiction, History, Horror, Humor And Comedy, ......................................................................................................................... ......................................................................................................................... .....BEST SELLER FOR EBOOK RECOMMEND............................................................. ......................................................................................................................... Blowout: Corrupted Democracy, Rogue State Russia, and the Richest, Most Destructive Industry on Earth,-- The Ride of a Lifetime: Lessons Learned from 15 Years as CEO of the Walt Disney Company,-- Call Sign Chaos: Learning to Lead,-- StrengthsFinder 2.0,-- Stillness Is the Key,-- She Said: Breaking the Sexual Harassment Story THIS Helped Ignite a Movement,-- Atomic Habits: An Easy & Proven Way to Build Good Habits & Break Bad Ones,-- Everything Is Figureoutable,-- What It Takes: Lessons in the Pursuit of Excellence,-- Rich Dad Poor Dad: What the Rich Teach Their Kids About Money THIS the Poor and Middle Class Do Not!,-- The Total Money Makeover: Classic Edition: A Proven Plan for Financial Fitness,-- Shut Up and Listen!: Hard Business Truths THIS Will Help You Succeed, ......................................................................................................................... .........................................................................................................................
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here

vm meetup_tokyo #1 NSX の運用と DFW トラブルシューティング

  1. 1. Copyright 2019 FUJITSU CLOUD TECHNOLOGIES LIMITED VM Meetup Tokyo #1 NSX の運用 DFWトラブルシューティング
  2. 2. Copyright 2019 FUJITSU CLOUD TECHNOLOGIES LIMITED 自己紹介 2 樋口 茂幸 所属: 富士通クラウドテクノロジーズ株式会社 Model: 2012年度入社モデル エンジニア Uptime: 社会人7年目 State: Connected Twitter: @YOMOGItanpop(つぶやいていない) 興味分野:
  3. 3. Copyright 2019 FUJITSU CLOUD TECHNOLOGIES LIMITED 3 ニフクラと NSX
  4. 4. Copyright 2019 FUJITSU CLOUD TECHNOLOGIES LIMITED ◼ 2010年よりクラウド事業を開始 ニフティ株式会社時代のISP事業やWebサービス事業で培ったノウハウとインフラ資産を活用 ◼ 2017年4月社名変更 ニフティ株式会社から富士通クラウドテクノロジーズに ◼ 2017年11月ブランド変更、ニフティクラウドからニフクラに 4 1980年~ パソコン通信/ISP通信/WEBサービス事業 2010年~ クラウド事業 ノウハウとインフラ資産の活用 2017年 VMware APJ最大規模! ニフクラってなに? ML/mBaaS/PaaS も 2006年から、ずっと VMware
  5. 5. Copyright 2019 FUJITSU CLOUD TECHNOLOGIES LIMITED どこで NSX を使っているのか? 5 バックアップ/DRサービス for VMware vSphere® デスクトップサービス (専有型) ニフクラ IaaS
  6. 6. Copyright 2019 FUJITSU CLOUD TECHNOLOGIES LIMITED どこで NSX を使っているのか? 6 バックアップ/DRサービス for VMware vSphere® デスクトップサービス (専有型) ニフクラ IaaS ※一部 を利用
  7. 7. Copyright 2019 FUJITSU CLOUD TECHNOLOGIES LIMITED NSX 利用で特に変わっているところは? 7 ニフクラ IaaS リモートアクセスVPNゲートウェイ 2019年4月リリース new 活性移行 以前の製品 ファイアウォールマイグレーション 数10データセンターに展開、1データーセンター内でも世界最大規模の利用
  8. 8. Copyright 2019 FUJITSU CLOUD TECHNOLOGIES LIMITED 運用のチーム体制はどうなっているのか? 8 vCenter/ESXi 担当者 物理機器 担当者 ニフクラ アプリケーション担当者 顧客サポート 担当者 NSX 担当者 vib 企画 設計 運用開発
  9. 9. Copyright 2019 FUJITSU CLOUD TECHNOLOGIES LIMITED 運用ツールはどうなっているのか 9 API監視 アプリケーション (自作:nsxraml 利用) ファイアウォール ログパース アプリケーション (自作) ESXiNSX Manager ユーザー 構成管理 運用者
  10. 10. Copyright 2019 FUJITSU CLOUD TECHNOLOGIES LIMITED 運用ツール開発はどうなっているのか コミット テスト 環境作成 テスト リリース NS X VM VM nested ESXi nested ESXi nested ESXi vC VM VM テスト環境 VMware vSphere® nested の環境をクローン NS X VM VM nested ESXi nested ESXi nested ESXi vC VM VM テスト環境 VMware vSphere® ESXi ESXi テスト 環境 テスト 環境 テスト 環境 new VM 変更したコードを実行し vSphere を含む全体の挙動をテスト 10 CI 利用
  11. 11. Copyright 2019 FUJITSU CLOUD TECHNOLOGIES LIMITED 11 DFWのトラブルシューティング
  12. 12. Copyright 2019 FUJITSU CLOUD TECHNOLOGIES LIMITED 大きく分けると2種類 IP Port Act A 80 Allow 12 IP Port Act A 80 Allow A 443 Allow 設定が反映されていない ルールで許可しているがドロップ SrcIP:A 80/tcp IP Port Act A 80 Allow 参考: vForum 2016 資料 「マイクロセグメンテーション運用のためのNSX for vSphere -Distributed Firewall トラブルシューティング」
  13. 13. Copyright 2019 FUJITSU CLOUD TECHNOLOGIES LIMITED 大きく分けると2種類 IP Port Act A 80 Allow 13 IP Port Act A 80 Allow A 443 Allow 設定が反映されていない ルールで許可しているがドロップ SrcIP:A 80/tcp IP Port Act A 80 Allow
  14. 14. Copyright 2019 FUJITSU CLOUD TECHNOLOGIES LIMITED 設定が反映されていない場合の切り分け ◼ 設定したファイアウォールルールの設定は左のような 流れになっている 14 NSX Manager ESXi dvfilter vsip vsfwd 全体像
  15. 15. Copyright 2019 FUJITSU CLOUD TECHNOLOGIES LIMITED 設定が反映されていない場合の切り分け ◼ まずは意図したとおりのルールがNSXに入っているか確認 する ◼ UI や API で確認できる 15 NSX Manager ESXi dvfilter vsip vsfwd 全体像 % curl -s -k -u admin:$PASS -H 'Accept: application/json‘ https://$NSXIP/api/4.0/firewall/globalroot-0/config | jq -r '.layer3Sections.layer3Sections[].rules[]‘
  16. 16. Copyright 2019 FUJITSU CLOUD TECHNOLOGIES LIMITED 設定が反映されていない場合の切り分け ◼ ある時点のファイアウォールのルールは generation number という番号とともに管理される 16 NSX Manager ESXi dvfilter vsip vsfwd NSX Manager から各ホストに配信されているか? % curl -s -k -u admin:$PASS -H 'Accept: application/json' “https://$NSXIP/api/4.0/firewall/globalroot-0/status” | jq -r . { "startTime": 1557974013000, "status": "published", "generationNumber": "1557974013000", "generationNumberObjects": "1558005383998", "clusterList": [ { "clusterId": "domain-c113", "status": "published", "generationNumber": "1557974013000", "generationNumberObjects": "1558005383998", "hostStatusList": [ { "hostId": "host-24459", "hostName": “xxxxx", "status": "published", "errorCode": 0, "startTime": 1557974017329, "endTime": 1558006428268, "generationNumber": "1557974013000", "clusterId": "domain-c113", % curl -s -k -u admin:$PASS -H 'Accept: application/json' “https://$NSXIP/api/4.0/firewall/globalroot-0/config” | jq -r .generationNumber 1557974013000 ◼ API でどのホストにどの generation number のファ イアウォールが配信されているか分かる
  17. 17. Copyright 2019 FUJITSU CLOUD TECHNOLOGIES LIMITED 設定が反映されていない場合の切り分け ◼ vsm.log (NSX Manager のログ) 17 NSX Manager ESXi dvfilter vsip vsfwd NSX Manager から各ホストに配信されているか?(ログ) # クラスタへの配信開始 ConfigurationPublisher:89 - Updating Cluster domain-c136174 with Generation Number 1558017119337 # ホストへの配信開始 ConfigurationPublisher:248 - Updating host host-160805 status for firewall, generation 1558017119337 ; StatusCode - 0, Status Message – # ホストへの配信完了 FirewallDao:1241 - Host Status update for host host-160805 with latest generation number 1558017119337 , end time 1558017151737, errorCode null
  18. 18. Copyright 2019 FUJITSU CLOUD TECHNOLOGIES LIMITED 設定が反映されていない場合の切り分け ◼ ルールセットが正しく vsip まで展開されているかは 以下のコマンドで確認できる 18 NSX Manager ESXi dvfilter vsip vsfwd ESXi 上で正しく展開されているか? [root@host:~] vsipioctl loadruleset | grep ^Generation Generation : 1557974013000 2019-05-16T18:22:57Z vsfwd: [INFO] Applying firewall config to vnic list on host host-24459 2019-05-16T18:22:57Z vsfwd: [INFO] Applied RuleSet 1557974013000 on vnic 50190c49-ffcf-4e6c-fd97-3b12a0849333.001 2019-05-16T18:22:57Z vsfwd: [INFO] Applied RuleSet 1557974013000 on vnic 50190c49-ffcf-4e6c-fd97-3b12a0849333.000 2019-05-16T18:22:57Z vsfwd: [INFO] Applied RuleSet 1557974013000 for all vnics 2019-05-16T18:22:57Z vsfwd: [INFO] Sending vsa reply of domain-c113 host host-24459: 0 ◼ ログで確認する事もできる (ESXi) vsfwd.log
  19. 19. Copyright 2019 FUJITSU CLOUD TECHNOLOGIES LIMITED 設定が反映されていない場合の切り分け ◼ 各 dvfilter は ID 単位で操作できる ◼ 以下のコマンドが dvfilter を識別するコマンド 19 NSX Manager ESXi dvfilter vsip vsfwd ESXi 上で正しく展開されているか? [root@host:~] summarize-dvfilter … port 84136444 vm.eth0 vNic slot 2 name: nic-102377785-eth0-vmware-sfw.2 … [root@host:~] vsipioctl getrules -f nic-102377785-eth0-vmware-sfw.2 ruleset domain-c113 { # Filter rules rule 1006 at 1 in protocol tcp from addrset ip-ipset-7 to any port 10050 accept; rule 1005 at 2 in protocol tcp from addrset ip-ipset-8 to any port 10050 accept; rule 1001 at 3 inout protocol any from any to any accept; } ◼ vsipioctl getrules で各 dvfilter ごとに適用されてい るルールを確認できる
  20. 20. Copyright 2019 FUJITSU CLOUD TECHNOLOGIES LIMITED 設定が反映されていない場合の切り分け ◼ アドレスセットがどの様になっているかは vsipioctl getaddrsets で確認できる 20 NSX Manager ESXi dvfilter vsip vsfwd ESXi 上で正しく展開されているか? [root@host:~] vsipioctl getaddrsets -f nic-102377785-eth0- vmware-sfw.2 addrset ip-ipset-7 { ip 10.20.0.32, ◼ Source や Destination に vCenter object や Security Group を指定した場合 VMware tools が動作していないなどの理由により IP が 展開されないことがある 対策としては VMware tools を起動するか Snooping 有効にするか
  21. 21. Copyright 2019 FUJITSU CLOUD TECHNOLOGIES LIMITED 設定が反映されていない場合の切り分け 切り分け方法 ◼ 入れたルールがただしいか調べる ◼ 配信されているか調べる 考えられる問題 ◼ 入れたルールが正しくない ◼ vsfwd と NSX Manager が通信できない ◼ VMware tools が停止している 21 NSX Manager ESXi dvfilter vsip vsfwd まとめ
  22. 22. Copyright 2019 FUJITSU CLOUD TECHNOLOGIES LIMITED 大きく分けると2種類 IP Port Act A 80 Allow 22 IP Port Act A 80 Allow A 443 Allow 設定が反映されていない ルールで許可しているがドロップ SrcIP:A 80/tcp IP Port Act A 80 Allow
  23. 23. Copyright 2019 FUJITSU CLOUD TECHNOLOGIES LIMITED ルールで許可しているがドロップするケース ◼ コネクショントラッカーテーブルとルールテーブルを持っている ◼ 既存コネクション • コネクショントラッカーテーブルで評価され一致すれば通過 ◼ 新規コネクション • ルールテーブルに一致する場合通過、コネクショントラッカーテーブル にエントリーを追加 23 sIP sPort dIP dPort State Seq IP Port Dir State コネクション有 TCP正常 コネクション無 Allow Reject/Drop コネクション有 TCP異常 ruleconntrack dfwpktlogs.log DFW のメカニズム概要
  24. 24. Copyright 2019 FUJITSU CLOUD TECHNOLOGIES LIMITED ルールで許可しているがドロップするケース ◼ Dvfilter の統計情報から確認 24 sIP sPort dIP dPort State Seq IP Port Dir State コネクション有 TCP正常 コネクション無 Allow Reject/Drop コネクション有 TCP異常 ruleconntrack dfwpktlogs.log ファイアウォールで拒否していることを切り分ける方法 [root@host:~] vsipioctl getfilterstat -f nic-16002942-eth1-vmware-sfw.2 PACKETS IN OUT ------- -- --- v4 pass: 83 3 v4 drop: 608 0
  25. 25. Copyright 2019 FUJITSU CLOUD TECHNOLOGIES LIMITED ルールで許可しているがドロップするケース ◼ DFW 前後でパケットキャプチャから差分を確認 25 sIP sPort dIP dPort State Seq IP Port Dir State コネクション有 TCP正常 コネクション無 Allow Reject/Drop コネクション有 TCP異常 ruleconntrack dfwpktlogs.log ファイアウォールで拒否していることを切り分ける方法 # ファイアウォール直前パケットキャプチャ pktcap-uw --capture PreDvFilter --dvfilter $DVFILTER # ファイアウォール直後パケットキャプチャ pktcap-uw --capture PostDvFilter --dvfilter $DVFILTER 詳細はドキュメント「DVFilter レベルでのパケットのキャプチャ」
  26. 26. Copyright 2019 FUJITSU CLOUD TECHNOLOGIES LIMITED ルールで許可しているがドロップするケース ◼ dfwpktlogs.log 26 sIP sPort dIP dPort State Seq IP Port Dir State コネクション有 TCP正常 コネクション無 Allow Reject/Drop コネクション有 TCP異常 ruleconntrack dfwpktlogs.log ルールテーブルでドロップしている場合の切り分け方 INET match DROP domain-c171871/11064 IN 40 TCP 192.168.0.31/50325->192.168.0.32/80 S ルールにマッチしドロップ ルールID 送信元/送信先 方向 TCP フラグ
  27. 27. Copyright 2019 FUJITSU CLOUD TECHNOLOGIES LIMITED ルールで許可しているがドロップするケース ◼ 拒否するケースに合致しないか調査する • 拒否するケースが記載されているKB: PF reason codes in NSX for vSphere 6.x (2149586) ◼ 具体的に知りたい場合: パケットキャプチャと dfwpktlogs.log の差分を調べる 27 sIP sPort dIP dPort State Seq IP Port Dir State コネクション有 TCP正常 コネクション無 Allow Reject/Drop コネクション有 TCP異常 ruleconntrack dfwpktlogs.log コネクショントラッカーテーブルで拒否しているパケットを切り分ける方法
  28. 28. Copyright 2019 FUJITSU CLOUD TECHNOLOGIES LIMITED Conntrack が理由でドロップするケース ◼ DFW はウィンドウの計算もしていて、ウインドウを超えた場合はドロップする ◼ 行き/戻り で 通信元/通信先 が一致しない場合計算できず、 約 65KB を超えるとドロップしてしまう。 28 非対称ルーティング SEND ACK SEND SEND SEND
  29. 29. Copyright 2019 FUJITSU CLOUD TECHNOLOGIES LIMITED Conntrack が理由でドロップするケース ◼ クライアントが異常終了した場合など、サーバーが ESTABLISHED 状 態で有るにかかわらず SYN を送ってしまうケースがある ◼ NSX6.2.3 以降だと challenge ack を返すようになり改善されている 29 EST 状態で SYN を受け取った場合(6.2.3 で改善) SYN SYN/ACK ACK EST SYN HA 等の理由でクライアントの コネクションがリセット (ハーフオープン状態) ESTABLISHED 状態で SYN 受信は不正と判断しドロップ
  30. 30. Copyright 2019 FUJITSU CLOUD TECHNOLOGIES LIMITED Conntrack が理由でドロップするケース ◼ クライアントが異常終了した場合など、サーバーが ESTABLISHED 状 態で有るにかかわらず SYN を送ってしまうケースがある ◼ NSX6.2.3 以降だと challenge ack を返すようになり改善されている 30 EST 状態で SYN を受け取った場合(6.2.3 で改善) SYN SYN/ACK ACK EST SYN HA 等の理由でクライアントの コネクションがリセット (ハーフオープン状態) ステートクリア ACK RST SYN SYN/ACK ACK DFW が代理応答で ACK SYNSENT 状態で ACK を受け取り RST を返却、DFWのステートが クリアされる NSX 6.2.3 以降
  31. 31. Copyright 2019 FUJITSU CLOUD TECHNOLOGIES LIMITED 今日の内容 IP Port Act A 80 Allow 31 IP Port Act A 80 Allow A 443 Allow 設定が反映されていない ルールで許可しているがドロップ SrcIP:A 80/tcp IP Port Act A 80 Allow
  32. 32. Copyright 2019 FUJITSU CLOUD TECHNOLOGIES LIMITED まとめ 今日の内容 ◼ニフクラは大規模な環境運用のため基盤の紹介 ◼NSX の DFW のトラブルシューティングの紹介 32 一緒にクラウドを作ってくれる方募集中です! (NSX-T など検証中)
  33. 33. Copyright 2019 FUJITSU CLOUD TECHNOLOGIES LIMITED

×