Recommended
Recommended
More Related Content
What's hot
What's hot (18)
Similar to Ictsc9 infra解説スライド
Similar to Ictsc9 infra解説スライド (20)
Ictsc9 infra解説スライド
- 1. インフラ解説
- 2. ICTSC バックボーンの歴史 ・ ICTSC6： NAVT(Network Address Vlan Transration)誕 生 ICTSC7: テーマは安定感 ICTSC8: テーマは仮想化
- 3. ICTSC バックボーンの歴史 ・ ICTSC6： NAVT(Network Address Vlan Transration)誕 生 ICTSC7: テーマは安定感 ICTSC8: テーマは仮想化 ICTSC 9 is...
- 4. 冗長化！
- 6. 機材提供 Home NOC Operators Group 様 ジュニパーネットワークス 株式会社 様 さくらインターネット 株式会社 様 シスコシステムズ 合同会社 様 株式会社 サイバーエージェント 様 NHN テコラス 株式会社 様
- 10. 今回使っている機材 ・ネットワーク機器 ・IX2105 * 1 ・SRX1500 * 2 ・QFX5100 * 2 ・Nexus 5548 * 2 ・Nexus 2248p * 2 ・AIR-CT2504 * 2 ・AIR-CAP3702E * 3 ・サーバ ・IBM x3540 m4 *6 ・PRIMERGY RX100 S7 *4 ・ドライブ ・Fusion IO * 6 ・モジュール ・SPF+モジュール 52個 ・マルチファイバー 26本 ・シングルファイバー 3本 ・QSFP+ 2本 ・FEX モジュール 8個
- 11. そして物理トポロジ図がこちら
- 12. dwdm firewall SRX 1500 Chassis Cluster QFX 5100 Nexus 2248 Server * 6 IBM System x3530 M4 Multi-chassis Link Aggregation with VRRP Ether end IX2105 team aggre Switch Catalyst 2960X mng sw Catalyst 2960X APs AIR3702e Team 2960-A Catalyst 2960 10G SPF+ 1G metal 40G QSFP LAG z k8s Problem VMs WLC-02 AIR-CT2504 WLC-01 AIR-CT2504 Server * 2 PRIMERGY RX100 S7 Enhanced vPC z NAVT Nexus 5548p
- 13. dwdm firewall SRX 1500 Chassis Cluster QFX 5100 Nexus 2248 Server * 6 IBM System x3530 M4 Multi-chassis Link Aggregation with VRRP Ether end IX2105 team aggre Switch Catalyst 2960X mng sw Catalyst 2960X APs AIR3702e Team 2960-A Catalyst 2960 10G SPF+ 1G metal 40G QSFP LAG z k8s Problem VMs WLC-02 AIR-CT2504 WLC-01 AIR-CT2504 Server * 2 PRIMERGY RX100 S7 Enhanced vPC z NAVT Nexus 5548p メイン回線は ダークファイバー サブ回線は メタル 冗長化なので同じ機器を ２台以上で構築 Openflowを利用 したアドレス変換 Openstack上に問題VM とスコアサーバと監視 サーバ用のK8Sを構築 Mobility Group OSPF multipath eBPG FlexConnect
- 14. そして論理トポロジ図がこちら
- 15. team01 192.168.0.0/24 192.168.1.0/24 192.168.2.0/24 192.168.3.0/24 ・SRX1500 VID 100 VID 200 VID 300 team01 10.1.0.0 10.1.1.0 10.1.2.0 10.1.3.0 N A V T team02 192.168.0.0/24 192.168.1.0/24 192.168.2.0/24 192.168.3.0/24 ・ team03 192.168.0.0/24 192.168.1.0/24 192.168.2.0/24 192.168.3.0/24 ・team02 10.2.0.0 10.2.1.0 10.2.2.0 10.2.3.0 team03 10.3.0.0 10.3.1.0 10.3.2.0 10.3.3.0 POP03 (東京) POP52 (大阪) eBGP - IPv4 full routes - IPv6 full routes eBGP - default route originate ダークファイバー EtherIP tunnel QFX5100
- 16. team01 192.168.0.0/24 192.168.1.0/24 192.168.2.0/24 192.168.3.0/24 ・SRX1500 VID 100 VID 200 VID 300 team01 10.1.0.0 10.1.1.0 10.1.2.0 10.1.3.0 N A V T team02 192.168.0.0/24 192.168.1.0/24 192.168.2.0/24 192.168.3.0/24 ・ team03 192.168.0.0/24 192.168.1.0/24 192.168.2.0/24 192.168.3.0/24 ・team02 10.2.0.0 10.2.1.0 10.2.2.0 10.2.3.0 team03 10.3.0.0 10.3.1.0 10.3.2.0 10.3.3.0 POP03 (東京) POP52 (大阪) eBGP - IPv4 full routes - IPv6 full routes eBGP - default route originate ダークファイバー QFX5100 サブ回線からは デフォルトルート メイン回線からは フルルート EtherIP tunnel
- 17. team01 VID:100 192.168.0.1 ↔ 10.1.0.1 ・Openflow (Ryu SDN Controller)で実装 ・src_ipとdst_ipをVLAN IPをもとに変換 ・NAVT(Network Address Vlan Translation) ・運営チームからは一意のアドレスでアクセス ・問題vmのアドレスをチームごとに変更不要 トラコン独自実装 NAVTについて z NAVT
- 18. トラコン初のフルルート🎉
- 19. Juniper SRX1500 firewall SRX 1500 10G SPF+ 1G metal 40G QSFP LAG Chassis Cluster ・仮想化機能を活用した一つの論理デバイス ・Active/Active 動作 ・各デバイスで同じconfigを持つ OSPFのマルチパスで負荷分散 Dark fiber Ehter IP eBGP OSPF
- 20. Juniper QFX5100 L3 QFX 5100 Multi-chassis Link Aggregation with VRRP VRRP VIP 192.168.0.254/24 LACP .253.252 10G SPF+ 1G metal 40G QSFP LAG L2はMC-LAGで冗長 L3はVRRPで冗長 ICCP ・対向からみたL2では１台に見える ・対向からみたL3では２台に見える ・Active/Active 動作 ・別々のconfigになる 40G 80G
- 21. Cisco Nexus 5548/2248p 10G SPF+ 1G metal 40G QSFP LAG Nexus 5548 Nexus 2248p Enhanced vPC (virtualPortChannel) ・Nexus 2248一つのラインカードとして使用しています ・Nexus 5548のvPCを使用してデュアルホーム接続 ・またNexus 2248(FEX)がNexus 5548にデュアルホーム接続 ・スイッチをまたいだport-channelを実装 ・２つの独立ノード Enhanced vPC
- 27. QFX 5100 Nexus 2248 Server * 6 IBM System x3530 M4 10G SPF+ 1G metal 40G QSFP LAG z k8s Problem VMs Server * 2 PRIMERGY RX100 S7 Enhanced vPC z NAVT Nexus 5548p iperf3を用いて赤矢印の経路 で5Gbpsが出るかを 検証しました ベンチマーク
- 30. １日目に起きた障害について