MP BGP-EVPN

1. Copyright@ 2015 All reserved by KrDAG
MP-BGP EVPN FOR VXLAN
HTTP://GOJIBANG.TISTORY.COM
JuHwan LEE
제 1편

2. Copyright@ 2015 All reserved by KrDAG
VXLAN REVIEW

3. Copyright@ 2015 All reserved by KrDAG
1. REVIEW
What is VXLAN?
VXLAN (Virtual eXtensible Local Area Network)
 Virtual Extensible LAN (VXLAN) is a network virtualization technology that attempts
to ameliorate the scalability problems associate with large cloud computing
deployment. It uses a VLAN-like encapsulation technique to encapsulate MAC-
based OSI layer 2 Ethernet frames within layer 4 UDP packets, using 4789 as the
default IANA-assigned destination UDP port number.
 MAC Over IP/UDP Technology
https://en.wikipedia.org/wiki/Virtual_Extensible_LAN

4. Copyright@ 2015 All reserved by KrDAG
#1. REVIEW
What is VXLAN?
VxLAN (Virtual eXtensible Local Area Network)
 물리적인 환경 제약 없이 Layer 2 Segment를 확장
 Network Overlay – MAC over IP/UDP Encapsulation
 Layer 2 12bit VLAN ID 사용 -> VXLAN 24bit VNID 지원
 Multicast 기반으로 VTEP Tunneling하기 때문에 별도의 네트워크 구성 필요없음

5. Copyright@ 2015 All reserved by KrDAG
1. REVIEW
VXLAN 등장배경?
전통적인 데이터센터의 문제점
 VLAN의 한계 : 4096개를 사용할 수 있으며 Reserve된 VLAN을 제외하면 4000개를 사용 가능
 Multi Tenancy 환경 또는 VDC별로 사용할 수 있는 VLAN의 한계점 도달
 MAC Table의 한계 : 서버는 과거와 달리 가상화 기반으로 구성하는 경우가 많아지고 있으며
서버당 MAC이 1:1이 아니라 1:N으로 변화되는 시점 (MAC 100K)
 Mobility : 일반적으로 Zone / POD별 VLAN Trunk 구성되어 있으며 능동적인 Mobility 환경을
구성하기 어러움
 STP : STP 환경에선 대부분 Redundant Disable되어 있음.ECMP 환경 구성이 어려움. 하지만
IP Network에선 ECMP 환경 구성이 쉬워짐

6. Copyright@ 2015 All reserved by KrDAG
1. REVIEW
Why use VXLAN?
VXLAN 특징
 VLAN의 한계점 극복 : VXLAN을 사용하면 12bit(4096)의 VLAN에서 24bit(16,000,000)
VLAN을 생성할 수 있다.
 MAC Table 한계점 극복 : 불필요한 MAC TABLE을 TOR이 소유하지 않고 하단의 vSwitch가
보유하고 있으며 해당 VXLAN을 통해서 포워딩이 이루어 진다.
 VXLAN은 VLAN Trunk가 필요없음 Multicast 기반으로 Tunnel이 구성되어 있음
 ECMP : L2 환경에서 구성하기 어려움 ECMP 구성이 용이해짐 (STP Free구조)

7. Copyright@ 2015 All reserved by KrDAG
1. REVIEW
VXLAN Packet Structure
Cisco LIVE BRKDCT-2404
`

8. Copyright@ 2015 All reserved by KrDAG
1. REVIEW
VTEP (VXLAN Tunnel End Point)
http://www.definethecloud.net/vxlan-deep-dive/
- VTEP는 VXLAN Tunnel의 Encapsulation과 Termination의 End Point 역할을 수행한다.
- Multicast 기반으로 VETP 사이에 Direct Unicast Tunnel이 생성된다.

9. Copyright@ 2015 All reserved by KrDAG
1. REVIEW
VTEP (VXLAN Tunnel End Point)

10. Copyright@ 2015 All reserved by KrDAG
1. REVIEW
VXLAN 동작 방식(1)
Multicast Group
VTEP-1
VTEP-2
VTEP-3
Multicast RP
 VXLAN Configuration
 스위치에 연결되어 있는 서버등 장비의 정보를
가지고와서 VXLAN VTEP Local Table에 등록
 각각의 스위치에서 같은 멀티캐스트 그룹에 VNI 조인
 멀티캐스트 그룹은 Any-Source Multicast(ASM) 지원
SRV-A Port1/1 SRV-B Port1/2
SRV-3 Port1/3
SVR-A
SVR-B
SVR-C

11. Copyright@ 2015 All reserved by KrDAG
1. REVIEW
VXLAN 동작 방식(2)
Multicast Group
VTEP-1
VTEP-2
VTEP-3
Multicast RP
 SRV-A가 SRV-B와 통신이 필요
 ARP Request를 통해 SRV-B에 대한 정보를 lookup
 Local Table에 정보가 없다면 ARP정보를 VXLAN으로
감싸서 멀티캐스트 RP에 요청
 멀티캐스트 RP는 VTEP에 대한 정보를 받아서
멀티캐스트 그룹에 조인되어 있는 모든 VTEP에 정보를
전달
SRV-A Port1/1 SRV-B Port1/2
SRV-3 Port1/3
SVR-A
SVR-B
SVR-C

12. Copyright@ 2015 All reserved by KrDAG
1. REVIEW
VXLAN 동작 방식(3)
Multicast Group
VTEP-1
VTEP-2
VTEP-3
Multicast RP
 정보를 받은 각각의 스위치는 VTEP Table을 Update
 정보는 받은 스위치의 VTEP은 ARP Request에 대하여
서버에게 전달
SRV-A Port1/1 SRV-B Port1/2
SRV-A VTEP1
SRV-3 Port1/3
SRV-A VTEP1
SVR-A
SVR-B
SVR-C

13. Copyright@ 2015 All reserved by KrDAG
1. REVIEW
VXLAN 동작 방식(4)
Multicast Group
VTEP-1
VTEP-2
VTEP-3
Multicast RP
 VTEP에 대한 정보는 받은 SRV-B가 ARP 응답
 VXLAN으로 Encapsulation하여 VTEP1에 대하여
Unicast로 응답
 VTEP1은 VXLAN패킷을 De-encapsulation하여 SRV-
A에게 전달 SRV-A Port1/1
SRV-B VTEP2
SRV-B Port1/2
SRV-A VTEP1
SRV-3 Port1/3
SRV-A VTEP1
SRV-A
SRV-B
SRV-C
Unicast 응답

14. Copyright@ 2015 All reserved by KrDAG
VXLAN은
Flooding and Learning 방식
(BUM Traffic에 대하여 효과적으로 대응하기가 어려움)

15. Copyright@ 2015 All reserved by KrDAG
그래서 사용한것이
MP-BGP EVPN Control Plane이다

16. Copyright@ 2015 All reserved by KrDAG
MP-BGP EVPN

17. Copyright@ 2015 All reserved by KrDAG
2. MP-BGP EVPN
What is MP-GBP EVPN
MP-BGP EVPN Control Plane의 특징
 Control plane learning for end host Layer2 and Layer3 reachability information to build more robust and scalable VXLAN
overlay network
 Leverages the decade-long MP-BGP VPN technology to support scalable multi-tenant VXLAN overlay network
 EVPN address family carries both Layer2 and Layer3 reachability information. This provides integrated bridging and routing
in VXLAN overlay network
 Minimizes network flooding through protocol-driven host MAC/IP route distribution and arp suppression on toe local VTEPs.
 Provides optimal forwarding for east-west and north-south bound traffic with the distributed anycast function
 Provides VTEP peer discovery and authentication which mitigates the risk of rouge VTEPs in the VXLAN overlay network
http://blogs.cisco.com/datacenter/mp-bgp-evpn-control-plane-for-vxlan-sdn-is-growing-up

18. Copyright@ 2015 All reserved by KrDAG
2. MP-BGP EVPN
What is MP-GBP EVPN
MP-BGP EVPN Control Plane의 특징
 Early ARP Termination : Unknown Unicast ARP에 대한 Suppression
 보안 / 인증 : BGP peer를 통해 VTEP 인증 지원
 Distributed Anycast Gateway : 최적의 VM 모빌리티 환경
 Ingress 복제시 멀티캐스트뿐 아니라 유니캐스트도 지원
 Active/Active Multipathing : Nexus의 VPC를 사용한 Active/Active와 Resilient Multipathing

19. Copyright@ 2015 All reserved by KrDAG
MP-BGP EVPN-RFC 7432
2. MP-BGP EVPN

20. Copyright@ 2015 All reserved by KrDAG
2. MP-BGP EVPN
VXLAN With MP-BGP EVPN Control Plane 동작 방식(1)
Multicast Group
VTEP-1
VTEP-2
VTEP-3
MP-BGP
EVPN RR
 VXLAN Configuration with MP-BGP EVPN
 스위치에 연결되어 있는 서버등 장비의 정보를
가지고와서 VXLAN VTEP Local Table에 등록
 각각의 Entry는 Version 정보를 가지고 있음
 VTEP은 자신의 정보를 BGP-RR에 광고
SVR-A
SVR-B
SVR-C
SRV-C Port1/3 0
SRV-B Port1/2 0
SRV-A VTEP1 0
SRV-B VTEP2 0
SRV-C VTEP3 0
SRV-A Port1/1 0

21. Copyright@ 2015 All reserved by KrDAG
2. MP-BGP EVPN
VXLAN With MP-BGP EVPN Control Plane 동작 방식(2)
Multicast Group
VTEP-1
VTEP-2
VTEP-3
MP-BGP
EVPN RR
 VXLAN Configuration with MP-BGP EVPN
 BGP-RR은 각각의 VTEP 정보를 통합
 각각의 VTEP에게 Remote host에 대한 정보를 전달
SVR-A
SVR-B
SVR-C
SRV-A Port1/1 0
SRV-B VTEP2 0
SRV-C VTEP3 0
SRV-C Port1/3 0
SRV-A VTEP1 0
SRV-B VTE2 0
SRV-B Port1/2 0
SRV-A VTEP1 0
SRV-C VTEP3 0
SRV-A VTEP1 0
SRV-B VTEP2 0
SRV-C VTEP3 0

22. Copyright@ 2015 All reserved by KrDAG
2. MP-BGP EVPN
VXLAN With MP-BGP EVPN Control Plane 동작 방식(3)
Multicast Group
VTEP-1
VTEP-2
VTEP-3
MP-BGP
EVPN RR
 SRV-A가 SRV-B와 통신이 필요
 ARP Request에 대한 요청을 Local Table에서 Lookup
SVR-A
SVR-B
SVR-C
SRV-A Port1/1 0
SRV-B VTEP2 0
SRV-C VTEP3 0
SRV-C Port1/3 0
SRV-A VTEP1 0
SRV-B VTE2 0
SRV-B Port1/2 0
SRV-A VTEP1 0
SRV-C VTEP3 0
SRV-A VTEP1 0
SRV-B VTEP2 0
SRV-C VTEP3 0

23. Copyright@ 2015 All reserved by KrDAG
2. MP-BGP EVPN
VXLAN With MP-BGP EVPN Control Plane 동작 방식(4)
Multicast Group
VTEP-1
VTEP-2
VTEP-3
MP-BGP
EVPN RR
 Local Table에서 정보는 찾고 Unicast로 Traffic을 전달
SVR-A
SVR-B
SVR-C
SRV-A Port1/1 0
SRV-B VTEP2 0
SRV-C VTEP3 0
SRV-C Port1/3 0
SRV-A VTEP1 0
SRV-B VTE2 0
SRV-B Port1/2 0
SRV-A VTEP1 0
SRV-C VTEP3 0
SRV-A VTEP1 0
SRV-B VTEP2 0
SRV-C VTEP3 0

24. Copyright@ 2015 All reserved by KrDAG
2. MP-BGP EVPN
VXLAN With MP-BGP EVPN Control Plane 동작 방식(5)
Multicast Group
VTEP-1
VTEP-2
VTEP-3
MP-BGP
EVPN RR
 SRV-A 가 다른위치로 변경되고 변경된 위치에서 서버가
발견되었을 때
 PE는 Local Table에 정보를 업데이트 함
 업데이트된 정보의 Version Number를 기존 Version
Number보다 높게 함
 새로운 정보에 대해서 BGP-RR이 광고 후 BGP-RR은
각각의 VTEP에게 전달
 정보를 받은 VTEP은 Local Table을 업데이트 함
SVR-A
SVR-B
SVR-C
SRV-A Port1/1 1
SRV-B VTEP2 0
SRV-C VTEP3 0
SRV-C Port1/3 0
SRV-A VTEP1 1
SRV-B VTE2 0
SRV-B Port1/2 0
SRV-A VTEP1 1
SRV-C VTEP3 0
SRV-A VTEP1 1
SRV-B VTEP2 0
SRV-C VTEP3 0
서버이동

25. Copyright@ 2015 All reserved by KrDAG
2. MP-BGP EVPN
VXLAN With MP-BGP EVPN Control Plane 동작 방식(6)
Multicast Group
VTEP-1
VTEP-2
VTEP-3
MP-BGP
EVPN RR
 BGP-RR에 Join되지 않은 BUM Traffic 발생
 VTEP1은 자신의 정보를 COPY하여 각각의 VTEP에게
정보를 전달
 각각의 VTEP은 BUM Traffic에 대해서 Flooding
SVR-A
SVR-B
SVR-C
SRV-A Port1/1 0
SRV-B VTEP2 0
SRV-C VTEP3 0
SRV-C Port1/3 0
SRV-A VTEP1 0
SRV-B VTE2 0
SRV-B Port1/2 0
SRV-A VTEP1 0
SRV-C VTEP3 0
SRV-A VTEP1 0
SRV-B VTEP2 0
SRV-C VTEP3 0
SVR-X

26. Copyright@ 2015 All reserved by KrDAG
VXLAN Overlay
2. MP-BGP EVPN
VXLAN / EVPN
RR RR
Host and Subnet Route Distribution
 Host Route Distribution decoupled from the
underlay protocol
 Use MultiProtocol-BGP(MP-BGP) on the
Leaf nodes to distribute internal
Host/Subnet Routes and external
reachability information
 Route-Reflectors deployed for scaling
purposes

27. Copyright@ 2015 All reserved by KrDAG
MP-BGP EVPN는
END-HOST Information Learning 방식

28. Copyright@ 2015 All reserved by KrDAG
비교

29. Copyright@ 2015 All reserved by KrDAG
3. 비교
VXLAN vs VXLAN with MP-BGP EVPN
Flood-&-Learn EVPN Control Plane
Overlay Services L2+L3 L2+L3
Underlay Network IP network with ECMP IP network with ECMP
Encapsulation MAC in UDP MAC in UDP
Peer Discovery Data-driven flood-&-learn MP-BGP
Peer Authentication Not available MP-BGP
Host Route Learning Local hosts: Data-driven flood-&-learn
Remote hosts: Data-driven flood-&-learn
Local Host: Data-driven
Remote host: MP-BGP
Host Route Distribution No route distribution. MP-BGP
L2/L3 Unicast Forwarding Unicast encap Unicast encap
BUM Traffic forwarding Multicast replication
Unicast/Ingress replication
Multicast replication
Unicast/Ingress replication

30. Copyright@ 2015 All reserved by KrDAG