The network is the lifeblood of any modern private cloud, and it is also one of the hardest parts to understand, configure, and administer in the cloud. The rapid development of cloud technologies has spurred the emergence of special network equipment, new protocols, new technologies, and cloud IT professionals need to understand how it all works, interacts, and is managed. The main purpose of the report is to tell in detail how the network works in modern private clouds, what technologies are used, how they develop, identify problems, and give recommendations for solving them. Abstract: https://rootconf.ru/moscow-rit/2018/abstracts/3402 Video: https://www.youtube.com/watch?v=jrPdkdS5Vcc

1. Сетевые технологии в современных
частных облаках. История развития
сетей, используемые технологии,
проблемы и их решение
Пономарев Вадим

2. Проблемы облачных сетей
1. Большие L2-сегменты
2. Большое количество MAC-адресов
3. Ограниченность VLAN
4. Соединение нескольких дата-центров
5. Гибридные сети
6. Защита трафика

3. Проблемы облачных сетей
1. Большие L2-сегменты
2. Большое количество MAC-адресов
3. Ограниченность VLAN
4. Соединение нескольких дата-центров
5. Гибридные сети
6. Защита трафика

4. Проблемы облачных сетей
1. Большие L2-сегменты
2. Большое количество MAC-адресов
3. Ограниченность VLAN
4. Соединение нескольких дата-центров
5. Гибридные сети
6. Защита трафика

5. Проблемы облачных сетей
1. Большие L2-сегменты
2. Большое количество MAC-адресов
3. Ограниченность VLAN
4. Соединение нескольких дата-центров
5. Гибридные сети
6. Защита трафика

6. Соединение нескольких дата-центров

7. Проблемы облачных сетей
1. Большие L2-сегменты
2. Большое количество MAC-адресов
3. Ограниченность VLAN
4. Соединение нескольких дата-центров
5. Гибридные сети
6. Защита трафика

8. Гибридные сети

9. Проблемы облачных сетей
1. Большие L2-сегменты
2. Большое количество MAC-адресов
3. Ограниченность VLAN
4. Соединение нескольких дата-центров
5. Гибридные сети
6. Защита трафика

10. Switching

11. 1. Forwarding database (FDB)
2. VLAN-фильтр
3. Learning / Flooding
4. STP
+ скрипты с iproute / iptables
Linux Bridge

12. 1. все возможности LinuxBridge
Open vSwitch

13. 1. все возможности LinuxBridge
2. LACP-агрегация каналов
3. поддержка туннелей GRE, VXLAN, STT + IPSec
4. OpenFlow
5. multi-table forwarding
6. удаленное управление (OVSDB)
7. поддержка DPDK
8. conntrack, QoS, BFD, 802.1ag, NetFlow/sFlow/SPAN, ….
+ список всех возможностей: http://www.openvswitch.org/support/dist-docs-2.5/WHY-OVS.md.html
Open vSwitch

14. Приватные сети

15. Изолирование трафика

16. Изолирование трафика
# ovs-vsctl show
Port "tap1"
tag: 1
Interface "tap1"
type: internal
Port "tap2"
tag: 1
Interface "tap2"
type: internal

17. Изолирование трафика
# ovs-ofctl dump-flows br-int
in_port=1,dl_dst=fa:16:3e:9a:ea:09 actions=output:2
in_port=2,dl_dst=fa:16:3e:d3:ac:4a actions=output:1
in_port=1 actions=drop
in_port=2 actions=drop
# ebtables-save
ebtables -A FORWARD --logical-in br-int -s fa:16:3e:9a:ea:09 -d fa:16:3e:d3:ac:4a -j ACCEPT
ebtables -A FORWARD --logical-in br-int -s fa:16:3e:d3:ac:4a -d fa:16:3e:9a:ea:09 -j ACCEPT
ebtables -A FORWARD --logical-in br-int -j DROP

18. Изолирование трафика
dl_vlan=2,dl_dst=fa:16:3e:9a:ea:09
actions=strip_vlan,load:0x66->NXM_NX_TUN_ID[],output:10

19. Управление свичем

20. Управление свичем

21. Управление свичем

22. Openstack Neutron-ovs-agent

23. Туннельные протоколы
VXLAN GENEVE GRE (OVS) NVGRE STT
Based protocol UDP UDP GRE GRE TCP
Tunnel ID field
size (bit)
24 24 32 24 + 8 64
Encapsulation
overhead
(bytes)
50 54 42 42 76
NIC offload checksum / UFO checksum / UFO checksum checksum checksum / TSO
Bare-metal
support
yes no yes no no

24. Производительность
VXLAN GREFlamegraph ksoftirq/0 (10sec)
● https://media.neliti.com/media/publications/177711-EN-performance-analysis-of-vxlan-and-nvgre.pdf
● https://blog.russellbryant.net/2017/05/30/ovn-geneve-vs-vxlan-does-it-matter/

25. Маршрутизация

26. Маршрутизация

27. Маршрутизация

28. Маршрутизация
# ip netns
qrouter-4fe89159-41ee-4380-9a11-cdf5cb9e2644
# ip netns exec qrouter-4fe89159-41ee-4380-9a11-cdf5cb9e2644 ip a
71: qr-87b8abb8-96: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 ...
link/ether fa:16:3e:87:41:15 brd ff:ff:ff:ff:ff:ff
inet 192.168.0.1/24 brd 192.168.0.255 scope global qr-87b8abb8-96
valid_lft forever preferred_lft forever
75: qg-7ec7a054-81: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 ...
link/ether fa:16:3e:c2:22:5c brd ff:ff:ff:ff:ff:ff
inet 95.213.101.38/32 brd 95.213.101.38 scope global qg-7ec7a054-81
valid_lft forever preferred_lft forever

29. Маршрутизация в OpenStack

30. Failover active-standby

31. Проблемы облачных сетей
1. Большие L2-сегменты
2. Большое количество MAC-адресов
3. Ограниченность VLAN
4. Соединение нескольких дата-центров
5. Гибридные сети
6. Защита трафика

32. Несколько дата-центров

33. Несколько дата-центров

34. Несколько дата-центров

35. Несколько дата-центров

36. Проблемы облачных сетей
1. Большие L2-сегменты
2. Большое количество MAC-адресов
3. Ограниченность VLAN
4. Соединение нескольких дата-центров
5. Гибридные сети
6. Защита трафика

37. Гибридная сеть
1. bare-metal сервер не управляется
2. нет VXLAN на bare-metal
3. VLAN нельзя использовать
4. автоматизация

38. Гибридная сеть
Cloud controller должен уметь управлять
VTEP-свичем *
* VTEP - VXLAN Tunnel End Point

39. Проблемы публичных сетей
1. опять “растягиваем” L2
2. адреса “прибиты” к
региону / роутеру

40. Динамические публичные сети
1. избавляемся от L2
2. BGP signaling
3. миграция VM между
дата-центрами с IP-адресом

41. Проблемы облачных сетей
1. Большие L2-сегменты
2. Большое количество MAC-адресов
3. Ограниченность VLAN
4. Соединение нескольких дата-центров
5. Гибридные сети
6. Защита трафика

42. Итоги

43. Итоги

44. Итоги

45. Итоги

46. Проблемы производительности
1. стек Linux TCP/IP
2. NAT
3. tap-интерфейсы
4. сетевой драйвер в гостевой системе

47. Базовый тюнинг работает

48. DPDK

49. DPDK

50. DPDK внутри VM

51. DPDK + namespace

52. DPDK + namespace

53. DPDK + namespace

54. Физическая сеть L2

55. Физическая сеть L2 – отказ leaf

56. Физическая сеть L2 – отказ spine

57. Физическая сеть L2 – super spine

58. Физическая сеть L3

59. Развитие
1. SDN -> стабильность, интеграция с bare-metal
2. Network Functions Virtualization, NFV -> vendor-image
3. Cloud networks -> BGP EVPN, шифрование
4. Linux networking stack -> оптимизация, XDP eBPF
5. Open vSwitch -> OVN
6. NIC -> производительность с NFV
7. Physical network -> переход на 100Gb, IP-Fabric

60. Развитие – IP-фабрики

61. Вадим Пономарев
mail: velizarx@gmail.com
telegram: velizarx