Доклад Александра Шалимова на HighLoad++ 2014.

1. Виртуализированный
highload (NFV)
Александр Шалимов

2. Проблемы телеком операторов
• Количества трафика растет, требуется больше
сетевого оборудования, НО доход не растет.
– Инфраструктура состоит из проприетарного
дорого оборудования.
– Статическое распределение ресурсов.
– Вывод новых сервисов занимается до 18 месяцев.

3. Виртуальные сетевые сервисы
ETSI WhitePaper
v.1.0
October 2012

4. Преимущества
Перенос сетевых функций на виртуальные
машины:
• Упрощение развертывания и обновления как
софта, так и железа
• Уменьшение стоимости за счет использования
стандартных серверов
• Объединение сервисов в группы

5. Примеры
BRAS
• Терминация пользовательских сессий
• Интересует выгода на одного пользователя ~ 1Mbps
• Стоимость существующего решений примерно 10к за
10Gbps => Одно подключение = $1
• С NFV: один сервер может обрабатывать 50Gbps.
Стоимость $5k => Одно подключение = $0.1.
• CG-NAT
– Трансляция адресов
– Высокая стоимость существующих решений.
– Экономия: $16 -> $4 -> $2 на подключение

6. Пример размещения в сети телком оператора
Edge
Core
DPI
CPE Standard High Volume
DSLAM
DSLAM
OLT
BRAS Servers/Storage/Switches
DPI
BRAS Access Firewall
Carrier Grade
NAT
CDN
CDN
CDN
Monitor
WAN Accelerator
DPI
CG-NAT
CG-NAT
BRAS
CPE-Func
CPE-Func
CPE-Func
CPE-Func BRAS
CG-NAT
BRAS
BRAS
DPI
CPE-Func
CPE-Func
CPE-Func
CPE-Func
CG-NAT
BRAS
BRAS
DPI
CPE-Func
CPE-Func
CPE-Func
CPE-Func
CDN
CDN
Monitor
Monitor
WAN-Accl
WAN-Accl
CDN
CDN
CDN
CDN
Monitor
Monitor
WAN-Accl
WAN-Accl
Network Function-VMs

7. Edge
Core
VM + Network Orchestration
Access
NF-VM NF-VM
NF-VM NF-VM
NF-VM NF-VM
NF-VM NF-VM
NF-VM NF-VM
NF-VM NF-VM
NF-VM NF-VM
NF-VM NF-VM
NF-VM NF-VM
VM Mgmt
SDN Controller
Load
Balancer
Firewall CG-NAT
BRAS BRAS WAN-Accel DPI
7
Пример размещения в сети телком оператора

8. Пример

9. vCPE – Virtual Customer Premise Equipment
• У клиента – маленькая коробочка
• Часть сервисов у клиента, часть в облаке
© RAD

10. Организация платформы для
виртуализации
Firewall, VPN, IDS, …
VM VM VM VM
VM:
Firewall
Software Switch
VM:
VPN
VM:
Intrusion
Detection
OS/Linux
SDN System
Стандартный
процессор
Ускоритель
обработки
Сетевая
карта
Ядро
Коммутатора
Linux
Hardware

11. Узкие места
• Linux Networking Stack
– 300Kpps
• Open vSwitch
• VM

12. Узкие места (OVS)
• Задержка
– 11us
• Пропускная способность
– 1Mpps

13. Узкие места (KVM)
• Задержка
– 300us
• Пропускная способность
– 20Kpps (kernel OVS)
– 200Kpps (userspace OVS)

14. Требования к сервису
• Возможность привязки VM к ядрам процессора
• Масштабирования сервиса на VM по имеющимся ядрам процессора
• Возможность запуска сервиса без VM

15. Intel DPDK
DPDK = Data Plane Development Kit
http://intel.com/go/dpdk/
• Intel DPDK – это набор библиотек и драйверов для
быстрой обработки пакетов на платформах Intel.
• Использование больших виртуальных страниц
(huge pages 2mb/1gb).
• Размещение объектов равномерно по всем каналам
оперативной памяти.
• Адресное пространство карточки доступно из
userspace.
• Неблокирующие очереди для передачи пакетов.
• Нет прерываний в драйверах DPDK – активный
цикл.
• Активное использование SSE инструкций для
обработки пакетов.
• Выделение целых ядер процессоров под задачи.

16. • Open vSwitch - это виртуальный программный
коммутатор, который обеспечивает соединение
между виртуальными машинами и физическими
интерфейсами.
• Поддерживает обычную Ethernet коммутацию с
VLAN, SPAN, RSPAN, GRE, sFlow, Netflow.
• Частичная поддержка OpenFlow 1.2.

17. Архитектура Open vSwitch
Intel© DPDK

18. Intel DPDK vSwitch
• https://github.com/01org/dpdk-ovs

19. Работа с виртуальными машинами
Способы работы:
• VIRTIO
– Прозрачно для приложений на
виртуальных машинах
– Медленно
• IVSHMEM
– Самая высокая скорость
– Требует “затачивания” сервиса под Intel
vSwitch
• VHOST
– Средняя скорость
– Прозрачно для приложений, написанных
на DPDK
KVM
App
VirtIO
Eth
DPDK
VirtIO DPDK

20. Основные компоненты

21. Результаты: Phy-to-Phy (Kpps)

22. Результаты: Phy-to-Phy (Mbps)
22

23. Результаты: Phy-to-VM (Kpps)
23

24. Результаты: Phy-to-VM (Mbps)
24

25. Sandstorm: высокоскоростной вебсервер

26. Пропускная способность

27. Задержка

29. Примеры для highload
• Везде, где требуется низкая задержка
– RTB биржа
– inmemory базы данных (e.g.,gridgain)
• Другие “пакетный сервисы”
– Балансировка HTTP (1M cps)
– …

30. Тестирование у Оператора
Ожидания: “ничего не выйдет!”
• Есть известные вендоры: Cisco, Juniper, Huawei, Alcatel, F5, …
• С ними невозможно бороться
Результат: “а еще и так вы можете?”
• Производительность сопоставимая
• Цена меньше
• Возможность быстрого внесения изменений
• Гибкость в соотношении ресурсы / требуемая
производительность

31. Заключение
• Эволюция сетевых сервисов
– Проприетарное железо
– Программные решения на обычных серверах
– Виртуальные решения на обычных серверах
• Единица управления – виртуальная машина
• Гибкость, масшабируемость,
производительность
• Ускорим highload!

32. Вопросы?
http://arccn.ru/ ashalimov@arccn.ru
@alex_shali
@arccnnews