Документ описывает архитектуру терабитной платформы DPI (глубокий анализ пакетов) от компании Петер-Сервис, подчеркивая её преимущества для крупных операторов связи и разнообразные применения в бизнесе и государстве. Он затрагивает технические и юридические аспекты, включая законодательные требования, возможности по защите и управлению трафиком, а также принципы распределенного управления и отказоустойчивости. В заключение изложены цели платформы Topgun, её масштабируемость, эластичность и возможности для интеграции в существующие системы.

1. TopGun
архитектура терабитной
платформы DPI
Леонид Юрьев
Петер-Сервис R&D

2. Леонид Юрьев
•
•
20 лет программирую
изобретаю, иногда не велосипеды
leo@yuriev.ru
leonid.yuriev@billing.ru

3. Петер-Сервис
– HighLoad c 1992 года
– принципы: взялись → дожимаем, качество, модульность
• решения для крупных операторов связи – BSS, Telco, BigData,
High Availability & High Load
• полный цикл – разработка, внедрение и обслуживание
• более 100 миллионов абонентов – при участии наших систем
• 900 сотрудников из них 400 разработка, 250 внедрение и
саппорт
• 450 фич/год

4. Agenda
• Что такое и зачем DPI?
• TopGun – почему?
25
СЛАЙДОВ
• Основные плюшки 3+1
• Круто!
• Будет Event…
• Вопросы

5. Что такое DPI?
– Технология анализа полного содержимого трафика выше L2 по OSI
http://ru.wikipedia.org/wiki/Deep_packet_inspection
Сеть
•
•
•
•
DPI
Интернет
устанавливается у оператора
работает с «сырыми» пакетами
включение «в разрыв» – может вмешиваться в трафик
подключение «на копию» – просто наблюдает
FLOW – примерно/грубо соответствует соединению TCP/UDP

6. Кому и зачем нужен DPI?
– Государству и Бизнесу, Usecases очень много…
Защита
• Блокировка вторжений (IDS, IPS)
• Отсечение DoS-атак
Качество обслуживания,
Гибкие тарифы
• QoS и шейпинг с управлением
потоком (торренты не мешают)
• Subscriber Management
Фильтрация
• Родительский контроль, Антивирус
• РОСКОМНАДЗОР
Информативность
• Customer Experience Management
• Данные для таргетирования
рекламы
• Статистика и оперативный
Мониторинг сети
Требования законодательства
и регулирование
• В мире: СОРМ и PRISM
• В России: 114-ФЗ, 139-ФЗ, ПП-538
• Предотвращение утечек (DLP)
+100500…

7. Насколько законно и этично?
– Зависит от usecase, а они очень разные…
Законно, если…
• Госорганы – в соответствии с
законами:
114-ФЗ, 139-ФЗ, ПП-538
• Бизнес – в соответствии с
договором с пользователем
• Бизнес – в соответствии с
договором с работником (DLP)
• Если заказана соответствующая
услуга
Этично, когда…
• Открыто, не подпольно
• Анализирует машина, не
человек
• Важно как используется
результат
• Обеспечить корректное
использование – задача
государства и общества

8. Сложность задачи
– Какие проблемы, Captain?
1. Wire Speed
• 14.8 × 2 миллионов пакетов в секунду на каждые 10Gb
2. Отказоустойчивость
• иначе «интернет не работает» и потеря денег
3. Много N×10 GbE
• требуется масштабирование и балансировка
• миллионы flow, сотни тысяч каждую секунду
• защита от DDoS, родительский контроль,
тарифы «торренты в фоне»
4. Готовность к разным задачам
• иначе переделывать или отказываться
– Аaaа… but the Challenge!

9. Зачем нужен 101-й DPI?
– у конкурентов есть проблемы
1. Зависимость от оборудования
• «просто так» никто
не сознается
• hardware vendor lock-in
– выгодно вендору, но не оператору
• аппаратный DPI
• не-тиражная электроника
х
–
– стоимость, риски незаменимости и уникальностиэто ерунда из 90
• нет маневра от закладок
– выше риски их обнаружить (shit happens)
2. Нет готовности к «разным задачам»
• сложно/невозможно доработать систему под новые задачи
– как пример, добавить распаковку gzip к акселератору regex
• нет эластичности вычислительной сложности обработки
– дальше поясню

10. Нет эластичности вычислительной сложности
– де-факто имеем два варианта «софтверной архитектуры»
А ТЕПЕРЬ PPS
OLD SCHOOL
•
•
•
•
работаем с DMA-RING или рядом
• generic interface & large i/o overhead
– выбрать один •из вариантов ничего не зависит
считаем такты, рекордный PPS
от наших 5 копеек
и неудобно
hardcode, трудно ине посягать на задачи гибко и удобно, это навсегда
• делаем другого
подходит для задач где,
• подходит для задач где,
мало вычислений
много вычислений
• иначе – экономия на спичках
• иначе – 90% в накладных расходах
≈ 50`000`000
≈ 500`000
попугаев в секунду
попугаев в секунду

11. Наши цели, что хотим сделать?
– JFK: Американец, Первым, на Луне, Вернуться, Живой
Свободно
• без привязки к конкретному
«железу»
• на оборудовании максимально
широкого спектра
Эластично
• чтобы просто «добавлять
серверы», без революций в коде
• масштабируемо,
без неустранимых внутренних
ограничений
Эффективно
• с потерей на универсальности
порядка 10%
Конкурентно
• с отказоустойчивостью
• с низкой стоимостью владения
Платформа
• для DPI-приложений широкого
спектра

12. Что сделано, каков продукт?
– запилили прототип и решили поделиться мыслями
Скромничаем…
А если померяться?
• 90% зависит от usecase/FL
• ширина канала ≈ сколько потребуется
• раскрывать детали не готовы
• пакетов в секунду ≈ wire speed
• приходите, расскажем подробнее
• задержка ≈ 100 μs
• простые метрики – для простых
задач
• на ядро ≈ 90% от рекордов:
– платим 10% за совершенство архитектуры
– в сравнении с Intel DPDK
– без prefetch, спрашивайте почему…

13. TopGun
– I feel the need... The need for speed!

14. Scope платформы
Платформа = TopGun
Не входит:
• Переключатель (bypass)
• Управление и мониторинг
• Внешние подсистемы
FUSE
Управление
и
мониторинг
TOPGUN
Внешние
системы

15. Основные слагаемые: 3+1=4
– плюшек больше, некоторые успеем распробовать
Распределение трафика
• mac rewrite и раздаем коммутаторами
• управляется роем
Рой обработчиков
• оцениваем здоровье и связанность
• ведем перепись
Табло
• контексты как наборы key-value
• контролируем объем трафика и размер реплик
Транспорт событий
• замысел и что внутри

16. Анатомия скелета
1
– что-куда подключено
ПЕРЕКЛЮЧАТЕЛЬ
Схеме около 50 лет…
ВКЛЮЧЕНО
1. Переключатель
2
РАСПРЕДЕЛЕНИЕ
РАСПРЕДЕЛЕНИЕ
3
DATA PLANE
DATA PLANE
2. Распределение трафика
3. Data Plane (Switch)
ГОРЯЧИЙ РЕЗЕРВ
6. Супервизор
7. Перешеек для репликации
между копиями – наш addition
5
7
CONTROL PLANE
6
ЗЕРКАЛИРОВАНИЕ требуется ТОЛЬКО
для failover «СОВСЕМ БЕЗ ПОТЕРЬ»
CONTROL PLANE
SUPERVISOR
BLADE
BLADE
BLADE
BLADE
BLADE
BLADE
BLADE
BLADE
4
BLADE
5. Control Plane (Switch)
BLADE
4. Обрабатывающие серверы

17. Что есть «Балансировка»?
БАЛАНСИРОВКА
РАСПРЕДЕЛЕНИЕ
УПРАВЛЕНИЕ

18. Распределение трафика
ПЕРЕКЛЮЧАТЕЛЬ
– MAC rewrite + коммутаторы
Замысел
1.
посчитаем HASH от IP и запишем два
байта в MAC, получаем 65536 сегментов
трафика
2.
распределим сегменты по обработчикам
3.
пусть обработчики пингуют DATA PLANE
от имени MAC нужных им сегментов
MAC → PORT#
SEG #
BLADE
DATA PLANE
(Коммутатор)
BLADE
Магия
dst-MAC[0,1,2,3] = 0x77
dst-MAC[4,5] = Hash(IP)
BLADE
ассоциативная таблица MAC → ПОРТ
отлично управляется
РАСПРЕДЕЛЕНИЕ
BLADE
•
лучше раздавать коммутаторами,
они быстрые и…
BLADE
•

19. Распределение трафика
ПЕРЕКЛЮЧАТЕЛЬ
– MAC rewrite + коммутаторы
Плюсы
• молниеносная управляемость
при статической конфигурации
РАСПРЕДЕЛЕНИЕ
dst-MAC[0,1,2,3] = 0x77
dst-MAC[4,5] = Hash(IP)
• мгновенный failover
– при сбое broadcast и активация
BLADE
BLADE
BLADE
SEG #
DATA PLANE
(Коммутатор)
BLADE
• на нас работает весь Ethernet:
– Pause Frame, Spanning Tree, LAG…
MAC → PORT#
BLADE
• простое расширение
– достаточно подключить оборудование

20. MAC rewrite
– есть подводные камни
OpenFlow
• Таблица вместо Hash и не везде есть SetField
• Требуются ACL и TCAM
• Вместо 65K получаем порядка 1000
Arista 7124FX и всяческие FPGA
• Да, но не удобно и vendor lock-in
POF – серебряная пуля?
• Предложения по расширению OpenFlow
• Позволяет посчитать CRC и записать в MAC
• Protocol-Oblivious Forwarding, http://www.poforwarding.org/
Продержаться
можно, ожидаем
подкрепление

21. Swarm Arrives!
Роевой Интеллект – эффект коллективного поведения
децентрализованной самоорганизующейся системы
Цель общая, действия локальны
• все получают одну инструкцию, но действуют
самостоятельно
• избавляемся от микро-менеджмента
Каждый знает о каждом
• информация для согласованных решений
• пример – поезда и смена расписания
• можем балансировать децентрализовано
Один ничто, рой все
• потеря единицы не должна влиять на результат
• не храним ценного внутри, реплицируем
• идеальный failover

22. Балансировка – управляем роем
ПЕРЕКЛЮЧАТЕЛЬ
Оцениваем обработчики
РАСПРЕДЕЛЕНИЕ
• производим перекрестную оценку каждого
• оцениваем здоровье и связанность с роем
BLADE
• используем NTP и timestamps
SEG#
• много деталей и know how
LIST
SEG#
SEG#
SEG#
SEG#
LIST
LIST
LIST
LIST
Балансирует каждый !
• по своему списку «выбирает» себе Сегменты
• hash ring не используем – мало Сегментов
• балансируем по ядрам, не по серверам
BLADE
• у каждого обработчика свой список роя
BLADE
Ведем перепись
DATA PLANE
BLADE
MAC → PORT#
MAC → PORT#
BLADE
• проверяем Data Plane и Control Plane
CONTROL PLANE
(Коммутатор)

23. Балансировка – управляем роем
ПЕРЕКЛЮЧАТЕЛЬ
Плюсы
• Легко мониторить и интегрировать,
– просто слушаем Control Plane
LIST
BLADE
SEG#
BLADE
BLADE
DATA PLANE
BLADE
• Отказоустойчиво
– децентрализовано
– нет единой точки отказа
MAC → PORT#
MAC → PORT#
BLADE
• Самодиагностика
– постоянная и встроенная
РАСПРЕДЕЛЕНИЕ
SEG#
SEG#
SEG#
SEG#
LIST
LIST
LIST
LIST
CONTROL PLANE
(Коммутатор)

24. Табло для роя
ПЕРЕКЛЮЧАТЕЛЬ
– оперативное общедоступное хранилище
Табло
РАСПРЕДЕЛЕНИЕ
• простое key-value хранилище
Реплицируем
• реплика на каждом сервере
WRITEBACK
FIFO
реплика
ТАБЛО
• при локальном изменении
отправляется уведомление в Control Plane
• получаемые обновления вливаются
с учетом версионности
• нет единого формата версии, зависит от
данных и задачи
CONTROL PLANE
BLADE
BLADE
• unordered map + shared memory + lockfree
ОБРАБОТЧИК
BLADE
• заточено под zerocopy & DMA
BLADE
• как-то все записи версионированы
BLADE
DATA PLANE

25. Обработка роем
ПЕРЕКЛЮЧАТЕЛЬ
– это и есть самое главное
Трансформируем задачи
РАСПРЕДЕЛЕНИЕ
• сводим к виртуальной микро-машине
• пакеты – события,
обработка которых меняет состояние
• находим способ версионировать
Обработчики – Stateless
• хранят состояние на Табло
Flow=TCP
from=10.0.0.1:4629
to=199.32.42.3:80,
Node={A.5, Green},
Inbound=200
Outbound=6346
• не хранят ценного внутри, только кэшируют
• работают в цикле
– receive event, get state, handle, put state
WRITEBACK
FIFO
реплика
ТАБЛО
CONTROL PLANE
BLADE
BLADE
ОБРАБОТЧИК
BLADE
Версионируем состояние
BLADE
• состояние представляем как набор key-value
BLADE
DATA PLANE

26. Рой – обработка и «Табло»
ПЕРЕКЛЮЧАТЕЛЬ
Tradeoff
РАСПРЕДЕЛЕНИЕ
• Уменьшаем трафик по Control Plane
отправляя оповещения реже
Тонкости
• TCP Window – носим «чемодан с
батарейками»
• TCP Sequences – дуплексный маркер
направления потока данных
Flow=TCP
from=10.0.0.1:4629
to=199.32.42.3:80,
Node={A.5, Green},
Inbound=200
Outbound=6346
• у обработчика локальный writeback
cache, запись в реплику через отдельную
очередь
WRITEBACK
FIFO
реплика
ТАБЛО
CONTROL PLANE
BLADE
BLADE
BLADE
ОБРАБОТЧИК
BLADE
• Уменьшаем объем реплик,
храня только свое или 1-ю линию failover
BLADE
DATA PLANE

27. Свой «Транспорт»
C/C++
Неплохо бы…
POD
Java
PAIR LIST
• единообразно: in-process, in-server,
over-network, плюс со-процессоры
• мега-эффективный обмен сообщениями
Go
D
STREAMING
MQ
Erlang
safemode
zerocopy
• автоматические запятые – копировать
нельзя шарить DMA
priority
inheritance
КАКАЯ-ТО МАГИЯ
lockfree
…
DMA
Дизайн
• zerocopy + shared memory + lockfee + PI
• разные «транспорты» под один фасад
• операции со «строками» и итераторы
• ensure & asserts, safemode…
• сложности – в отдельный процесс
DPDK
MPI
ØMQ
netmap
SHARED RAM
NETWORK
CONTROL PLANE
DATA PLANE
IPC

28. Свой «Транспорт»
C/C++
Внутри
POD
• действительно эффективные итераторы и
операции с цепочками
PAIR LIST
Планы
• LGPL ≈ 1Hippeus, this is SPARTA!
• Думаем о Erlang, Go, D, Java, Xeon Phi, CUDA,
Tilera…
STREAMING
MQ
MESSAGE toabe continued…
= list of chunks
chunk
chunk
chunk
HighLoad++
DATA
INPLACE
2014
• очередь сообщений и диспетчер с пулом
потоков
• providers: Intel DPDK, netmap, 0mq, MPI...
D
FIFO
• чистый lockfree (CAS & retry-on-fail),
либо checked busyloop с выходом на PI-futex
Go
Erlang
WEAK
• концепт буфера как куска памяти и
offset_ptr (для сопроцессоров…)
Java
external
data
PROVIDER INTERFACE
DPDK
MPI
ØMQ
netmap
SHARED RAM
NETWORK
CONTROL PLANE
DATA PLANE
IPC

29. У нас получается, круто!
Масштабируемость
Эластичность и эффективность
• распределение коммутаторами
• «транспорт» дает гибкость за 10%
• MAC rewrite – OpenFlow & Arista,
на подходе POF
• при нехватке CPU/RAM можем просто
подключить еще
• децентрализованное управление
распределением трафика
• доступен safemode или непосредственно
shared memory
Надежность / Стоимость
Платформа
• нет единой точки отказа
• распределенное Табло для данных
• прореживаем репликации Табло –
уменьшаем трафик Control Plane
• микро-машины с версионируемым
состоянием
• храним в репликах Табло меньше чужих
данных – уменьшаем требования RAM
• обмен сообщениями
вне зависимости от среды передачи
• нужна полная гарантия «без потерь» –
ставим зеркало

30. Много нераскрытых тем,
будет семинар 03.12.2013
• Законность и этика, конфиденциальность, сетевой нейтралитет
• Технология как стратегическое преимущество
• Больше usecases и Бизнеса
• Что уже сделано, пилотные проекты и внедрения
• Больше технических подробностей
• http://www.billing.ru/events/560

31. Checkpoint: Подведем итоги
DPI нужен – как Бизнесу, так и Государству
TopGun – интересная и сложная задача
• Масштабируемо с роевым интеллектом
• Эластично и независимо от «железа»
• Стоимость/надежность – можно балансировать
• Легко развивать, терабит, задержка 100 μs
Организуем семинар 03.12.2013
http://www.billing.ru/events/560

32. TopGun: Вопросы?
Сейчас – HighLoad
На семинаре в Петер-Сервис
• Предпосылки и цели TopGun
• MAC rewrite и распределение
трафика
• Рой – управление
балансировкой
• Рой – обработчики
• Рой – поддержка Табло
• Транспорт, zerocopy, lockfree, PI,
диспетчеризация
•
•
•
•
Usecases и Бизнес
Когда релиз?
Законность и этика
Свобода и конфиденциальность,
компромисс с реальностью
• Технология как стратегическое
преимущество
• Поддерживаемые протоколы
• Пилотные проекты и внедрения