Практика совместного использования Lua и C в opensource спам-фильтре Rspamd / Всеволод Стахов (University of Cambridge, Mimecast)

Что такое Rspamd
• Система фильтрации спама с ориентацией на производительность
• OpenSource проект
• Плагины и правила написаны на языке Lua
• Ядро написано на plain (old) C

Соотношение Lua и C
По строкам кода
0
35000
70000
105000
140000
Plain C
Lua
Assembly Other
Perl

Соотношение Lua и C
По количеству плагинов
0
8
15
23
30
6
26
Lua C

Что написано на Lua
• Правила, а также комбинации регулярных выражений
• Большая часть плагинов:
• Проверка DNS списков
• Взаимодействие с Redis (репутация, “серые” списки, динамические настройки, список ответов,
динамические лимиты)
• Работа с внешними сервисами (антивирусы, запись в ClickHouse итд)
• Контент-фильтрация
• Работа с нейросетями и классификацией текстов
• Работа с SpamAssassin правилами

Экскурс в историю

K&R определение функции
Странный синтаксис переменных
Что это?
Надо больше макросов!

Похоже, это обычный C

Встраиваемый язык
Каким он должен быть

• Минимум внешних зависимостей (JavaScript)

• Простота синтаксиса (Perl)

• Скорость работы (Python, Guile, TCL)

• Скорость работы (Python, Guile, TCL)
• Скорость переключения между C и встраиваемым языком

Что дал переход на Lua

• Появилось несколько активных авторов плагинов и правил на Lua

• Появились юнит-тесты на Lua

• Текущий подход к разработке: писать Lua биндинги на Си, а основную
логику на Lua

• Текущий подход к разработке: писать Lua биндинги на Си, а основную
логику на Lua
• Упростилось написание утилит командной строки

Кривая обучения Lua
Начал писать на Lua

Обучение Lua
That was my ﬁrst ever attempt at Lua, I asked you to add halfOpen
support to your lua_tcp module, which you did within about 30 mins
and I had the plugin written an working within an hour or so.

• Плагин опроса внешнего сервиса DCC:

• написан за час времени

• человеком, без знаний Lua

• еще 30 минут заняла адаптация биндингов на C

• еще 30 минут заняла адаптация биндингов на C
• аналог на перле - больше 1k строк кода

Некоторые особенности Lua
Общие характеристики языка

• Крайне простой синтаксис (20 правил в BNF грамматике)

• Таблицы - универсальный инструмент работы с данными

• Функции - объекты первого рода (возможны функциональные
конструкции и замыкания)

• Стандартная библиотека содержит только необходимый минимум
функций

• Стандартная библиотека содержит только необходимый минимум
функций
• Динамическая строгая типизация

Синтаксис Lua
Основные элементы

• Переменные:

• Переменные: local ret = false -- Generic variable
local rules = {} -- Empty table
local rspamd_logger = require “rspamd_logger" -- Load rspamd module

• Условия:
local ret = false -- Generic variable

• Условия:
if not ret then -- can use ‘not’, ‘and’, ‘or’ here
…
elseif ret ~= 10 then -- note ~= for ‘not equal’ operator
end

• Условия:
• Циклы:
…
end

• Условия:
• Циклы:
…
end
for k,m in pairs(opts) do … end -- Iterate over keyed table a[‘key’] =
value
for _,i in ipairs(images) do … end -- Iterate over array table a[1] =
value
for i=1,10 do … end -- Count from 1 to 10

• Условия:
• Циклы:
• Таблицы:
…
end
value
value

• Условия:
• Циклы:
• Таблицы:
…
end
value
value
local options = { [1] = ‘value’, [‘key’] = 1, -- Numbers starts from 1
another_key = function(task) … end, -- Functions can be values
[2] = {} -- Other tables can be values
} -- Can have both numbers and strings as key and anything as values

• Условия:
• Циклы:
• Таблицы:
• Функции:
…
end
value
value

• Условия:
• Циклы:
• Таблицы:
• Функции:
…
end
value
value
local function something(task) -- Normal definition
local cb = function(data) -- Functions can be nested
…
end
end

Таблицы в Lua
Основные определения

• Значения - все, кроме nil:

• Значения - все, кроме nil: local t = {
1, -- number
'test', -- string
function() end, -- function
{1, 2, 3} -- another table
task:get_mempool(), -- userdata
}

1, -- number
'test', -- string
}
• Ключи - строки и числа:

1, -- number
'test', -- string
}
local t = {
1, -- 1
[3] = {1,2},
test = function() end,
['spaces in key'] = 'abc',
[1.2] = 3,
[-1] = 4,
}
• Ключи - строки и числа:

table
local table = {
a = 1,
b = 2,
[1] = 3,
[2] = function() end,
[0] = true
}
3
function() end
true
1
2
1
2
0
‘a’
‘b’
Массив Хеш таблица
!

Итерация
local t = {
a = 1,
b = 2,
[1] = 3,
[2] = function() end,
[0] = true
}
Массив
Таблица
целиком
1..2

Метатаблицы
Когда просто таблиц недостаточно
• Задают общие свойства для других таблиц
• Примерно соответствуют Prototype в JavaScript
• Позволяют задавать функции-методы для таблиц (через __newindex или __index)
• Могут также задавать операторы над таблицами (например, через __eq или
__sum)
• Можно задавать метатаблицы для стандартных Lua типов (например, строк)
• Используются в C API для определения методов для типа userdata

Функции в Lua

• Могут быть вложенными:

function foo(n) -- global function
local var = function(m) -- function in var
return m + n -- n is from `foo`
end
local function bar() -- another form of var
return var(2)
end
return bar()
end

end
return var(2)
end
return bar()
end
• Могут быть аргументами и
возвращаться из функций:

end
return var(2)
end
return bar()
end
local function f(cb) -- accepts callback function
return function(args) -- accepts some args
return cb(args) -- return callback function from args (decorator like)
end
end
• Могут быть аргументами и
возвращаться из функций:

Замыкания
function test(n)
local f = function()
return n + 1 -- n is captured
end
n = n + 1 -- n in f is also modified
return а
end
test(1) -- Returns function closure
test(1)() -- Returns 3

Замыкания
function test(n)
end
return а
end
Замыкание

Замыкания
function test(n)
end
return а
end
Замыкание
Переменные входят по ссылке

Замыкания
function test(n)
end
return а
end
Замыкание
Можно возвращать функцию

Замыкания
function test(n)
end
return а
end
Замыкание
Функция-замыкание

Замыкания
function test(n)
end
return а
end
Замыкание
Функция-замыкание
Непосредственно вызов

• Позволяют писать в функциональном стиле (библиотека lua-fun)
• Замыкания работают также для C функций
• Передача по ссылке несколько необычна, но эффективна
• Время жизни замыкания ассоциируется с переменной, в которой оно
хранится

Строки в Lua
Передача строки из C
Глобальный хеш
строк
s1
s2
s3
lua_pushstring (L, "hello");
hello
Копия
Хеш
hash(hello)
Поиск

Строки в Lua
Передача строки из C
Глобальный хеш
строк
s1
s2
s3
lua_pushstring (L, "hello");
hello
Вставка
hello

Строки в Lua
• Строки в Lua неизменяемы
• Сравнение строк - просто сравнение указателей: O(1)
• Создание и передача строк - дорогая операция
• Если нужно делать строку из кусков, то нужно использовать таблицу
и table.concat

Строки в Lua
Секунды(меньше-лучше)
0
75
150
225
300
Naive concat Table.concat
6.7c
274c
40x

Строки в Lua
Передача текста
C C
Userdata
const char *s
size_t len
refcounter

Взаимодействие Lua и C

Виртуальный стек
Общий вид
1
2
3
4
-4
-3
-2
-1 lua_gettop() ⟹4
PushPop

Добавление значений
1
2
3
4
-6
-5
-4
-3
lua_pushnumbernumber
string
5
6
-2
-1 lua_pushstring
Push

Извлечение значений
1
2
3
4
-3
-2
-1
lua_pop(L, 3);number
string
5
6
Pop

Вызов функции
1
2
3
4
-3
-2
-1
5
6
Внутренние переменые
number
string
4
5
-2
-1
Аргументы
Возвращаемые значения

Проблемы работы со стеком

• Скорость: переключение занимает около сотни CPU cycles

• Проблемы контроля: без специальных ключей компиляции легко
получить низкоуровневые ошибки (вплоть до полного падения)

• Крайне неочевидный код

• Крайне неочевидный код
• Есть ряд сложных моментов (итерация по таблице)

Пример из практики
Итерация по таблице
lua_pushvalue (L, i); /* Push table on top */
lua_pushnil (L); /* Push nil to start iterate */
while (lua_next (L, -2)) {
lua_pushvalue (L, -2); /* Copy key as it is special */
key = luaL_checkstring (L, -1);
value = luaL_checkstring (L, -2);
lua_pop (L, 2); /* Remove key and value leaving original key */
}
lua_pop (L, 1); /* Remove table */

lua_pushvalue (L, i); tabletop -1

lua_pushvalue (L, i);
lua_pushnil (L);
tabletop -2
nil -1

table -2
nil -1
while (lua_next (L, -2))
table -3
key -2
value -1
Предыдущий ключ
Новый ключ

lua_pushvalue (L, -2);
key = luaL_checkstring (L, -1);
value = luaL_checkstring (L, -2);
table
-2
key
-1
value
key copy
-3
-4

lua_pop (L, 2);
table
-2
key
-1
value
key copy
-3
-4
table
key -1
-2
while (lua_next (L, -2))
Используется для следующей итерации

FFI вызовы кода на C

Плюсы FFI
• Очень быстро работают для простых типов (десяток циклов)
• Поддерживают все конструкции C99
• Поддерживают типы-обертки (boxed types), например 64-х битные
целые
• Проще поддерживать

FFI вызовы
Синтетические тесты
Секунды(меньше-лучше)
0
10
20
30
40
tanh(x) strcmp(s1, s2)
Plain call FFI Plain call FFI
5.97c
3.13c
4.38c
30.07c
10x

Оптимизация узких мест
local ffi
if type(jit) == 'table' then
ffi = require("ffi")
ffi.cdef[[
int rspamd_re_cache_type_from_string (const char *str);
int rspamd_re_cache_process_ffi (void *ptask,
void *pre,
int type,
const char *type_data,
int is_strong);
]]
end
local function process_regexp_opt(re, task, re_type, header, strong)
-- Use ffi call
local itype = ffi.C.rspamd_re_cache_type_from_string(re_type)
if not strong then
strong = 0
else
string = 1
end
local iret = ffi.C.rspamd_re_cache_process_ffi (task, re, itype, header, strong)
return tonumber(iret)
else
return task:process_regexp(re, re_type, header, strong)
end
end
Проверка
LuaJIT

local ffi
ffi.cdef[[
void *pre,
int type,
int is_strong);
]]
end
-- Use ffi call
if not strong then
strong = 0
else
string = 1
end
else
end
end
Определение С функций

local ffi
ffi.cdef[[
void *pre,
int type,
int is_strong);
]]
end
-- Use ffi call
if not strong then
strong = 0
else
string = 1
end
else
end
end
FFI call
Userdata to C pointer
bool -> int

local ffi
ffi.cdef[[
void *pre,
int type,
int is_strong);
]]
end
-- Use ffi call
if not strong then
strong = 0
else
string = 1
end
else
end
end
Plain call

Оптимизация FFI вызовов
Lua вызов
FFI вызов

Проблемы FFI
• Поддерживаются на ограниченном количестве архитектур (Sparc64)

• В plain Lua требуют отдельного модуля FFI, LuaJIT поддерживает “из
коробки”

коробки”
• Нет проверки типов, нет контроля целостности памяти

коробки”
• Не всегда быстрее

коробки”
• Не всегда быстрее
• Очень сложно сделать sandbox

Выводы
• Lua простой для изучения

Выводы
• Lua простой для изучения
• Lua удобен для встраивания

Выводы
• Основной инструмент - таблицы

Выводы
• Основной инструмент - таблицы
• Основной инструмент - функции

Выводы
• Lua - быстрый язык (особенно LuaJIT)

Выводы
• Lua - быстрый язык (особенно LuaJIT)
• Некоторые оптимизации бывают опасны

Всеволод Стахов
vstakhov@rspamd.com
Вопросы

Практика совместного использования Lua и C в opensource спам-фильтре Rspamd / Всеволод Стахов (University of Cambridge, Mimecast)

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Viewers also liked

Viewers also liked (20)

Similar to Практика совместного использования Lua и C в opensource спам-фильтре Rspamd / Всеволод Стахов (University of Cambridge, Mimecast)

Similar to Практика совместного использования Lua и C в opensource спам-фильтре Rspamd / Всеволод Стахов (University of Cambridge, Mimecast) (20)

More from Ontico

More from Ontico (20)

Практика совместного использования Lua и C в opensource спам-фильтре Rspamd / Всеволод Стахов (University of Cambridge, Mimecast)