HighLoad++ 2017 Зал «Найроби + Касабланка», 8 ноября, 11:00 Тезисы: http://www.highload.ru/2017/abstracts/2950.html Одним из приемов, позволяющих увеличить скорость обработки и получения данных, является написание хранимых процедур. В этом докладе будут рассмотрены преимущества и недостатки такого подхода на примере Tarantool. Tarantool можно рассматривать как полноценный application server. При таком подходе к разработке приложения, запущенные на Tarantool, можно рассматривать как микросервисы. ...

1. Хранимые
процедуры в NoSQL
СУБД на примере
Tarantool
Денис Линник

2. О чем я расскажу?
1. Хранимые процедуры как прием оптимизации
2. Tarantool: разные роли СУБД
3. Обзор основных возможностей написания хранимых процедур
4. Оптимизация и профилирование хранимых процедур

3. Хранимые процедуры
Преимущества:
1. Скорость
2. Переиспользование кода/сервиса
3. Сокрытие структуры данных
Недостатки:
1. Сложно поддерживать
2. «Размытие» бизнес-логики

4. Почему Tarantool?

5. Tarantool: основные потоки
1. Main transaction thread
2. WAL (write-ahead log) thread
3. Networking

6. Tarantool: подсистемы хранения
Memtx Vinyl

7. Tarantool: индексы
HASH:
1. Поиск и вставка за O(1)
2. Только для memtx
TREE:
1. Поиск и вставка за O(log(N))
2. Возможность поиска по диапозону
3. Данные отсортированы

8. Разные роли Tarantool
1. Persistent key-value storage
2. Transaction Cache
3. Application Server

9. Разные роли Tarantool
1. Persistent key-value storage
2. Transaction Cache
3. Application Server

10. Tarantool как application server
Преимущества:
1. Действительно быстрый
2. Встроенный Lua JIT
3. Экосистема приложений
Недостатки:
1. Сложности репликации
2. Масштабирование

11. Tarantool: сервис авторизации

12. local db = {}
function db.create()
local user_space =
box.schema.space.create(‘auth_user’, {
engine = ‘memtx’,
if_not_exists = true,
})
...
end
return db

13. local db = {}
function db.create()
local user_space =
box.schema.space.create(‘auth_user’, {
engine = ‘memtx’,
if_not_exists = true,
})
...
end
return db

14. local db = {}
function db.create()
...
user_space:create_index(‘primary’, {
type = ‘hash’,
parts = {1, ‘string’},
if_not_exists = true,
})
...
end
return db

15. local db = {}
function db.create()
...
user_space:create_index(‘email’, {
type = ‘tree’,
parts = {2, ‘string’, 3, ‘unsigned’},
if_not_exists = true,
unique = false,
})
end
return db

16. local auth = {}
function auth.api(config)
api = {}
db.create()
function api.registration(email)
...
end
return api
end
return auth

17. local auth = {}
function auth.api(config)
api = {}
db.create()
function api.registration(email)
...
end
return api
end
return auth

18. function api.registration(email)
local user_tuple
user_tuple = box.space.auth_user.index
.email:select({email, COMMON_USER})
if user_tuple == nil then
return false, ‘user_already_exists’
end
...
end

19. function api.registration(email)
...
user_tuple = box.space.auth_user:insert({
uuid.str(), email, COMMON_USER
})
return true, user_tuple
end

20. box.cfg({
listen = 3301
})
...
local config = {...}
auth = require(‘auth’).api(config)

21. Запуск Tarantool
$ tarantoolctl start auth
$ tarantoolctl enter auth
tarantool> ok, user =
auth.registration(‘example@mail.ru’)
-- Как обратиться к auth из кода, например, Python?

22. async def run():
conn = asynctnt.Connection(
host=‘...’, port=‘...’, username=‘...’
)
values = await conn.call(
‘auth.registrtion’, [‘exaples@mail.ru’]
)
await conn.disconnect()
loop = asyncio.get_event_loop()
loop.run_until_complete(run())

23. Tarantool: сервис авторизации

24. local http_client = require(‘http.client’)
function api.social_registration(code, provider)
...
local ok, msg, response
ok, msg = pcall(
response = http_client.post(url, body, {
headers = {...},
timeout = timeout,
})
)
...
end

25. Tarantool queue
-- Установка: tarantoolctl rocks install queue
local queue = require('queue')
local registration_queue =
queue.create_tube('registration_queue', 'fifo')
registration_queue:put({‘example@mail.ru'})
local task = registration_queue:take()

26. Tarantool: миграция данных
uuid email type
550e8400-e29b... example@mail.ru 1
uuid email type gender
550e8400-e29b... example@mail.ru 1 0

27. local function migrations()
if box.cfg.read_only == false then
box.once('20171101_add_gender', function ()
...
end)
end
end
migrations()

28. local counter = 0
for _, tuple in box.space.auth_user:pairs(
nil, {iterator=box.index.ALL}
) do
local user_tuple = tuple:totable()
user_tuple[4] = get_user_gender(...)
box.space.auth_user:replace(user_tuple)
counter = counter + 1
if counter % 10000 == 0 then
fiber.sleep(0)
end
end

29. local counter = 0
for _, tuple in box.space.auth_user:pairs(
nil, {iterator=box.index.ALL}
) do
local user_tuple = tuple:totable()
user_tuple[4] = get_user_gender(...)
box.space.auth_user:replace(user_tuple)
counter = counter + 1
if counter % 10000 == 0 then
fiber.sleep(0)
end
end

30. Tarantool: оптимизация хранимых
процедур
Задача:
Посчитать количество мужчин и женщин,
зарегистрированных в системе. Подобрать наиболее
эффективный способ.

31. local result = {male = 0, female = 0}
for _, tuple in box.space.auth_user:pairs(
nil, {iterator=box.index.ALL}
) do
if tuple[4] == 0 then
result['female'] = result['female'] + 1
else
result['male'] = result['male'] + 1
end
end

32. local result = {male = 0, female = 0}
for _, tuple in box.space.auth_user:pairs(
nil, {iterator=box.index.ALL}
) do
if tuple[4] == 0 then
result['female'] = result['female'] + 1
else
result['male'] = result['male'] + 1
end
end

33. for _, tuple in box.space.auth_user:pairs(
nil, {iterator=box.index.ALL}) do
if tuple[4] == 0 then
female = female + 1
else
male = male + 1
end
end
local result = {
male = male,
female = female,
}

34. LUA_API int
luaopen_count_genders(lua_State *L) {
lua_newtable(L);
static const struct luaL_Reg meta [] = {
{"count", count},
{NULL, NULL}
};
luaL_register(L, NULL, meta);
return 1;
}

35. static int count(lua_State *L) {
uint32_t space_id = lua_tonumber(L, 1);
uint32_t index_id = box_index_id_by_name(
space_id, "primary", strlen("primary")
);
...
}

36. static int count(lua_State *L) {
uint32_t space_id = lua_tonumber(L, 1);
uint32_t index_id = box_index_id_by_name(
space_id, "primary", strlen("primary")
);
...
}

37. static int count(lua_State *L) {
...
char key[1024];
char *key_p = key;
key_p = mp_encode_array(key_p, 0);
box_iterator_t *iterator = box_index_iterator(
space_id, index_id, ITER_ALL, key, key_p
);
...
box_iterator_free(iterator);
}

38. static int count(lua_State *L) {
...
while (box_iterator_next(iterator, &tuple) != -1) {
if(!tuple) {
break;
}
box_tuple_iterator_t *tuple_iterator;
tuple_iterator = box_tuple_iterator(tuple);
...
box_tuple_iterator_free(tuple_iterator);
}
...
}

39. static int count(lua_State *L) {
...
while (box_iterator_next(iterator, &tuple) != -1) {
...
field = box_tuple_seek(tuple_iterator, 3);
int gender = (int)mp_decode_uint(&field);
if(gender == 1) { ... }
...
}
...
}

40. Tarantool: результаты оптимизации
Lua (JIT отключен): 8,99с
Lua (JIT включен): 2,33с
C: 0,40 с

41. Tarantool: профилирование
local cpuprof = require('gperftools.cpu')
cpuprof.start('/tmp/profile')
for i = 1, ITERATIONS do
count_genders.count()
end
cpuprof.stop()
cpuprof.flush()

42. Tarantool: профилирование C
4635 53.9% tuple_bless (inline)
327 3.8% mslab_free
300 3.5% count
260 3.0% mp_next (inline)
252 2.9% box_iterator_next
250 2.9% mempool_alloc
233 2.7% mp_load_u8 (inline)
201 2.3% box_tuple_iterator_free
...

43. Tarantool: профилирование C
4635 53.9% tuple_bless (inline)
327 3.8% mslab_free
300 3.5% count
260 3.0% mp_next (inline)
252 2.9% box_iterator_next
250 2.9% mempool_alloc
233 2.7% mp_load_u8 (inline)
201 2.3% box_tuple_iterator_free
...

44. Tarantool: профилирование Lua
597 11.0% lj_obj_equal
542 10.0% tuple_unref (inline)
517 9.5% tuple_bless (inline)
414 7.6% lj_tab_newkey
282 5.2% clearhpart (inline)
215 4.0% lj_tab_set
135 2.5% gc_traverse_tab (inline)
124 2.3% hashkey.isra.0
...

45. Tarantool: профилирование Lua
597 11.0% lj_obj_equal
542 10.0% tuple_unref (inline)
517 9.5% tuple_bless (inline)
414 7.6% lj_tab_newkey
282 5.2% clearhpart (inline)
215 4.0% lj_tab_set
135 2.5% gc_traverse_tab (inline)
124 2.3% hashkey.isra.0
...

46. Tarantool: хранимые процедуры
1. Хранимые процедуры позволяют избежать передачи лишних
данных и сэкономить на сетевых задержках.
2. Tarantool развивает экосистему приложений и обладает
богатым набором готовых инструментов для реализации
многих задач.
3. Профилирование кода хранимых процедур – еще один способ
понять, как оптимизировать работу сервиса.

47. Tarantool: что дальше?
1. fiber
2. sharding
3. replication
4. SQL
5. transactions
6. rocks
7. tap.test
8. ...

48. Полезные ссылки
1. https://github.com/mailru/tarantool-authman
2. https://github.com/igorcoding/asynctnt
3. https://t.me/tarantoolru