Тезисы: За последние 2 года экосистема tarantool пополнилась огромным количеством батареек: дисковое хранение, lua-шардинг, работа со схемами данных и версиями, nginx upstream модуль. Используя эти компоненты, можно создавать высокопроизводительные приложения без использования дополнительных технологий. В докладе будет описан опыт использования Tarantool для разработки performance-critical restful api: расскажу в чем плюсы и минусы текущей реализации lua-шардинга, как создать restful api прямо в базе данных и почему это быстрее многих популярных решений на примере реальных данных. Кроме того, будет рассмотрен подход использования avro схем для валидации, версионирования и хранения json документов в Tarantool. Для наглядности во время доклада будет разработан микросервис и проведено нагрузочное тестирование.

2. Agenda
Что представляет из себя Tarantool в 2016 году
Как подружить Nginx и Tarantool
Как сделать REST API на чистой СУБД
Как это используется в production
Бенчмарки и цифры

3. Tarantool
Tuple storage
ACID Transactions
Write ahead log
Lua application server
Ecosystem

4. Ecosystem

5. Building blocks

6. How to build?
Shard
Avro Schema
Nginx upstream module

7. Shard function

8. Shard gossip

9. Shard
local cfg = {
servers = {
{ uri = 'host1:3301', zone = 'z1' };
{ uri = 'host2:3301', zone = 'z2' };
};
login = 'my_user';
password = 'i_love_bananas';
redundancy = 2;
binary = 3301;
}

10. Nginx
upstream tnt {
server host.com:4301 max_fails=1;
server host.com:4302 max_fails=1;
server host.com:4303 max_fails=1;
}
location /api {
tnt_http_rest_methods get delete;
tnt_http_methods all;
tnt_multireturn_skip_count 2;
tnt_pure_result on;
tnt_pass_http_request on parse_args;
tnt_pass tnt;
}
}

11. Nginx
function square(request, a)
return {result=a*a}
end

12. Nginx
POST http://host.com/api
BODY:
{
"id": 0,
"method": "squire"
"params": [5]
}
RESPONSE:
{
"result": 25
}

13. JSON RPC

14. Схемы Avro
{
"First": "John",
"Last": "Doe"
}
{
"name": "Person",
"type": "record",
"fields": [
{ "name": "First",
"type": "string" },
{ "name": "Last",
"type": "string" }
]
}
Хранится как: ["John", "Doe"]

15. [
"John",
"Doe",
"Was here!"
]
{
"First": "John",
"Last": "Doe"
"Notes": "Was here!"
}
V2 V2
Versions

16. [
"John",
"Doe",
"Was here!"
]
{
"First": "Jane",
"Last": "Doe"
}
V2 V1
Versions

17. [
"Jane",
"Doe"
]
{
"First": "Jane",
"Last": "Doe"
"Notes": ""
}
V1 V2
Versions

18. Compiler
• Apache implementation (too slow)
• Code generation?
• LuaJIT
• LLVM

19. RPS (×1000)
500
1000
1500
2000
Baseline (C) Codegen (LuaJIT)
Interpretor
JIT

20. RPS (×1000)
500
1000
1500
2000
2500
3000
3500
Baseline (C) Codegen (LuaJIT) Codegen (LLVM)

21. REST API

22. Примеры архитектур
• Одноуровневая система с репликацией
• Отдельно приложение, отдельно хранение
(shard)
• Хранение по ttl (expirationd)
• Совместное хранение в памяти и на диске(vinyl)

23. Use cases
• Виртуализация данных
• Роутинг запросов в биллинге
• Обогащение данных от источника
• Интеграция с legacy проектами
• Объединение данных от нескольких источников

24. Bench
Железо
4 ядра 2,6 GHz
64 GB оперативной памяти
Данные
100 ГБ данных, размер запроса 2 КБ(JSON)
избыточность(2 датацентра)
Кластер
4 storage сервера(16 инстансов tarantool)
4 application сервера(16 инстансов tarantool)
Клиентские машины для создания нагрузки

25. Read

26. Write

27. Node

28. Подводные камни
• Нужно описать логику преобразования версий
• Нужно написать хранимые процедуры под
каждый тип запроса
• Нужно связывать авро схему и индексы в tuple
• Удобно иметь связи между схемами
• Удобно создавать простые API автоматически (не
программируя на lua)

29. Tarantino

30. Что это дает?
• Автоматическая настройка tarantool
• Вся конфигурация - один json файл
• Версионирование запросов на лету
• Хранится только актуальная версия
• Иерархические связи между схемами
• Не нужно программировать на lua

31. Пример конфигурации
{
"memory": 30,
"port": 3301,
"index": [
"user":["uid"],
"device":["uid", "sno"]
],
"relations": {
"user": ["device"]
}
"api": {
"v1": {
"user":{},
"device":{}
]
}
}

32. Что произойдет внутри?
box.cfg{
slab_alloc_arena=30,
listen=3301
wal_mode=«write»
}
box.schema.create_space(«user»)
box.space.user:create_index(…)
box.schema.create_space(«device»)
box.space.device:create_index(…)

33. Что произойдет снаружи?
• /api/v1/user/1
• /api/v1/user?limit=100&offset=0
• /api/v1/device/1/1
• /api/v1/device?limit=100&offset=0
• /api/v1/user/1/?related=prefetch

34. Join
{
"uid": 1,
"First": «John",
"Last": «Doe"
"device": [
{
"uid": 1,
"sno": 1,
"name":"myD",
}
]
}

35. Популярные фреймворки

36. Производительность
• 4 ядра 2,6 GHz
• 2кб данных на один запрос
• Преобразование версии во время запроса

37. Запись

38. Запись

39. Чтение

40. Чтение

41. Производительность 4 ядра
Чтение: 120000 rps
Запись: 80000 rps

42. Use cases
• Легковесные restful сервисы
• Бекенды для мобильных приложений
• Выкатывание нескольких версий приложения
одновременно
• Scientific приложения (анализ данных) - хранение
грязных и чистых данных в разных версиях

43. Спасибо за внимание
• http://tarantool.org
• https://github.com/tarantool/avro-schema
• http://avro.apache.org/docs/1.8.0/spec.html