Tarantool: как обрабатывать 
1,5 млрд запросов в сутки?

14,180 views
14,787 views

Published on

1 Comment
3 Likes
Statistics
Notes
  • Простите пожалуйста, но: 1.5^(10^8) -- это 1.5 в степени сто миллионов запросов в сутки. Это даже не астрономическое число -- это около 10 в степени семнадцать миллионов (!).
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here
No Downloads
Views
Total views
14,180
On SlideShare
0
From Embeds
0
Number of Embeds
11,937
Actions
Shares
0
Downloads
117
Comments
1
Likes
3
Embeds 0
No embeds

No notes for slide

Tarantool: как обрабатывать 
1,5 млрд запросов в сутки?

  1. 1. Tarantool: как обработать 81.5^10 запросов в сутки? Константин Осипов, Mail.Ru
  2. 2. ПланОсновные проблемы масштабирования СУБДTarantool: решение из области shared nothingData patternsScalability patternsОбзор планов
  3. 3. СУБД: современный ландшафт
  4. 4. СУБД: прогноз
  5. 5. 3 проблемы РСУБД- горизонтальное масштабирование- rigid schema- производительностьNoSQL – мир энтузиастов:- новые модели данных, модели консистентности данных- новые языки доступа к данным- новые алгоритмы хранения данных- много, много новых методов масштабирования
  6. 6. Модель данныхПространства(spaces)Кортежи(tuples)Поля(fields)Индексы(indexes)
  7. 7. Модель данных (2)Соответствие терминов: Типы данных: Типы индексов:Tarantool РСУБД NUM HASHSpace Table NUM64 TREEField Column STRING
  8. 8. Модель данных (3)Индексы: простые, составные, уникальные, неуникальныеОперации: INSERT/SELECT/UPDATE/DELETE/REPLACEПоддерживается простой SQL
  9. 9. PHP интерфейс$tnt = new Tarantool($host, $port, $admPort);# $host – хост (def: localhost);# $port – порт (def: 33013);# $admPort – административный порт (def: 33015)
  10. 10. PHP: INSERT, UPDATEdefine(‘SNO’,0); // номер space$key = 12345$tuple = array($key,‘spb’,’Hello Word’);# если данные существуют, они замещаются$res = $tnt->insert(SNO, $tuple);$res = $tnt->delete(SNO, $key, [$flag]);$data = array(1 => ’msk’, 2 => ‘Hello Hi++!’);$res = $tnt->update(SNO, $key, $data);# $key – всегда первичный ключ# $data – асс. массив № поля => нов. значение
  11. 11. PHP интерфейс: SELECT$count = $tnt->select(SNO, $index, $key,[$limit,$offset]);# $key – ключ, возможен массив;# $index – номер индекса, по которому# осуществляется выборка;# default $limit = 0хFFFFFFFF, $offset = 0;# Возвращает количество найденных кортежей# Выборка данных осуществляется методом$tuple = $tnt->getTuple();
  12. 12. ПроизводительностьIntel I5 , 4G RAM, 7200 RPM SATA10 потоков, 200-300 байт кортежTarantool: 100k writes, 260k reads
  13. 13. Auto-increment patternField 0 Field 1 = Phone Field2 = Name(PK)1 212-85-01 John Dow2 212-85-02 Clint Smith3 967-53-09 Cheryl Wood4 Новая строка
  14. 14. Auto-increment: PHPdefine(S_USER, 1); // номер space USERdefine(INC_NO,1); // номер ключа счетчикаdefine(COUNTER,1); // номер поля счетчика$key = $tnt->inc(SNO, INC_NO, COUNTER, [1, true]);$tnt->insert(NS_USER, $key, $data);
  15. 15. Auto-increment: Luafunction box.auto_increment(spaceno, ...) max_tuple = box.space[spaceno].index[0].idx:max() if max_tuple ~= nil then max = box.unpack(i, max_tuple[0]) else max = -1 end return box.insert(spaceno, max + 1, ...)end$tnt->call(SNO, “box.auto_increment”, $data);
  16. 16. Pattern FIFO: Luafunction fifo_push(name, val) fifo = find_or_create_fifo(name) top = box.unpack(i, fifo[1]) bottom = box.unpack(i, fifo[2]) if top == fifomax+2 then -- % size top = 3 … end return box.update(0, name, =p=p=p, 1, top, 2, bottom, top, val)end
  17. 17. Pattern Memcache• есть возможность создавать свои микро-потоки:• box.fiber.create(), box.fiber.yield()• создаёте хранимую процедуру, запускаете её• получаете custom expire process• используется для хранения сессий в mail.ru: 4 машины, по 2 Tarantool/Box на каждой, 2 мастера, и 2 реплики 40-60k requests/second, CPU usage < 20%
  18. 18. Pattern: нотификации- 6 машин по 4 Tarantool/Box на каждом- notification_push(), notification_read()- 250 GB постоянно меняющихся данных
  19. 19. Масштабирование 0 ...10М Shard 1Application Tarantool Proxy 10...20М Shard 2 20+ М Shard 3
  20. 20. ПланыПоддержка транзакцийМастер-мастер репликацияКластер менеджер
  21. 21. Спасибо!http://github.com/mailru/tarantool - исходный кодhttp://github.com/mailru/tntlua - репозиторий хранимых процедурhttp://nosql-databases.org - обзор альтернатив NoSQLhttp://groups.google.com/group/tarantool-ru - список рассылкиhttp://tarantool.org/dist/ - всегда свежие .tar.gz и .rpmhttp://habrahabr.ru/blogs/nosql - NoSQL на хабре kostja.osipov@gmail.com http://tarantool.org

×