1. Реализация
неблокирующейся очереди
сообщений на основе
Memcached

2. Hello
Дмитрий Сивидов
Senior Software Developer
Intersog
dsividov@intersog.com

3. Реализация
неблокирующейся очереди
сообщений на основе
Memcached

4. Почему велосипед?

5. Почему велосипед?
MemcacheQ
а) довольно быстрый, неблокирующийся API,
персистентное хранилище
б) теряет сообщения
BeanstalkD
а) быстрая выборка сообщений, персистентное
хранилище
б) медленная вставка (в 5 раз медленнее MemcacheQ),
блокирующийся API

6. Почему велосипед?
Apache ActiveMQ
а) "Java?! No f***king Java on my servers!" - The Client
POSIX message queues
а) работает в пределах одного хоста

7. Что нужно, что не нужно?

8. Что нужно?
1. Очень быстрая запись
2. Достаточно быстрое чтение
3. Использование существующего стека (LAMP, Memcache)

9. Что не нужно?
• низкая латентность
• приоритеты сообщений, группы получателей,
разделение прав
• подтверждение доставки

10. Теория

11. Кольцевой буфер
tail = (tail + 1) % length
head = (head + 1) % length

12. Инкремент в memcached
INC
атомарный
64битный
переполнение => сброс в 0
inc queue_tail => tail = (tail + 1) % 2^64

13. Запись
public function set($queue, $message)
{
// $queue = 'messages'
$message = serialize($message);
if (is_null($message)) {
throw new RuntimeException('Failed to serialize');
}
$tailPointer = $this->_name($queue, 'tail');
// $tailPointer = 'queue_messages_tail'
$this->_memcache->add($tailPointer, '0');
$tail = $this->_memcache->increment($tailPointer);
$slot = $this->_name($queue, $tail); // queue_messages_123
return $this->_memcache->set($slot, $message);
}

14. Чтение
public function get($queue)
{
$headPointer = $this->_name($queue, 'head');
$this->_memcache->add($headPointer, '0');
$head = $this->_memcache->increment($headPointer);
$slot = $this->_name($queue, $head);
$data = $this->_memcache->get($slot);
if (false !== $data) {
$this->_memcache->delete($slot, 0);
return unserialize($data);
}
return false;
}

15. Обгон

16. Чтение
public function get($queue)
{
$stateP = $this->_name($queue, php_uname('n') . '_state');
$state = $this->_memcache->get($stateP);
if (false !== $state) {
$slot = $this->_name($queue, $state);
$data = $this->_memcache->get($slot);
if (false !== $data) {
$this->_memcache->delete($slot, 0);
$this->_memcache->delete($stateP, 0);
return unserialize($data);
}
} else {
// ...
}
return false;
}

17. Чтение
public function get($queue)
{
$stateP = $this->_name($queue, php_uname('n') . '_state');
$state = $this->_memcache->get($stateP);
if (false !== $state) {
// ...
} else {
// ...
if (false !== $data) {
$this->_memcache->delete($slot, 0);
return unserialize($data);
} else {
$this->_memcache->set($stateP, $head);
}
}
return false;
}

18. Use case

19. Use case

20. Вопросы
Вопросы?