Очереди и блокировки. Теория и практика / Александр Календарев (ad1.ru)
•
3 likes•1,700 views
В докладе будут описаны паттерны использования очередей и блокировок, рассказано, зачем нужны очереди и блокировки, показано на примерах использования в разных архитектурах. Описано применение синхронных и асинхронных очередей, как построить очереди с приоритетами. Будет сравнение разных серверов очередей: Redis, Tarantool, RabbitMQ, ZMQ, Kafka, Zookeeper, MemcacheQ и др., их преимущества и недостатки, где и какой брокер лучше использовать.
Recommended
More Related Content
What's hot
What's hot (20)
Viewers also liked
Viewers also liked (20)
Similar to Очереди и блокировки. Теория и практика / Александр Календарев (ad1.ru)
Similar to Очереди и блокировки. Теория и практика / Александр Календарев (ad1.ru) (20)
More from Ontico
More from Ontico (20)
Очереди и блокировки. Теория и практика / Александр Календарев (ad1.ru)
- 2. О чём речь ... •Зачем нужна очередь •Где и как она используется •Протоколы •AMQP (на примере RabbitMQ) •Блокировки
- 7. WEB Типовая архитектура Junior проект HTTP ERROR 504 504 Gateway Timeout error
- 11. WEB Типовая архитектура Junior проект WEB MySQL ERROR 2006 MySQL gone away
- 12. Типовая архитектура уже не Junior проект Master WEB WEB Slave
- 13. Типовая архитектура уже не Junior проект Master WEB WEB Slave HTTP ERROR 502 Bad Gaetway
- 14. Типовая архитектура уже не Junior проект Master WEB WEB Slave
- 15. Типовая архитектура уже не Junior проект Master WEB WEB Slave
- 16. Типовая архитектура уже не Junior проект Быстрая часть Критическая часть Медленная часть Не очень важная часть
- 17. Типовая архитектура уже не Junior проект Быстрая часть Критическая часть Медленная часть Не очень важная часть
- 18. Типовая архитектура уже не Junior проект Быстрая часть Критическая часть Медленная часть Не очень важная часть WEB Backend
- 19. Паттерн: хитрый ученик Быстрая часть Критическая часть Медленная часть Не очень важная часть WEB Backend© СоюзМультФильм
- 20. Паттерн: хитрый ученик © СоюзМультФильм Сперва скажу, что выучил уроки, а потом сделаю...
- 21. Паттерн: хитрый ученик отложенные вычисления © СоюзМультФильм Вычисляем по мере необходимости
- 23. Проблема синхронизации и обмена данными BackendWEB WEB Backend
- 24. Проблема синхронизации и обмена данными BackendWEB WEB Backend ?
- 25. Проблема синхронизации и обмена данными BackendWEB WEB Backend Очередь
- 26. Очередь – это список FIFO – First Input First Output
- 27. Поговорим о ... •Зачем нужна очередь •Где и как она используется •Протоколы •AMQP (на примере RabbitMQ) •Блокировки
- 29. Взаимодействие частей проекта Загрузка YML Сведение в pricelist Парсинг YML Загрузка img
- 30. Взаимодействие частей проекта Загрузка YML Сведение в pricelist Парсинг YML Загрузка img
- 31. Очередь через БД CREAE TABLE queue ( id BIGINT AUTOINCREMENT NOT NULL, data VARCHAR (…), PRIMARYKEY (id) )
- 32. Очередь через БД Запись в очередь: INSERT INTO queue (data) VALUES (...);
- 33. Очередь через БД Чтение из очереди: SELECT * FROM queue ORDER BY id LIMIT 1 DELETE FROM queue WHERE id = ?
- 34. Очередь через БД Чтение из очереди: LOCK TABLE queue; SELECT * FROM queue ORDER BY id LIMIT 1 DELETE FROM queue WHERE id = ? UNLOCK TABLE queue;
- 35. Очередь через БД Надежно Медленно Можно хранить историю (UDATE SET deleted=1 вместо DELETE)
- 36. Очередь через MongoDb Вставка: db.queue.insert(...);
- 37. Очередь через MongoDb Вставка: db.queue.insert(...); Чтение: db.queue.findAndModify({ query : {}, remove:1 })
- 38. Очередь через MongoDb Надежно Медленно, быстрее, чем БД
- 42. Использование Tarantool • Memory Only хранилище •Необходимо следить за памятью •Необходим мониторинг системы
- 43. Использование Tarantool ● Репликация из коробки ● Возможен шардинг (дополнительный пакет) ● Персистентность данных
- 44. Использование Tarantool Есть специальный пакет Queue $tnt = new Tarantool('localhost', 3301); $tnt->connect(); $tnt->select('q1'); $tnt->call('queue.tube.q1:put', $data); $tnt->call('queue.tube.q1:take', 0.1 ));
- 45. Использование Tarantool Синхронный: while(1) { $data= $tnt->call('queue.tube.q1:take' )); … /* обработка данных */ }
- 46. Использование Tarantool Асинхронный: while(1) { $data= $tnt->call('queue.tube.q1:take', 0.1 )); If (!$data) { usleep(1000); continue; } … /* обработка данных */ }
- 47. Использование Tarantool Пакет Queue ● Очереди с приоритетом ● Жизнь элемента очереди ttl ● Подтверждение доставки ● Синхронные / асинхронные запросы ● Можно самому менять логику
- 53. Использование Redis Memory Only хранилище ● Необходимо следить за памятью, мониторинг ● Персистентно
- 54. Использование Redis Операции со списками ● RPUSH {key} {data} ● LPOP {key}, BLPOP (блокирующий) ● COUNT {key}
- 55. Использование Redis (часть 2) Проект загрузки видео Youtube Vimeo Vk
- 56. Использование Redis (часть 2) Load Convert WEB Curl Клиентский скрипт
- 57. Использование Redis (часть 2) Load Convert WEB Клиентский скрипт
- 58. Использование Redis (часть 2) Load Convert WEB Клиентский скрипт Необходимо проинформировать
- 59. Использование Redis (часть 2) Load Convert WEB Клиентский скрипт Постоянно Проверяем статус Способ – I Push Curl
- 60. Использование Redis (часть 2) Load Convert WEB Клиентский скрипт устанавливаем статус: Выполнено Способ – I Push
- 61. Использование Redis (часть 2) Load Convert WEB Клиентский скрипт Отдаёт статус: Выполнено Способ – I Push
- 62. Использование Redis (часть 2) Load Convert WEB Клиентский скрипт Способ – I Push Загружаем файл
- 63. Использование Redis (часть 2) Load Convert WEB Клиентский скрипт WebSockets Подписываемся на канал SUBRIBE Способ – II Pull Curl
- 64. Использование Redis (часть 2) Load Convert WEB Клиентский скрипт PUSH: Выполнено Способ – II Pull
- 65. Использование Redis (часть 2) Load Convert WEB Клиентский скрипт Способ – II Pull Получаем статус Выполнено
- 66. Использование Redis (часть 2) Load Convert WEB Клиентский скрипт Способ – II Pull Загружаем файл
- 67. Паттерн Писатель / Читатель Подписка / Публикация ● PUBLISH {channel} {data} ● SUBSCRIBE {channel} ● UNSUBSCRIBE {channel}
- 68. Паттерн Писатель / Читатель Подписка / Публикация Приемник данных Внешний источник PUBLISH SUBSCR
- 69. MemcachedQ Протокол memcached ● SET {key} {data} ● GET {key} memcached + berkeleyDb
- 70. MemcachedQ ● Быстро ● Работает, пока есть память ● Масштабируется в рамках клиента libmemcached ● Не возможен мониторинг
- 71. Zerro MQ Это встраиваемое решение Oтсутствует брокер Очень быстрое решение: - Запрос / Ответ - Подписка / Публикация - Потоковой обмен
- 72. Apache Kafka ● Система потоковой обработки сообщений, разрабатывалась для сбора логов ● Распределённоe решение ● С подтверждением доставки
- 73. Apache Kafka ● Очень производителен в кластере ● Требует синхронизации кластера через Zookeper
- 74. О чём речь ... •Зачем нужна очередь •Где и как она используется •Протоколы (кратко) •AMQP (на примере RabbitMQ) •Блокировки
- 75. Протоколы •STOMP- Simple (or Streaming) Text Oriented Message Protocol •MQTT - Message Queue Telemetry Transport •AMQP - Advanced Message Queuing Protocol
- 76. Протокол STOMP •Текстовый (по верх HTTP, Websocket) •Сообщение имеет тело и заголовок •Сообщение может быть разделено на фреймы •Подписка / Публикация •Подтверждение доставки, Авторизация
- 77. Протокол MQTT •Бинарный •Сообщение имеет тело и заголовок •Сообщение может быть разделено на фреймы •Подписка / Публикация •Подтверждение доставки, Авторизация
- 78. Поддержка протоколов Реализация Java Реализация erlang Реализация Java / C++
- 79. Поговорим о ... •Зачем нужна очередь •Где и как она используется •Протоколы •AMQP (на примере RabbitMQ) •Блокировки
- 80. Exchange AMQP : Exchange (обмен) ● Принимает сообщения ● Имеет имя ● Имеет тип: - fanout - direct - topic
- 81. Exchange Имеет свойства: - autodelete - transit - durable AMQP : Exchange (обмен)
- 82. Exchange AMQP : Exchange (обмен) $exchange = new AMQPExchange($channel); $exchange->setName('MyExchange';) $exchange->declare();
- 83. ● Отдает сообщения адресату по принципу FIFO ● Имеет имя ● Имеет свойства: - autodelete - durable Queue AMQP : Queue (очередь)
- 84. Queue AMQP : Queue (очередь) $queue = new AMQPQueue($channel); $queue->setName('MyQueue'); $queue->declare();
- 85. ● Между Exchange и Queue определяем связь (или маршрут): Bind ● Имеет ключ, в соответствии с которым определяется маршрут сообщения QueueExchange Bind AMQP : Bind (связь)
- 86. QueueExchange Bind AMQP : Bind (связь) $queue = new AMQPQueue($channel); $queue->setName('MyQueue'); $queue->bind('MyExchange', $key);
- 88. Exchange В зависимости от типа Exchange и routingKey сообщения определяется маршрут сообщения AMQP : Message
- 89. Exchange Fanout – ключ не учитываем Direct – полное совпадение Topic – совпадение по маске AMQP : Message использование Routing key В зависимости от типа Exchange:
- 90. Exchange AMQP : Message использование Routing key $exchange = new AMQPExchange($channel); $exchange->setName('MyExchange';) $exchange->publish($message, $key);
- 91. ● Забывают устанавливать связь Bind: $queue->bind($exchange, $key); ● Забывают объявлять очередь/обмен: $queue->declare($name); ● Если Обмен/Очередь не autodelete, то достаточно объявить их один раз AMQP : Типичные ошибки
- 92. Rabbit MQ ● Довольно сложное решение, требует администрирования ● Требовательно по памяти ● Можно объединять в кластер ● Возможно расширение plugins
- 93. Rabbit MQ 2015 № 11 Кролик в песочнице
- 94. Rabbit MQ 2015 № 12 RabbitMQ. Вырастаем из штанишек.
- 95. И в заключение •Зачем нужна очередь •Где и как она используется •Протоколы •AMQP (на примере RabbitMQ) •Блокировки
- 98. Apache Zookeeper Иерархическое хранилище Основное понятие znode Аналог inode в ФС •Операции: - GetData / SetData - Create / GetChildren
- 100. Пример: обновление конфигурации на лету Процесс 1 Процесс 2a Процесс 2b Процесс 2c 192.168.100.1 192.168.100.2 192.168.100.3
- 101. Пример: обновление конфигурации на лету Процесc 1 Процесc 2a Процесc 2b Процесc 2c 192.168.100.1 192.168.100.2 192.168.100.3 /config/nodes/n1 /config/nodes/n2 /config/nodes/n3 config nodes n-1 n-2 n-3 /config/nodes/n-1 /config/nodes/n-2 /config/nodes/n-3
- 102. Пример: обновление конфигурации на лету Процесc 1 Процесс 2a Процесc 2b Процесc 2c 192.168.100.1 192.168.100.2 192.168.100.3 Останавливается процесс
- 103. Пример: обновление конфигурации на лету Процесc 1 Процесc 2a Процесc 2b Процесc 2c 192.168.100.1 192.168.100.2 192.168.100.3 Рвется соединение
- 104. Пример: обновление конфигурации на лету Процесc 1 Процесc 2a Процесc 2b Процесc 2c 192.168.100.1 192.168.100.2 192.168.100.3 Посылаем event
- 105. Пример: обновление конфигурации на лету Процесc 1 Процесc 2b Процесc 2c 192.168.100.2 192.168.100.3 Пересчитываем конфигурацию
- 106. Пример: обновление конфигурации на лету Процесc 1 Процесc 2b Процесc 2c 192.168.100.2 192.168.100.3 Процесc 1 /config/nodes/n1 /config/nodes/n2 /config/nodes/n3 config nodes n-2 n-3 /config/nodes/n-2 /config/nodes/n-3
- 107. Apache Zookeeper •Используется для синхронизации процессов в кластере •На последовательностях можно организовать очереди
- 108. speed scale memory replika ACL/SSL Prototokol Safety Extend Kafka критичен RabbitMQ критичен AMQP STOMP MQTTActiveMQ ? ? ZMQ Отсутствует брокер MemcacheQ Memcached Tarantool MsgPack Redis ? ? Redis MongoDb BSON Databases ?
- 109. Выводы: 1) Не стоит микроскопом забивать гвозди 2) Cкорость * надежность = const 3) Мониторинг – третий глаз админа