Download as PDF, PPTX
Uploaded byOntico
Очереди и блокировки. Теория и практика / Александр Календарев (ad1.ru)
Документ рассматривает использование очередей и блокировок в веб-архитектуре, описывая причины и места применения очередей, а также подробности о различных протоколах, таких как AMQP и их реализациях через RabbitMQ и Tarantool. Также обсуждаются структуры данных и подходы, такие как Redis и Kafka, для обработки сообщений и синхронизации процессов. В заключение подчеркиваются важность мониторинга и баланс между скоростью и надежностью систем.
More Related Content
Similar to Очереди и блокировки. Теория и практика / Александр Календарев (ad1.ru)
Очереди и блокировки. Теория и практика / Александр Календарев (ad1.ru)
- 1.
- 2. О чём речь... •Зачем нужна очередь •Где и как она используется •Протоколы •AMQP (на примере RabbitMQ) •Блокировки
- 3.
- 4.
- 5.
- 6.
- 7. WEB Типовая архитектура Junior проект HTTPERROR 504 504 Gateway Timeout error
- 8.
- 9.
- 10.
- 11. WEB Типовая архитектура Junior проект WEB MySQLERROR 2006 MySQL gone away
- 12. Типовая архитектура уже неJunior проект Master WEB WEB Slave
- 13. Типовая архитектура уже неJunior проект Master WEB WEB Slave HTTP ERROR 502 Bad Gaetway
- 14. Типовая архитектура уже неJunior проект Master WEB WEB Slave
- 15. Типовая архитектура уже неJunior проект Master WEB WEB Slave
- 16. Типовая архитектура уже неJunior проект Быстрая часть Критическая часть Медленная часть Не очень важная часть
- 17. Типовая архитектура уже неJunior проект Быстрая часть Критическая часть Медленная часть Не очень важная часть
- 18. Типовая архитектура уже неJunior проект Быстрая часть Критическая часть Медленная часть Не очень важная часть WEB Backend
- 19. Паттерн: хитрый ученик Быстраячасть Критическая часть Медленная часть Не очень важная часть WEB Backend© СоюзМультФильм
- 20. Паттерн: хитрый ученик ©СоюзМультФильм Сперва скажу, что выучил уроки, а потом сделаю...
- 21. Паттерн: хитрый ученик отложенныевычисления © СоюзМультФильм Вычисляем по мере необходимости
- 22.
- 23. Проблема синхронизации и обменаданными BackendWEB WEB Backend
- 24. Проблема синхронизации и обменаданными BackendWEB WEB Backend ?
- 25. Проблема синхронизации и обменаданными BackendWEB WEB Backend Очередь
- 26. Очередь – этосписок FIFO – First Input First Output
- 27. Поговорим о ... •Зачемнужна очередь •Где и как она используется •Протоколы •AMQP (на примере RabbitMQ) •Блокировки
- 29. Взаимодействие частей проекта Загрузка YML Сведение вpricelist Парсинг YML Загрузка img
- 30. Взаимодействие частей проекта Загрузка YML Сведение вpricelist Парсинг YML Загрузка img
- 31. Очередь через БД CREAETABLE queue ( id BIGINT AUTOINCREMENT NOT NULL, data VARCHAR (…), PRIMARYKEY (id) )
- 32. Очередь через БД Записьв очередь: INSERT INTO queue (data) VALUES (...);
- 33. Очередь через БД Чтениеиз очереди: SELECT * FROM queue ORDER BY id LIMIT 1 DELETE FROM queue WHERE id = ?
- 34. Очередь через БД Чтениеиз очереди: LOCK TABLE queue; SELECT * FROM queue ORDER BY id LIMIT 1 DELETE FROM queue WHERE id = ? UNLOCK TABLE queue;
- 35. Очередь через БД Надежно Медленно Можнохранить историю (UDATE SET deleted=1 вместо DELETE)
- 36. Очередь через MongoDb Вставка:db.queue.insert(...);
- 37. Очередь через MongoDb Вставка:db.queue.insert(...); Чтение: db.queue.findAndModify({ query : {}, remove:1 })
- 38. Очередь через MongoDb Надежно Медленно,быстрее, чем БД
- 39.
- 40.
- 41.
- 42. Использование Tarantool • MemoryOnly хранилище •Необходимо следить за памятью •Необходим мониторинг системы
- 43. Использование Tarantool ● Репликация изкоробки ● Возможен шардинг (дополнительный пакет) ● Персистентность данных
- 44. Использование Tarantool Есть специальныйпакет Queue $tnt = new Tarantool('localhost', 3301); $tnt->connect(); $tnt->select('q1'); $tnt->call('queue.tube.q1:put', $data); $tnt->call('queue.tube.q1:take', 0.1 ));
- 45. Использование Tarantool Синхронный: while(1) { $data=$tnt->call('queue.tube.q1:take' )); … /* обработка данных */ }
- 46. Использование Tarantool Асинхронный: while(1) { $data=$tnt->call('queue.tube.q1:take', 0.1 )); If (!$data) { usleep(1000); continue; } … /* обработка данных */ }
- 47. Использование Tarantool Пакет Queue ● Очередис приоритетом ● Жизнь элемента очереди ttl ● Подтверждение доставки ● Синхронные / асинхронные запросы ● Можно самому менять логику
- 48.
- 49.
- 50.
- 51.
- 52.
- 53. Использование Redis Memory Onlyхранилище ● Необходимо следить за памятью, мониторинг ● Персистентно
- 54. Использование Redis Операции сосписками ● RPUSH {key} {data} ● LPOP {key}, BLPOP (блокирующий) ● COUNT {key}
- 55. Использование Redis (часть2) Проект загрузки видео Youtube Vimeo Vk
- 56. Использование Redis (часть2) Load Convert WEB Curl Клиентский скрипт
- 57. Использование Redis (часть2) Load Convert WEB Клиентский скрипт
- 58. Использование Redis (часть2) Load Convert WEB Клиентский скрипт Необходимо проинформировать
- 59. Использование Redis (часть2) Load Convert WEB Клиентский скрипт Постоянно Проверяем статус Способ – I Push Curl
- 60. Использование Redis (часть2) Load Convert WEB Клиентский скрипт устанавливаем статус: Выполнено Способ – I Push
- 61. Использование Redis (часть2) Load Convert WEB Клиентский скрипт Отдаёт статус: Выполнено Способ – I Push
- 62. Использование Redis (часть2) Load Convert WEB Клиентский скрипт Способ – I Push Загружаем файл
- 63. Использование Redis (часть2) Load Convert WEB Клиентский скрипт WebSockets Подписываемся на канал SUBRIBE Способ – II Pull Curl
- 64. Использование Redis (часть2) Load Convert WEB Клиентский скрипт PUSH: Выполнено Способ – II Pull
- 65. Использование Redis (часть2) Load Convert WEB Клиентский скрипт Способ – II Pull Получаем статус Выполнено
- 66. Использование Redis (часть2) Load Convert WEB Клиентский скрипт Способ – II Pull Загружаем файл
- 67. Паттерн Писатель /Читатель Подписка / Публикация ● PUBLISH {channel} {data} ● SUBSCRIBE {channel} ● UNSUBSCRIBE {channel}
- 68. Паттерн Писатель /Читатель Подписка / Публикация Приемник данных Внешний источник PUBLISH SUBSCR
- 69. MemcachedQ Протокол memcached ● SET {key}{data} ● GET {key} memcached + berkeleyDb
- 70. MemcachedQ ● Быстро ● Работает, пока естьпамять ● Масштабируется в рамках клиента libmemcached ● Не возможен мониторинг
- 71. Zerro MQ Это встраиваемоерешение Oтсутствует брокер Очень быстрое решение: - Запрос / Ответ - Подписка / Публикация - Потоковой обмен
- 72. Apache Kafka ● Система потоковойобработки сообщений, разрабатывалась для сбора логов ● Распределённоe решение ● С подтверждением доставки
- 73. Apache Kafka ● Очень производителенв кластере ● Требует синхронизации кластера через Zookeper
- 74. О чём речь... •Зачем нужна очередь •Где и как она используется •Протоколы (кратко) •AMQP (на примере RabbitMQ) •Блокировки
- 75. Протоколы •STOMP- Simple (orStreaming) Text Oriented Message Protocol •MQTT - Message Queue Telemetry Transport •AMQP - Advanced Message Queuing Protocol
- 76. Протокол STOMP •Текстовый (поверх HTTP, Websocket) •Сообщение имеет тело и заголовок •Сообщение может быть разделено на фреймы •Подписка / Публикация •Подтверждение доставки, Авторизация
- 77. Протокол MQTT •Бинарный •Сообщение имееттело и заголовок •Сообщение может быть разделено на фреймы •Подписка / Публикация •Подтверждение доставки, Авторизация
- 78. Поддержка протоколов Реализация Java Реализацияerlang Реализация Java / C++
- 79. Поговорим о ... •Зачемнужна очередь •Где и как она используется •Протоколы •AMQP (на примере RabbitMQ) •Блокировки
- 80. Exchange AMQP : Exchange(обмен) ● Принимает сообщения ● Имеет имя ● Имеет тип: - fanout - direct - topic
- 81. Exchange Имеет свойства: - autodelete -transit - durable AMQP : Exchange (обмен)
- 82. Exchange AMQP : Exchange(обмен) $exchange = new AMQPExchange($channel); $exchange->setName('MyExchange';) $exchange->declare();
- 83. ● Отдает сообщения адресату попринципу FIFO ● Имеет имя ● Имеет свойства: - autodelete - durable Queue AMQP : Queue (очередь)
- 84. Queue AMQP : Queue(очередь) $queue = new AMQPQueue($channel); $queue->setName('MyQueue'); $queue->declare();
- 85. ● Между Exchange иQueue определяем связь (или маршрут): Bind ● Имеет ключ, в соответствии с которым определяется маршрут сообщения QueueExchange Bind AMQP : Bind (связь)
- 86. QueueExchange Bind AMQP : Bind(связь) $queue = new AMQPQueue($channel); $queue->setName('MyQueue'); $queue->bind('MyExchange', $key);
- 87.
- 88. Exchange В зависимости оттипа Exchange и routingKey сообщения определяется маршрут сообщения AMQP : Message
- 89. Exchange Fanout – ключне учитываем Direct – полное совпадение Topic – совпадение по маске AMQP : Message использование Routing key В зависимости от типа Exchange:
- 90. Exchange AMQP : Message использованиеRouting key $exchange = new AMQPExchange($channel); $exchange->setName('MyExchange';) $exchange->publish($message, $key);
- 91. ● Забывают устанавливать связьBind: $queue->bind($exchange, $key); ● Забывают объявлять очередь/обмен: $queue->declare($name); ● Если Обмен/Очередь не autodelete, то достаточно объявить их один раз AMQP : Типичные ошибки
- 92. Rabbit MQ ● Довольно сложноерешение, требует администрирования ● Требовательно по памяти ● Можно объединять в кластер ● Возможно расширение plugins
- 93. Rabbit MQ 2015 №11 Кролик в песочнице
- 94. Rabbit MQ 2015 №12 RabbitMQ. Вырастаем из штанишек.
- 95. И в заключение •Зачемнужна очередь •Где и как она используется •Протоколы •AMQP (на примере RabbitMQ) •Блокировки
- 96.
- 97.
- 98. Apache Zookeeper Иерархическое хранилище Основноепонятие znode Аналог inode в ФС •Операции: - GetData / SetData - Create / GetChildren
- 99.
- 100. Пример: обновление конфигурации налету Процесс 1 Процесс 2a Процесс 2b Процесс 2c 192.168.100.1 192.168.100.2 192.168.100.3
- 101. Пример: обновление конфигурации налету Процесc 1 Процесc 2a Процесc 2b Процесc 2c 192.168.100.1 192.168.100.2 192.168.100.3 /config/nodes/n1 /config/nodes/n2 /config/nodes/n3 config nodes n-1 n-2 n-3 /config/nodes/n-1 /config/nodes/n-2 /config/nodes/n-3
- 102. Пример: обновление конфигурации налету Процесc 1 Процесс 2a Процесc 2b Процесc 2c 192.168.100.1 192.168.100.2 192.168.100.3 Останавливается процесс
- 103. Пример: обновление конфигурации налету Процесc 1 Процесc 2a Процесc 2b Процесc 2c 192.168.100.1 192.168.100.2 192.168.100.3 Рвется соединение
- 104. Пример: обновление конфигурации налету Процесc 1 Процесc 2a Процесc 2b Процесc 2c 192.168.100.1 192.168.100.2 192.168.100.3 Посылаем event
- 105. Пример: обновление конфигурации налету Процесc 1 Процесc 2b Процесc 2c 192.168.100.2 192.168.100.3 Пересчитываем конфигурацию
- 106. Пример: обновление конфигурации налету Процесc 1 Процесc 2b Процесc 2c 192.168.100.2 192.168.100.3 Процесc 1 /config/nodes/n1 /config/nodes/n2 /config/nodes/n3 config nodes n-2 n-3 /config/nodes/n-2 /config/nodes/n-3
- 107. Apache Zookeeper •Используется длясинхронизации процессов в кластере •На последовательностях можно организовать очереди
- 108. speed scale memoryreplika ACL/SSL Prototokol Safety Extend Kafka критичен RabbitMQ критичен AMQP STOMP MQTTActiveMQ ? ? ZMQ Отсутствует брокер MemcacheQ Memcached Tarantool MsgPack Redis ? ? Redis MongoDb BSON Databases ?
- 109. Выводы: 1) Не стоитмикроскопом забивать гвозди 2) Cкорость * надежность = const 3) Мониторинг – третий глаз админа
- 111.