Download to read offline
![Четвёртое поколение
25
fanout
entrypoint
Route Web
sibs-
user
online.sbis.ru:<uid>
Q
Q
Q
Shovel sbis-ep
entrypoint sibs-
user
online.sbis.ru:<uid>
Q
Q
……
WHERE
[sites] AND [users]](https://image.slidesharecdn.com/random-170326180917/75/RabbitMQ-25-2048.jpg)
Uploaded byDev_Party
Сергей Яркин, Тензор — RabbitMQ. Насколько ценен мех и вкусно мясо?
Документ описывает RabbitMQ как мощную и гибкую систему обмена сообщениями, поддерживающую множество протоколов и платформ. Также обсуждаются преимущества и недостатки использования RabbitMQ, включая простоту настройки и возможные проблемы с памятью. В заключение представлены примеры использования RabbitMQ в компании 'Тензор' для обработки событий и управления уведомлениями.
Сергей Яркин, Тензор — RabbitMQ. Насколько ценен мех и вкусно мясо?
- 1. RabbitMQ Яркин Сергей системный администратор,ЯГК разработчик Платформы СБИС, Тензор http://www.rabbitmq.com PF Square Sans Pro Regular PF Square Sans Pro Medium PF Square Sans Pro Bold PF Square Sans Pro Italic PF Square Sans Pro Italic Medium PF Square Sans Pro Italic Bold CMYK: 0 60 100 0 CMYK: 100 65 35 20 Blend 20-50% 0%
- 2. What is RabbitMQ? Robustmessaging for applications Easy to use Runs on all major operating systems Supports a huge number of developer platforms Open source and commercially supported 2
- 3. Структура решения наErlang 3 Erlang/OTP RabbitMQ + plugins … host 1 host N hardware operating system BEAM hardware operating system BEAM CPU cores
- 4. Взаимодействие объектов вAMQP 4 Exchange Queue Exchange BindingPublisher Connection Channel Consumer Queue Queue fanout direct topic durable transient RabbitMQClient E2E
- 5. AMQP сообщение 5 Message Payload Headers DeliveryMode Content Type Routing Key Timestamp … Properties Name1 -> Value1 Name2 -> Value2 Name3 -> Value3
- 6.
- 7. Обменники из коробки 7 DIRECT Q1 Q2 Q3 P routingkey Key1 bind=Key1 bind=Key1 bind=Key2 binding message path
- 8. Обменники из коробки 8 TOPIC Q1 Q2 Q3 P routingkey log.error bind=log.* bind=*.warn bind=#.error binding message path 1 any token ≧0 any tokens * #
- 9. Некоторые расширения протокола Confirms Directreply-to Exchange to Exchange Bindings Time-To-Live Queue Length Limit 9
- 10. Некоторые плагины Management plugin Federation Shovel WebSTOMP Tracing Event Exchange 10
- 11.
- 12. Позитивные моменты Простой впонимании и настройке Кластеризация из коробки Гибкая маршрутизация сообщений Хорошая скорость работы и использование ресурсов Поддержка зеркалированных очередей Расширяемость с помощью системы плагинов Поддержка из коробки протоколов AMQP, STOMP, MQTT Оперативная поддержка в сообществе 12
- 13. Негативные моменты Непредсказуемость потребленияпамяти Непредсказуемость поведения при проблемах в кластере Ограниченная масштабируемость при работе с persistent- сообщениями (40K MPS) 13
- 14.
- 15. Кейсы использования вкомпании «Тензор» Асинхронные вызовы методов События Между бизнес-логиками До клиентов 15
- 16. Зарождение системы уведомлений 16 КластерRabbitMQ Web STOMP для подключения веб- пользователей Обменник на каждый тип события 50 тысяч одновременных подключений
- 17.
- 18. Второе поколение 18 Кластер RabbitMQдля публикации Одиночные узлы (web) для для обслуживания подключений пользователей Federation для связи уровней Персональный обменник пользователя Области публикации уведомления 300 тысяч одновременных подключений Web Cluster
- 19.
- 20. Второе поколение 20 direct online.sbis.ru.user direct online.sbis.ru.client direct online.sbis.ru.global direct direct direct Cluster Web fanout online.sbis.ru:<uid> Q Q Q Federation Q Federation Q Federation user-id client-id online.sbis.ru.user online.sbis.ru.client online.sbis.ru.global Копятсянеиспользуемые ресурсы Затратная синхронизация очереди federation плагина Много подключений между уровнями ——— ——— ——— ——— ——— ——— ——— ——— ——— ———
- 21. Третье поколение 21 Shovel длясвязи уровней Собственный тип для персонального обменника пользователя c TTL Единая точка публикации, свой тип обменника 600 тысяч одновременных подключений Web Cluster
- 22.
- 23. Третье поколение 23 Web Cluster Ограниченная скоростьпубликации из-за зеркалирования Повышенная нагрузка при публикации в большой чат
- 24. Четвёртое поколение 24 Кластер разбитна независимые узлы маршрутизации Web узлы скомпонованы в группы с лидером Пользователи привязаны к группам Пакетная публикация сообщений Web group Route
- 25. Четвёртое поколение 25 fanout entrypoint Route Web sibs- user online.sbis.ru:<uid> Q Q Q Shovelsbis-ep entrypoint sibs- user online.sbis.ru:<uid> Q Q …… WHERE [sites] AND [users]
- 26. Четвёртое поколение 26 1 миллионодновременных подключений 330 тыс исходящих сообщений в секунду 2 Гбит/с исходящего сетевого трафика
- 27.