Downloaded 27 times
![Request/reply: клиент
import zmq, sys
context = zmq.Context(1)
s = context.socket(zmq.REQ)
s.connect("tcp://localhost:5000")
s.send(sys.argv[1])
print socket.recv(),](https://image.slidesharecdn.com/0mqlowlatency-111030152404-phpapp01/85/0MQ-18-320.jpg)
![Request/reply
$ python server.py &
[1] 79259
$ python client.py foo
FOO
$ python client.py bar
BAR](https://image.slidesharecdn.com/0mqlowlatency-111030152404-phpapp01/85/0MQ-19-320.jpg)
![Request/reply: клиент
import zmq, sys
context = zmq.Context(1)
s = context.socket(zmq.REQ)
s.connect("tcp://localhost:5000")
s.send(sys.argv[1])
print socket.recv(),](https://image.slidesharecdn.com/0mqlowlatency-111030152404-phpapp01/85/0MQ-21-320.jpg)
![Publish/subscribe: сервер
while True:
for city in ["Moscow", "Murmansk", "St.
Petersburg"]:
s.send(city, zmq.SNDMORE)
s.send(str(random.randint(10, 20)))
time.sleep(2)](https://image.slidesharecdn.com/0mqlowlatency-111030152404-phpapp01/85/0MQ-30-320.jpg)
![Publish/subscribe: клиент
s.setsockopt(zmq.SUBSCRIBE, sys.argv[1])
while True:
city = socket.recv()
temp = socket.recv()
print city + ": " + temp](https://image.slidesharecdn.com/0mqlowlatency-111030152404-phpapp01/85/0MQ-32-320.jpg)
![Publish/subscribe
$ python server.py &
[1] 79569
$ python client.py M
Moscow: 11
Murmansk: 11
Moscow: 13
Murmansk: 17](https://image.slidesharecdn.com/0mqlowlatency-111030152404-phpapp01/85/0MQ-33-320.jpg)
Uploaded byOntico
Использование 0MQ для построения распределёных систем (Андрей Охлопков, Алексей Ермаков)
Доклад посвящен использованию ØMQ для разработки распределенных систем, включая его преимущества, такие как гибкость, простота масштабирования и отказоустойчивость. Рассматриваются различные модели взаимодействия, включая request/reply и publish/subscribe, а также конкретный пример использования ØMQ в автоматизированной торговле ценными бумагами с высоким производственным эффектом. Упоминаются поддерживаемые языки программирования и технические детали реализации, такие как работа с Google Protocol Buffers для сериализации сообщений.
More Related Content
Similar to Использование 0MQ для построения распределёных систем (Андрей Охлопков, Алексей Ермаков)
Использование 0MQ для построения распределёных систем (Андрей Охлопков, Алексей Ермаков)
- 1. Использование ØMQ для построенияраспределенных систем Андрей Охлопков Алексей Ермаков
- 2. План доклада • Разработкараспределенных систем • ØMQ: краткий обзор • Case study: GH ATP
- 3.
- 4. Распределенные системы • Болеегибкие в разработке • Проще масштабировать • Надежнее
- 5.
- 6.
- 7.
- 8. Взаимодействие • HTTP • TCP/IP •Message-Oriented Middleware (MOM)
- 9. MOM • Асинхронное взаимодействиечерез прием и отправку сообщений • Очереди и маршрутизация
- 10. Распространенные MOM • Amazon SQS • MSMQ • JMS • AMQP (RabbitMQ, Apache Qpid)
- 12. ØMQ • Разработан компаниейiMatix (AMQP) • LGPL • Поддерживает C/C++, C#, Java, Python, PHP, Ruby, Erlang и другие языки • “Sockets on steroids”
- 13. Отличия от другихMOM • Отсутствие брокера • API, похожий на BSD sockets API • Произвольный формат сообщений • Различные модели взаимодействия
- 14. Отличия от обычныхсокетов • N:M взаимодействие • bind()/connect() могут быть вызваны в любом порядке на любой стороне • Поток сообщений а не байтов • Автоматическое переподключение
- 15. Модели взаимодействия • Request/reply •Publish/subscribe • Pipeline
- 16.
- 17. Request/reply: сервер import zmq context= zmq.Context(1) s = context.socket(zmq.REP) s.bind("tcp://*:5000") while True: request = s.recv() s.send(request.upper())
- 18. Request/reply: клиент import zmq,sys context = zmq.Context(1) s = context.socket(zmq.REQ) s.connect("tcp://localhost:5000") s.send(sys.argv[1]) print socket.recv(),
- 19. Request/reply $ python server.py& [1] 79259 $ python client.py foo FOO $ python client.py bar BAR
- 20. Request/reply: сервер import zmq context= zmq.Context(1) s = context.socket(zmq.REP) s.bind("tcp://*:5000") while True: request = s.recv() s.send(request.upper())
- 21. Request/reply: клиент import zmq,sys context = zmq.Context(1) s = context.socket(zmq.REQ) s.connect("tcp://localhost:5000") s.send(sys.argv[1]) print socket.recv(),
- 22.
- 23.
- 24. Queue = XREQ+ XREP + device
- 25. Queue = XREQ+ XREP + device import zmq, random, time context = zmq.Context(1) xrep = context.socket(zmq.XREP) xrep.bind("tcp://*:5000") xreq = context.socket(zmq.XREQ) xreq.bind("tcp://*:5001") zmq.device(zmq.QUEUE, xrep, xreq)
- 26. Несколько devices водной сети
- 27. Модели взаимодействия • Request/reply •Publish/subscribe • Pipeline
- 28.
- 29. Publish/subscribe: сервер import zmq,random, time context = zmq.Context(1) s = context.socket(zmq.PUB) s.bind("tcp://*:5000")
- 30. Publish/subscribe: сервер while True: for city in ["Moscow", "Murmansk", "St. Petersburg"]: s.send(city, zmq.SNDMORE) s.send(str(random.randint(10, 20))) time.sleep(2)
- 31. Publish/subscribe: клиент import zmq,sys context = zmq.Context(1) s = context.socket(zmq.SUB) s.connect("tcp://localhost:5000")
- 32. Publish/subscribe: клиент s.setsockopt(zmq.SUBSCRIBE, sys.argv[1]) whileTrue: city = socket.recv() temp = socket.recv() print city + ": " + temp
- 33. Publish/subscribe $ python server.py& [1] 79569 $ python client.py M Moscow: 11 Murmansk: 11 Moscow: 13 Murmansk: 17
- 34. Модели взаимодействия • Request/reply •Publish/subscribe • Pipeline
- 35.
- 36. Другие возможности • PAIR-сокеты • Долговременные сокеты • Транспорты: in-process, IPC, TCP, PGM • Межпоточное взаимодействие
- 37. Другие возможности • Polling •Альтернативные модели взаимодействия • Devices (queue, forwarder, streamer и собственные)
- 38. Что отсутствует • Транзакции •Гарантированная доставка сообщений • Информация о подключениях и контроль над ними
- 39. Внимание! • В inproc-сокетахconnect() должен быть вызван после bind() • Сокеты привязаны к потокам • Фильтрация на стороне клиента в PUB/SUB • assert() в случае ошибок
- 40. Заключение • Легко использовать • Высокая производительность • Большой выбор моделей взаимодействия • Легко модифицировать существующую архитектуру
- 41.
- 42. Case study: GHATP • Автоматизированная торговля ценными бумагами • Большой объем данных (сотни тысяч котировок в секунду) • Жесткие требования к производительности
- 43. Задача: получение котировок •Разные поставщики данных с разными протоколами • Данные используются в нескольких продуктах • Нужен унифицированный API
- 44. Требования • Низкое времяотклика (<1 мс) • Большие объемы данных • Поддержка нескольких языков (на данный момент — Scala и C++) • Load balancing, fault tolerance
- 45. Решение • Клиент-серверное взаимодействиена основе ØMQ • Google Protocol Buffers для сериализации сообщений
- 46.
- 47.
- 48. Архитектура • Stateless взаимодействие •Легко балансировать нагрузку и обеспечивать устойчивость • Высокая производительность
- 49. Цифры • Тестовые сервер и клиент (Scala), TCP/IP • Около 250 000 котировок в секунду • Средняя задержка: <1 мс • CPU bound (protobuf), ØMQ может дать большую производительность
- 50. ØMQ — это •Легкая разработка высонагруженных распределенных систем • Простая модификация и добавление нового функционала • Масштабирование и скорость
- 51. • http://www.zeromq.com • http://mongrel2.org • Андрей Охлопков <oh@ghcg.com> • Алексей Ермаков <ae@ghcg.com>