WAMP как основа композитных SOA-приложений и его имплементация на Lua

WAMP как основа
композитных
SOA-приложений и
его реализация на Lua
Константин Буркалёв
@KSDaemon

Пара слов о себе…
2
• Системный архитектор
• 15+ лет опыта в ИТ
• Автор и ведущий подкастов о разработке: SDCast & RadioJS
• Активный участник группы разработки самого протокола WAMP
• Автор и мейнтейнер нескольких реализаций WAMP, в том числе
и на Lua

План доклада
Пример системы с применением WAMP
Что такое протокол WAMP, и как он устроен
WAMP как основа SOA-решений
Сферы применения
WAMP-клиент на Lua
WAMP-роутер на Nginx/Lua
3

Задача: Система «Умный дом»
4

Комната
4

Ванная
Комната
4

Ванная
Комната
4
Пользователь

Ванная
Комната
4
Датчик температуры фиксирует
превышение температуры

Ванная
Комната
4
Оповещается клиент
Логируется в базу

Ванная
Комната
4
Система включает
кондиционер

Ванная
Комната
4
Температура в комнате снижается

Ванная
Комната
4
Система выключает кондиционер

Ванная
Комната
4
Влажность в ванной поднимается

Ванная
Комната
4
Система включает
вентилятор

Ванная
Комната
4
Влажность в ванной снижается

Ванная
Комната
4
Система выключает вентилятор

Ванная
Комната
4
Админ

Ванная
Комната
4
Админ
Админ настраивает
пороговые значения

Ванная
Комната
4
Админ
Админ производит поиск
новых устройств

Ванная
Комната
4
Админ
Система информирует о
найденных устройствах

Что такое WAMP
• Расшифровывается как «Web Application Messaging Protocol»
5

• Предназначен для коммуникации между программными
компонентами практически в режиме реального времени
5

• Предоставляет два механизма:
• Publish/Subscribe (PubSub)
• Remote Procedure Calls (RPC)
5

• Двунаправленный, упорядоченный
5

• Двунаправленный, упорядоченный
• Для общения клиентов требуется WAMP-роутер
5

Почему WAMP?
•Открытая спецификация
6

Почему WAMP?
• Продуманный Publish/Subscribe
6

Почему WAMP?
• Продуманный Remote Procedure Calls
6

Почему WAMP?
• Роутинг сообщений
6

Почему WAMP?
• Кроссплатформенность
6

Почему WAMP?
• Кроссплатформенность
• Есть реализации более чем на 15 языках
6

Альтернативы WAMP
7
Technology PubSub RPC
Routed
RPC
Web native
Cross
Language
Open
Standard
WAMP ✔ ✔ ✔ ✔ ✔ ✔
AJAX - ✔ - ✔ ✔ -
AMQP ✔ (✔) - - ✔ ✔
Java JMS ✔ - - - - ✔
JSON-RPC - ✔ - ✔ ✔ ✔
MQTT ✔ - - - ✔ ✔
REST - ✔ - ✔ ✔ -
SOAP - ✔ - ✔ ✔ ✔
socket.io ✔ - - ✔ - -
XMPP ✔ - - ✔ ✔ ✔
ZMQ ✔ - - - ✔ -

WAMP: Пример сообщений
8

Архитектура WAMP
10
Клиент.
Может предоставлять
или потреблять
ресурсы, такие как
подписки и RPC.

11
Роутер.
Занимается
авторизацией и
маршрутизацией
сообщений
между клиентами.

12
Peer, узел.
Может быть клиентом
или роутером,
должен обладать
хотя бы одной ролью.

13
Роль.
Определяет
возможности узла.
Есть 4 клиентских
роли и 2 роли роутера.

14
Сессия.
Необходима для
идентификации и
авторизации клиентов,
анонса ролей узлов.

15
Realm.
Домен, namespace,
единое пространство
в рамках которого
определены ресурсы
и происходит роутинг
сообщений.

16
Транспорт.
Можно использовать:
WebSockets, Raw TCP,
Unix sockets и даже
HTTP Long poll.

17
Сериализатор.
Все сообщения
сериализуются
с помощью
JSON/MessagePack/
CBOR.
message

18
Идентификаторы
ресурсов, URI.
Необходимы для
топиков, процедур
и ошибок.
Например:
Topic: «sensor.events»
RPC: «discover.devices»
message

Основные понятия WAMP
19

Основные понятия WAMP
• Клиент. Может предоставлять или потреблять ресурсы, такие как подписки и RPC.
• Роутер. Занимается авторизацией и маршрутизацией сообщений между клиентами.
• Peer, узел. Может быть клиентом или роутером, должен обладать хотя бы одной ролью.
• Роль. Определяет возможности узла. Есть 4 клиентских роли и 2 роли роутера.
• Сессия. Необходима для идентификации и авторизации клиентов, анонса ролей узлов.
• Realm. Домен, namespace, в рамках которого происходит роутинг сообщений.
• Транспорт. Можно использовать: WebSockets, Raw TCP, Unix sockets и даже HTTP Long poll.
• Сериализатор. Cообщения сериализуются с помощью JSON/MessagePack/CBOR
• Идентификаторы ресурсов, URI. Необходимы для топиков, процедур и ошибок.
19

WAMP: Features
• Basic profile: базовые возможности RPC и PubSub
20

WAMP: Features
• Advanced profile:
20

WAMP: Features
• Advanced profile:
• Challenge-Response Authentication
• Progressive call results, call timeout, call canceling
• Publication / call trust levels
• Caller / publisher identification
• Pattern based registration / subscription
• Shared registration, sharded registration / subscription
• Event history
• Meta API & Procedure / topic reflection
20

WAMP: установка сессии
21
Клиент Роутер
Realm

21
HELLO
Realm
[1, "homeapp", { "roles": { "publisher": {}, "subscriber": {} } }]

21
HELLO
WELCOME
Realm
[2, 9129137332, { "roles": { "broker": {} } }]

21
HELLO
WELCOME
ABORT
Realm
[3, {"message": "The realm does not exist."}, "wamp.error.no_such_realm"]

21
HELLO
WELCOME
GOODBYE (init by client)
ABORT
Realm
[6, {"message": "The host is shutting down now."}, "wamp.error.system_shutdown"]

21
HELLO
WELCOME
ABORT
GOODBYE
Realm
[6, {}, "wamp.error.goodbye_and_out"]

21
HELLO
WELCOME
ABORT
GOODBYE
GOODBYE (init by router)
Realm
[6, {}, "wamp.error.close_realm"]

21
HELLO
WELCOME
ABORT
GOODBYE
GOODBYE
Realm
[6, {}, "wamp.error.goodbye_and_out"]

21
HELLO
WELCOME
ABORT
GOODBYE
GOODBYE
Realm

WAMP: Publish / Subscribe
22
Publisher Broker Subscriber
Realm

22
SUBSCRIBE
Realm
[32, 713845233, {}, "sensor.events"]

22
SUBSCRIBE
SUBSCRIBED
Realm
[33, 713845233, 5512315355]

22
SUBSCRIBE
SUBSCRIBED
ERROR
Realm
[8, 32, 713845233, {}, "wamp.error.not_authorized"]

22
SUBSCRIBE
SUBSCRIBED
ERROR
PUBLISH
Realm
[16, 239714735, {}, "sensor.events", [], {"sensorId ": 25, "temp": 27}]

22
SUBSCRIBE
SUBSCRIBED
ERROR
PUBLISH
PUBLISHED
Realm
[17, 239714735, 4429313566]

22
SUBSCRIBE
SUBSCRIBED
ERROR
PUBLISH
PUBLISHED
ERROR
Realm
[8, 16, 239714735, {}, "wamp.error.not_authorized"]

22
SUBSCRIBE
SUBSCRIBED
ERROR
PUBLISH
PUBLISHED
ERROR
EVENT
Realm
[36, 5512315355, 4429313566, {}, [], {"sensorId ": 25, "temp": 27}]

22
SUBSCRIBE
SUBSCRIBED
UNSUBSCRIBE
ERROR
PUBLISH
PUBLISHED
ERROR
EVENT
Realm
[34, 85346237, 5512315355]

22
SUBSCRIBE
SUBSCRIBED
UNSUBSCRIBE
UNSUBSCRIBED
ERROR
PUBLISH
PUBLISHED
ERROR
EVENT
Realm
[35, 85346237]

22
SUBSCRIBE
SUBSCRIBED
UNSUBSCRIBE
UNSUBSCRIBED
ERROR
ERROR
PUBLISH
PUBLISHED
ERROR
EVENT
Realm
[8, 34, 85346237, {}, "wamp.error.no_such_subscription"]

22
SUBSCRIBE
SUBSCRIBED
UNSUBSCRIBE
UNSUBSCRIBED
ERROR
ERROR
PUBLISH
PUBLISHED
ERROR
EVENT
Realm

WAMP: Remote Procedure Calls
23
Caller Dealer Callee
Realm

23
REGISTERRealm
[64, 25349185, {}, "dcs.fan.control"]

23
REGISTER
REGISTERED
Realm
[65, 25349185, 2103333224]

23
REGISTER
REGISTERED
ERROR
Realm
[8, 64, 25349185, {}, "wamp.error.procedure_already_exists"]

23
REGISTER
REGISTERED
ERROR
CALL
Realm
[48, 7814135, {}, "dcs.fan.control", [true]]

23
REGISTER
REGISTERED
ERROR
CALL
INVOCATION
Realm
[68, 6131533, 9823528, {}, [true]]

23
REGISTER
REGISTERED
ERROR
CALL
INVOCATION
YIELD
Realm
[70, 6131533, {}]

23
REGISTER
REGISTERED
ERROR
CALL
RESULT
INVOCATION
YIELD
Realm
[50, 7814135, {}]

23
REGISTER
REGISTERED
ERROR
CALL
RESULT
INVOCATION
YIELD
ERROR
Realm
[8, 68, 6131533, {}, "homeapp.error.hardware_not_found"]

23
REGISTER
REGISTERED
ERROR
CALL
RESULT
INVOCATION
YIELD
ERROR
ERROR
Realm
[8, 48, 7814135, {}, "homeapp.error.hardware_not_found"]

23
REGISTER
REGISTERED
UNREGISTER
ERROR
CALL
RESULT
INVOCATION
YIELD
ERROR
ERROR
Realm
[66, 788923562, 2103333224]

23
REGISTER
REGISTERED
UNREGISTER
UNREGISTERED
ERROR
CALL
RESULT
INVOCATION
YIELD
ERROR
ERROR
Realm
[67, 788923562]

23
REGISTER
REGISTERED
UNREGISTER
UNREGISTERED
ERROR
ERROR
CALL
RESULT
INVOCATION
YIELD
ERROR
ERROR
Realm
[8, 66, 788923562, {}, "wamp.error.no_such_registration"]

23
REGISTER
REGISTERED
UNREGISTER
UNREGISTERED
ERROR
ERROR
CALL
RESULT
INVOCATION
YIELD
ERROR
ERROR
Realm

24

Распределённая архитектура
24

Слабая связанность компонентов
24

Простой и понятный интерфейс взаимодействия
24

Унифицированная маршрутизация
24

Независимость от языка программирования
24

Переиспользуемость компонентов
24

Переиспользуемость компонентов
WAMP удовлетворяет требованиям SOA
24

WAMP в качестве ESB
25
WAMP
Router
Service
Providers
Service
Providers
Service
Providers
Service
Providers
Service
Providers
Consumers
Consumers
Consumers
Consumers
Consumers
Вызывают RPC
Подписываются
на топики
Регистрируют RPC
Публикуют события
Подписываются
на топики
Публикуют события
Сервер
Сервер
Сервер

WAMP в гетерогенных системах
26
WAMP
Router
File
uploader
(python)
Web
Client
(js)
Backoffice
Client
(c#)
Video
processing
(c++)
Image
processing
(go)
Logger
(ruby)
External
API
Gateway
Client
REST API
(nodejs)
Mobile
Client
(swift)
Backoffice
REST API
(Java)
DB
Mobile
Client
(java)
Realm
Realm
Realm
Сервер
Сервер
Сервер

Сферы применения WAMP
27

27
Распределённые приложения с большим количеством сервисов

27
Smart homes, Smart cities, Интернет вещей в целом

27
Системы с долго выполняющимися процессами

27
Лёгкая современная альтернатива XMPP, XMLRPC

27
Лёгкая современная альтернатива XMPP, XMLRPC
Сетевые игры

Применение WAMP: реальные проекты
28

• Kadecot API Server. Sony Computer Science Laboratories
28

• ParaView. Parallel Data Analysis and Visualization Application, Kitware
28

• Record.Evolution. Data-warehouse and Business Intelligence
28

• SmartME smart city project. MDS Lab at the University of Messina
28

• SmartME smart city project. MDS Lab at the University of Messina
• ButterflyDNS. Web UI frontend for BIND DLZ
• Подсистема управления серверами Gollard VISION
28

Health monitor
Nginx
Подсистема управления сервером
29
WAMP
Router
Admin
App
(c#)
Shaman
RPC: set.network
RPC: get.network Publish: status.change
RPC: get.status
RPC: get.time
RPC: set.time

Loowy: WAMP-клиент на Lua
30

30
• Работает в Lua/Luajit на базе lua-ev

30
• Поддерживает JSON- и Msgpack-сериализаторы

30
• Поддерживает ряд фич из Advanced Profile

30
• Автоматическое переподключение и переподписка

30
• Автоматическое переподключение и переподписка
• TODO: Raw socket transport
• TODO: Meta API
• TODO: Challenge-Response Authorization (WAMP-CRA)
• TODO: работа на основе сопрограмм (coroutines)

Loowy: примеры вызовов
31
client = loowy.new("ws://localhost/ws/", { realm = "gv" })
client:publish('sensor.events', { sensorId = 12, temperature = 27})
client:subscribe('sensor.events', function(event)
-- process received event
end)
client:call('dcs.fan.control', true, {
onSuccess = function()
-- fan turned on successfully
end,
onError = function(err)
-- error occurred
end
})

Loowy: Стек технологий
32

Loowy: Стек технологий
32
• Lua 5.1+, Luajit 2.0
• lua-websockets (который работает через luasocket)
• lua-ev
• lua-rapidjson
• lua-MessagePack (опционально)

Wiola: WAMP роутер на Lua
33

• Работает на базе Nginx/Lua module
33

• Использует Redis для runtime storage
33

• Поддерживает JSON- и MessagePack-сериализаторы
33

33

• TODO: Raw socket transport
• TODO: Meta API
• TODO: lua-resty-postgres
33

Wiola: стек технологий
34

Wiola: стек технологий
34
• Nginx или OpenResty, проще говоря lua-nginx-module
• lua-resty-websocket
• lua-resty-redis
• Redis Server
• lua-rapidjson
• lua-resty-hmac (опционально, нужен для WAMP-CRA)
• lua-MessagePack (опционально)

Wiola: конфиг Nginx
35
location /ws/ {
set $wiola_socket_timeout 10;
set $wiola_max_payload_len 65535;
lua_check_client_abort on;
header_filter_by_lua_file /lib/wiola/headers.lua;
content_by_lua_file /lib/wiola/handler.lua;
}

Nginx
Wiola: Общая схема
36
Web
Client
init_by_lua
headers_filter_by_lua
content_by_lua
Redis
Server

Wiola: Особенности. JSON
37

• cJSON
37

• cJSON
• нельзя указать способ сериализации пустых таблиц
37

• cJSON
• lua-resty-libcjson
37

• cJSON
• не умеет работать с большими числами (int > 32bit)
37

• cJSON
lua-rapidjson
37

• cJSON
lua-rapidjson
• пока новых проблем не нашлось :)
37

Wiola: Особенности. Runtime-хранилище
38

38
• Глобальные переменные в памяти

38
• Создаются каждый раз на request handler

38
• проблемы с concurrent requests

38
• Переменные модуля, загружаемого в init_by_lua

38
• Читать можно во всех воркерах

38
• Но запись, спасибо CoW, создаст свою копию модуля для VM

38
• ngx.shared.DICT

38
• ngx.shared.DICT
• Размер каждого словаря задаётся в конфиге и не может изменяться

38
• ngx.shared.DICT
• Размер каждого словаря задаётся в конфиге и не может изменяться
Внешнее хранилище: Redis, Memcache, PostgreSQL, MySQL и прочие

Wiola: Особенности. lua_code_cache
39

39
• lua_code_cache off;

39
• удобно отлаживать код

39
• каждый require() выполняется заново в каждом запросе

39
• даже модули, загруженные в init_by_lua, выполняются заново

39
• lua_code_cache on;

39
• для production-окружения

39
• каждый require() выполняется один раз и кэшируется

39
• каждый require() выполняется один раз и кэшируется
• при любом изменении кода необходимо перегружать nginx

Wiola: Публикация в luarocks, opm
40

40
• luarocks: есть одна часть
зависимостей,
нет другой:

40
- lua-resty-websocket

40
- lua-resty-redis

40
- lua-resty-redis
✓ rapidjson

40
- lua-resty-redis
✓ rapidjson
✓ lua-resty-hmac

40
- lua-resty-redis
✓ rapidjson
✓ lua-resty-hmac
✓ lua-messagepack

40
- lua-resty-redis
✓ rapidjson
✓ lua-resty-hmac
✓ lua-messagepack
• opm (OpenResty Package
Manager): с точностью до
«наоборот»:

40
- lua-resty-redis
✓ rapidjson
✓ lua-resty-hmac
✓ lua-messagepack
✓ lua-resty-websocket

40
- lua-resty-redis
✓ rapidjson
✓ lua-resty-hmac
✓ lua-messagepack
✓ lua-resty-redis

40
- lua-resty-redis
✓ rapidjson
✓ lua-resty-hmac
✓ lua-messagepack
✓ lua-resty-redis
- rapidjson

40
- lua-resty-redis
✓ rapidjson
✓ lua-resty-hmac
✓ lua-messagepack
✓ lua-resty-redis
- rapidjson
✓ lua-resty-hmac

40
- lua-resty-redis
✓ rapidjson
✓ lua-resty-hmac
✓ lua-messagepack
✓ lua-resty-redis
- rapidjson
✓ lua-resty-hmac
- lua-messagepack

Полезные ссылки про WAMP
41

Полезные ссылки про WAMP
• Основной сайт про WAMP: http://wamp-proto.org/
• Спека WAMP на github: github.com/wamp-proto/wamp-proto
• Mailing list: https://groups.google.com/forum/#!forum/wampws
• Wiola: https://github.com/KSDaemon/wiola
• Loowy: https://github.com/KSDaemon/Loowy
• Wampy.js: https://github.com/KSDaemon/wampy.js
• Wiola docker image: https://hub.docker.com/r/421p/wiola/
• Crossbar Router: https://crossbar.io/ и https://demo.crossbar.io/
41

WAMP: Заключение
• Простой и открытый протокол
42

• RPC и PubSub в одном транспорте/протоколе
42

• Любой транспорт и сериализация
42

• Позволяет строить распределённые приложения
со слабосвязанными компонентами
42

• Есть реализации во многих языках
42

• Open source
42

• Open source
• Небольшое, но дружелюбное сообщество
42

• Полезное архитектурное решение
43

• Отличный вариант для IoT-проекта! (имхо: лучше чем MQTT)
43

• Попробуйте WAMP:
43

• Есть nginx/openresty? — попробуйте Wiola (bit.ly/wiola-router)
43

• Используете docker?
43

• docker pull 421p/wiola
43

• docker pull crossbario/crossbar
43

• docker pull crossbario/crossbar
• WAMP-клиент на любой вкус и цвет (wamp-proto.org/implementations/)
43

Спасибо за внимание!
И ваши вопросы :)
44
Константин Буркалёв
• Mail: kostik@ksdaemon.ru
• Twitter: @KSDaemon
• GitHub: KSDaemon
• Blog: blog.ksdaemon.ru
• SDCast: sdcast.ksdaemon.ru

WAMP как основа композитных SOA-приложений и его имплементация на Lua

WAMP как основа композитных SOA-приложений и его имплементация на Lua

Recommended

More Related Content

What's hot

What's hot(20)

Similar to WAMP как основа композитных SOA-приложений и его имплементация на Lua

Similar to WAMP как основа композитных SOA-приложений и его имплементация на Lua(20)

WAMP как основа композитных SOA-приложений и его имплементация на Lua