Introduction aux brokers et à leur utilisation dans un programme LabVIEW. Illustration et mise en application avec RabbitMQ.

1. INTRODUCTION AUX
BROKERS
LUGE 2019.1Nicolas Bats
LUGE 2019.1
Rhône-Alpes
26 Mars 2019

2. Arcale
2
Systèmes de test spécifiques
CA de 4,2 M€
32 collaborateurs
150 clients actifs
Tous secteurs industriels
4 agences en France

3. Coordonnées
3
Nicolas Bats
Ingénieur d’études
& Responsable de projets
nicolas.bats@gmail.com

4. Sommaire
4
 Introduction
 Les brokers
 Le protocole AMQP
 Les brokers : Principes & Fonctionnement
 RabbitMQ (démonstration)
 Messaging Patterns
 Exemples

5. Les brokers
Le protocole AMQP
Introduction5

6. Les brokers
6
Système de messagerie intergiciel orienté message
pour les systèmes distribués
« Message-oriented middleware »

7. Les brokers
7
Système de messagerie intergiciel orienté message
pour les systèmes distribués
« Message-oriented middleware »
Images : https://www.nexworld.fr/kafka-artemis-bien-choisir-broker-de-messages/

8. Le protocole AMQP
8
 Advanced Message Queuing Protocol
 Origines en 2003
 Spécifié par un Consortium international
 Interopérabilité « wire-level »
(pas de standardisation au niveau de l’API)
 Messages sans limite de taille
 Plusieurs voies dans une seule connexion
 Objectif de devenir un standard ouvert
(SMTP, HTTP, FTP…)

9. Avantages
9
 Compact & Efficient (binary)
 Reliable (different levels of delivery, QoS from fire-and-forget to once delivery …)
 Portable (standard, cross-platform, cross-language)
 Low coupling
 Flexible (peer to peer, client-server, server-server topologies)
 Scalable (multi-brokers, internet)
 No integration costs

10. 10
Success Stories
http://www.amqp.org/about/examples

11. Autres protocoles
 Simple & Léger
 Utilisé dans l’IOT
Small code footprint
11
AMQP
 Fonctionnalités
 Routages plus
complexes
ZeroMQ
 Performances
Zéro broker
Zéro latency
Zéro administration
Zéro cost
Zéro waste
MQTT
Toolkit Client .NET Toolkit
LabVIEW
Plugin Natif
RabbitMQ

12. Principes
Fonctionnement
Architecture
Les brokers12

13. Sondage ?
13
Qui a déjà eu à gérer les problématiques suivantes ?
 Send Message
 Route Data
 Asynchronous Work
 Queueing & Buffering (FIFO)
 Reliability (Ack, Persistance)
 Security (Authentication, SSL)
 Monitoring & Management

14. Principes
Message
 Routing
 Queuing
 Reliability
 Security
Publish / Subscribe
14
Chez les brokers tout est orienté… Et on respecte le sacrosaint…

15. Fonctionnement
15
 Asynchronous work
 Security (Authentication, SSL)
Images : https://blog.zenika.com/2010/12/19/introduction-a-rabbitmq-amqp/

16. Fonctionnement
16
Images : https://blog.zenika.com/2010/12/19/introduction-a-rabbitmq-amqp/

17. Fonctionnement
17
 Queueing & Buffering (FIFO)
 Reliability (Ack, Persistance)
Images : https://blog.zenika.com/2010/12/19/introduction-a-rabbitmq-amqp/

18. Fonctionnement
18
 Send Message
Images : https://blog.zenika.com/2010/12/19/introduction-a-rabbitmq-amqp/

19. Fonctionnement
19
 Route Data
 Routing Key
 Headers
Images : https://blog.zenika.com/2010/12/19/introduction-a-rabbitmq-amqp/

20. Fonctionnement
20
Images : https://blog.zenika.com/2010/12/19/introduction-a-rabbitmq-amqp/

21. Fonctionnement
21
Les publishers se contentent de publier !
Les consumers se contentent de s’abonner aux données !
Images : https://blog.zenika.com/2010/12/19/introduction-a-rabbitmq-amqp/

22. La mission de Toto
22
 Utiliser des plateformes Windows, Linux, CompactRIO
 Développe en Java, Python, LabVIEW et C#
 Tout le monde doit pouvoir récupérer de la donnée
 La liste des publishers est inconnue
 La liste des consumers est inconnue
 Les données récupérées sont configurées par fichier

23. La mission de Toto
23
 Utiliser des plateformes Windows, Linux, CompactRIO
 Développe en Java, Python, LabVIEW et C#
 Tout le monde doit pouvoir récupérer de la donnée
 La liste des publishers est inconnue
 La liste des consumers est inconnue
 Les données récupérées sont configurées par fichier
 POC en 2 semaines…

24. RabbitMQ24

25. 25
« RabbitMQ, an open source message
broker that just works! »

26. RabbitMQ
 Pivotal
 Depuis 2007
 35 000 utilisateurs
 Serveur AMQP
 Erlang
 Clients AMQP
 Java
 .NET / C#
 Erlang
 Open source
 Gratuit
26
Société Produits
www.rabbitmq.com

27. Démonstration
 Connections
 Channels
 Exchanges
 Queues
 Publish
 Consume
27
Interface web Client LabVIEW
Images : https://www.rabbitmq.com

28. Utilisation avancée
28
 Message durability
 Users management
 Policies
 Limits
 Quotas
 Internal bindings
 Propriétés
 Headers
 Limit queue size
 Message TTL
 Reply queue
 Auto delete
 Internal exchanges
 Alternate exchange
 Delivery mode
 Expiration
 Max length queue
 Overflow behavior
 Lazy mode
 …

29. Messaging Patterns29

30. Messaging Patterns
30
 Publish Subscribe (ex: notifications…)
 Pipeline
 Request Response (ex: rpc, answer queue…)
 Dynamic scalability
(Multi-brokers topologies, load balancing, redundancy…)

31. Queue
PipelinePublish / Subscribe
Asynchronous
Messaging Patterns
31
Chat
Notification
Collector
Logging
Background
Task
Cluster
Service
Actors Messaging Pattern Examples

32. Request / Response
Messaging Patterns
32
Actors Messaging Pattern Examples
Gateway
RPC
Service
Load
Balancer
Bus
Bus
Service

33. Composition de Patterns
33
Exemple d’architecture avec un logiciel d’acquisition dont les
processus communiquent via un broker au lieu d’utiliser les files
d’attente natives LabVIEW.

34. Composition de Patterns
34
Worker
I/O
User Interface
Clients
AMQP

35. Composition de Patterns
35
Actions
Worker
I/O
User Interface
Data
Log
Exchanges sur le Broker
Clients
AMQP

36. Composition de Patterns
36
Actions
Worker
I/O
User Interface
Data
Pipeline
Log
Exchanges sur le Broker
Clients
AMQP

37. Composition de Patterns
37
Actions
Worker
I/O
User Interface
Data
Collector
Pipeline
Log
Exchanges sur le Broker
Clients
AMQP

38. Composition de Patterns
38
Actions
Worker
I/O
User Interface
Data
Publish
Collector
Pipeline
Log
Exchanges sur le Broker
Clients
AMQP

39. Composition de Patterns
39
Actions
Worker
I/O
User Interface
Data
Publish
Collector
Async
Pipeline
Log
Exchanges sur le Broker
Clients
AMQP

40. Composition de Patterns
40
Actions
Worker
I/O
User Interface
Data
Publish
Collector
Async
Pipeline
Log
Bus
Exchanges sur le Broker
Clients
AMQP

41. Multi-Brokers Configuration
41
Simple Broker Virtualhosts
Multi-
Brokers

42. Service Model
42
 Architecture Model
(distributed, centralized, brokered…)
 + Communication Model
(queue based, data distribution, replicated data,
transactional…)
 + Object Model
Software object model (broker internal architecture)
can be software defined at runtime !

43. Pas de photos s’il vous plaît :)
Exemples43

44. Cas pratique réel
44
Slide(s) supprimée(s)

45. Montée en charge
45
Slide(s) supprimée(s)

46. Object Model
46
Slide(s) supprimée(s)

47. Conclusion
47
 Outil puissant
 Simple à utiliser
 Rapide à mettre en place
 Econome
Images : https://www.rabbitmq.com

48. :’(
The End48

49. Références
49
 http://www.amqp.org
 http://www.rabbitmq.com
 http://zeromq.org
 http://mqtt.org