Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

La Duck Conf : "Observabilité"

276 views

Published on

Présentation du talk de Fabien Arcellier- OCTO Technology
Avant 10 JVMs, maintenant 300 microservices avec des runtimes
transients. Le nombre de service à assembler pour construire
nos applications augmente.
Le SI se modernise, le monitoring peine à suivre. Que faut-il
repenser ?

Published in: Technology
  • Be the first to comment

  • Be the first to like this

La Duck Conf : "Observabilité"

  1. 1. #LaDuckConf by OCTO Technology © 2019 - All rights reserved 1
  2. 2. #LaDuckConf by OCTO Technology © 2019 - All rights reserved#LaDuckConf by OCTO Technology © 2019 - All rights reserved OBSERVABILITE Qu’est ce qui en fait un attribut de nos architectures ?
  3. 3. #LaDuckConf by OCTO Technology © 2019 - All rights reserved Le nombre de services que nous assemblons pour construire une application augmente. 3 NOTRE CONSTAT
  4. 4. #LaDuckConf by OCTO Technology © 2019 - All rights reserved 4 Qu’est ce qu’un service ? service client fournisseur
  5. 5. #LaDuckConf by OCTO Technology © 2019 - All rights reserved 5 Qu’est ce qu’un service ? service un contrat de service client fournisseur
  6. 6. #LaDuckConf by OCTO Technology © 2019 - All rights reserved 6 Qu’est ce qu’un service ? service un contrat de service des modalités d’exposition client fournisseur
  7. 7. #LaDuckConf by OCTO Technology © 2019 - All rights reserved 7 Qu’est ce qu’un service ? service un contrat de service des modalités d’exposition des prérequis client client fournisseur
  8. 8. #LaDuckConf by OCTO Technology © 2019 - All rights reserved 8 L’observabilité comme attribut de nos architectures
  9. 9. #LaDuckConf by OCTO Technology © 2019 - All rights reserved 9 L’observabilité comme attribut de nos architectures La croissance du nombre de services est un mouvement de fond
  10. 10. #LaDuckConf by OCTO Technology © 2019 - All rights reserved 10 L’observabilité comme attribut de nos architectures La croissance du nombre de services est un mouvement de fond 4 critères pour spécifier l’observabilité d’une architecture
  11. 11. #LaDuckConf by OCTO Technology © 2019 - All rights reserved 11 L’observabilité comme attribut de nos architectures La croissance du nombre de services est un mouvement de fond 4 critères pour spécifier l’observabilité d’une architecture 4 approches technos pour remplir ces critères
  12. 12. #LaDuckConf by OCTO Technology © 2019 - All rights reserved 12 Fabien Arcellier / Octo Technology ARCHITECTE TECHNIQUE Github : FabienArcellier
  13. 13. #LaDuckConf by OCTO Technology © 2019 - All rights reserved Le nombre de services augmente 3 facteurs expliquent ça : ๏ le packaging moderne, ๏ les processus multi-canaux, ๏ le cloud 13
  14. 14. #LaDuckConf by OCTO Technology © 2019 - All rights reserved Gestionnaires de dépendances Containerisation 14 Facteur 1 : le packaging moderne
  15. 15. #LaDuckConf by OCTO Technology © 2019 - All rights reserved 15 Facteur 1 : le packaging moderne C’est facile de créer un nouveau service autonome. La complexité du code reste sous contrôle. dev "
  16. 16. #LaDuckConf by OCTO Technology © 2019 - All rights reserved Parcours consistant Parcours fluide 16 Facteur 2 : le processus multi-canaux
  17. 17. #LaDuckConf by OCTO Technology © 2019 - All rights reserved C'est facile de créer un service pour mutualiser des comportements. Ca devient un produit autonome. 17 Facteur 2 : le processus multi-canaux métier "
  18. 18. #LaDuckConf by OCTO Technology © 2019 - All rights reserved 18 Facteur 3. Le cloud Un coût d’activation de ressources proche de zéro Des ressources virtuellement illimitées
  19. 19. #LaDuckConf by OCTO Technology © 2019 - All rights reserved C'est facile de créer un service sur le cloud pour isoler un workload et le rendre plus résilient 19 Facteur 2 : le processus multi-canaux ops "
  20. 20. #LaDuckConf by OCTO Technology © 2019 - All rights reserved 20 dev métier ops Packaging moderne multi-canal Cloud Croissance des services assemblés pour construire une application métier
  21. 21. #LaDuckConf by OCTO Technology © 2019 - All rights reserved 21 Un sentiment de flou pour les acteurs du système d’information user user user user S S S S S SS S S metier metier support ops L’explosion du nombre de service complique la perception du système d’information Communiquer autour du système, modifier le système et corriger le système demande plus d’efforts et de concertations
  22. 22. #LaDuckConf by OCTO Technology © 2019 - All rights reserved 22
  23. 23. #LaDuckConf by OCTO Technology © 2019 - All rights reserved L’observabilité est un attribut d’une architecture comme le sont la performance, l’usabilité, ou la sécurité. 23 L’observabilité est un attribut d’une architecture distribuée @copyconstruct
  24. 24. #LaDuckConf by OCTO Technology © 2019 - All rights reserved L’observabilité est un attribut d’une architecture comme le sont la performance, l’usabilité, ou la sécurité 24 L’observabilité est un attribut d’une architecture distribuée @copyconstruct Observabilité auditabilité télémétrie (métrique) notification accessibilité
  25. 25. #LaDuckConf by OCTO Technology © 2019 - All rights reserved 4 approches technologiques pour adresser vos objectifs d’observabilité Log management Exception management Endpoints de télémétrie Tracing distribué D’autres approches que je ne pourrai aborder sont utiles telles que la mesure du uptime, la communication d’incidents dynamique (status page), le profiling applicatif, les health-checks, …
  26. 26. #LaDuckConf by OCTO Technology © 2019 - All rights reserved 26 Log management – Events analytic Y aller pour … Ne pas y aller pour … Nos recommandations Investiguer des logs en temps réel construire un outil expert d'intelligence opérationnelle alerter sur des événements stocker de logs pour du légal (sur plus de 3 semaines) construire un ETL for streaming stocker de l’ensemble des logs pour toute l’entreprise Limiter la rétention sur la plateforme d’analytique à quelques semaines maximum encoder vos logs applicatifs dans des documents semi- structurés (json-lines, …) Attention au backpressure dans l'infrastructure de shipping. En cas d'incident, le retard d'ingestion peut etre conséquent et compliquer l'investigation d'incident Faire de l'analyse forensic
  27. 27. #LaDuckConf by OCTO Technology © 2019 - All rights reserved 27 Log management diffusion-app syslog-ng aiguillage vod-exnihilo api.logmatic.io syslog-ng … logmatic.io
  28. 28. #LaDuckConf by OCTO Technology © 2019 - All rights reserved 28 Log management diffusion-app syslog-ng aiguillage vod-exnihilo api.logmatic.io syslog-ng … logmatic.io L’agent de shipping propose du backpressure sur fichiers
  29. 29. #LaDuckConf by OCTO Technology © 2019 - All rights reserved 29 Log management diffusion-app syslog-ng aiguillage vod-exnihilo api.logmatic.io syslog-ng … logmatic.io L’agent de shipping propose du back pressure sur fichiers capacités de parsing offertes par le broker, attention c’est fragile. Nous vous recommandons de préférer un encodage en amont (json, …)
  30. 30. #LaDuckConf by OCTO Technology © 2019 - All rights reserved 30 L’exception management Y aller pour … Ne pas y aller pour … Nos recommandations Monitorer du code applicatif fluidifier la collaboration dev/ops alerter intelligemment sur des exceptions construire un puits de logs Intégrer cette approche sur tous les environnements Tracker ses déploiements
  31. 31. #LaDuckConf by OCTO Technology © 2019 - All rights reserved 31 Exception management bff.ffea.com spa.ffea.com Iso.ffea.com sentry.io
  32. 32. #LaDuckConf by OCTO Technology © 2019 - All rights reserved 32 Exception management bff.ffea.com spa.ffea.com Iso.ffea.com sentry.io En cas d’exception, elle est transformée dans un format pivot par le sdk.
  33. 33. #LaDuckConf by OCTO Technology © 2019 - All rights reserved 33 Exception management bff.ffea.com spa.ffea.com Iso.ffea.com sentry.io En cas d’exception, elle est transformée dans un format pivot par le sdk. Les exceptions sont automatiquement agrégées par famille. Une issue est ouverte pour Cette exception
  34. 34. #LaDuckConf by OCTO Technology © 2019 - All rights reserved 34 Exception management bff.ffea.com spa.ffea.com Iso.ffea.com sentry.io En cas d’exception, elle est transformée dans un format pivot par le sdk. Les exceptions sont automatiquement agrégées par famille. Une issue est ouverte pour cette exception Si c’est une nouvelle famille d’exception, l’équipe de développement est notifiée
  35. 35. #LaDuckConf by OCTO Technology © 2019 - All rights reserved 35 Endpoints de télémétrie 35 Y aller pour … Ne pas y aller pour … Nos recommandations monitorer des ressources d’infrastructure monitorer des métriques d’activités exposer des métriques avec des cardinalités illimitées (url, email, …) collecter des infos non numériques calculer des métriques lors de la requête Implémenter des métriques d’activité pour faciliter la discussion entre métiers, développeurs et ops Différencier les environnements dans vos labels (par exemple avec la branche git) Proposer plusieurs consoles selon l’usage, une seule console pour tous est utopique monitorer des middlewares
  36. 36. #LaDuckConf by OCTO Technology © 2019 - All rights reserved 36 account-entries host jobs compensation techno : cassandra techno : java + springboot rhel techno : activemq tsdb techno : prometheus console techno : grafana scraper techno : prometheus exporter exporter agent techno : telegraf alerting exporter techno : alertmanager
  37. 37. #LaDuckConf by OCTO Technology © 2019 - All rights reserved 37 Tracing distribué 3737 Y aller pour … Ne pas y aller pour … Émergence d’un standard d’API avec Open Tracing à suivre Nos recommandations instrumenter des middlewares diagnostiquer des problèmes de performance sur une requête investiguer des modes de défaillance cross-service instrumenter des microservices au niveau runtime
  38. 38. #LaDuckConf by OCTO Technology © 2019 - All rights reserved 38 Quels outils puis je rencontrer ? Log management Endpoints de telemetryException management Tracing distribué Les outils peuvent varier. Voici des outils émergents que vous pouvez rencontrer.
  39. 39. #LaDuckConf by OCTO Technology © 2019 - All rights reserved 39 Take-away L’observabilité est un attribut d’architecture nécessaire sur des architectures distribuées La construction d'un service observable s'inscrit dans une démarche d'amélioration continue Chercher le meilleur outil pour de l'observabilité, c'est comme chercher la meilleure voiture pour labourer un champ et faire du circuit
  40. 40. #LaDuckConf by OCTO Technology © 2019 - All rights reserved 40 Images https://pixabay.com/en/virus-microbiology-cell-infection-163471/ https://pixabay.com/en/container-container-port-port-cargo-3859711/ https://pixabay.com/fr/r%C3%A9seau-serveur-syst%C3%A8me-2402637/ https://medium.com/@copyconstruct/monitoring-in-the-time-of-cloud- native-c87c7a5bfa3e https://pixabay.com/fr/g%C3%A9n%C3%A9rateur-moteur-moteur- %C3%A9lectrique-1340210/

×