Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Consolidez vos journaux et vos métriques avec Elastic Beats

Petit rappel sur ElasticSearch et présentation des outils Elastic Beats : Packetbeat, Filebeat, Topbeat ...

  • Login to see the comments

Consolidez vos journaux et vos métriques avec Elastic Beats

  1. 1. Consolidezvosjournauxetvos métriquesavecElasticBeats Présentation de est mise à disposition selon les termes de la@CattGr licence Creative Commons Attribution 4.0 International
  2. 2. Petitrappelsurlessolutions
  3. 3. ProduitsElastic Libre Payant Watcher (alerte) Marvel
  4. 4. StackElastic
  5. 5. Moteur de recherche pour la génération NoSQL Basé sur le standard Apache Lucene Masque la complexité Java/Lucene à l’aide de services standards HTTP / RESTful / JSON Utilisable à partir de n’importe quel langage Ajoute la couche cloud manquante à Lucene C’est un moteur, pas une interface graphique !
  6. 6. ETL : 49 sources di érentes, 42 ltres, 25 codecs, 56 sorties (dont ElasticSearch) Logstash: l’arme secrète pour vaincre le côté obscur de vos logs ( Devoxx 2015 )https://youtu.be/-zawsoOhz70
  7. 7. Interface Web permettant de représenter sous forme de graphique les données présentes dans ElasticSearch
  8. 8. Ensemble d'agents écrits en Go permettant de collecter les données pour les envoyer vers ElasticSearch
  9. 9. Shield Assure la sécurité d'accès à vos données ElasticSearch. Watcher Watcher est le produit d'alerte et de noti cation pour ElasticSearch. Marvel Surveille l'activité au sein de votre cluster, diagnostique les problèmes, et permet d'optimiser les performances.
  10. 10. ElasticBeatsenquelquesmots Application légère Écrit en Golang Installé comme agent sur vos serveurs Pas de dépendances d'exécution But unique
  11. 11. Filebeat Collecte les logs dans les chiers Winlogbeat Collecte les events logs Windows Packetbeat Collecte dans les paquets réseaux tcp/udp Topbeat Collecte les statistiques système (CPU, Disk, Mémoire par process, etc...) Metricbeat Collecte des métriques par interrogation périodique d'un service externe (not released)
  12. 12. PACKETBEAT
  13. 13. Usagesdel'analyseréseau Sécurité IDS (Intrusion Detection Systems) Troubleshooting d'un problème réseau Troubleshooting applicatif Analyse de perfomance
  14. 14. Analyseréseauaveclesoutilsstandards 1. Connexion ssh sur l'ensemble des serveurs 2. Lancement des tcpdump 3. Rapatriement des chiers de captures 4. Merge des traces 5. Analyse avec Wireshark
  15. 15. Packetbeat:Vued'ensemble Il fait tout cela en temp réel directement sur les serveurs. 1. Capture du tra c réseau 2. Analyse protocolaire 3. Correlation requête et réponse dans la transaction 4. Extraction des mesures 5. Envoi des données vers ElasticSearch
  16. 16. Packetbeat:Décodeursdisponibles Décodeurs Elastic Décodeurs Communautaire Http MongoDB Mysql ICMP PostgreSQL DNS Redis AMQP Thrift-RPC NFS Memcache Le vôtre ? (Ldap, DB2,...)
  17. 17. Packetbeat:Configuration # Network interfaces where to sniff the data  interfaces:  device: any  # Specify the type of your network data  protocols:      dns:          ports: [53]      http:          ports: [80, 8080, 8081, 5000, 8002]      mysql:          ports: [3306]  output:     elasticsearch:          hosts: [localhost:9200]  ...
  18. 18. FILEBEAT
  19. 19. Filebeat:Vued'ensemble 1. Log forwarder qui envoie vos lignes de log à ElasticSearch 2. Successeur de Logstash Forwarder 3. Il se souvient des lignes envoyées pour ne pas en oublier. 4. Lecture des chiers ligne par ligne. 5. Il n'analyse pas les lignes envoyées.
  20. 20. Filebeat:EnvoiviaLogstash 1. Filebeat envoi les lignes de logs non parsées (pas d'anayse grammaticale) 2. Utilisation des ltres Grok, mutate, GeoIP pour parser les lignes 3. Logstash est capable d'envoyer les informations analysées vers ElasticSearch et en plus vers d'autres outils (syslog, graphite, ...) 4. Possibilité de chi rement des communications, certi cat serveur et client.
  21. 21. Filebeat:PourlefutureElasticSearch5.0 1. Le plugin ElasticSearch Ingest node sera capable de parser directement. 2. Filebeat sera capable de communiquer directement avec ElasticSearch. 3. La con guration sera plus simple.
  22. 22. Filebeat:Configuration filebeat:    # List of prospectors to fetch data.    prospectors:      # Type of files: log or stdin      ­ input_type: log      # Files that should be crawled and fetched.      paths:      ­ “/var/log/apache2/*”      # File encoding: plain, utf­8, big5, gb18030, ...      encoding: plain 
  23. 23. TOPBEAT
  24. 24. Topbeat Topbeat est un peu comme l'outil Unix top, mais au lieu d'a cher les statistiques système à l'écran il envoie periodiquement les informations vers ElasticSearch. Il fonctionne également sous Windows.
  25. 25. Topbeat:DonnéesExportées Système Processus Disques Charge État Espace libre et occupé Total CPU utilisé Nom Disques disponibles CPU utilisé par core Ligne de commande Point de montage Swap, Mémoire utilisé pid CPU utilisé Mémoire utilisé
  26. 26. Topbeat:Configuration topbeat:      # how often to send system statistics      period: 10      # specify the processes to monitor      procs: [".*"]      # Statistics to collect (all enabled by default)      stats:          system: true          process: true          filesystem: true 
  27. 27. COMMUNAUTÉBEATS De nombreux Beats communautaire existent, en voici quelques uns : dockerbeat : Lit les statistiques de conteneurs Docker et les indexe dans ElasticSearch. execbeat : Exécute régulièrement des commandes shell et envoie la sortie standard vers Logstash ou ElasticSearch. owbeat : Recueille, analyse les ux sFlow. mysqlbeat : Permet d'exécuter des requêtes mysql et d'envoyer ces informations vers ElasticSearch pour analyse. nagioscheckbeat : Pour les contrôles Nagios et les
  28. 28. données de performance. DÉMO
  29. 29. QUESTIONS? Merci

×