Elasticsearch meetup#2 @Viadeo - Viadeo

1,634 views

Published on

Published in: Technology
0 Comments
3 Likes
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total views
1,634
On SlideShare
0
From Embeds
0
Number of Embeds
13
Actions
Shares
0
Downloads
37
Comments
0
Likes
3
Embeds 0
No embeds

No notes for slide

Elasticsearch meetup#2 @Viadeo - Viadeo

  1. 1. Centralisation des logsflume-ng HBase Elasticsearch Kibana 3
  2. 2. Problématique● Problème de disponibilité et capacité limitée● Dispersion des données : SaaS, BI● Stockage inadapté : MySQL● Accès contraignant, problèmes de sécurité
  3. 3. ● Collecter les logs de manière centralisée● Stockage durable et évolutif● Les rendre accessibles● Initialiser la plate-forme Big data viadeoObjectifs
  4. 4. ApplicationserversDataWarehouseHDFSHBASEAnalytics Kibanaflume-ngSolrESsqoopPlan densembleflux continusimport récurrentsplate-forme de stockageapplications tierces
  5. 5. Mise en œuvre : Indexation● Rejouer n jours ou n minutes● Proche du temps réel● Idempotent● Sources et formats hétérogènes
  6. 6. Mise en œuvre : Indexation● Job MapReduce Hadoop natif● TransportClient embarqué● Indexation par lots● Une configuration logstash "classique"https://gist.github.com/deverton/2970285
  7. 7. Mise en œuvre : Métriques● 17 nœuds Hadoop mutualisés● 2 serveurs ES dédiés● 30 mappers● 260M / 3h de traitement pour 7 jours de logs● 340K / 30s de traitement pour 8 minutes de logs
  8. 8. Mise en œuvre : KibanaKibana 3 tombe à pic !● Maintenu au sein dElasticSearch● Très rapidement fonctionnel● Adaptable à des formats hétérogènes● Fabriqué avec AngularJS
  9. 9. Mise en œuvre : Kibana
  10. 10. Mise en œuvre : Kibana
  11. 11. Message subliminal : votez pour https://github.com/elasticsearch/elasticsearch/pull/2538 :)

×