Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Elasticsearch meetup#2 @Viadeo - Viadeo

1,690 views

Published on

Published in: Technology
  • Be the first to comment

Elasticsearch meetup#2 @Viadeo - Viadeo

  1. 1. Centralisation des logsflume-ng HBase Elasticsearch Kibana 3
  2. 2. Problématique● Problème de disponibilité et capacité limitée● Dispersion des données : SaaS, BI● Stockage inadapté : MySQL● Accès contraignant, problèmes de sécurité
  3. 3. ● Collecter les logs de manière centralisée● Stockage durable et évolutif● Les rendre accessibles● Initialiser la plate-forme Big data viadeoObjectifs
  4. 4. ApplicationserversDataWarehouseHDFSHBASEAnalytics Kibanaflume-ngSolrESsqoopPlan densembleflux continusimport récurrentsplate-forme de stockageapplications tierces
  5. 5. Mise en œuvre : Indexation● Rejouer n jours ou n minutes● Proche du temps réel● Idempotent● Sources et formats hétérogènes
  6. 6. Mise en œuvre : Indexation● Job MapReduce Hadoop natif● TransportClient embarqué● Indexation par lots● Une configuration logstash "classique"https://gist.github.com/deverton/2970285
  7. 7. Mise en œuvre : Métriques● 17 nœuds Hadoop mutualisés● 2 serveurs ES dédiés● 30 mappers● 260M / 3h de traitement pour 7 jours de logs● 340K / 30s de traitement pour 8 minutes de logs
  8. 8. Mise en œuvre : KibanaKibana 3 tombe à pic !● Maintenu au sein dElasticSearch● Très rapidement fonctionnel● Adaptable à des formats hétérogènes● Fabriqué avec AngularJS
  9. 9. Mise en œuvre : Kibana
  10. 10. Mise en œuvre : Kibana
  11. 11. Message subliminal : votez pour https://github.com/elasticsearch/elasticsearch/pull/2538 :)

×