• Share
  • Email
  • Embed
  • Like
  • Save
  • Private Content
BigData et Hadoop au secours de téraoctets de logs inexploitables chez l'un des plus grands sites marchands du web européen (DevoxxFr)
 

BigData et Hadoop au secours de téraoctets de logs inexploitables chez l'un des plus grands sites marchands du web européen (DevoxxFr)

on

  • 3,414 views

Comment analyser chaque jour des téra de logs générés par plus de 600 JVMs en production, sans impacter leur fonctionnement ? ...

Comment analyser chaque jour des téra de logs générés par plus de 600 JVMs en production, sans impacter leur fonctionnement ?
Nous vous présenterons durant cette session la solution Big Data 100% Open Source mise en place chez un des plus grands sites du web européen. Une architecture basée sur syslog-ng, Flume, Hadoop, MongoDb et Play!, qui n'a rien à envier aux géants d'outre-atlantique !
Venez découvrir comment nous avons divisé par 20 le temps de détection et de traitement des incidents. Mais aussi comment BigData a permis de nouvelles utilisations des logs à la fois techniques et surtout métier, comme la détection des fraudes, l’analyse de traffic web, BI en temps réel, ...
À travers ce retour d'expérience, nous vous proposons de vivre, au coeur d'une des plus exigeantes productions de France, la mise en place de ce projet digne des très grands du web.

Statistics

Views

Total Views
3,414
Views on SlideShare
3,284
Embed Views
130

Actions

Likes
1
Downloads
67
Comments
0

3 Embeds 130

http://www.scoop.it 121
http://paper.li 6
https://twitter.com 3

Accessibility

Categories

Upload Details

Uploaded via as Adobe PDF

Usage Rights

© All Rights Reserved

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Processing…
Post Comment
Edit your comment

    BigData et Hadoop au secours de téraoctets de logs inexploitables chez l'un des plus grands sites marchands du web européen (DevoxxFr) BigData et Hadoop au secours de téraoctets de logs inexploitables chez l'un des plus grands sites marchands du web européen (DevoxxFr) Presentation Transcript

    • BigData et Hadoopau secours de téraoctets de logs inexploitables chez l’un des plus grands sites marchands européens. by Pablo Lopez @pLopezFr 1
    • Abstract• Une plateforme de production hors normes, exigeante• Une solution BigData innovante• De nombreux usages• Voir toujours plus grand 2
    • Speaker @pLopezFr blog.xebia.fr Architect Pablo Lopez Big DataFort Traffic DevOps Performance 3
    • C’est l’histoire d’une startup... 4
    • La course à l’armement !"#$%&(&)&%*&+%)(&,%"(+-."/ &/0%&1223&01241• ~500 serveurs de production #!" !!"• 80 applications &#!" &!!" %#!"• 5 JVMs / serveur %!!" $#!"• 13 niveaux de load balancing. $!!" #!" !" 5
    • Une mine d’informations...• Logs techniques / fonctionnelles / analytiques• 5 à 10 fichiers de logs par JVMs• 7 Go de logs / serveur / jour 6
    • ... et un calvaire pour les équipes• Rotation trop rapide• Collecte semi automatisée• Transferts laborieux• Volume à traiter colossal 7
    • Les fonctionnalités recherchées• Centraliser • Informer• Sécuriser • Archiver• Analyser • En temps réel 9
    • De grandes responsabilités• Disponibilité 99,995 %• Temps de réponse sous la seconde• Base de données = Single Point of Failure• Coûts maitrisés 10
    • Big Data et open source 11
    • Centraliser 12
    • Centraliser (v2) 13
    • Sécuriser 14
    • Analyser 15
    • Informer / Archiver 16
    • Vue end-to-end12:49:22.203 DEBUG introduction.HelloWorld {service:HelloWorld, count:2} 12:49:22.203 DEBUG introduction.HelloWorld 17
    • Le défi du temps réel Version initiale Tuning infrastructure Tuning code #" !" &#"Temps d’exécution &!" du job %#" %!" en minutes $#" $!" #" !" 18
    • Utilisation quotidienne 19
    • L’avenir... des use cases 20
    • L’avenir... de la plate-forme 21
    • L’avenir... des produits 22
    • Réservé aux grands ? 23
    • L’équipe• Philippe Martin martinphilippe@yahoo.com• Arnault Jeanson @ArnaultJeanson• Jean-Philippe Hautin @JpHautin • Jawed Khelil • Pierre Revellin • François Ostyn • Olivier Del Favero 24
    • Des questions ? 25