Your SlideShare is downloading. ×
BigData et Hadoop au secours de téraoctets de logs inexploitables chez l'un des plus grands sites marchands du web européen (DevoxxFr)
Upcoming SlideShare
Loading in...5
×

Thanks for flagging this SlideShare!

Oops! An error has occurred.

×

Introducing the official SlideShare app

Stunning, full-screen experience for iPhone and Android

Text the download link to your phone

Standard text messaging rates apply

BigData et Hadoop au secours de téraoctets de logs inexploitables chez l'un des plus grands sites marchands du web européen (DevoxxFr)

6,590
views

Published on

Comment analyser chaque jour des téra de logs générés par plus de 600 JVMs en production, sans impacter leur fonctionnement ? …

Comment analyser chaque jour des téra de logs générés par plus de 600 JVMs en production, sans impacter leur fonctionnement ?
Nous vous présenterons durant cette session la solution Big Data 100% Open Source mise en place chez un des plus grands sites du web européen. Une architecture basée sur syslog-ng, Flume, Hadoop, MongoDb et Play!, qui n'a rien à envier aux géants d'outre-atlantique !
Venez découvrir comment nous avons divisé par 20 le temps de détection et de traitement des incidents. Mais aussi comment BigData a permis de nouvelles utilisations des logs à la fois techniques et surtout métier, comme la détection des fraudes, l’analyse de traffic web, BI en temps réel, ...
À travers ce retour d'expérience, nous vous proposons de vivre, au coeur d'une des plus exigeantes productions de France, la mise en place de ce projet digne des très grands du web.

Published in: Technology

0 Comments
1 Like
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total Views
6,590
On Slideshare
0
From Embeds
0
Number of Embeds
2
Actions
Shares
0
Downloads
70
Comments
0
Likes
1
Embeds 0
No embeds

Report content
Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
No notes for slide

Transcript

  • 1. BigData et Hadoopau secours de téraoctets de logs inexploitables chez l’un des plus grands sites marchands européens. by Pablo Lopez @pLopezFr 1
  • 2. Abstract• Une plateforme de production hors normes, exigeante• Une solution BigData innovante• De nombreux usages• Voir toujours plus grand 2
  • 3. Speaker @pLopezFr blog.xebia.fr Architect Pablo Lopez Big DataFort Traffic DevOps Performance 3
  • 4. C’est l’histoire d’une startup... 4
  • 5. La course à l’armement !"#$%&(&)&%*&+%)(&,%"(+-."/ &/0%&1223&01241• ~500 serveurs de production #!" !!"• 80 applications &#!" &!!" %#!"• 5 JVMs / serveur %!!" $#!"• 13 niveaux de load balancing. $!!" #!" !" 5
  • 6. Une mine d’informations...• Logs techniques / fonctionnelles / analytiques• 5 à 10 fichiers de logs par JVMs• 7 Go de logs / serveur / jour 6
  • 7. ... et un calvaire pour les équipes• Rotation trop rapide• Collecte semi automatisée• Transferts laborieux• Volume à traiter colossal 7
  • 8. Les fonctionnalités recherchées• Centraliser • Informer• Sécuriser • Archiver• Analyser • En temps réel 9
  • 9. De grandes responsabilités• Disponibilité 99,995 %• Temps de réponse sous la seconde• Base de données = Single Point of Failure• Coûts maitrisés 10
  • 10. Big Data et open source 11
  • 11. Centraliser 12
  • 12. Centraliser (v2) 13
  • 13. Sécuriser 14
  • 14. Analyser 15
  • 15. Informer / Archiver 16
  • 16. Vue end-to-end12:49:22.203 DEBUG introduction.HelloWorld {service:HelloWorld, count:2} 12:49:22.203 DEBUG introduction.HelloWorld 17
  • 17. Le défi du temps réel Version initiale Tuning infrastructure Tuning code #" !" &#"Temps d’exécution &!" du job %#" %!" en minutes $#" $!" #" !" 18
  • 18. Utilisation quotidienne 19
  • 19. L’avenir... des use cases 20
  • 20. L’avenir... de la plate-forme 21
  • 21. L’avenir... des produits 22
  • 22. Réservé aux grands ? 23
  • 23. L’équipe• Philippe Martin martinphilippe@yahoo.com• Arnault Jeanson @ArnaultJeanson• Jean-Philippe Hautin @JpHautin • Jawed Khelil • Pierre Revellin • François Ostyn • Olivier Del Favero 24
  • 24. Des questions ? 25