Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

La Duck Conf : "Apache Spark : ai-je besoin d'autre chose ?"

288 views

Published on

Présentation du talk de Benoit Meriaux - OCTO Technology
Dans le monde des plateformes d'exécutions distribuées,
Spark est la référence. D’autres comme Flink émergent et
trouvent leur place dans l’écosystème. Avec Spark, le Batch en
J+1 n’est plus une fatalité, le Streaming est à portée de main et
le Machine Learning devient mainstream. Bref, Spark vous sera
servi à toutes les sauces.

Published in: Technology
  • Copas Url to Read eBook === http://misslilyspad.com/books/La-Guérison-à-portée-de-la-main.html
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here
  • Copas Url to Download This eBook === http://ebookscollection.me/La-Guérison-à-portée-de-la-main.html
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here
  • can direct copy link Create DOWNLOAD for free book ===http://dayna.club/La-Guérison-à-portée-de-la-main.html
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here
  • Be the first to like this

La Duck Conf : "Apache Spark : ai-je besoin d'autre chose ?"

  1. 1. #LaDuckConf by OCTO Technology © 2019 - All rights reserved
  2. 2. #LaDuckConf by OCTO Technology © 2019 - All rights reserved Spark: ai-je besoin d’autre chose ? Benoit MERIAUX Twitter: @benoitmeriaux Github/LinkedIn: bmeriaux
  3. 3. Partons d’un cas d’usage classique : un batch quotidien
  4. 4. #LaDuckConf by OCTO Technology © 2019 - All rights reserved 4 Une résilience inexistante Le Batch traditionnel
  5. 5. #LaDuckConf by OCTO Technology © 2019 - All rights reserved 5 Une résilience inexistante Le Batch traditionnel
  6. 6. #LaDuckConf by OCTO Technology © 2019 - All rights reserved 6 Une résilience inexistante Le Batch traditionnel
  7. 7. Comment gagner en résilience et en performance ?
  8. 8. #LaDuckConf by OCTO Technology © 2019 - All rights reserved 8 La Clean Architecture à la rescousse Une refonte intelligente Domain Domain Usecase InfrastructureInfrastructure : Framework, Persistence, API, etc Usecase : Règles Métiers Domain : Objet Métiers
  9. 9. Spark, Kesako ?
  10. 10. #LaDuckConf by OCTO Technology © 2019 - All rights reserved 10 Un peu d’histoire v1.0 en 2014 Créé en 2009 à Berkeley v2.0(2016) : Structured Streaming v2.4 : Projet Hydrogen v1.5 : Projet tungsten v1.3 : DataFrame API ● 1er framework en BigData, 31% de parts de marché en 2018 ● 29% de croissance par rapport à 2017 Source: Qubole’s 2018 Survey of Big Data Trends and Challenges Apache Spark
  11. 11. #LaDuckConf by OCTO Technology © 2019 - All rights reserved 11 Apache Spark Un coeur extensible
  12. 12. Une Architecture Distribuée ?! Attention aux pièges !
  13. 13. #LaDuckConf by OCTO Technology © 2019 - All rights reserved Une Architecture Distribuée 13 https://spark.apache.org/docs/latest/cluster-o verview.html Cluster Manager Worker Worker Spark Application Master/Worker
  14. 14. #LaDuckConf by OCTO Technology © 2019 - All rights reserved Les échanges de données 14 Transformation N+1Transformation N Attention aux partitions !
  15. 15. #LaDuckConf by OCTO Technology © 2019 - All rights reserved La Résilience 15 Cluster Manager Worker Worker Worker Dès la conception
  16. 16. #LaDuckConf by OCTO Technology © 2019 - All rights reserved 16 “Everything fails all the time” Werner Vogels, CTO AWS
  17. 17. #LaDuckConf by OCTO Technology © 2019 - All rights reserved Chaos Engineering 17 What if … ?
  18. 18. #LaDuckConf by OCTO Technology © 2019 - All rights reserved 18 C’est rapide et ça marche Spark fait son entrée
  19. 19. Pourquoi attendre la fin du traitement pour avoir le résultat?
  20. 20. #LaDuckConf by OCTO Technology © 2019 - All rights reserved 20 C’est simple Passons sur du streaming
  21. 21. Quelle source de données puis-je ajouter ?
  22. 22. #LaDuckConf by OCTO Technology © 2019 - All rights reserved 22 Plus j’en sais, mieux c’est Collectons plus!
  23. 23. #LaDuckConf by OCTO Technology © 2019 - All rights reserved 23 Gérer les données en continu Une histoire de fenêtre 12:00 12:05 12:10 12:15 12:00-12:10 click: 1 Fenêtre de 10 min toutes les 5 min
  24. 24. #LaDuckConf by OCTO Technology © 2019 - All rights reserved 24 Gérer les données en continu Une histoire de fenêtre 12:00 12:05 12:10 12:15 12:00-12:10 click: 2 Fenêtre de 10 min toutes les 5 min
  25. 25. #LaDuckConf by OCTO Technology © 2019 - All rights reserved 25 Gérer les données en continu Une histoire de fenêtre 12:00 12:05 12:10 12:15 12:00-12:10 click: 4 12:05-12:15 click: 2 Fenêtre de 10 min toutes les 5 min, retard toléré de 5 min
  26. 26. #LaDuckConf by OCTO Technology © 2019 - All rights reserved 26 Gérer les données en continu Une histoire de fenêtre 12:00 12:05 12:10 12:15 12:00-12:10 click: 4 12:05-12:15 click: 2 Fenêtre de 10 min toutes les 5 min, retard toléré de 5 min
  27. 27. #LaDuckConf by OCTO Technology © 2019 - All rights reserved 27 Gérer les données en continu Une histoire de fenêtre 12:00 12:05 12:10 12:15 12:00-12:10 click: 4 12:05-12:15 click: 2 Fenêtre de 10 min toutes les 5 min, retard toléré de 5 min
  28. 28. Maintenant, j’ai plein de données, mais j’en fais quoi ?
  29. 29. #LaDuckConf by OCTO Technology © 2019 - All rights reserved 29 Pour mieux cibler Ensuite ajoutons un peu d’IA
  30. 30. #LaDuckConf by OCTO Technology © 2019 - All rights reserved 30 Des suggestions aux petits oignons Puis prédisons en temps réel
  31. 31. Mais comment déployer tout ca ?
  32. 32. #LaDuckConf by OCTO Technology © 2019 - All rights reserved 32 Il ne reste plus qu’à choisir Le Cloud est prêt
  33. 33. Alors ai-je besoin d’autre chose ?
  34. 34. #LaDuckConf by OCTO Technology © 2019 - All rights reserved 34 Spark a bien évolué depuis le temps Take Away Spark couvre la majorité des cas d’usages des traitements de données Et pour aller plus loin:

×