Download as PDF, PPTX
Uploaded byPublicis Sapient Engineering
XebiCon'18 - Boostez vos modèles avec du Deep Learning distribué
The document discusses distributed deep learning, focusing on techniques such as data parallelism and model parallelism, which allow for efficient training of neural networks across multiple machines. It addresses the constraints of using single machines, like limited computational power and memory issues, and proposes solutions through various frameworks compatible with big data environments like Hadoop. Additionally, it covers scenarios for when to use distributed methods and references resources for further exploration.
![Coded Agents – with UiPath SDK + LangGraph [Virtual Hands-on Workshop]](https://cdn.slidesharecdn.com/ss_thumbnails/codedagentsdeck-251215155422-5497c599-thumbnail.jpg?width=640&height=640&fit=bounds)
![Vibe Coding vs. Spec-Driven Development [Free Meetup]](https://cdn.slidesharecdn.com/ss_thumbnails/vibecodingvsspecdrivendevelopment-251209105622-43f455e7-thumbnail.jpg?width=640&height=640&fit=bounds)
XebiCon'18 - Boostez vos modèles avec du Deep Learning distribué
- 1. @Xebiconfr #Xebicon18 @YoannBENOIT Buildthe future Boostez vos modèles avec du Deep Learning distribué Yoann BENOIT, Data Scientist Xebia
- 2. @Xebiconfr #Xebicon18 @YoannBENOIT YoannBENOIT Data Scientist @YoannBENOIT
- 3.
- 4. @Xebiconfr #Xebicon18 @YoannBENOIT Unvaste champ des possibilités
- 5. @Xebiconfr #Xebicon18 @YoannBENOIT DeepLearning … sur mon laptop modèle transfert de connaissance modèle Réseaux de neurones peu profonds Transfer Learning
- 6. @Xebiconfr #Xebicon18 @YoannBENOIT Leslimites de mon laptop Temps d’entraînement trop long
- 7. @Xebiconfr #Xebicon18 @YoannBENOIT Leslimites de mon laptop Tuning difficile
- 8. @Xebiconfr #Xebicon18 @YoannBENOIT Leslimites de mon laptop Taille du modèle trop grande
- 9. @Xebiconfr #Xebicon18 @YoannBENOIT DuCPU … au GPU
- 10. @Xebiconfr #Xebicon18 @YoannBENOIT DuCPU … au GPU Distributed Deep Learning
- 11. @Xebiconfr #Xebicon18 @YoannBENOIT DistributedDeep Learning
- 12. @Xebiconfr #Xebicon18 @YoannBENOIT Unréseau de neurones est composé d’opérations mathématiques enchaînées Op. 1 Op. 2.1 Op. 2.2 Op. 3
- 13. @Xebiconfr #Xebicon18 @YoannBENOIT DataParallelism vs Model Parallelism Data Parallelism Réplication du modèle sur plusieurs machines Model Parallelism Opérations du modèle réparties entre plusieurs machines Op. 1 Op. 2.1 Op. 2.2 Op. 3
- 14. @Xebiconfr #Xebicon18 @YoannBENOIT DataParallelism
- 15. @Xebiconfr #Xebicon18 @YoannBENOIT DataParallelism - Duplication du modèle sur chaque machine Machine 1 Op. 1 Op. 2.1 Op. 2.2 Op. 3 Machine 3 Op. 1 Op. 2.1 Op. 2.2 Op. 3 Machine 4 Op. 1 Op. 2.1 Op. 2.2 Op. 3 Machine 2 Op. 1 Op. 2.1 Op. 2.2 Op. 3 Op. 1 Op. 2.1 Op. 2.2 Op. 3
- 16. @Xebiconfr #Xebicon18 @YoannBENOIT DataParallelism - Duplication du modèle sur chaque machine Machine 1 Op. 1 Op. 2.1 Op. 2.2 Op. 3 Machine 3 Op. 1 Op. 2.1 Op. 2.2 Op. 3 Machine 4 Op. 1 Op. 2.1 Op. 2.2 Op. 3 Machine 2 Op. 1 Op. 2.1 Op. 2.2 Op. 3 N images
- 17. @Xebiconfr #Xebicon18 @YoannBENOIT DataParallelism - Duplication du modèle sur chaque machine Machine 1 Op. 1 Op. 2.1 Op. 2.2 Op. 3 Machine 3 Op. 1 Op. 2.1 Op. 2.2 Op. 3 Machine 4 Op. 1 Op. 2.1 Op. 2.2 Op. 3 Machine 2 Op. 1 Op. 2.1 Op. 2.2 Op. 3 N images N/4 N/4 N/4 N/4
- 18. @Xebiconfr #Xebicon18 @YoannBENOIT DataParallelism - Propriétés Copie du même modèle sur chaque machine Une partie du batch à chaque itération Pas de communication entre les différents threads en phase d’inférence Calcul des gradients indépendamment pour chaque copie
- 19. @Xebiconfr #Xebicon18 @YoannBENOIT DataParallelism - Combiner les résultats Synchronisation poids gradients synchrone asynchrone centralisée distribuée
- 20. @Xebiconfr #Xebicon18 @YoannBENOIT Machine4Machine 3Machine 2Machine 1 Data Parallelism - Synchronisation Op. 1 Op. 2.1 Op. 2.2 Op. 3 Op. 1 Op. 2.1 Op. 2.2 Op. 3 Op. 1 Op. 2.1 Op. 2.2 Op. 3 Op. 1 Op. 2.1 Op. 2.2 Op. 3
- 21. @Xebiconfr #Xebicon18 @YoannBENOIT Machine4Machine 3Machine 2Machine 1 Data Parallelism - Synchronisation Op. 1 Op. 2.1 Op. 2.2 Op. 3 Op. 1 Op. 2.1 Op. 2.2 Op. 3 Op. 1 Op. 2.1 Op. 2.2 Op. 3 Op. 1 Op. 2.1 Op. 2.2 Op. 3 Serveur de paramètres
- 22. @Xebiconfr #Xebicon18 @YoannBENOIT Machine4Machine 3Machine 2Machine 1 Data Parallelism - Synchronisation des poids Op. 1 Op. 2.1 Op. 2.2 Op. 3 Op. 1 Op. 2.1 Op. 2.2 Op. 3 Op. 1 Op. 2.1 Op. 2.2 Op. 3 Op. 1 Op. 2.1 Op. 2.2 Op. 3 Serveur de paramètres Wi Wi Wi Wi
- 23. @Xebiconfr #Xebicon18 @YoannBENOIT Machine4Machine 3Machine 2Machine 1 Data Parallelism - Synchronisation des poids Op. 1 Op. 2.1 Op. 2.2 Op. 3 Op. 1 Op. 2.1 Op. 2.2 Op. 3 Op. 1 Op. 2.1 Op. 2.2 Op. 3 Op. 1 Op. 2.1 Op. 2.2 Op. 3 Serveur de paramètres
- 24. @Xebiconfr #Xebicon18 @YoannBENOIT Machine4Machine 3Machine 2Machine 1 Data Parallelism - Moyenne des poids Op. 1 Op. 2.1 Op. 2.2 Op. 3 Op. 1 Op. 2.1 Op. 2.2 Op. 3 Op. 1 Op. 2.1 Op. 2.2 Op. 3 Op. 1 Op. 2.1 Op. 2.2 Op. 3 Serveur de paramètres : Wi+1 = ¼ ∑Wi+1,j Wi+1,1 Wi+1,2 Wi+1,3 Wi+1,4
- 25. @Xebiconfr #Xebicon18 @YoannBENOIT Machine4Machine 3Machine 2Machine 1 Data Parallelism - Descente de gradient stochastique synchrone / asynchrone Op. 1 Op. 2.1 Op. 2.2 Op. 3 Op. 1 Op. 2.1 Op. 2.2 Op. 3 Op. 1 Op. 2.1 Op. 2.2 Op. 3 Op. 1 Op. 2.1 Op. 2.2 Op. 3 Serveur de paramètres : Wi+1 = Wi - ƛ*∑ΔWi,j ΔWi,1 ΔWi,2 ΔWi,3 ΔWi,4
- 26. @Xebiconfr #Xebicon18 @YoannBENOIT DataParallelism - Quand l’utiliser ? Peu de paramètres Calculs de gradients complexes Ex : Couches convolutionnelles ou réseaux de neurones récurrents
- 27. @Xebiconfr #Xebicon18 @YoannBENOIT ModelParallelism
- 28. @Xebiconfr #Xebicon18 @YoannBENOIT ModelParallelism Op. 1 Op. 2.1 Op. 2.2 Op. 3
- 29. @Xebiconfr #Xebicon18 @YoannBENOIT Machine4 Machine 2 Machine 3 Machine 1 Model Parallelism Op. 1 Op. 2.1 Op. 2.2 Op. 3
- 30. @Xebiconfr #Xebicon18 @YoannBENOIT ModelParallelism - Propriétés Opérations et poids répartis sur chaque machine Tout le batch est utilisé à chaque itération Communication constante entre les différents threads Synchroniser des poids après chaque produit matriciel
- 31. @Xebiconfr #Xebicon18 @YoannBENOIT ModelParallelism - Quand l’utiliser ? Beaucoup de paramètres Ne tient pas en mémoire Ex : Réseau de neurones très profond ou stacking de couches denses
- 32. @Xebiconfr #Xebicon18 @YoannBENOIT Data+ Model Parallelism
- 33. @Xebiconfr #Xebicon18 @YoannBENOIT Data+ Model Parallelism Op. 1 Op. 2.1 Op. 2.2 Op. 3
- 34. @Xebiconfr #Xebicon18 @YoannBENOIT Data+ Model Parallelism G4 G2 G3 G1 Op. 1 Op. 2.1 Op. 2.2 Op. 3 Machine 3Machine 2Machine 1 G4 G2 G3 G1 Op. 1 Op. 2.1 Op. 2.2 Op. 3 G4 G2 G3 G1 Op. 1 Op. 2.1 Op. 2.2 Op. 3 G4 G2 G3 G1 Op. 1 Op. 2.1 Op. 2.2 Op. 3
- 35. @Xebiconfr #Xebicon18 @YoannBENOIT DistributedDeep Learning
- 36.
- 37. @Xebiconfr #Xebicon18 @YoannBENOIT Frameworkspour le Deep Learning distribué
- 38.
- 39. @Xebiconfr #Xebicon18 @YoannBENOIT DeepLearning distribué sur des clusters Hadoop ➔ Elephas ➔ Distributed Keras ➔ TensorFlowOnSpark
- 40. @Xebiconfr #Xebicon18 @YoannBENOIT DeepLearning distribué sur des clusters Hadoop ➔ Deep Learning Pipelines ➔ DeepLearning4j
- 41.
- 42. @Xebiconfr #Xebicon18 @YoannBENOIT DistributedDeep Learning
- 43. @Xebiconfr #Xebicon18 @YoannBENOIT Quandl’utiliser ? Réseaux de neurones avec contraintes de poids partagés Réseaux de neurones qui ne tiennent pas en mémoire Très grande volumétrie de données Tuning de paramètres intensif
- 44. @Xebiconfr #Xebicon18 @YoannBENOIT Quechoisir ? Multi-GPU Distribué Distribué Machine seule Multi-GPU Distribué Data Size NetworkSize
- 45. @Xebiconfr #Xebicon18 @YoannBENOIT Buildthe future MERCI
- 46. @Xebiconfr #Xebicon18 @YoannBENOIT Références ➔http://timdettmers.com/2014/10/09/deep-learning-data-parallelism/ ➔ https://medium.com/rocketml/put-tensorflow-keras-and-mxnet-deeplearning-models-on-steroids-c34 0586989b5 ➔ https://www.slideshare.net/insideHPC/tutorial-on-deep-learning ➔ https://www.slideshare.net/hustwj/cikm-keynotenov2014 ➔ http://timdettmers.com/2014/10/09/deep-learning-data-parallelism/ ➔ http://timdettmers.com/2014/11/09/model-parallelism-deep-learning/ ➔ https://xiandong79.github.io/Intro-Distributed-Deep-Learning ➔ https://blog.skymind.ai/distributed-deep-learning-part-1-an-introduction-to-distributed-training-of-neur al-networks/ ➔ https://arxiv.org/pdf/1404.5997v2.pdf ➔ https://www.analytics-link.com/single-post/2017/10/09/INTEREST-Scaling-Deep-Learning-Highlights -From-The-Startupml-Workshop ➔ https://medium.com/@ntenenz/distributed-tensorflow-2bf94f0205c3 ➔ https://medium.com/netflix-techblog/distributed-neural-networks-with-gpus-in-the-aws-cloud-ccf71e8 2056b
- 47. @Xebiconfr #Xebicon18 @YoannBENOIT Frameworks ➔http://maxpumperla.com/elephas/ ➔ https://github.com/yahoo/TensorFlowOnSpark ➔ https://github.com/cerndb/dist-keras ➔ https://docs.databricks.com/applications/deep-learning/deep-learning-pipelines.html ➔ https://github.com/uber/horovod