SlideShare a Scribd company logo
1 of 51
Download to read offline
Optimisation des réseaux de neurones de grande capacité: étude expérimentale de leur inefficacité et exploration de solutions Francis Piéraut 17 avril 2003 Directeur de recherche: Jean-Jules Brault Co-directeur de recherche: Yoshua Bengio
Plan de l’exposé ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]
Algorithmes d’apprentissage ,[object Object],[object Object],[object Object],[object Object]
sortie z  cible t t 1 t k y 1 x i x D y 2 y j y N w jk w ij x 1 Réseaux de neurones et notion de capacité P(c 1 |x 1 ,x 2 … )   P(c k |x 1 ,x 2 … ) z 1 z k = Neurone =   Sigmo ï de = Fonction linéaire = Connexion
Interprétation en terme de plans séparateurs x 1 x 2 1  2  3  4  5  6 6 5 4 3 2 1
Comportement attendu en fonction de la capacité
Contexte ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]
Inefficacité des réseaux de grande capacité (en nombre d’erreurs)
Inefficacité des réseaux de grande capacité (en temps de calcul)
Constatation: comportement idéalisé du ratio temps temps Ratio temps 1 2N 4N N
Est-ce que l’inefficacité des réseaux de grande capacité est normale? ,[object Object],[object Object],[object Object],[object Object],[object Object]
sortie z  cible t z 1 Z k t 1 t k y 1 x i x D y N w kj w ij x 1 Réseaux de neurones et équations y 2 y j
Le processus d’apprentissage ralentit lorsqu’on apprend les relations non-linéaires
Espace de solutions du réseau de N+K neurones Espace de solutions  du réseau de N neurones Espace de solutions
Solution État initial Exemple 5 itérations  3 itérations s équivalentes
Les problèmes ,[object Object],[object Object],[object Object],[object Object],[object Object]
sortie z  cible t z 1 Z k t 1 t k y 1 x i x D y N w jk w ij x 1 Réseaux de neurones et équations y 2 y j
Les solutions explorées ,[object Object],[object Object],[object Object],[object Object]
Réseaux incrémentaux : 1ère approche (ajouts de plans séparateurs)
Réseaux incrémentaux : 1ère approche (Optimisation pour les poids fixes)
Hypothèses OK Réseaux incrémentaux Symétrie Dilution gradient mécanisme de spécialisation Gradient contradictoire Dépl. cible Problèmes Solutions
Réseaux incrémentaux (1): résultats
Pourquoi ça ne marche pas?  Hypothèse basée sur les points critiques w 1 w 2 Coût en fonction des poids w 3
Exemple
 
 
Réseaux incrémentaux : 2ème approche (ajouts de couches cachées) z 1 z 2 y 1 x 1 x 2 y 2 y 3 y 4 z 1 z 2 x 1 x 2
Courbure de la fonction de coût J J J w w w
Hypothèses OK Réseaux incrémentaux  Symétrie Dilution gradient Mécanisme de spécialisation Gradient contradictoire Dépl. cible Problèmes Solutions
Réseaux incrémentaux (2): résultats
Architecture découplée
In efficacité des réseaux de grande capacité (en temps de calcul)
Efficacité des réseaux de grande capacité: architecture découplée
Hypothèses ok Élimination Architecture découplée Symétrie Dilution gradient Mécanisme de spécialisation Gradient contradictoire Dépl. cible Problèmes Solutions
Architecture découplée
Pourquoi prédire les valeurs futures des paramètres? (observations) # Époque Valeurs
Hypothèses * Avantage: possibilité de réduire le nombre d’époques en utilisant l’historique des valeurs des paramètres pour prédire leurs futures valeurs Prédiction des paramètres Symétrie Dilution gradient Inexistence d’un méc. de spécialisation Gradient contradictoire Dépl. cible Problèmes Solutions
Prédiction : extrapolation quadratique sporadique
Contributions ,[object Object],[object Object],[object Object],[object Object],[object Object]
Travaux futurs ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]
Conclusion ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]
 
Exemple :solution linéaire
Exemple :solution hautement non-linéaire
Sélection des connections influençant le plus le coût
Sélection des connections influençant le plus l’erreur T = 1 S = 0 T = 0 S = 1 T = 0 S = 0.1 T = 0 S = 0.1
Réduction du Problème de déplacement de la cible
Hypothèses Oui Opt. partie Symétrie Dilution gradient Mécanisme de spécialisation Gradient contradictoire Dépl. cible Problèmes Solutions
Réseaux avec optimisation d’une partie des paramètres: résultats Optimisation   d e tous   les param ètres Optimisation  max sensibilité
Prédiction : augmentation sporadique du pas
Modifier l’architecture modifie l’espace de solutions Symétrie Modification OK Modifier l’architecture Espace de solutions Dilution gradient mécanisme de spécialisation Gradient contradictoire Dépl. cible Problèmes Solutions

More Related Content

Similar to Soutenance 17 Avril 2003

FLTauR - Construction de modèles de prévision sous r avec le package caret
FLTauR - Construction de modèles de prévision sous r avec le package caretFLTauR - Construction de modèles de prévision sous r avec le package caret
FLTauR - Construction de modèles de prévision sous r avec le package caretjfeudeline
 
optimisation cours.pdf
optimisation cours.pdfoptimisation cours.pdf
optimisation cours.pdfMouloudi1
 
Recursive Neural Network summary
Recursive Neural Network summaryRecursive Neural Network summary
Recursive Neural Network summaryStephen Larroque
 
Détection communautaire dans des réseaux complexe a l'aide de l'algorithme gé...
Détection communautaire dans des réseaux complexe a l'aide de l'algorithme gé...Détection communautaire dans des réseaux complexe a l'aide de l'algorithme gé...
Détection communautaire dans des réseaux complexe a l'aide de l'algorithme gé...AHMEDBELGHITH4
 
Algorithmes machine learning/ neural network / deep learning
Algorithmes machine learning/ neural network / deep learningAlgorithmes machine learning/ neural network / deep learning
Algorithmes machine learning/ neural network / deep learningBassem Brayek
 
Apprentissage supervisé.pdf
Apprentissage supervisé.pdfApprentissage supervisé.pdf
Apprentissage supervisé.pdfhanamettali
 
Les réseaux de neurones
Les réseaux de neuronesLes réseaux de neurones
Les réseaux de neuronesMariam Amchayd
 
TP_Réseaux_de_neurones_Safae_ElOmari.pdf
TP_Réseaux_de_neurones_Safae_ElOmari.pdfTP_Réseaux_de_neurones_Safae_ElOmari.pdf
TP_Réseaux_de_neurones_Safae_ElOmari.pdfSafaeElOmari
 
Arbre de décision.pdf
Arbre de décision.pdfArbre de décision.pdf
Arbre de décision.pdfimane26
 
Design Patterns (2003)
Design Patterns (2003)Design Patterns (2003)
Design Patterns (2003)Pascal Roques
 
Planification et analyse d'expériences numériques: approche bayésienne
Planification et analyse d'expériences numériques: approche bayésiennePlanification et analyse d'expériences numériques: approche bayésienne
Planification et analyse d'expériences numériques: approche bayésienneJulien Bect
 
Exposé réseaux des neurones (NN) - (RN)
Exposé réseaux des neurones (NN) - (RN)Exposé réseaux des neurones (NN) - (RN)
Exposé réseaux des neurones (NN) - (RN)Soumia Elyakote HERMA
 
Reconnaissance de panneaux de signalisation routière en utilisant la détectio...
Reconnaissance de panneaux de signalisation routière en utilisant la détectio...Reconnaissance de panneaux de signalisation routière en utilisant la détectio...
Reconnaissance de panneaux de signalisation routière en utilisant la détectio...Loghin Dumitru
 
Mappingobjetrelationnel[1]
Mappingobjetrelationnel[1]Mappingobjetrelationnel[1]
Mappingobjetrelationnel[1]linasafaa
 

Similar to Soutenance 17 Avril 2003 (20)

FLTauR - Construction de modèles de prévision sous r avec le package caret
FLTauR - Construction de modèles de prévision sous r avec le package caretFLTauR - Construction de modèles de prévision sous r avec le package caret
FLTauR - Construction de modèles de prévision sous r avec le package caret
 
Mise en oeuvre des framework de machines et deep learning v1
Mise en oeuvre des framework de machines et deep learning v1 Mise en oeuvre des framework de machines et deep learning v1
Mise en oeuvre des framework de machines et deep learning v1
 
optimisation cours.pdf
optimisation cours.pdfoptimisation cours.pdf
optimisation cours.pdf
 
test
testtest
test
 
Recursive Neural Network summary
Recursive Neural Network summaryRecursive Neural Network summary
Recursive Neural Network summary
 
20170320logiciels
20170320logiciels20170320logiciels
20170320logiciels
 
Détection communautaire dans des réseaux complexe a l'aide de l'algorithme gé...
Détection communautaire dans des réseaux complexe a l'aide de l'algorithme gé...Détection communautaire dans des réseaux complexe a l'aide de l'algorithme gé...
Détection communautaire dans des réseaux complexe a l'aide de l'algorithme gé...
 
Algorithmes machine learning/ neural network / deep learning
Algorithmes machine learning/ neural network / deep learningAlgorithmes machine learning/ neural network / deep learning
Algorithmes machine learning/ neural network / deep learning
 
Apprentissage supervisé.pdf
Apprentissage supervisé.pdfApprentissage supervisé.pdf
Apprentissage supervisé.pdf
 
Les réseaux de neurones
Les réseaux de neuronesLes réseaux de neurones
Les réseaux de neurones
 
TP_Réseaux_de_neurones_Safae_ElOmari.pdf
TP_Réseaux_de_neurones_Safae_ElOmari.pdfTP_Réseaux_de_neurones_Safae_ElOmari.pdf
TP_Réseaux_de_neurones_Safae_ElOmari.pdf
 
arbres de decision.ppt
arbres de decision.pptarbres de decision.ppt
arbres de decision.ppt
 
Arbre de décision.pdf
Arbre de décision.pdfArbre de décision.pdf
Arbre de décision.pdf
 
PLNE.pptx
PLNE.pptxPLNE.pptx
PLNE.pptx
 
Design Patterns (2003)
Design Patterns (2003)Design Patterns (2003)
Design Patterns (2003)
 
O01051108124
O01051108124O01051108124
O01051108124
 
Planification et analyse d'expériences numériques: approche bayésienne
Planification et analyse d'expériences numériques: approche bayésiennePlanification et analyse d'expériences numériques: approche bayésienne
Planification et analyse d'expériences numériques: approche bayésienne
 
Exposé réseaux des neurones (NN) - (RN)
Exposé réseaux des neurones (NN) - (RN)Exposé réseaux des neurones (NN) - (RN)
Exposé réseaux des neurones (NN) - (RN)
 
Reconnaissance de panneaux de signalisation routière en utilisant la détectio...
Reconnaissance de panneaux de signalisation routière en utilisant la détectio...Reconnaissance de panneaux de signalisation routière en utilisant la détectio...
Reconnaissance de panneaux de signalisation routière en utilisant la détectio...
 
Mappingobjetrelationnel[1]
Mappingobjetrelationnel[1]Mappingobjetrelationnel[1]
Mappingobjetrelationnel[1]
 

More from Francis Piéraut

4th industrial revolution fuel by combining big data and deeplearning a qui...
4th industrial revolution fuel by combining big data and deeplearning   a qui...4th industrial revolution fuel by combining big data and deeplearning   a qui...
4th industrial revolution fuel by combining big data and deeplearning a qui...Francis Piéraut
 
Startups ultime experience
Startups ultime experienceStartups ultime experience
Startups ultime experienceFrancis Piéraut
 
The ultimate trick to learn faster
The ultimate trick  to learn fasterThe ultimate trick  to learn faster
The ultimate trick to learn fasterFrancis Piéraut
 
Big data barrier of entry (flash)
Big data barrier of entry (flash) Big data barrier of entry (flash)
Big data barrier of entry (flash) Francis Piéraut
 
The big data dead valley dilemma and much more.
The big data dead valley dilemma and much more.The big data dead valley dilemma and much more.
The big data dead valley dilemma and much more.Francis Piéraut
 
Appengine vs Amazon; pros & cons for startups
Appengine vs Amazon; pros & cons for startupsAppengine vs Amazon; pros & cons for startups
Appengine vs Amazon; pros & cons for startupsFrancis Piéraut
 
No BI without Machine Learning
No BI without Machine LearningNo BI without Machine Learning
No BI without Machine LearningFrancis Piéraut
 
Machine Learning empowered by Python April2009
Machine Learning empowered by Python April2009Machine Learning empowered by Python April2009
Machine Learning empowered by Python April2009Francis Piéraut
 
Intro to Machine Learning Enpowered by Python (Montreal Python)
Intro to Machine Learning Enpowered by Python (Montreal Python)Intro to Machine Learning Enpowered by Python (Montreal Python)
Intro to Machine Learning Enpowered by Python (Montreal Python)Francis Piéraut
 
Master Defense Slides (translated)
Master Defense Slides (translated)Master Defense Slides (translated)
Master Defense Slides (translated)Francis Piéraut
 

More from Francis Piéraut (13)

4th industrial revolution fuel by combining big data and deeplearning a qui...
4th industrial revolution fuel by combining big data and deeplearning   a qui...4th industrial revolution fuel by combining big data and deeplearning   a qui...
4th industrial revolution fuel by combining big data and deeplearning a qui...
 
Startups ultime experience
Startups ultime experienceStartups ultime experience
Startups ultime experience
 
The ultimate trick to learn faster
The ultimate trick  to learn fasterThe ultimate trick  to learn faster
The ultimate trick to learn faster
 
ML_tools&libs-part1.pptx
ML_tools&libs-part1.pptxML_tools&libs-part1.pptx
ML_tools&libs-part1.pptx
 
Big data barrier of entry (flash)
Big data barrier of entry (flash) Big data barrier of entry (flash)
Big data barrier of entry (flash)
 
Big data trap
Big data trapBig data trap
Big data trap
 
The big data dead valley dilemma and much more.
The big data dead valley dilemma and much more.The big data dead valley dilemma and much more.
The big data dead valley dilemma and much more.
 
Appengine vs Amazon; pros & cons for startups
Appengine vs Amazon; pros & cons for startupsAppengine vs Amazon; pros & cons for startups
Appengine vs Amazon; pros & cons for startups
 
No BI without Machine Learning
No BI without Machine LearningNo BI without Machine Learning
No BI without Machine Learning
 
Java Empowered by Jython
Java Empowered by JythonJava Empowered by Jython
Java Empowered by Jython
 
Machine Learning empowered by Python April2009
Machine Learning empowered by Python April2009Machine Learning empowered by Python April2009
Machine Learning empowered by Python April2009
 
Intro to Machine Learning Enpowered by Python (Montreal Python)
Intro to Machine Learning Enpowered by Python (Montreal Python)Intro to Machine Learning Enpowered by Python (Montreal Python)
Intro to Machine Learning Enpowered by Python (Montreal Python)
 
Master Defense Slides (translated)
Master Defense Slides (translated)Master Defense Slides (translated)
Master Defense Slides (translated)
 

Soutenance 17 Avril 2003