Voici les acétates utilisées lors de la soutenance de ma maitrise en 2003 intitulée:
"Optimisation des réseaux de neurones de grande capacité: étude expérimentale de leur inefficacité et exploration de solutions"
Superviseur: Yoshua Bengio
1. Optimisation des réseaux de neurones de grande capacité: étude expérimentale de leur inefficacité et exploration de solutions Francis Piéraut 17 avril 2003 Directeur de recherche: Jean-Jules Brault Co-directeur de recherche: Yoshua Bengio
2.
3.
4. sortie z cible t t 1 t k y 1 x i x D y 2 y j y N w jk w ij x 1 Réseaux de neurones et notion de capacité P(c 1 |x 1 ,x 2 … ) P(c k |x 1 ,x 2 … ) z 1 z k = Neurone = Sigmo ï de = Fonction linéaire = Connexion
36. Pourquoi prédire les valeurs futures des paramètres? (observations) # Époque Valeurs
37. Hypothèses * Avantage: possibilité de réduire le nombre d’époques en utilisant l’historique des valeurs des paramètres pour prédire leurs futures valeurs Prédiction des paramètres Symétrie Dilution gradient Inexistence d’un méc. de spécialisation Gradient contradictoire Dépl. cible Problèmes Solutions