Recommended
Recommended
More Related Content
What's hot
What's hot (20)
Similar to classification des images couleurs par un réseau de neurone quaternionique rétro-propagation
Similar to classification des images couleurs par un réseau de neurone quaternionique rétro-propagation (11)
classification des images couleurs par un réseau de neurone quaternionique rétro-propagation
- 1. Université Moulay Mohamed Ben Abdellah Faculté des Scienes Dhar Mahraz Master: Systèmes d’information, Réseaux et multimédia Soutenance devant le jury- 30 Juin 2016 Année Universitaire : 2015/2016 Encadré par: Pr. EN-NAHNAHI Noureddine Classification des images couleurs par un réseau de neurones quaternionique rétro-propagation 1 Soutenu par: TARGHI Amal
- 2. Plan Introduction I. Réseaux de neurones conventionnelles II. Moments orthogonaux quaternioniques III. Réseau de neurone quaternionique Rétro- propagation IV. Simulations Conclusion 09/07/2016 2
- 4. Réseaux de neurones conventionnelles Réseau Multicouche • C’est un réseau de neurone qui se compose d'une ou de plusieurs couches cachées et une seule couche d'entrée ainsi qu'une couche de sortie. • Algorithme d’apprentissage automatique: supervisé. • Le réseau de neurones utilisent des fonctions d’activation. 09/07/2016 4 Apprentissage Classification des images Réseaux de neurones
- 5. Réseaux de neurones conventionnelles Algorithme de rétro-propagation 1- Initialisation 2- Activation 3- Modification des poids 4- Itérations 09/07/2016 5
- 6. I. Réseaux de neurones conventionnelles 09/07/2016 6 i1 i2 h1 i0 h2 o2 o1 h3 0.15 0.4 0.01 0.5 0.2 0.3 0.45 0.25 0.5 0.55 0.99 0.1 0.35 0.6 1 Initialisation
- 7. I. Réseaux de neurones conventionnelles 09/07/2016 7 Activation An = ∑ Sm.Wnm +Tn h(An)
- 8. I. Réseaux de neurones conventionnelles 09/07/2016 8 Modification des poids 1. Calcul d’erreur = sortie_cible – sortie caculé 2. l’erreur quadratique moyenne 3. Modification des poids
- 9. II. Moments orthogonaux quaternionques 09/07/2016 9 Algèbre des quaternions Opérations Avec,
- 10. II. Moments orthogonaux quaternionques • La formule directe pour le calcul des moments orthogonaux quaternioniques est la suivante: 09/07/2016 10
- 11. II. Descripteurs d’images à base quaternionique 09/07/2016 11
- 12. III. Réseau de neurone quaternionique Rétro- propagation Neurone quaternionique An = ∑ Sm.Wnm +Tn Avec: • Sm est le signal d'entrée quaternionique provenant de la sortie m. • Wnm et le poids qui connecte le neurone m et N. • Tn est le bias. Remarque : les entrées, les biais, les poids et les sorties sont tous des quaternions. 12 An = x1 +x2 i + x3 j + x4 k Le signal de sortie est défini comme suit: f(An) = f(x1) + f(x2) i + f(x3) j + f(x4) k. avec f est la fonction d’activation sigmoïde
- 13. III. Réseau de neurone quaternionique Rétro-propagation 09/07/2016 13 Réseau de neurone quaternionique Rétro-propagation
- 14. III. Réseau de neurone quaternionique Rétro-propagation 09/07/2016 14 Mise à jour des poids
- 15. IV. Simulations 09/07/2016 15 Présentation du système Résultats Discussion . Architecture
- 16. IV. Simulations 09/07/2016 16 Présentation du système Résultats Discussion
- 17. IV. Simulations Paramètres • Nous disposons de720 images couleurs et 10 classes. Chaque classe contient 72 images du même objet, prises de différents angles. 75% pour l’apprentissage et 25% pour le test 09/07/2016 17 Présentation du système Résultats Discussion
- 18. Poids initiaux: entre [-0,5, 0,5] Fonction d’activation: Sigmoide Taux d’apprentissage = 0.002 Constante du moment = 0.3 Nombre d’itération = 300. 09/07/2016 18 Paramètres proposés Présentation du système Résultats Discussion IV. Simulations
- 19. IV. Simulations Nous allons comparer le QPNNN proposé par Nitta [3] avec 3 autres réseaux de neurones: • (1) 1er cas: Réseau de neurone à valeurs réelles, où les entrées sont issues des normes des descripteurs à base quaternioniques. • (2) 2ème cas: Réseau de neurone à valeurs réelles, où les entrées sont obtenues en éclatant les quaternions en quatre valeurs réelles. • (3) 3ème cas: QPBNN où l’activation somme pondérée An n’est pas répartie. 09/07/2016 19 Présentation du système Résultats Discussion
- 20. IV. Simulations 09/07/2016 20 Présentation du système Résultats Discussion
- 21. IV. Simulations Classification QPBNN avec répartition 09/07/2016 21 Présentation du système Résultats Discussion
- 22. IV. Simulations 09/07/2016 2209/07/2016 22 Présentation du système Résultats Discussion QPBNN sans répartition
- 23. IV. Simulations • BPNN basé sur la solution sur le module 09/07/2016 23 Présentation du système Résultats Discussion
- 24. IV. Simulations • BPNN basé sur la solution sur le module 09/07/2016 24 Présentation du système Résultats Discussion
- 25. IV. Simulations 09/07/2016 25 Présentation du système Résultats Discussion
- 26. IV. Simulations Discussion Pour évaluer la performance d’un réseau de neurones. Il faut évaluer le taux de Réseaux de neurones conventionnelles, la convergence de ses erreurs quadratique et le temps d’exécution. Convergence Taux de classification Complexité en temps 09/07/2016 26 Présentation du système Résultats Discussion
- 28. 09/07/2016 28
Editor's Notes
- avant de classifier une image il faut extraire ses caracteristiques en utilisant des descripteurs images , En général Il ya deux méthodes pour décrire une image couleur. Transformer l’image en niveau de gris, cette méthode cause une perte d’information couleur. Traiter chaque chaine de couleur RGB séparémentet cobiner les resultats par suite , Ceci provoque une perte de corrélation entre les 3 chaines couleurs D ou le besoin d un descripteur qui traite les 3 chaines couleurs d une manière holistique ceci a incité les chercheurs à utioliser l algebre des quaternions pour decrire une image, un quaternion est tt simplement un nombre hyper complexe qui se composé de 3 imaginaires ijk ou chaque réel de la partie imaginaire correspnds à une chaine couleur. Les reseau de nruones est un classficateurs qui donne de bon resultat puisque il s insprire des neurones bilogiques prob c que Les réseaux de neurones conventionnels ne supporent des entrées quaternioniques. D ou le besoin d’un réseau de neurone qui supporte de entrée quaternionique L’objectif de ce travail est d’utiliser les réseaux de neurones quaternioniques proposé par Nitta [4] qui est une extension des réseaux de neurones à valeurs réelles aux quaternions où les entrées, les biais, les poids et sorties sont des quaternions afin de classifier les images couleurs
- Les algorithmes de classification peuvent être répertoriés de plusieurs manières Un premier critère est le niveau de supervision, c’est-à-dire l’importance de l’intervention de l’utilisateur dans le processus de classification [1]. Il est également possible de séparer les algorithmes paramétriques : associés à un modèle probabiliste ou des algorithmes non paramétriques. Tt d’abord un réseau de neurone est tt simplement un ensmble de neurones formel nterconnecté entre eux dans notre projet on va s’interesser aux réseau monocouche . Il suit aussi un apprentissage supervisé selon la règle de correction de l’erreur il consiste à resoudre lés probleeme non linéarement separable en utilisant des fonction d activation tel que sigmode pour les probleme lineaiement séparable il preferable d utiliser les reseau de neurone mono ouche qui se composent d une couhe d entree et une cpuceh de sortie en utilisant la fonction a seuil. C’est un réseau de neurone qui se compose d'une ou de plusieurs couches cachées et une seule couche d'entrée ainsi qu'une couche de sortie. Chaque neurone dans une couche, est connectée à tous les neurones de la couche précédente et de la couche suivante (Sauf les couche d’entrée et de sortie) et il n’ya pas de connexions entre les neurones d’une même couche. La fonction d’activation utilisée dans ce type de réseaux est en général la fonction sigmoïde. Elle permet de résoudre des problèmes non-linéairement séparables. Il suit aussi un apprentissage supervisé selon la règle de correction de l’erreur.
- Comme j ai dit les réseaux de neurones multique couch suivent uun apprentissage supervisé selon la regle de correction de l erreur. La rétrop propa et l algo le plus utilisé en fait la retro-propa qui consite à calculer le gradient de l'erreur, quadratique moyenne qui est à son tour propagé de la couche de sortie vers la couche d'entrée, d'où le terme de rétro-propagation. Afin de mieux comprendre on passe a cet exemple
- Cette etape consiste a calciler les signaux de sorties de la couche cachée et les signaux de sortie le couche sortie en appliquant la fonction d activation su les somme spondérée smwm par exempke o
- Les poids sont modifié en calculant la descendte de gradient de l erreur quadratique moyenne, on modifie tt d’abord les poids des ,,,,, ensuite les poids de ,,,,,, Taux d apprentissage C'est une constante qui contrôle les vitesses des k ajustements effectués lors du processus d'apprentissage On va repeter cette étape jusk la convergence du mse apres ce modele o, se sert d e ce modele pour effectuer la classification
- Avant de presenter un des…. Il est important d avoir une idéé sur les quaternionique Un quaternion est un nombre hyper complexe formé d’un scalaire et un vecteur à 3 dimensions composé de 4 réels a b c d et 3 coeffiecent imaginaires Pour un quaternionil f fait ce qu il gaut noter c que La multiplication quaternionique n’est pas commutative cela est du à la produit de coeffiient imagiare comme s’est montré
- comme j’ai dit au début de la présentation avant de classifier en fait pas slmt Réseaux de neurones conventionnelles mm indexation segmentation etc …une image il faut en extraire les descripteurs corrsepondante Il ya 3 type descripteurs couleurs et descripteurs formes, couelru et texture dans cette section on va s intersser aux deux dernieres. Ce qui caracteriste un moment ortogonal d un autre et cette fonction cette facontion qui varie La forme est généralement une description très riche d’un objet. Nous distinguons deux catégories de descripteurs de formes: les descripteurs basés sur les régions et les descripteurs basés sur les contours [10]. Les premiers sont les plus utilisés car ils caractérisent l'intégralité de la forme. Et parmi descrpteurs basé sur les regions les pus utilisé on cite Les moments cortogonaux car ils sont invariant aux transofrmation géometrique translation rotation et echelle également leur point fort reside dans le fait de reconstruire une image a partir son descripteur . Pour les descripteur couleurs nous avons déjà expliqué au début qu il ya des moments qui consistent à transformation en niv de gris , separation de chaines couleurs et des descrpteurs quaternionqiues. Donc les moments ortogonaux quaternioniques sont tt simplement des descripteurs qui permettent de rajouter l infiomation couleurs à la forme En fait tt les descripteuurs a base quaternnioniques doivent respecter la forume ci-dessous ce qui differere c’est les polynome radiox
- Dans notre projet nous avons utilisé les moments quaternioniques disque harmonique qui de basent sur les polyonome disque harmonique en fait ces moments est une estention des moments disque harmoniques prposé par mr ennahnahi pour les images niveau de gris et mlle nissrine dad une doctorante a la fsmda propé la version quaternionique
- En fait il existe plusieurs classificateurs quaternioniques tel que twised quaternionc neural netetwork classifieur soft max quaternionque qui est la version quaternionque du classificateur soft max qui se base sur la probabilité de prédiction et la focntion de gain en fait régression logistique multi-classe par manque je vais exmpliqer juste le classificateur utilisé dans ce travail alors dans ce projet nous avons utilisé le réseau de neurone …. Proposé par nitta Comme un neurne formel dans un réseau conveontionnel un neurone quaternionquer et tt simplement un modele mathématique et informatique en fait c une unité de clacul est une unité de calcul simple (voir Figure 6). Le neurone calcule la somme pondérée des signaux en entrée et renvoie en sortie une fonction d'activation de cette somme. Aa noter respecter la multiplication
- Le reseau de neurones est composé de 3 couches couche d entre couche de sortie couche cachée Wml Wnm les poids quaternionique qui lient le neurones de chaque couche Vml les bias quaternionques i signal d entrée ,,,,,
- On modifie les poids qui lie les neurones de couhes cachée avec pui ,,,,,,,, On modifie les poids de la couche de,,,,,, et les poids de ,,,, en suivant ces deux formules comme dans un réseau de neurone convontionnel on repete les itera,,,,
- Avant de traiter les resultats Dans cette partie nous avons utilisé trois méthodes: Moments disque harmonique, Les moments utilisés sont d’ordre 8 et de répitition [–n,n ], avec n l’ordre. Donc chaque descripteur est composé de 81 réels. Pour les réseau de neurones à valeurs réelles nous avons pensé a transofemr les moments quaternionques pour qu’ ils s adaptent avec des résaux de neurone réelles et voir si sa va donner un bon resultat La norme des descripteurs quaternioniques de disque harmoniques, afin de traiter les chaines de couleurs d’une manière globale. Eclater chaque quaternion en quatre valeurs réelles. Donc chaque descripteur est composé de 324 réels
- Cad la fonction d activation est calculé en une seule entité cad puis appliquer la fonction sigmoide sur chaque coefficient.
- On remarque que les erreurs quadratiques moyennes convergent à l’itération 275 à la valeur y~10-7 pour un QPBNN quant au réseau de neurone réel (entrée issus de la norme d’un quaternion) l’erreur quadratique n’a pas convergé au dessous de la valeur souhaitée. A l’itération 300 l’erreur quadratique moyenne du réseau de neurones à valeurs réelles reste toujours supérieure. y~ 0.0009. En effet, elle a convergé à la valeur y~10-6 après 3500 itérations. On remarque que les erreurs quadratiques moyennes convergent à l’itération 257 à la valeur y~10-7 pour un QPBNN quant au réseau de neurone réel (entrée issus de la norme d’un quaternion) l’erreur quadratique n’a pas convergé au dessous de la valeur souhaitée. A l’itération 300 l’erreur quadratique moyenne du système à valeurs réels est toujours supérieure. y~ 0.003. Dans le système à valeurs réelles l’erreur a convergé à la valeur y~6.10-6 après 4000 itérations. n peut également comparer les deux réseaux à valeurs réels: l’erreur quadratique du réseau où les entrées sont issus de la norme converge assez vite que le réseau basé sur la solution naïve Dans ce cas nous allons comparer deux réseaux de neurones quaternionique: la différence entre eux réside dans séparation de la somme pondérée. En effet, le QPBNN proposé par Nitta [4] consiste à séparer la somme pondérée puis appliquer la fonction sigmoide sur chaque coefficient. Par contre il y a une autre solution qui ne réparti pas la somme pondérée où la fonction d’activation est appliquée directement.
- Le taux de la bonne classification totale 94% après 300 itérations. Donc Réseaux de neurones conventionnelles est globalement bonne (Voir figure 27) D’après la matrice de confusion ci-dessous. On peut conclure que les sorties de la 2ème, 4ème, 5ème ,6ème ainsi que la 7ème classe sont toutes correctes. Les résultats ont montré que dix-neuf images appartiennent à la 1ère classe ce qui est faux car quinze images appartiennent à la 1ère classe et les quatre images restantes appartiennent à la 3ème classe. Les résultats ont révélé que quinze images appartiennent à la 3ème classe, cependant seulement quatorze classifications qui sont correctes l’autre image appartient à la 1ère classe. Les résultats ont également montré que seulement seize images parmi les vingt images qui appartiennent à la 8ème classes, par contre deux image doivent appartenir à la 1ère classe et les deux autres à la 6ème classe. On remarque que seulement dix-huit images parmi les dix-neuf images résultantes qui font partie de la 9ème classe l’image restante restantes relèvent de la 7ème classe. Et enfin il s’agit de dix-neuf classes qui font partie de la 8ème classe dont dix-huit sont correctes. Pour conclure: Le taux de la bonne classification de la 2ème, 4ème, 5ème, 7ème, 9ème, et 10ème classe est 100%. Le taux de la bonne classification de la 1ère classe est 83.3%. Le taux de la bonne classification de la 3ème classe est 77.8%. Le taux de la bonne classification de la 6ème classe est 88.9%. Le taux de la bonne classification de la 8ème classe est 88.9%.
- Afin d’évaluer les deux réseaux nous nous sommes placés dans les mêmes conditions. Nous avons choisi les mêmes paramètres (Nombre d’entrées, nombre de classes, taux de classification ainsi que la constante du moment pour que la comparaison soit précise. L’objectif du départ était de classifier 1944 images sur 27 classes, mais puisque les opérations quaternioniques sont coûteuses en terme de temps (voir tableau 2), nous avons réduit le nombre des classes en 10 et le nombre des images en 720. Nous avons réparti ces images en deux groupes. Nous avons consacré 75% pour l’apprentissage et 25% pour le test. Le but de cette discussion est de comparer les deux réseaux. Pour évaluer la performance d’un réseau de neurones. Il faut évaluer le taux de Réseaux de neurones conventionnelles, la convergence de ses erreurs quadratique et le temps d’exécution. Convergence Les résultats de cette implémentation montrent que les réseaux de neurones quaternioniques convergent plus rapidement que les réseaux de neurones à valeurs réelles. Ceci est dû à la qualité des entrées c.à.d. les descripteurs quaternioniques décrivent les images mieux que les descripteurs réels. En effet, lorsqu’on calcule le module d’un quaternion on peut avoir le même descripteur pour deux images différentes. On suppose que nous avons deux images. Prenons par exemple (Image 1: R=1, G=2, B=3 module = 19 / Image2 R=2, G=1, B=3 module = 19). Les résultats montrent également que les réseaux de neurones à valeurs réelles avec des entrées issues du module du quaternion convergent plus rapidement que les réseaux de neurones à valeurs réelles basés sur la solution triviale. Ceci est du au nombre de ses des entrées et aux nombre des neurones de sa couchée cachée . Les résultats prouvent sont plus efficaces que les réseaux de neurones à valeurs réelles en terme de convergence Taux de classification Les résultats de cette implémentation montrent que la précision de Réseaux de neurones conventionnelles des réseaux de neurones quaternioniques est supérieure à celle des réseaux de neurones à valeurs réelles. En effet la précision du système quaternionique dépasse 90% quant au système réelle la précision est de 60% pour 300 itérations. Plus le nombre d’itérations augmente plus la précision augmente. C’est pour quoi nous avons augmenté le nombre d’itérations à 3500 itérations pour un réseau de neurone conventionnel, mais le taux de convergence n’a pas dépassé 88%. Donc on déduit que l’approche quaternionique est largement performante que l’approche réelle par rapport au taux de classification. Complexité en temps On s'aperçoit que les le temps nécessaire à l’apprentissage dans un réseau de neurones quaternionique (sans séparation de la somme pondérée) est beaucoup plus long qu’un réseau de neurones quaternionique (avec séparation de la somme pondérée), car le temps d’exécution de la sigmoïde d’un quaternion et plus long que le temps d’execussion de quatre réeel. Egalement le temps nécessaire à l’apprentissage dans un réseau de neurones quaternionique (avec séparation de la somme pondérée) est plus beaucoup long qu’un réseau de neurones à valeurs réels. Cela est dû au temps d’exécution des opérations dans l’algèbre des quaternions. Par exemple pour multiplier 2 réels on effectue une seule opération. Par contre pour multiplier deux quaternions, il faut effectuer 32 opérations.
- Ce mémoire traite les divers concepts et modèles de classification des images couleurs , spécialement sur les réseaux de neurones quaternioniques. Au cours de la réalisation de ce projet, J’ai rencontré quelques problèmes. Tout d’abord, la compréhension des problématiques liées aux méthodes de classification basées sur l’intelligence artificielle. Ensuite, l’utilisation de Matlab, j’étais ramené à faire une auto-formation avant de commencer l’implémentation. Enfin, la manipulation des quaternions car les opérations dans l’algèbre des quaternions sont complexes.