0
Université de Monastir                  Unité de recherche
    Faculté des Sciences de Monastir             PRINCE




 Un...
Plan

 Introduction
 Approche proposée
 Evaluation de l’approche
 Conclusion et perspectives




                     ...
Introduction
 Limites des approches textuelles d’indexation
  d’images
 Description des images grâce à son contenu visue...
Classification des approches
d’indexation d’images


   Approches génériques
                                           I...
Objectif du travail

   Proposition d’une approche d’indexation et de recherche
    d’images pulmonaires tomodensitométri...
Approche proposée
          Phase d’indexation                   Phase de recherche




                   Délimitation de...
Contributions

   Proposition d’une approche spécifique
    d’indexation:
    ◦ Choix et adaptation des descripteurs de t...
Choix des descripteurs physiques
•   La texture des RP est
    importante dans la
    détermination des pathologies
•   La...
Adaptation des descripteurs de
texture aux images indexées

   Variation de la pertinence         Préparation d’une véri...
Principe de l’approche d’adaptation des
familles des descripteurs de texture
                                   Illustrati...
Adaptation des descripteurs de texture
aux images pulmonaires TDM
   Synthèse des résultats
    ◦ Détermination des param...
Proposition d’un modèle de représentation
     des images pulmonaires TDM

                                               ...
Proposition d’une approche
spécifique de recherche d’images
    But :
     o Mesurer le degré de similarité entre l’image...
Appariement optimal entre deux arbres
d’images pulmonaires
   Pourquoi?:
    • Plusieurs possibilités d’appariement
     ...
Calcul des coûts des options
 d’appariement
     Options d’appariement

       ◦   La distribution spatiale des RP appari...
Normalisation des coûts
 d’appariement

                                                                  Eq 7




Image r...
Calcul des coûts totaux d’appariement
 (CTA)

                                                                       Eq 8
...
Amélioration du temps de la
 recherche 1/2
                                  Famille de descripteurs       Dimension
     ...
Amélioration du temps de la recherche
2/2
   Problème :
    Ralentissement de la procédure de recherche
   Objectif:
   ...
Réduction de la dimension des
vecteurs des descripteurs
Dimension
 120                                   107→1
 100
      ...
Amélioration de la performance des
descripteurs de texture
                         0,87→0,9        0,86→0,97
          DM...
Illustration de la phase de
recherche

                                                                           RP
     ...
Evaluation de la performance
du système 1/2
   Composition de la BDD :
    ◦ 122 images
    ◦ 198 RP classifiées
    ◦ 75...
Evaluation de la performance
du système 2/2

       Précision
         1
                                                 ...
Conclusion

   Proposition d’une approche spécifique d’indexation
    ◦ Choix et adaptation des descripteurs visuels
    ...
Perspectives


   Intégration d’une procédure de recherche basée
    sur les paramètres cliniques du patient
   Proposit...
27
 Algorithme de segmentation
 Calcul des options d’appariement
 Evaluation de la performance du
  système
 Principe de ...
Algorithme de segmentation
   But :
    ◦ Isoler et identifier les deux régions
      pulmonaires droite et gauche




  ...
Diagramme de l’algorithme de
 segmentation proposé
                         Image TDM pulmonaire

                        ...
Apport de l’approche de
segmentation proposée :
   Utilisation de la technique d’étiquetage dans
    l’élimination des ré...
Apport de l’approche de
segmentation proposée :
   Lissage des bords des deux régions pulmonaires
    en utilisant les co...
Facteurs influençant la précision
du calcul du coût de la
distribution spatiale
   La position des coordonnées de l’origi...
Facteurs influençant la précision
du calcul du coût de la
distribution spatiale
   Variation de la taille des deux région...
Normalisation de la position des
régions pathologiques (RP)
 Choisir une hauteur fixe à tous les
  poumons : H=300 pixels...
Précision et Rappel




                      39
Evaluation de la performance du
système




                                  40
Temps moyens des différentes étapes
de la phase de recherche d’images

                                                Dur...
Principe de la méthode d’évaluation de
performances des descripteurs de texture 1/2
    Considération du vecteur de descr...
Principe de la méthode d’évaluation de
performances des descripteurs de texture 2/2

     Mesure des propriétés spatiales...
Appariement des arbres
attribués
   Quel est l’appariement retenu (optimal)?
    Minimiser le coût initial d’appariement
...
Appariement des arbres
     attribués
         Décomposition de l’appariement
                    R                      ...
Appariement des arbres
attribués
   Plusieurs possibilités d’appariement entre les
    régions pathologiques

           ...
Appariement des arbres
attribués
   Le vecteur de descripteurs de textures TRI de chaque RI est
    un vecteur unidimensi...
Complexité de l’appariement
initial
        P1

                         1   1         …      N
1       …    N



        ...
49
Upcoming SlideShare
Loading in...5
×

Une approche d’indexation et de recherche d’images pulmonaires TDM par le contenu visuel

2,202

Published on

Pendant la dernière décennie, plusieurs systèmes d’indexation et de recherche d’images par le contenu visuel ont émergé afin de combler les limites de l’indexation textuelle des images. Dans ce travail, nous proposons une approche d’indexation et de recherche d’images pulmonaires tomodensitométriques (TDM) par le contenu visuel. Dans cette approche, nous modélisons le contenu visuel des images pulmonaires par un graphe (arbre) attribué. Ce dernier nous permet de bien représenter les différents aspects de similarité sur lesquels peut porter les requêtes des utilisateurs. En outre, nous nous intéressons à l'adaptation des descripteurs de texture aux images pulmonaires. En plus, nous utilisons une technique de réduction de la dimension des vecteurs de descripteurs dans le but d’accélérer la phase de la recherche.

0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total Views
2,202
On Slideshare
0
From Embeds
0
Number of Embeds
0
Actions
Shares
0
Downloads
0
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

Transcript of "Une approche d’indexation et de recherche d’images pulmonaires TDM par le contenu visuel"

  1. 1. Université de Monastir Unité de recherche Faculté des Sciences de Monastir PRINCE Une approche d’indexation et de recherche d’images pulmonaires TDM par le contenu visuel Préparé par : Mohamed Belhassen Co-encadré par : Pr. Béchir El Ayeb Dr. Karim Kalti 1
  2. 2. Plan  Introduction  Approche proposée  Evaluation de l’approche  Conclusion et perspectives 2
  3. 3. Introduction  Limites des approches textuelles d’indexation d’images  Description des images grâce à son contenu visuel de bas niveau Phase d’indexation Extraction Images à des indexer BDD descripteurs Phase de la recherche Extraction Comparaison Afficher le Image des des résultat de requête descripteurs descripteurs la recherche Schéma standard d’une approche d’indexation par le contenu visuel Introduction Approche proposée Evaluation Conclusion 3
  4. 4. Classification des approches d’indexation d’images  Approches génériques Images hétérogènes  Approches spécifiques Images médicales  Approches très spécifiques Images scanner de cerveau Introduction Approche proposée Evaluation Conclusion 4
  5. 5. Objectif du travail  Proposition d’une approche d’indexation et de recherche d’images pulmonaires tomodensitométriques (TDM) Régions pathologiques (RP) Exemples d’images pulmonaires TDM Introduction Approche proposée Evaluation Conclusion 5
  6. 6. Approche proposée Phase d’indexation Phase de recherche Délimitation des régions d’intérêt Extraction des descripteurs physiques Représentation de l’image sous forme d’un arbre attribué Paramétrage de la procédure de recherche BDD Mesure de similarité Affichage du résultat Introduction Approche proposée Evaluation Conclusion 6
  7. 7. Contributions  Proposition d’une approche spécifique d’indexation: ◦ Choix et adaptation des descripteurs de texture aux images indexées ◦ Proposition d’un modèle de représentation du contenu visuel dédié aux images pulmonaires TDM  Proposition d’une approche spécifique de recherche d’images  Amélioration du temps de la recherche Introduction Approche proposée Evaluation Conclusion 7
  8. 8. Choix des descripteurs physiques • La texture des RP est importante dans la détermination des pathologies • La forme, la taille et la localisation des RP influencent le diagnostic Pathologie d’emphysème Pathologie de cancer  Familles de descripteurs de texture ◦ Gabor, Histogramme, Cooccurrence, Longueurs de plages, Moments de niveaux de gris, Différences de niveaux de gris, Auto-corrélogramme de couleurs  Descripteurs géométriques et de forme ◦ Périmètre , Surface, Circularité, Rectangularité, « edginess », Moments invariants, Descripteurs de Fourier Introduction Approche proposée Evaluation Conclusion 8
  9. 9. Adaptation des descripteurs de texture aux images indexées  Variation de la pertinence  Préparation d’une vérité des descripteurs de texture terrain pour l’adaptation des suivant : familles de descripteurs de ◦ Paramètres d’entrée texture ◦ Images indexées 22%  → Nécessité de choisir les 9% 5% paramètres d’entrée BDD: appropriés aux images 122 images 198 RP indexées 8% 43% 11% Introduction Approche proposée Evaluation Conclusion 9
  10. 10. Principe de l’approche d’adaptation des familles des descripteurs de texture Illustration:  198 RP  6 classes de texture  Vecteur de descripteurs de cooccurrence : VDC= (Homogénéité, Energie, Contraste ) Classe 1 Classe 2 Classe 3 Classe 4 Classe 5 Classe 6 DMC=( 0,25+1+0,2+0,95+1+0,7)/6=0,68 CMC=(0,085+0,039+0,061+0,029+0,02+0,061)/6=0,05 DCci : 0,25 1 0,2 0,95 1 0,7 CCci : 0,085 0,039 0,061 0,029 0,02 0,061 Distribution spatiale des RP Paramètres d’entrée: angle = 0, déplacement=1 Introduction Approche proposée Evaluation Conclusion 10
  11. 11. Adaptation des descripteurs de texture aux images pulmonaires TDM  Synthèse des résultats ◦ Détermination des paramètres d’entrée adéquats des différentes familles de descripteurs de texture Descripteurs Paramètres d’entrée Histogramme 256 NG « Color autocorrelogram » 256 NG, DistanceL1=1 Longueurs de plages 32 NG, Direction : horizontale Différences de niveaux de gris dx=1, dy=3 Cooccurrences Déplacement=1, Angle=0 ◦ Estimation des performances des familles de descripteurs 1 0.8 0.6 0.4 Détachement 0.2 moyen des… 0 Introduction Approche proposée Evaluation Conclusion 11
  12. 12. Proposition d’un modèle de représentation des images pulmonaires TDM Image pulmonaire Nœud fictif Poumon droit Poumon gauche Poumon Poumon Vecteurs de droit gauche descripteurs Coordonnées des centres de gravité RP1 RP2 RP3 des RP RP1 … RPN RPN+1 … RPM Vecteurs de descripteurs Régions d’intérêt d’une image Modèle de représentation des pulmonaire TDM images pulmonaires TDM Introduction Approche proposée Evaluation Conclusion 12
  13. 13. Proposition d’une approche spécifique de recherche d’images  But : o Mesurer le degré de similarité entre l’image requête et les images indexées Tirer profit des connaissances à priori du domaine d’imagerie pulmonaire TDM  Principe de l’approche de mesure de similarité: Image requête Détermination de l’appariement optimal Images de la BDD Introduction Approche proposée Evaluation Conclusion 13
  14. 14. Appariement optimal entre deux arbres d’images pulmonaires  Pourquoi?: • Plusieurs possibilités d’appariement Maximisation du critère de similarité de la texture des nœuds appariés  Principe : Coût initial d’appariement (CIA) Eq 5 Coût initial minimal d’appariement Eq 6 Introduction Approche proposée Evaluation Conclusion 14
  15. 15. Calcul des coûts des options d’appariement  Options d’appariement ◦ La distribution spatiale des RP appariées ◦ La forme des RP appariées ◦ La texture des RP non appariées ◦ La distribution spatiale des RP non appariées Image requête Détermination Calcul des coûts de l’appariement des options optimal d’appariement Images de la BDD Principe de l’approche de mesure de similarité Introduction Approche proposée Evaluation Conclusion 15
  16. 16. Normalisation des coûts d’appariement Eq 7 Image requête Calcul des coûts Normalisation des options des coûts d’appariement d’appariement Images de la BDD Principe de l’approche de mesure de similarité Introduction Approche proposée Evaluation Conclusion 16
  17. 17. Calcul des coûts totaux d’appariement (CTA) Eq 8 avec: Image requête Normalisation Calcul des coûts des coûts totaux d’appariement d’appariement Images de la BDD Principe de l’approche de mesure de similarité Introduction Approche proposée Evaluation Conclusion 17
  18. 18. Amélioration du temps de la recherche 1/2 Famille de descripteurs Dimension Forme 22 Gabor 40 Histogramme 8 RI1 RI2 Coccurrence 7 Longueurs de plages 11 Moments de niveaux de gris 4 Différences de niveaux de gris 5 RI3 RI4 RI5 Auto-corrélogramme de 32 couleurs Vecteur global de Texture 107 Régions d’intérêt d’une Dimension des vecteurs des descripteurs image pulmonaire TDM 18
  19. 19. Amélioration du temps de la recherche 2/2  Problème : Ralentissement de la procédure de recherche  Objectif: Réduction de la dimension → Réduction du temps de recherche  Méthode: Analyse en composantes principales (ACP)  Choix de nombre de composantes à retenir  Indicateur de qualité global  Utilisation de la mesure de détachement des classes Introduction Approche proposée Evaluation Conclusion 19
  20. 20. Réduction de la dimension des vecteurs des descripteurs Dimension 120 107→1 100 Dimension des vecteurs 80 des descripteurs: 60 40→3 Avant la réduction des dimensions 40 20 0 Famille des descripteurs Nombre des dimensions des vecteurs des descripteurs Introduction Approche proposée Evaluation Conclusion 20
  21. 21. Amélioration de la performance des descripteurs de texture 0,87→0,9 0,86→0,97 DMC 1 0.9 Performance des descripteurs de 0.8 0.7 texture: 0.6 avant la réduction 0.5 des dimensions 0.4 0.3 après la réduction 0.2 des dimensions 0.1 0 Famille des descripteurs « Détachement Moyen des Classes(DMC)» des familles de descripteurs de texture Introduction Approche proposée Evaluation Conclusion 21
  22. 22. Illustration de la phase de recherche RP 1 RP 2 Image requête Segmentation Sélection des RP Introduction Approche proposée Evaluation Conclusion 22
  23. 23. Evaluation de la performance du système 1/2  Composition de la BDD : ◦ 122 images ◦ 198 RP classifiées ◦ 75 RP non classifiées 3 2.5 2 1.5 RI de la classe 1 1 RI de la classe 2 RI de la classe 3 0.5 RI de la classe 4 0 RI de la classe 5 -3 -2 -1 -0.5 0 1 2 3 RI de la classe 6 -1 RI non classées -1.5 -2 -2.5 La distribution des RP de la BDD selon les deux premières CP de vecteur global de descripteurs de texture Introduction Approche proposée Evaluation Conclusion 23
  24. 24. Evaluation de la performance du système 2/2 Précision 1 color autocorrelogram 0.9 coccurrence 0.8 différence de niveaux de gris 0.7 Gabor 0.6 histogramme 0.5 longueurs des plages 0.4 moments de couleur 0.3 tous les descripteurs 0.2 0.1 0 Rappel 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 Courbes de « Précision et Rappel » Introduction Approche proposée Evaluation Conclusion 24
  25. 25. Conclusion  Proposition d’une approche spécifique d’indexation ◦ Choix et adaptation des descripteurs visuels ◦ Proposition d’un modèle de représentation d’images spécifique  Proposition d’une approche spécifique de recherche d’images  Amélioration du temps de la recherche par réduction des dimensions des vecteurs de descripteurs  Evaluation de la performance globale du système Introduction Approche proposée Evaluation Conclusion 25
  26. 26. Perspectives  Intégration d’une procédure de recherche basée sur les paramètres cliniques du patient  Proposition d’un langage d’interrogation capable de traiter les requêtes de haut niveau Introduction Approche proposée Evaluation Conclusion 26
  27. 27. 27
  28. 28.  Algorithme de segmentation  Calcul des options d’appariement  Evaluation de la performance du système  Principe de l’approche d’évaluation des descripteurs  Appariement des arbres attribués  Illustration de la phase de la recherche 28
  29. 29. Algorithme de segmentation  But : ◦ Isoler et identifier les deux régions pulmonaires droite et gauche Image en entrée Image en sortie 29
  30. 30. Diagramme de l’algorithme de segmentation proposé Image TDM pulmonaire Seuillage itératif Etiquetage des régions noires Elimination des petites régions noires Temps moyen de segmentation : Elimination des régions noires 625 ms touchant le bord de l’image Etiquetage des régions blanches Elimination des petites régions blanches Amélioration de la segmentation en utilisant les courbes B-Spline Image pulmonaire segmentée 30
  31. 31. Apport de l’approche de segmentation proposée :  Utilisation de la technique d’étiquetage dans l’élimination des régions parasites l'image à segmenter après l'image résultante de l’élimination des régions l'opération du parasites et des régions seuillage touchant les bords de l’images 31
  32. 32. Apport de l’approche de segmentation proposée :  Lissage des bords des deux régions pulmonaires en utilisant les courbes B-Spline et correction de la segmentation Avant le lissage Après le lissage 32
  33. 33. Facteurs influençant la précision du calcul du coût de la distribution spatiale  La position des coordonnées de l’origine du repère 34
  34. 34. Facteurs influençant la précision du calcul du coût de la distribution spatiale  Variation de la taille des deux régions pulmonaires selon l’individu et selon la coupe du scan L1≠ L2 Nécessité de la normalisation de la taille des régions 35 pulmonaires
  35. 35. Normalisation de la position des régions pathologiques (RP)  Choisir une hauteur fixe à tous les poumons : H=300 pixels  Soit L la hauteur du poumon courant  Normaliser les coordonnées du centre de gravité de l’ième RP de ce poumon comme suit : 36
  36. 36. Précision et Rappel 39
  37. 37. Evaluation de la performance du système 40
  38. 38. Temps moyens des différentes étapes de la phase de recherche d’images Durée Etape moyenne (ms) Segmentation automatique de la région 625 pulmonaire Calcul des descripteurs et réduction de 447 leur dimension en utilisant l’ACP Construction du graphe de l’image 10 pulmonaire Recherche d’images en utilisant la 22 méthode d’appariement global Recherche d’images en utilisant la 27 méthode d’appariement local Recherche d’images en utilisant la 41 méthode d’appariement global /local 41
  39. 39. Principe de la méthode d’évaluation de performances des descripteurs de texture 1/2  Considération du vecteur de descripteurs de texture décrivant chaque RP classée de la BDD comme étant un point dans un espace multidimensionnel  Approximation de la région occupée par les éléments de chaque classe c par son hyper-sphère minimale englobante : s c i  Le centre : c’est l’élément (EPPCc) permettant de minimiser la somme s s d ( si , s j ) Eq 9 s j Sc  Le rayon : le rayon est égale à RHC RH c max d EPPC c , s j Eq 10 s j Sc 42
  40. 40. Principe de la méthode d’évaluation de performances des descripteurs de texture 2/2  Mesure des propriétés spatiales :  Condensation de la classe : mesure le degré de proximité des éléments de la classe de texture de son centre card s i S S c / d EPPC c , s i RH c DC c Eq 11 card s i S Sc  Détachement de la classe : mesure le degré de séparation de cette classe de texture des autres classes d EPPC c ,sj s j Sc CC c ,sj EPPC c Eq 12 n 1 Dim → un bon descripteur permet d’avoir une valeur de DC proche de 1 et une valeur de CC proche de 0 43
  41. 41. Appariement des arbres attribués  Quel est l’appariement retenu (optimal)? Minimiser le coût initial d’appariement  Comment peut-on trouver l’appariement optimal? Décomposer l’appariement de graphes en deux appariements de sous-graphes 44
  42. 42. Appariement des arbres attribués  Décomposition de l’appariement R Rd Bd Rg Bg Rg Rd Rd Rd Bd Bd Rg Bg Bg Rd 1 2 3 1 2 1 1 2 Rd Rd Rd Rg ou 1 2 3 1 Rd Bg Rg Bd B Rd Rd Rd Bg Bg Rg Bd Bd Bd Bg 1 2 3 1 2 1 1 2 Bd Bd Bg Bg 1 2 1 2 45
  43. 43. Appariement des arbres attribués  Plusieurs possibilités d’appariement entre les régions pathologiques Rd Bd Rg Bg Rd Rd Rd Bd Bd Rg Bg Bg 1 2 3 1 2 1 1 2 Rd 1 Bg 1 Bd 1 Rd Rg 2 1 Bd Bg 2 2 Rd 3 46
  44. 44. Appariement des arbres attribués  Le vecteur de descripteurs de textures TRI de chaque RI est un vecteur unidimensionnel ayant les valeurs suivant : TRd=2, TRg=1, TRd1=2, TRd2=5, TRd3=1, TRg1=3, TBd=4, TBg=3, T Bd1=1, TBd2=3, TBg1=2, TBg2=1 Rd 1 Bd1,Rd1 Bd1,Rd2 Bd1,Rd3 Bd [1] [4] [0] 1 Rd 2 Bd2,Rd2 Bd2,Rd3 Bd2,Rd1 Bd2,Rd3 Bd2,Rd1 Bd2,Rd2 [2] [2] [1] [2] [1] [2] Bd 2 Coût Total: 3 3 Chemins non 1 2 Rd prometteurs 3 (a) Légende: Bg Appariement optimal 1 Rg1,Bg1 Rg1,Bg2 Sens du parcourt de l’arbre [1] [2] Rg 1 Coût Total: 1 2 Bg 2 (b) 47
  45. 45. Complexité de l’appariement initial P1 1 1 … N 1 … N 2 1 … N-1 P2 … … … 1 K K 1 N-(k-1) N!  Complexité tel que K N (N K )! d’appariement: 48
  46. 46. 49
  1. A particular slide catching your eye?

    Clipping is a handy way to collect important slides you want to go back to later.

×