Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Vers un outils de collation numérique de livres anciens

118 views

Published on

Cinquième journée annuelle du RTR « Image » - 5 juillet 2018, Blois. Par Rémi Jimenes et Iandry Rakotoniaina. https://bvh.hypotheses.org/3902

Published in: Engineering
  • Be the first to comment

  • Be the first to like this

Vers un outils de collation numérique de livres anciens

  1. 1. Vers un outils de collation numérique de livres anciens Cinquième journée annuelle du RTR « Image »  5 juillet 2018, Blois Rémi Jimenes, Iandry Rakotoniaina Financement de stage 2017‐2018 par le RTR Image
  2. 2. Caractérisation et classification de différences  locales détectées dans des collections d’images  similaires Stagiaire: Iandry Rakotoniaina Encadrant(e)s: Jean‐Yves Ramel (LIFAT), Chiara Lastraioli, Rémi Jimenes, Toshinori Uetani, Sandrine Breuil (CESR‐BVH) Financement de stage 2017‐2018 par le RTR Image
  3. 3. Rappel du contexte • Un premier stage l’année dernière : Shuo Bai « Recalage et comparaison d’images de pages provenant de différents exemplaires de livres anciens numérisés » (5 mois d’avril à septembre 2017) • Un partenariat ancien entre le LI et le CESR – Équipe RFAI (Reconnaissance de forme et Analyse d’images) – Programme Bibliothèques Virtuelles Humanistes – Collaboration depuis 2003 3
  4. 4. Présentation de la problématique • Le contexte :  projet Bibliothèques virtuelles Humanistes 4 http://www.bvh.univ‐tours.fr/ http://cesr.univ‐tours.fr/ Des documents difficiles à traiter : • Dégradations et bruits • Imperfection de la numérisation • Variabilité : Mise en page imprévisible  (illustrations, espaces, …) • Manque de données, connaissances et  expériences • Polices différentes  données d’apprentissage à  créer • Langages différents: Lexiques, dictionnaires et  modèles de langages à créer
  5. 5. Présentation de la problématique • Bibliographie matérielle et histoire des textes : les études  shakespeariennes • Particularités d’exemplaires :  – Annotations marginales – Corrections manuscrites – Soulignement, surlignement • Variantes d’état : corrections sous presse • Invention d’un outil de comparaison : “la machine à collationner” 5
  6. 6. Présentation de la problématique 6
  7. 7. Présentation de la problématique • Objectifs : Construire une Machine à collationner numérique « Identification, alignement et comparaison automatique des  pages de différents exemplaires de livres anciens numérisés »  • Cahier des charges – Rapprochement et alignement d’images de pages issues d’exemplaires différents d’un même ouvrage afin de pouvoir ensuite comparer plus  finement leur contenu – Suppression du bruit et recalage des images par application de  transformations géométriques – Comparaison page à page et signalement des variantes les plus  importantes au travers d’IHMs conviviales 7
  8. 8. Solution existante Chaîne de traitement existante 8
  9. 9. Solution proposée Nouvelle chaîne de traitement proposée 9 Préparation des images (1) Création de couples d’images (2) Normalisation de la luminosité Du fond des couples d’images.(3) Recalage d’image sur les couples (4) Application d’un filtre gaussien sur les images sur les images recalées (5) Calcul de l’image des différences (6) Sélection et Visualisation des résultats (7) Offline - Création d’une base d’apprentissage (6’) Online - Classification des pixels de différences (6’’) Couple d’ouvrage Images normalisées 700x500 Couple d’images non recalées Couple d’images normalisées Couple d’images recalées Couple d’images recalées filtrées Image de différence analyser pixel par pixel Image contenant la carte des probabilités des classes de chaque pixel Tableau d’individu représenter par un pixel avec leur classe IHM
  10. 10. Mise en place d’une image des différences 10 ‐ différence à base de  pixel > soustraction pixel à  pixel ‐ différence à base de  région autour d’un  pixel > soustraction moyenne  des niveaux de gris
  11. 11. Création d’une base d’apprentissage • Création d’une base contenant l’ensemble des pixels avec leur caractéristiques et leur classe. • Sélection des couples d’images pertinentes en fonction des types de différences à détecter pour constituer l’ensemble de  nos images de vérité terrain (15 images). • Traitement des images sélectionnées afin de constituer notre base d’apprentissage. • En général 4 classes, annotation manuscrite, correction sous presse et/ou correction manuscrite, ajout/suppression, bruit.  11 Image Recalée Image Référence Image des différences binaires Classe Diff Classe Bruit
  12. 12. Création d’une base d’apprentissage 12 Architecture de base d’un CNN Architecture d’un CNN autoencoder
  13. 13. Création d’une base d’apprentissage 13 Conv Max Pool Conv Max Pool Un Pool Conv.T Conv.T Conv.T Conv.T Un PoolMax Pool Conv encoder decoder Image Image reconstruit Transfert des caractéristiques Flatten Dense DropOut Dense Activation - sigmoïd
  14. 14. Création d’une base d’apprentissage • Découpage en patch des couples d’images avec l’image des différences (taille 30). 14
  15. 15. Création d’une base d’apprentissage • Extraction des caractéristiques : GLCM, moyenne, variance, lbp, intensité pixel. 15 Moyenne, Variance des voisinages du pixel A
  16. 16. Création d’une base d’apprentissage  Nombre de patch (30x30) dans la base d’apprentissage: 34872 patchs.  Ajout : 13783  Annotation manuscrite : 2645  Correction : 1211  Bruit :  17233  Regroupement en deux classes : Différence (17639) VS Bruit (17233) 16
  17. 17. Classification des différences et visualisation des  résultats 17 Binarisation de l’image des différences Sélection des pixels à classifier Classification des pixels. Illustration en rouge des pixels de différences et bleu pour les bruits.
  18. 18. Classification des différences et visualisation des  résultats 18
  19. 19. Évaluation des résultats 19 Différent en fonction de l’indice utilisé Résultat quantitatif en fonction de l’indice de Dice seul Résultat quantitatif en fonction de tous les indices de performance
  20. 20. Conclusion 20  Le modèle doit avoir beaucoup d’exemple pour bien faire la détection des différences.  L’ensemble des traitements a tendance à être optimal pour seulement les images utilisés  pour l’apprentissage.  Un mauvais alignement entre les images peut être problématique pour la détection. 
  21. 21. Perspectives 21  Trouver une meilleure formule pour le calcul de la différence ou application d’un modèle  de réseau de neurone siamoise.  Implémenter un modèle de génération artificiel de différence.  Améliorer l’interface graphique pour rendre l’analyse des différences plus conviviale.  Chercher à créer un modèle adaptatif en fonction des différents types d’ouvrages utilisés  en entrée.
  22. 22. Merci de votre attention !

×