Reconstruction 3 D
Upcoming SlideShare
Loading in...5
×
 

Reconstruction 3 D

on

  • 6,611 views

3D - stéréovision

3D - stéréovision

Statistics

Views

Total Views
6,611
Views on SlideShare
6,568
Embed Views
43

Actions

Likes
2
Downloads
811
Comments
0

3 Embeds 43

http://www.slideshare.net 39
http://www.linkedin.com 3
https://www.linkedin.com 1

Accessibility

Categories

Upload Details

Uploaded via as Microsoft PowerPoint

Usage Rights

© All Rights Reserved

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Processing…
Post Comment
Edit your comment

Reconstruction 3 D Reconstruction 3 D Presentation Transcript

  • Tébourbi Riadh, SUP'COM 2005 IMAGERIE 3D 08/10/2007 Ecole Supérieure des Communications de Tunis Cours Tébourbi Riadh
  • Quelques références Tébourbi Riadh, SUP'COM 2005
    • - R. Horaud & O. Monga. Vision par Ordinateur : Outils Fondamentaux, Editions Hermès, 1995.
      • http://www.inrialpes.fr/movi/people/Horaud/livre-hermes.html
    - O livier Faugeras . Three-Dimensional Computer Vision, MIT Press, 1993.
      • - Frederic Devernay. Vision par Ordinateur. INRIA (France).
        • http:// devernay.free.fr/cours/vision
      • - Joshua Gluckman. Computer Vision. Polytechnic University (USA).
        • http://cis.poly.edu/cs664/0
  • Contexte Tébourbi Riadh, SUP'COM 2005 Vision par ordinateur : branche de l’IA dont le but est de permettre à une machine de comprendre ce qu'elle «voit » lorsqu'on la connecte à une ou plusieurs caméras.  ne cherche pas à comprendre ou à reproduire la vision humaine, mais à construire un modèle algorithmique qui, vu de l'extérieur, possède des propriétés semblables. View slide
  • Vision 3D Tébourbi Riadh, SUP'COM 2005 Vision binoculaire Perception 3D Objet 3D 1 er point de vue 2 ème point de vue Problème difficile de la vision artificielle View slide
  • Introduction Tébourbi Riadh, SUP'COM 2005 Vision 3D : Méthodes passives : Méthodes actives :
    • Acquisition directe de la profondeur
    - Analyse de déphasage ou de distorsion du signal émis - Stéréoscopie (deux images ou plus) - Monoscopie (une seule image) : étude des formes
  • Méthodes actives Tébourbi Riadh, SUP'COM 2005
    • Méthodes actives : ultra-sons, lumière cohérente, faisceau laser...
      • L ’information 3-D est directement acquise par analyse de déphasage ou de distorsion du signal.
    Techniques coûteuses. Objets étudiés proches et immobiles . Exemples d’imagerie 3D: Imagerie médicale (Tomographie CT, scanner X, résonance magnétique nucléaire) , Holographie ,…
  • Méthodes passives Tébourbi Riadh, SUP'COM 2005
    • Une seule image : étude des formes à partir de l’ombrage, analyse de texture…
    • Deux images ou plus : Stéréovision
    L ’information 3-D est obtenue par recherche de points homologues entre deux images ou plus : la différence de projection du même point physique appelée disparité est directement liée à l ’élévation.
    • Invention du premier stéréoscope (1838).
    La stéréovision reproduit le processus de la vision binoculaire chez l’homme.
  • Stéréovision: Principe Tébourbi Riadh, SUP'COM 2005 M Image gauche Image droite m1 m2 Reconstruction 3D Mise en correspondance Modèle caméra gauche Modèle caméra droite
  • Etapes de la reconstitution 3D par stéréovision Tébourbi Riadh, SUP'COM 2005
    • Acquisition stéréoscopique
    • Etalonner les deux caméras: Modélisation des capteurs
    • connaissance du modèle de projection
    •  relation coordonnées 3D/2D
    • Trouver les points correspondants m1/m2 dans les deux images: Mise en correspondance
    • Calculer les coordonnées 3D: Reconstruction 3D
  • Acquisition : Photos Tébourbi Riadh, SUP'COM 2005
    • 2 appareils photos (numériques).
    H B A
  • Acquisition : Stéréoscopie aérienne Tébourbi Riadh, SUP'COM 2005 - Acquisition instantanée - Centre optique fixe pour une image Perspective conique Axe de vol
  • Acquisition : Stéréoscopie satellitaire Tébourbi Riadh, SUP'COM 2005 orbite - Acquisition non instantanée - Centre optique mobile Perspective subcylindro conique
  • Stéréoscopie satellitaire Tébourbi Riadh, SUP'COM 2005 orbite J ème jour (J+cycle) ème jour Couverture stéréoscopique Stéréoscopie verticale
  • Tébourbi Riadh, SUP'COM 2005 orbite Instant t Instant t+90s Couverture stéréoscopique Stéréoscopie avant-arrière : cas de HRS Stéréoscopie satellitaire :
  • Tébourbi Riadh, SUP'COM 2005 Stéréoscopie satellitaire Jour j Jour j’ Orbite descendante Orbite ascendante Couverture stéréoscopique Stéréoscopie latérale : cas de HRG
  • Exemples d’images stéréoscopiques Tébourbi Riadh, SUP'COM 2005 Photos
  • Tébourbi Riadh, SUP'COM 2005 Aériennes
  • Tébourbi Riadh, SUP'COM 2005 Satellitaires (SPOT5)
  • Tébourbi Riadh, SUP'COM 2005 Satellitaires (IKONOS)
    • Modélisation du capteur
    Tébourbi Riadh, SUP'COM 2005
  • Modélisation du capteur Tébourbi Riadh, SUP'COM 2005 BUT : Déterminer le modèle géométrique associé au processus de saisie d'une image stéréoscopique à l'aide d'une caméra (capteur)  déterminer les paramètres liés à ce modèle. Déterminer relation coordonnées Image/scène
    • Modéliser
  • Géométrie d’une caméra « sténopé » Tébourbi Riadh, SUP'COM 2005 - Acquisition instantanée - Centre optique fixe pour une image Perspective conique Axe de vol
  • Géométrie du capteur SPOT Tébourbi Riadh, SUP'COM 2005 Barrette CCD Orbite du satellite Sens du défilement balayage push broom Perspective conique par ligne
  • Modélisation du capteur Tébourbi Riadh, SUP'COM 2005 Modèle “ à trou d’épingle” Ou modèle sténopé ou « pinhole model »  Ce modèle considère que la transformation opérée par la caméra est une transformation perspective parfaite, de centre C (le centre optique de la caméra). C P p
  • Modèle “ à trou d’épingle” Tébourbi Riadh, SUP'COM 2005 b) Projection a) Transformation R + T I- Géométrie d’une caméra b) a) R c R w m 2 (u,v) m 1 (u,v) P( X w , Y w , Z w ) C 2 C 1 Z Y X u v S: facteur d’échelle M: matrice 3  4 1 Z Y X M w w w                          s sv su 0 v m m v Z m Z m v Y m Y m v X m X m 0 u m m u Z m Z m u Y m Y m u X m X m 34 24 W 33 W 23 W 32 W 22 W 31 W 21 34 14 W 33 W 13 W 32 W 12 W 31 W 11                
  • Tébourbi Riadh, SUP'COM 2005 b) Une projection qui transforme un point de l’espace 3D dans le repère de la caméra (X,Y, Z) en un point 2D de coordonnées (u,v) de l’image Ku et Kv facteurs d’échelle de l’image respectivement dans la direction de u  et de v(pixels/mm), f : focale exprimée en mm et u 0 et v 0 :coordonnées en pixels du centre de l'image u 0 , v 0 ,  u et  v représentent les paramètres intrinsèques de la caméra
  • Remarque Tébourbi Riadh, SUP'COM 2005 Si on pose alors avec et Soit:
  • Tébourbi Riadh, SUP'COM 2005 a) Une transformation qui lie les coordonnées d’un point Pw(Xw,Yw,Zw) de l’espace 3D à ceux dans le repère de la caméra (X,Y,Z). = transformation rigide qui se compose d’une rotation et d’une translation  Les termes de R et de T sont appelés les paramètres extrinsèques de la caméra
  • Tébourbi Riadh, SUP'COM 2005 Peut s’écrire: Avec:
  • Tébourbi Riadh, SUP'COM 2005 Et Donnent: M (3  4) appelée la matrice de projection de la caméra
  • Tébourbi Riadh, SUP'COM 2005 Résumé
  • Relation 2D/3D Tébourbi Riadh, SUP'COM 2005 Elimination de s  . Relations linéaires entre (u,v) et (Xw,Yw,Zw). . Si 2 caméras ou plus alors 4 équations ou plus pour 3 inconnues. Trouver les coefficients de M ? 0 v m m v Z m Z m v Y m Y m v X m X m 0 u m m u Z m Z m u Y m Y m u X m X m 34 24 W 33 W 23 W 32 W 22 W 31 W 21 34 14 W 33 W 13 W 32 W 12 W 31 W 11                
  • Etalonnage de la caméra Tébourbi Riadh, SUP'COM 2005 L’étalonnage de la caméra = calcul des coefficients m ij de M
    • A partir des coordonnées 3D: Pwi=(Xwi,Ywi,Zwi) de N points et de leurs projections dans l’image : (ui,vi)
    • N points (N  6 )  2N (2N  12) équations pour 12 inconnues. Nous avons un système a 2N équations linéaires.
  • Etalonnage (suite) Tébourbi Riadh, SUP'COM 2005  Utilisation une mire
    • Contient un ensemble de points dont les coordonnées (3D) sont connues
    • Les Coordonnées 2D sont repérés dans l’image.
     GPS Exemple:
  • Etalonnage (suite) Tébourbi Riadh, SUP'COM 2005 Pour chaque point i : 1  i  N Résoudre un système linéaire homogène à 2N équations:
  • Etalonnage (suite) Tébourbi Riadh, SUP'COM 2005 Le système peut être écrit: Il faut éviter la solution évidente mij=0  Poser des contraintes.
  • Etalonnage (suite) Tébourbi Riadh, SUP'COM 2005 Pour pouvoir poser des contraintes sur des mij regardons la matrice M en fonction des paramètres intrinsèques et extrinsèques:  Contrainte m34  0 (m34 = Tz)  2 contraintes :
  • Tébourbi Riadh, SUP'COM 2005 Etalonnage (suite)  R31, R32 et R33 sont les éléments d’une matrice de rotation R : Nous pouvons écrire: Donc contrainte : Or
  • Etalonnage (suite) Tébourbi Riadh, SUP'COM 2005 Utilisation de la contrainte m34  0 : on divise le système d’équations par m34 on obtient: Nous cherchons les qij = mij/m34  Résolution de ce système par la méthode des moindres carrés ( pseudo-inverse ):
  • Etalonnage (suite) Tébourbi Riadh, SUP'COM 2005 Une fois les qij trouvés nous cherchons les mij sachant que: Soit: D’où Et
  • Calcul des paramètres intrinsèques et extrinsèques de la caméra  Tébourbi Riadh, SUP'COM 2005 M =(mij) : fonctions des paramètres intrinsèques et extrinsèques. En tenant compte de: - La matrice R est orthogonale - L’origine du repère de la scène Ow est toujours devant la caméra (Tz>0) On obtient:
  • Précision de l’étalonnage Tébourbi Riadh, SUP'COM 2005 Pour vérifier la précision du calibrage nous pouvons calculer deux erreurs : Une erreur commise sur l’orthogonalité de la matrice R : La matrice R est une matrice de rotation et doit vérifier: Une erreur calculée en reconstituant les coordonnées (u i ,v i ) des points de référence (coordonnées de ces points utilisées pour le calcul des coefficients de M). Après calibration nous pouvons recalculer les coordonnées (uc i ,vc i ) de ces points de référence et calculer l’erreur : qui est la moyenne des erreurs résiduelles et: qui est la variance de ces erreurs.
  • Géométrie d’un système stéréoscopique Tébourbi Riadh, SUP'COM 2005 1) Position relative des deux caméras 2) Géométrie épipolaire 3) La matrice essentielle 4) La matrice fondamentale
  • Position relative des deux caméras Tébourbi Riadh, SUP'COM 2005 Pour chaque caméra i P w =(X w ,Y w ,Z w ) t Rappel:
  • Tébourbi Riadh, SUP'COM 2005 Pour les deux caméras, nous pouvons alors écrire En éliminant Pw entre les deux équations, nous obtenons: avec As est une matrice décrivant la transformation rigide « repère caméra gauche/repère caméra droite » et peut être représentée par une matrice de rotation Rs et un vecteur translation Ts
  • Tébourbi Riadh, SUP'COM 2005 En introduisant dans cette dernière équation les coordonnées de la projection de P w dans l'image rétinienne gauche et droite , nous pouvons écrire :
  • Tébourbi Riadh, SUP'COM 2005 En éliminant Z1 Avec:  équation qui décrit l' ensemble des points (x2,y2) de l'image de droite pouvant correspondre à un point (x1,y1) de l'image gauche = une droite appelée droite épipolaire Le correspondant d'un point de l'image gauche se trouve forcément sur une ligne épipolaire dans l'image droite
  • Géométrie épipolaire Tébourbi Riadh, SUP'COM 2005 e1 et e2 sont appelés les épipoles Le faisceau de lignes qui passent par e1 dans image1 et par e2 dans image2 sont appelées les lignes épipolaires Pour chaque point m1 de image1, son correspondant m2 dans image2 se trouve sur une ligne épipolaire Im1 m 1 m 2 e 1 e 2 M C 2 C 1 Image 1 Image 2
  • Contrainte épipolaire Tébourbi Riadh, SUP'COM 2005 Un point dans l’image gauche se situe sur la droite épipolaire correspondante dans l’image droite
  • Exemple Tébourbi Riadh, SUP'COM 2005
  • La matrice essentielle Tébourbi Riadh, SUP'COM 2005 Coefficients de la droite épipolaire: Droite épipolaire qui peut s'écrire, en introduisant la matrice E, sous la forme:
  • La matrice essentielle Tébourbi Riadh, SUP'COM 2005 Equation de la droite épipolaire peut s’écrire: et Donne: p i =(x i ,y i ,1)t avec E est appelée la matrice essentielle E: décrit la transformation épipolaire gauche-droite et donne l'équation de la droite épipolaire droite Transformation épipolaire droite-gauche E t
  • La matrice fondamentale Tébourbi Riadh, SUP'COM 2005 Rappel: pour chaque caméra i: avec et En remplacant dans Nous obtenons = matrice fondamentale (3 x 3) Exprime la relation qui existe entre les coordonnées images (en pixels) gauche (u1,v1) et droite (u2,v2), décrivant, ainsi, la géométrie épipolaire
  • Mise en correspondance Tébourbi Riadh, SUP'COM 2005 (X w ,Y w ,Z w ) (scène)  projections (U 1 ,V 1 ) (image gauche) et (U 2 ,V 2 ) (image droite) i=1,2  Pour chaque pixel dans image gauche: recherche de son correspondant dans image droite: un problème de mise en correspondance ou appariement 0 v m m v Z m Z m v Y m Y m v X m X m 0 u m m u Z m Z m u Y m Y m u X m X m i 34 24 i W 33 W 23 i W 32 W 22 i W 31 W 21 i 34 14 i W 33 W 13 i W 32 W 12 i W 31 W 11                
  • Mise en correspondance (suite) Tébourbi Riadh, SUP'COM 2005 Problème simplifié: a) contrainte épipolaire m 1 m 2 e 1 e 2 M C 2 C 1 Image 1 Image 2 Analytiquement: 0 1 1 1 1 2 2                      v u F v u F: matrice fondamentale (3 x 3)
  • Tébourbi Riadh, SUP'COM 2005 Contrainte épipolaire Image de référence Image de recherche Ligne épipolaire m C 1 C 2 Espace de recherche monodimensionnel (≈ ligne)
  • Mise en correspondance (suite) Tébourbi Riadh, SUP'COM 2005 Problème encore simplifié: b) Rectification des images m 1 m 2 m’ 1 m’ 2 u’ 1 u’ 2 disparité : d = u’ 2 – u’ 1
  • Tébourbi Riadh, SUP'COM 2005 Exemple d d’
  • Géométrie des images rectifiées Tébourbi Riadh, SUP'COM 2005 Paramètres: H B m 1 m 2 u 1 u 2 disparité : d = u’ 2 – u’ 1
  • Géométrie des images rectifiées (2) Tébourbi Riadh, SUP'COM 2005  La géométrie des deux caméras peut être décrite seulement par la distance qui sépare les deux centres optiques B et la hauteur des deux caméras H Matrices de rotation (égales) : Vecteurs de translation: Transformation rigide gauche-droite (simple translation)
  • Géométrie des images rectifiées (3) Tébourbi Riadh, SUP'COM 2005 Matrice essentielle: Matrice fondamentale: Si pour les deux caméras α u = α v Disprité = f(Z w ,B,H)
  • Mise en correspondance Tébourbi Riadh, SUP'COM 2005 Objectif: Trouver, pour un élément géométrique dans une image (résultant d'une projection d'un objet 3D de la scène sur l'image), sont élément homologue ( ou correspondant) dans l'autre image
    • Mise en correspondance de primitives
      • points d’intérêt
      • segments / contours
      • régions
    • Mise en correspondance dense
      • chaque pixel est apparié
  • Tébourbi Riadh, SUP'COM 2005 Mise en correspondance par corrélation p l l fenêtre de corrélation fenêtre de recherche Image gauche Image droite d min d max
  • exemple Tébourbi Riadh, SUP'COM 2005
  • Tébourbi Riadh, SUP'COM 2005 Approche hiérarchique Sous-échantillonnage de facteur 2 Sous-échantillonnage de facteur 2 Reconstruction grossière Reconstruction fine
  • Tébourbi Riadh, SUP'COM 2005 Approche hiérarchique
  • Approche hiérarchique Tébourbi Riadh, SUP'COM 2005 Construction d‘une pyramide Propagation de la disparié
    • Rapidité
    • Intervalle de disparité large
  • Approche par régions Tébourbi Riadh, SUP'COM 2005 Extraction de régions Extraction de régions Mise en correspondance Carte de disparité  Besoin de moyens d’extraction de régions
      • Segmentation par
          • Détecteurs de contours
          • Morphologie mathématique
          • Contours actifs
          • Et
      • Classification
    A B C
  • Détection de contours Tébourbi Riadh, SUP'COM 2005 Régions  Fermeture de contours Élimination des contours orphelins Buit  pré-filtrage des images A
  • Classification Tébourbi Riadh, SUP'COM 2005
    • Non connaissance a priori du contenu de la scène
    • Contenu diversifié
      •  tenir compte des zones texturées
    • Méthodes Non supervisées
      • FCM, Agglomération Compétitive, etc.
    • Classification spectrale ou spatiale (texture)
      • Texture: ondelettes complexes, Gabor, etc.
    A
  • Mise en correspondance des régions Tébourbi Riadh, SUP'COM 2005
    • À base de contraintes géométriques
      • Contrainte épipolaire
      • Contrainte de domaine de disparité
    • À base du contexte de l’objet
      • Contrainte de rapport de taille
      • Contrainte de similarité
    Restriction du domaine de recherche B
  • Critère de similarité Tébourbi Riadh, SUP'COM 2005 Attributs spatiaux Attributs de texture a k (R i ) attribut géométrique de la région R i . A = nombre d’attributs utilisés . Moment spatial, taille, nombre de pixels, etc. B
  • Mise en correspondance de régions Tébourbi Riadh, SUP'COM 2005 C
  • Mise en correspondance de régions Tébourbi Riadh, SUP'COM 2005 C
  • Carte des disparités Tébourbi Riadh, SUP'COM 2005 Idéale
  • Difficultés de l’appariement Tébourbi Riadh, SUP'COM 2005
    • Correspondance difficile (voire impossible) dans les zones faiblement texturées.
    • Ceci quelque soit l’approche utilisée.
  • Difficultés de l’appariement Tébourbi Riadh, SUP'COM 2005 Les points ne sont pas forcément dans le même ordre dans les deux images.
  • Difficultés de l’appariement Tébourbi Riadh, SUP'COM 2005 Les tailles et distances ne sont pas les mêmes d’une image à l’autre.
  • Difficultés de l’appariement Tébourbi Riadh, SUP'COM 2005 Occlusions : des objets ou parties d’objets sont cachés. La correspondance n’existe pas dans ce cas.
  • Carte des disparités Tébourbi Riadh, SUP'COM 2005
  • Interpolation de la carte des disparités Tébourbi Riadh, SUP'COM 2005 Images stéréo Plane Polynomiale Rationnelle Interpolations Nature de la scène Médiane . . . Mise en correspondance Images des disparités calculées
  • Tébourbi Riadh, SUP'COM 2005 Image disparités seuil=0.8 Filtre médian Fenêtre 3*3 Filtre médian Fenêtre 5*5 Filtre médian Fenêtre 7*7 Modèle 3-D Image gauche Interpolation médiane
  • Interpolation rationnelle Tébourbi Riadh, SUP'COM 2005 Image gauche Image des hauteurs: seuil =0.8 Résultat de l’interpolation rationnelle
  • Tébourbi Riadh, SUP'COM 2005 Densification : interpolation médiane Densification : interpolation rationnelle Densification : interpolation plane Carte des disparités
  • Calcul des coordonnées 3D Tébourbi Riadh, SUP'COM 2005 i=1,2 m ij connus (u 1 ,v 1 ), (u 2 ,v 2 ) connus 0 v m m v Z m Z m v Y m Y m v X m X m 0 u m m u Z m Z m u Y m Y m u X m X m i 34 24 i W 33 W 23 i W 32 W 22 i W 31 W 21 i 34 14 i W 33 W 13 i W 32 W 12 i W 31 W 11                 Système de 4 équations 3 inconnues Résolution par moindres carrés.
  • Modélisation 3D Tébourbi Riadh, SUP'COM 2005 Etalonnage Etalonnage
  • Modélisation 3D Tébourbi Riadh, SUP'COM 2005
  • Tébourbi Riadh, SUP'COM 2005 Visualisation 3D
  • Visualisation 3D Tébourbi Riadh, SUP'COM 2005
  • Tébourbi Riadh, SUP'COM 2005 Navigation 3D
  • Influence des paramètres d’acquisition Tébourbi Riadh, SUP'COM 2005 B H H, B Résolutions ?
  • Influence des paramètres d’acquisition Tébourbi Riadh, SUP'COM 2005 B H Compromis 2   H a R R y x    B H ) B , H ( R z     B H 2 A  1  B H
  • Estimation de la matrice fondamental Tébourbi Riadh, SUP'COM 2005 Problème appelé Calcul de la « géométrie épipolaire » ou « Etalonnage faible » Exprime la relation qui existe entre les coordonnées images (en pixels) gauche (u1,v1) et droite (u2,v2), décrivant, ainsi, la géométrie épipolaire Avec étalonnage: Sans étalonnage ?
  • Estimation de la matrice fondamental Tébourbi Riadh, SUP'COM 2005 F peut estimée calculée à partir de l'ensemble des points homologues m 1 (u 1 ,v 1 ) et m 2 (u 2 ,v 2 ) K= [u 1 u 2 , v 1 u 2 ,u 2 ,u 1 v 2 ,v 1 v 2 ,v 2 ,u 1 ,v 1 ,1] et F définie à un facteur multiplicatif près On peut poser F 33 = 1 Avec
  • Estimation de la matrice fondamental Tébourbi Riadh, SUP'COM 2005 Pour un couple j de points homologues on peut écrire  Pour n points (n>7) homologues: système linéaire n équations à 8 inconnus. Résolution Méthodes linéaires: pseudo inverse, SVD, etc.. (très sensibles au bruit ) Méthodes non linéaires: Least Median of Squares ou LMedS, RANSAC
  • Estimation de la matrice fondamental par LMedS Tébourbi Riadh, SUP'COM 2005  En entrée: n correspondances extraites des deux images stéréoscopiques  l’utilisation d’une d'optimisation basée sur la distance aux lignes épipolaires de deux points m 1 (u 1 ,v 1 ,1) t et m 2 (u 2 ,v 2 ,1) t : (Fm 1 ) k est le k-ième élément du vecteur Fm 1 .
  • Détection et appariement de points d'intérêts Tébourbi Riadh, SUP'COM 2005 Image gauche Image droite Extraction de points d'intérêt Extraction de points d'intérêt Mise en correspondance des points d'intérêt Calcul de la matrice fondamentale
  • Extraction des points d’intérêt Tébourbi Riadh, SUP'COM 2005  Plusieurs détecteurs « corners detectors  »
    • Les méthodes fonctionnant en 2 étapes : détermination de contours chaînés puis détermination des points du contour de courbure maximale
    • Les méthodes opérant directement sur les intensités de l’image et basée sur la mesure du gradient et de la courbure
    Moravec Susan Harris
  • Exemple résultat Harris Tébourbi Riadh, SUP'COM 2005
  • Appariement des points d’intérêts Tébourbi Riadh, SUP'COM 2005  Corrélation + relaxation  La matrice fondamentale peut être calculée
  • Rectification Tébourbi Riadh, SUP'COM 2005 Image gauche Image droite Extraction de points d'intérêt Extraction de points d'intérêt Mise en correspondance des points d'intérêt Calcul de la matrice fondamentale Calcul des matrices de rectification Rectification Mise en correspondance
  • Rectification Tébourbi Riadh, SUP'COM 2005 Objectif: trouver deux matrices H1 et H2 de rectifications Pour deux points correspondants: Matrice fondamentale des images rectifiées: Une première paire de matrices de rectification H 01 et H 02 , il suffit de décomposer F en valeurs singulières :
  • Famille des matrices de rectification Tébourbi Riadh, SUP'COM 2005 L'ensemble des paires de matrices de rectification (H 1 ,H 2 ) se déduisent de H 01 et H 02 par les relations: Variété de dim. 9  Trouver deux paires de rectification qui distordent le moins possible les images
  • Tébourbi Riadh, SUP'COM 2005 Exemples
  • Calcul d’une paire de matrices de rectification Tébourbi Riadh, SUP'COM 2005  Poser des contraintes 1) d'=u' 2 -u' 1 =d
  • Calcul d’une paire de matrices de rectification Tébourbi Riadh, SUP'COM 2005 2) Conservation des lignes épipolaires  calculer les coins de l’image rectifiée Rectifier l'image revient à transformer les lignes épipolaires en lignes parallèles et horizontales et envoyer l'épipole e 1 à l'infini. Eviter de compresser ou d’allonger les lignes épipolaires lors de la rectification et de déformer ainsi les images, la dimension de l'image rectifiée est d'abord calculée
  • COMPLEMENTS Tébourbi Riadh, SUP'COM 2005
  • Méthode du pseudo-inverse Tébourbi Riadh, SUP'COM 2005  Résoudre le système d’équations linéaires suivant  Q = vecteur n (inconnus) K = Matrice m*n C = vecteur n
  • Méthode du pseudo-inverse Tébourbi Riadh, SUP'COM 2005 K.Q-C=e e représente un vecteur erreur La meilleure solution Q est celle qui minimise le module du vecteur erreur On cherche Q tel que soit minimum En différenciant par rapport à Q, on obtient : La matrice (K t K) -1 K t
  • Géométrie des images rectifiées Tébourbi Riadh, SUP'COM 2005 Caméra gauche Caméra droite