1. Plan
Introduction
R´gression sur un mod`le de texture
e e
Contributions
Conclusions & Perspectives
Alignement de visages par R´gression
e
Philippe Phothisane
8 juin 2010
Philippe Phothisane Alignement de visages par R´gression
e

2. Plan
Introduction
R´gression sur un mod`le de texture
e e
Contributions
Conclusions & Perspectives
Introduction
ISIR et Majority Report
Pr´sentation de Majority-Report
e
Probl´matique
e
R´gression sur un mod`le de texture
e e
Principes de la r´gression
e
Contributions
Nouvelles m´triques
e
Reconnaissance
Adaptation morphologique
Conclusions & Perspectives
Philippe Phothisane Alignement de visages par R´gression
e

3. Plan
Introduction ISIR et Majority Report
R´gression sur un mod`le de texture
e e Pr´sentation de Majority-Report
e
Contributions Probl´matique
e
Conclusions & Perspectives
Partenariat
Philippe Phothisane Alignement de visages par R´gression
e

4. Plan
Introduction ISIR et Majority Report
R´gression sur un mod`le de texture
e e Pr´sentation de Majority-Report
e
Contributions Probl´matique
e
Conclusions & Perspectives
Philippe Phothisane Alignement de visages par R´gression
e

5. Plan
Introduction ISIR et Majority Report
R´gression sur un mod`le de texture
e e Pr´sentation de Majority-Report
e
Contributions Probl´matique
e
Conclusions & Perspectives
Recherche de la pose des visages
Philippe Phothisane Alignement de visages par R´gression
e

6. Plan
Introduction
R´gression sur un mod`le de texture
e e Principes de la r´gression
e
Contributions
Conclusions & Perspectives
Etapes de l’alignement
Alignement d’un mod`le 3D rigide
e
◮ D´tection du visage et
e
initialisation du mod`le
e
◮ alignement par r´gression
e
Philippe Phothisane Alignement de visages par R´gression
e

7. Plan
Introduction
R´gression sur un mod`le de texture
e e Principes de la r´gression
e
Contributions
Conclusions & Perspectives
Mod`le de forme et de texture
e
Texture courante
Mod`le align´
e e Pixels pertinents
Philippe Phothisane Alignement de visages par R´gression
e

8. Plan
Introduction
R´gression sur un mod`le de texture
e e Principes de la r´gression
e
Contributions
Conclusions & Perspectives
Principe math´matique
e
On souhaite minimiser l’erreur E entre une texture-r´f´rence et la
ee
texture courante :
E (µ) = (I (F (u, µ), t + 1) − T (u, t))2 (1)
u∈Ω
◮ Ω l’ensemble des pixels pertinents courant
◮ I(u,t+1) niveau de gris d’un de ces pixels
◮ T (u, t) la r´f´rence correspondante.
ee
◮ F (u, µ) transformation d’un pixel u par µ qui g`re les
e
rotations et translations 3D du mod`le de visage.
e
Philippe Phothisane Alignement de visages par R´gression
e

9. Plan
Introduction
R´gression sur un mod`le de texture
e e Principes de la r´gression
e
Contributions
Conclusions & Perspectives
Principe math´matique
e
On s’approche it´rativement de la solution µ avec des
e
transformations ´l´mentaires (Lucas-Kanade) :
ee
∂F (u, µ) t
∆µ = −H(u)−1 (Ie (u) ∗ (∇I (u, t + 1) ∗ )) (2)
∂µ
u∈Ω
∂F (u,µ) t ∂F (u,µ)
◮ H(u) = u∈Ω (∇I (u, t + 1) ∗ ∂µ ) (∇I (u, t + 1) ∗ ∂µ ),
matrice hessienne approxim´e
e
◮ Ie(u) = |I (F (u, µ), t + 1) − I (u, t)|, erreur absolue en niveau de gris
∂F (u,µ) t
◮ (∇I (u, t + 1) ∗ ∂µ ) , param`tres de meilleur descente de
e
gradient
Philippe Phothisane Alignement de visages par R´gression
e

10. Plan
Introduction Nouvelles m´triques
e
R´gression sur un mod`le de texture
e e Reconnaissance
Contributions Adaptation morphologique
Conclusions & Perspectives
Utiliser un mod`le de r´f´rence et sa variabilit´ pour r´gresser dans
e ee e e
un espace plus pertinent, comme par exemple le sous-espace
principal de l’ACP d’une base de visages.
Fig.: Variation de la texture selon un axe de l’ACP. Au centre, le visage
moyen qui servait d’unique r´f´rence pr´c´demment.Les deux autres
ee e e
visages repr´sentent les extr´mit´s de l’axe.
e e e
Philippe Phothisane Alignement de visages par R´gression
e

11. Plan
Introduction Nouvelles m´triques
e
R´gression sur un mod`le de texture
e e Reconnaissance
Contributions Adaptation morphologique
Conclusions & Perspectives
Diff´rentes m´triques
e e
◮ SSD : Sum of Squared Difference
◮ DIFS : Distance In Feature Space
◮ DFFS : Distance From Feature Space
◮ LDA : Linear Discriminant Analysis
Philippe Phothisane Alignement de visages par R´gression
e

12. Plan
Introduction Nouvelles m´triques
e
R´gression sur un mod`le de texture
e e Reconnaissance
Contributions Adaptation morphologique
Conclusions & Perspectives
DIFS & DFFS
Projection dans l’espace propre
◮ y= ΦT (x − x)
¯
S´paration des espaces
e
N yi2 M yi2 N yi2
◮ d(x) = i =1 λi = i =1 λi + i =M+1 λi
M yi2
◮ DIFS : i =1 λi
N yi2 M yi2
◮ DFFS : i =M+1 λi = d(x) − i =1 λi
Philippe Phothisane Alignement de visages par R´gression
e

13. Plan
Introduction Nouvelles m´triques
e
R´gression sur un mod`le de texture
e e Reconnaissance
Contributions Adaptation morphologique
Conclusions & Perspectives
L’erreur ` minimiser :
a
E (µ) = (I (F (u, µ), t +1)−T (u, t))T ∗(I (F (u, µ), t +1)−T (u, t))T
(3)
devient :
E (µ) = (I (F (u, µ), t+1)−T (u, t))T ∗A∗(I (F (u, µ), t+1)−T (u, t))T
(4)
DFFS : A = Id − ρ ∗ UU T
DIFS : A = U ∗ Λ−1 ∗ U T
Philippe Phothisane Alignement de visages par R´gression
e

14. Plan
Introduction Nouvelles m´triques
e
R´gression sur un mod`le de texture
e e Reconnaissance
Contributions Adaptation morphologique
Conclusions & Perspectives
Utiliser un algorithme de reconnaissance pour assurer la continuit´
e
du suivi malgr´ les d´crochages.
e e
alignement apr`s
e
visage ”traqu´”
e d´crochage
e nouvelle d´tection
e
de visage
Philippe Phothisane Alignement de visages par R´gression
e

15. Plan
Introduction Nouvelles m´triques
e
R´gression sur un mod`le de texture
e e Reconnaissance
Contributions Adaptation morphologique
Conclusions & Perspectives
Taux de reconnaissance
taux de reconnaissance selon le nombre de modes de la SVD utilises
1
SSD
DIFS
SVD sans poids
0.9
DFFS
DIFFS
subLDA
0.8 LDA
0.7
taux de reconnaissance
0.6
0.5
0.4
0.3
0.2
0.1
0
0 50 100 150 200 250 300 350 400 450 500
nombre de modes
Fig.: tests effectu´s sur une base de 84 personnes (474 images)
e
Philippe Phothisane Alignement de visages par R´gression
e

16. Plan
Introduction Nouvelles m´triques
e
R´gression sur un mod`le de texture
e e Reconnaissance
Contributions Adaptation morphologique
Conclusions & Perspectives
Ratio de distances interclasses et intraclasses
Medianes des rapports (distance interclasse / distance intraclasse)]
3.5
SSD
DIFS
SVD sans poids
3 DFFS
DIFFS
subLDA
LDA
2.5
ratio (distance interclasse / distance intraclasse)
2
1.5
1
0.5
0
−0.5
−1
0 50 100 150 200 250 300 350 400 450 500
nombre de modes de la SVD utilises
Fig.: tests effectu´s sur une base de 84 personnes (474 images)
e
Philippe Phothisane Alignement de visages par R´gression
e

17. Plan
Introduction Nouvelles m´triques
e
R´gression sur un mod`le de texture
e e Reconnaissance
Contributions Adaptation morphologique
Conclusions & Perspectives
Ne plus se contenter d’un mod`le rigide mais de r´gresser aussi sur
e e
des param`tres de forme du visage.
e
Philippe Phothisane Alignement de visages par R´gression
e

18. Plan
Introduction Nouvelles m´triques
e
R´gression sur un mod`le de texture
e e Reconnaissance
Contributions Adaptation morphologique
Conclusions & Perspectives
Pose :
µ = (ωx , ωy , ωz , tx , ty , tz )T (5)
Morphologie :
µ = Φ ∗ (x − x )
¯ (6)
Philippe Phothisane Alignement de visages par R´gression
e

19. Plan
Introduction
R´gression sur un mod`le de texture
e e
Contributions
Conclusions & Perspectives
◮ Mesurer la qualit´ des poses mesur´es avec une v´rit´ terrain
e e e e
pr´cise au degr´
e e
◮ Suivi du regard
◮ Analyse comportementale
Philippe Phothisane Alignement de visages par R´gression
e