Recommended
Recommended
More Related Content
What's hot
What's hot (20)
Viewers also liked
More from tuxette
More from tuxette (20)
Traitement de données fonctionnelles par Support Vector Machine
- 1. Discrimination de courbes par SVM LSP, Mai 2005 Nathalie Villa Motivations Exemples Rappels sur le principe SVM Aspects théoriques Approche directe Régularisation Consistance Expériences Données de spectrométrie Boat / Goat Bibliographie Traitement de données fonctionnelles par Support Vector Machine Nathalie Villa en collaboration avec Fabrice Rossi (INRIA, Rocquencourt) Université Toulouse Le Mirail villa@univ-tlse2.fr Séminaire LSP, 16 mai 2005
- 2. Discrimination de courbes par SVM LSP, Mai 2005 Nathalie Villa Motivations Exemples Rappels sur le principe SVM Aspects théoriques Approche directe Régularisation Consistance Expériences Données de spectrométrie Boat / Goat Bibliographie Sommaire 1 Motivations Exemples Rappels sur le principe SVM 2 Aspects théoriques Approche directe Régularisation Consistance 3 Expériences Données de spectrométrie Boat / Goat
- 3. Discrimination de courbes par SVM LSP, Mai 2005 Nathalie Villa Motivations Exemples Rappels sur le principe SVM Aspects théoriques Approche directe Régularisation Consistance Expériences Données de spectrométrie Boat / Goat Bibliographie Sommaire 1 Motivations Exemples Rappels sur le principe SVM 2 Aspects théoriques Approche directe Régularisation Consistance 3 Expériences Données de spectrométrie Boat / Goat
- 4. Discrimination de courbes par SVM LSP, Mai 2005 Nathalie Villa Motivations Exemples Rappels sur le principe SVM Aspects théoriques Approche directe Régularisation Consistance Expériences Données de spectrométrie Boat / Goat Bibliographie Les données Problèmes de discriminations de courbes à 2 classes X 2 L2(μ) | {z } Infinite dimensional space ! Y 2 {−1; 1}
- 5. Discrimination de courbes par SVM LSP, Mai 2005 Nathalie Villa Motivations Exemples Rappels sur le principe SVM Aspects théoriques Approche directe Régularisation Consistance Expériences Données de spectrométrie Boat / Goat Bibliographie Les données Problèmes de discriminations de courbes à 2 classes X 2 L2(μ) | {z } Infinite dimensional space ! Y 2 {−1; 1} Exemples : Discriminer des morceaux de viandes à fort / faible taux de graisse à partir de leur spectre infrarouge (Tecator) 0 10 20 30 40 50 60 70 80 90 100 4.5 4 3.5 3 2.5 2 Fat < 20 % 0 10 20 30 40 50 60 70 80 90 100 5.5 5 4.5 4 3.5 3 2.5 2 Fat > 20 %
- 6. Discrimination de courbes par SVM LSP, Mai 2005 Nathalie Villa Motivations Exemples Rappels sur le principe SVM Aspects théoriques Approche directe Régularisation Consistance Expériences Données de spectrométrie Boat / Goat Bibliographie Les données Problèmes de discriminations de courbes à 2 classes X 2 L2(μ) | {z } Infinite dimensional space ! Y 2 {−1; 1} Exemples : Reconnaître un mot à partir d’enregistrements de voix 0 2000 4000 6000 8000 −1.0 −0.5 0.0 0.5 1.0 Boat time 0 2000 4000 6000 8000 −0.6 −0.4 −0.2 0.0 0.2 0.4 0.6 Goat time
- 7. Discrimination de courbes par SVM LSP, Mai 2005 Nathalie Villa Motivations Exemples Rappels sur le principe SVM Aspects théoriques Approche directe Régularisation Consistance Expériences Données de spectrométrie Boat / Goat Bibliographie Les données Problèmes de discriminations de courbes à 2 classes X 2 L2(μ) | {z } Infinite dimensional space ! Y 2 {−1; 1} Exemples : Savoir si un individu a ou non de l’arthrite à partir de la forme de l’os de son genou (voir [Ramsay et Silverman, 2002]) 40 50 60 70 80 90 10 20 30 40 50 x pixels y pixels Creux inférieur de l’os du fémur ) Courbe construite à partir d’une photo
- 8. Discrimination de courbes par SVM LSP, Mai 2005 Nathalie Villa Motivations Exemples Rappels sur le principe SVM Aspects théoriques Approche directe Régularisation Consistance Expériences Données de spectrométrie Boat / Goat Bibliographie Discrimination de courbes Contexte Lorsque X 2 L2(μ), la structure d’espace de Hilbert permet de disposer d’opérations basiques : combinaisons linéaires, normes k . k et produits scalaires h., .i.
- 9. Discrimination de courbes par SVM LSP, Mai 2005 Nathalie Villa Motivations Exemples Rappels sur le principe SVM Aspects théoriques Approche directe Régularisation Consistance Expériences Données de spectrométrie Boat / Goat Bibliographie Discrimination de courbes Contexte Lorsque X 2 L2(μ), la structure d’espace de Hilbert permet de disposer d’opérations basiques : combinaisons linéaires, normes k . k et produits scalaires h., .i. Beaucoup de modèles statistiques ont été étendus au traitement de données fonctionnelles : h., .i Penalized Discriminant Analysis ([Hastie et al., 1995]) ; h., .i Réseaux de neurones (perceptrons multi-couches, réseaux RBF, SOM . . . ) ([Rossi et Conan-Guez, 2005], [Rossi et al., 2005], [Rossi et al., 2004] et [Ferré et Villa, 2005]) ; k.k k-plus proches voisins ([Biau et al., 2005]).
- 10. Discrimination de courbes par SVM LSP, Mai 2005 Nathalie Villa Motivations Exemples Rappels sur le principe SVM Aspects théoriques Approche directe Régularisation Consistance Expériences Données de spectrométrie Boat / Goat Bibliographie Discrimination de courbes Contexte Lorsque X 2 L2(μ), la structure d’espace de Hilbert permet de disposer d’opérations basiques : combinaisons linéaires, normes k . k et produits scalaires h., .i. Beaucoup de modèles statistiques ont été étendus au traitement de données fonctionnelles : h., .i Penalized Discriminant Analysis ([Hastie et al., 1995]) ; h., .i Réseaux de neurones (perceptrons multi-couches, réseaux RBF, SOM . . . ) ([Rossi et Conan-Guez, 2005], [Rossi et al., 2005], [Rossi et al., 2004] et [Ferré et Villa, 2005]) ; k.k k-plus proches voisins ([Biau et al., 2005]). Ici : Support Vector Machines pour données fonctionnelles ([Villa et Rossi, 2005] et [Rossi et Villa, 2005]).
- 11. Discrimination de courbes par SVM LSP, Mai 2005 Nathalie Villa Motivations Exemples Rappels sur le principe SVM Aspects théoriques Approche directe Régularisation Consistance Expériences Données de spectrométrie Boat / Goat Bibliographie Rappel sur le principe SVM Le problème Soit X 2 RD et Y 2 {−1; 1}. On cherche à déterminer la valeur de Y connaissant la variable X.
- 12. Discrimination de courbes par SVM LSP, Mai 2005 Nathalie Villa Motivations Exemples Rappels sur le principe SVM Aspects théoriques Approche directe Régularisation Consistance Expériences Données de spectrométrie Boat / Goat Bibliographie Rappel sur le principe SVM Le problème Soit X 2 RD et Y 2 {−1; 1}. On cherche à déterminer la valeur de Y connaissant la variable X. Les données On dispose de N réalisations indépendantes de (X, Y ) : (x1, y1), . . . , (xN, yN).
- 13. Discrimination de courbes par SVM LSP, Mai 2005 Nathalie Villa Motivations Exemples Rappels sur le principe SVM Aspects théoriques Approche directe Régularisation Consistance Expériences Données de spectrométrie Boat / Goat Bibliographie Discrimination linéaire à marge optimale
- 14. Discrimination de courbes par SVM LSP, Mai 2005 Nathalie Villa Motivations Exemples Rappels sur le principe SVM Aspects théoriques Approche directe Régularisation Consistance Expériences Données de spectrométrie Boat / Goat Bibliographie Discrimination linéaire à marge optimale
- 15. Discrimination de courbes par SVM LSP, Mai 2005 Nathalie Villa Motivations Exemples Rappels sur le principe SVM Aspects théoriques Approche directe Régularisation Consistance Expériences Données de spectrométrie Boat / Goat Bibliographie Discrimination linéaire à marge optimale w marge : 1 kwk2 Vecteur Support
- 16. Discrimination de courbes par SVM LSP, Mai 2005 Nathalie Villa Motivations Exemples Rappels sur le principe SVM Aspects théoriques Approche directe Régularisation Consistance Expériences Données de spectrométrie Boat / Goat Bibliographie Discrimination linéaire à marge optimale w marge : 1 kwk2 Vecteur Support On cherche w tel que : minw,bhw,wi, sous les contraintes : yi (hw, xi i + b) 1, 1 i N.
- 17. Discrimination de courbes par SVM LSP, Mai 2005 Nathalie Villa Motivations Exemples Rappels sur le principe SVM Aspects théoriques Approche directe Régularisation Consistance Expériences Données de spectrométrie Boat / Goat Bibliographie Discrimination linéaire à marge souple
- 18. Discrimination de courbes par SVM LSP, Mai 2005 Nathalie Villa Motivations Exemples Rappels sur le principe SVM Aspects théoriques Approche directe Régularisation Consistance Expériences Données de spectrométrie Boat / Goat Bibliographie Discrimination linéaire à marge souple
- 19. Discrimination de courbes par SVM LSP, Mai 2005 Nathalie Villa Motivations Exemples Rappels sur le principe SVM Aspects théoriques Approche directe Régularisation Consistance Expériences Données de spectrométrie Boat / Goat Bibliographie Discrimination linéaire à marge souple w marge : 1 kwk2 Vecteur Support
- 20. Discrimination de courbes par SVM LSP, Mai 2005 Nathalie Villa Motivations Exemples Rappels sur le principe SVM Aspects théoriques Approche directe Régularisation Consistance Expériences Données de spectrométrie Boat / Goat Bibliographie Discrimination linéaire à marge souple w marge : 1 kwk2 Vecteur Support On cherche w tel que : minw,b,hw,wi + C PNi =1 i , sous les contraintes : yi (hw, xi i + b) 1 − i , 1 i N, i 0, 1 i N.
- 21. Discrimination de courbes par SVM LSP, Mai 2005 Nathalie Villa Motivations Exemples Rappels sur le principe SVM Aspects théoriques Approche directe Régularisation Consistance Expériences Données de spectrométrie Boat / Goat Bibliographie Envoyer les données dans un espace de grande dimension Espace initial RD
- 22. Discrimination de courbes par SVM LSP, Mai 2005 Nathalie Villa Motivations Exemples Rappels sur le principe SVM Aspects théoriques Approche directe Régularisation Consistance Expériences Données de spectrométrie Boat / Goat Bibliographie Envoyer les données dans un espace de grande dimension Espace initial RD Espace image X (non linéaire)
- 23. Discrimination de courbes par SVM LSP, Mai 2005 Nathalie Villa Motivations Exemples Rappels sur le principe SVM Aspects théoriques Approche directe Régularisation Consistance Expériences Données de spectrométrie Boat / Goat Bibliographie Envoyer les données dans un espace de grande dimension Espace initial RD Espace image X (non linéaire)
- 24. Discrimination de courbes par SVM LSP, Mai 2005 Nathalie Villa Motivations Exemples Rappels sur le principe SVM Aspects théoriques Approche directe Régularisation Consistance Expériences Données de spectrométrie Boat / Goat Bibliographie Envoyer les données dans un espace de grande dimension Espace initial RD Espace image X (non linéaire) est implicite par l’utilisation d’un noyau : h(x), (x0)iX = K(x, x0)
- 25. Discrimination de courbes par SVM LSP, Mai 2005 Nathalie Villa Motivations Exemples Rappels sur le principe SVM Aspects théoriques Approche directe Régularisation Consistance Expériences Données de spectrométrie Boat / Goat Bibliographie Envoyer les données dans un espace de grande dimension Espace initial RD Espace image X (non linéaire) est implicite par l’utilisation d’un noyau : h(x), (x0)iX = K(x, x0) X est un RKHS, un espace de fonctions de RD dans R tel que : 8 f 2 X, hK(., x), f (.)iX = f (x)
- 26. Discrimination de courbes par SVM LSP, Mai 2005 Nathalie Villa Motivations Exemples Rappels sur le principe SVM Aspects théoriques Approche directe Régularisation Consistance Expériences Données de spectrométrie Boat / Goat Bibliographie En résumé... SVM à noyau On cherche w 2 X tel que : minw,b,hw,wiX + C PNi =1 i , sous : yi (hw, (xi )iX + b) 1 − i , 1 i N, i 0, 1 i N.
- 27. Discrimination de courbes par SVM LSP, Mai 2005 Nathalie Villa Motivations Exemples Rappels sur le principe SVM Aspects théoriques Approche directe Régularisation Consistance Expériences Données de spectrométrie Boat / Goat Bibliographie En résumé... SVM à noyau On cherche w 2 X tel que : minw,b,hw,wiX + C PNi =1 i , sous : yi (hw, (xi )iX + b) 1 − i , 1 i N, i 0, 1 i N. Formulation duale Le problème admet la formulation duale : max PNi =1 i − PNi =1 PNj =1 ijyi yjK(xi , xj ), sous les contraintes : PNi =1 i yi = 0, 0 i C, 1 i N,
- 28. Discrimination de courbes par SVM LSP, Mai 2005 Nathalie Villa Motivations Exemples Rappels sur le principe SVM Aspects théoriques Approche directe Régularisation Consistance Expériences Données de spectrométrie Boat / Goat Bibliographie Sommaire 1 Motivations Exemples Rappels sur le principe SVM 2 Aspects théoriques Approche directe Régularisation Consistance 3 Expériences Données de spectrométrie Boat / Goat
- 29. Discrimination de courbes par SVM LSP, Mai 2005 Nathalie Villa Motivations Exemples Rappels sur le principe SVM Aspects théoriques Approche directe Régularisation Consistance Expériences Données de spectrométrie Boat / Goat Bibliographie Données fonctionnelles Ensemble d’apprentissage (x1, y1), . . . , (xN, yN) 2 L2(μ) × {−1; 1} ;
- 30. Discrimination de courbes par SVM LSP, Mai 2005 Nathalie Villa Motivations Exemples Rappels sur le principe SVM Aspects théoriques Approche directe Régularisation Consistance Expériences Données de spectrométrie Boat / Goat Bibliographie Données fonctionnelles Ensemble d’apprentissage (x1, y1), . . . , (xN, yN) 2 L2(μ) × {−1; 1} ; Chaque xn est décrit par une discrétisation (xn(tn 1 ), . . . , xn(tnD n )). Typiquement, D N.
- 31. Discrimination de courbes par SVM LSP, Mai 2005 Nathalie Villa Motivations Exemples Rappels sur le principe SVM Aspects théoriques Approche directe Régularisation Consistance Expériences Données de spectrométrie Boat / Goat Bibliographie Données fonctionnelles Ensemble d’apprentissage (x1, y1), . . . , (xN, yN) 2 L2(μ) × {−1; 1} ; Chaque xn est décrit par une discrétisation (xn(tn 1 ), . . . , xn(tnD n )). Typiquement, D N. Dans L2(μ) Tout ensemble de fonctions R est linéairement séparable ; ) K(xi , xj ) = hxi , xj i = xi xjdμ et marges dures ;
- 32. Discrimination de courbes par SVM LSP, Mai 2005 Nathalie Villa Motivations Exemples Rappels sur le principe SVM Aspects théoriques Approche directe Régularisation Consistance Expériences Données de spectrométrie Boat / Goat Bibliographie Données fonctionnelles Ensemble d’apprentissage (x1, y1), . . . , (xN, yN) 2 L2(μ) × {−1; 1} ; Chaque xn est décrit par une discrétisation (xn(tn 1 ), . . . , xn(tnD n )). Typiquement, D N. Dans L2(μ) Tout ensemble de fonctions R est linéairement séparable ; ) K(xi , xj ) = hxi , xj i = xi xjdμ et marges dures ; La forme duale est encore valable ([Lin, 2001]) : (D0) max PNi =1 i − PNi =1 PNj =1 ijyi yj R xi xjdμ, sous : PNi =1 i yi = 0, 0 i , 1 i N.
- 33. Discrimination de courbes par SVM LSP, Mai 2005 Nathalie Villa Motivations Exemples Rappels sur le principe SVM Aspects théoriques Approche directe Régularisation Consistance Expériences Données de spectrométrie Boat / Goat Bibliographie Limites de l’approche directe Adéquation de la solution La solution n’est pas satisfaisante (non pertinente) ! !
- 34. Discrimination de courbes par SVM LSP, Mai 2005 Nathalie Villa Motivations Exemples Rappels sur le principe SVM Aspects théoriques Approche directe Régularisation Consistance Expériences Données de spectrométrie Boat / Goat Bibliographie Limites de l’approche directe Adéquation de la solution La solution n’est pas satisfaisante (non pertinente) ! ! Exemple : Paramétrisation uniforme par longueur d’arc du creux de l’os xx x xx x x x xxxxxxx xx x x x x x xx xx xx xxxxxxx xx xxxxxxx xxxxxxxxx xxxxxxxxx xx x xx x x x xxx x x x x x x x x x x x x x x x x x x x x x x xxx xxxxxxxxxxxxx xxxxxxxxxxxx xx xxxxxx xxxx xxxx xxxx xxxxxxxxxxxxx xx x xx xxxxxxxxxx 0.0 0.2 0.4 0.6 0.8 1.0 0.0 0.2 0.4 0.6 0.8 1.0 x x x x x x x x x x x x x xxxxxxxxxxxx xx xxxxxx xxxx xxxx xxxx xxxxxx xx xxxx x xx xxxx xx xx xxx xx xxxxx x xxxxxxxxx xxxxxxxxxxxx xx xxxxxx xxxx xxxx xxxx xxxxxx xxxxx 0.0 0.2 0.4 0.6 0.8 1.0 0.0 0.2 0.4 0.6 0.8 1.0 (X(t1), . . . , X(t50), Y (t1), . . . , Y (t50)) 2 R100 SVM −−−! Arthrite ? ? ?
- 35. Discrimination de courbes par SVM LSP, Mai 2005 Nathalie Villa Motivations Exemples Rappels sur le principe SVM Aspects théoriques Approche directe Régularisation Consistance Expériences Données de spectrométrie Boat / Goat Bibliographie Limites de l’approche directe Adéquation de la solution La solution n’est pas satisfaisante (non pertinente) ! ! Exemple : Fonction moyenne et direction discriminante 0.0 0.2 0.4 0.6 0.8 1.0 0.0 0.2 0.4 0.6
- 36. Discrimination de courbes par SVM LSP, Mai 2005 Nathalie Villa Motivations Exemples Rappels sur le principe SVM Aspects théoriques Approche directe Régularisation Consistance Expériences Données de spectrométrie Boat / Goat Bibliographie Régularisation Marges souples Voir [Hastie et al., 2004] (DC ) max PNi =1 i − PNi =1 PNj =1 ijyi yj R xi xjdμ, sous les contraintes : PNi =1 i yi = 0, 0 i C, 1 i N.
- 37. Discrimination de courbes par SVM LSP, Mai 2005 Nathalie Villa Motivations Exemples Rappels sur le principe SVM Aspects théoriques Approche directe Régularisation Consistance Expériences Données de spectrométrie Boat / Goat Bibliographie Régularisation Marges souples Voir [Hastie et al., 2004] (DC ) max PNi =1 i − PNi =1 PNj =1 ijyi yj R xi xjdμ, sous les contraintes : PNi =1 i yi = 0, 0 i C, 1 i N. Encore plus de régularisation ! Projection des données sur un sous-espace de L2(μ) (B-Spline, ondelettes, ACP, FIR, . . . ) ) Retour en dimension finie ;
- 38. Discrimination de courbes par SVM LSP, Mai 2005 Nathalie Villa Motivations Exemples Rappels sur le principe SVM Aspects théoriques Approche directe Régularisation Consistance Expériences Données de spectrométrie Boat / Goat Bibliographie Régularisation Marges souples Voir [Hastie et al., 2004] (DC ) max PNi =1 i − PNi =1 PNj =1 ijyi yj R xi xjdμ, sous les contraintes : PNi =1 i yi = 0, 0 i C, 1 i N. Encore plus de régularisation ! Projection des données sur un sous-espace de L2(μ) (B-Spline, ondelettes, ACP, FIR, . . . ) ) Retour en dimension finie ; Utilisation de noyaux définis par rapport à la norme ou au produit scalaire ;
- 39. Discrimination de courbes par SVM LSP, Mai 2005 Nathalie Villa Motivations Exemples Rappels sur le principe SVM Aspects théoriques Approche directe Régularisation Consistance Expériences Données de spectrométrie Boat / Goat Bibliographie Régularisation Marges souples Voir [Hastie et al., 2004] (DC ) max PNi =1 i − PNi =1 PNj =1 ijyi yj R xi xjdμ, sous les contraintes : PNi =1 i yi = 0, 0 i C, 1 i N. Encore plus de régularisation ! Projection des données sur un sous-espace de L2(μ) (B-Spline, ondelettes, ACP, FIR, . . . ) ) Retour en dimension finie ; Utilisation de noyaux définis par rapport à la norme ou au produit scalaire ; Utilisation de transformations fonctionnelles (dérivées. . . ) . . .
- 40. Discrimination de courbes par SVM LSP, Mai 2005 Nathalie Villa Motivations Exemples Rappels sur le principe SVM Aspects théoriques Approche directe Régularisation Consistance Expériences Données de spectrométrie Boat / Goat Bibliographie Méthodologie Choix du noyau Choisir { j}j1 une base P hilbertienne de L2(μ) : 8 n = 1, . . . ,N, xn = j1 xnj j ;
- 41. Discrimination de courbes par SVM LSP, Mai 2005 Nathalie Villa Motivations Exemples Rappels sur le principe SVM Aspects théoriques Approche directe Régularisation Consistance Expériences Données de spectrométrie Boat / Goat Bibliographie Méthodologie Choix du noyau Choisir { j}j1 une base P hilbertienne de L2(μ) : 8 n = 1, . . . ,N, xn = j1 xnj j ; Utiliser un SVM standard sur les coordonnées x(d) i = (xi1, . . . , xid ) ; Ceci revient à choisir le noyau : K(x, x0) = K(P(x),P(x0)) où P : x 2 L2(μ) ! Rd est la projection sur Vect { j}j=1,...,d ;
- 42. Discrimination de courbes par SVM LSP, Mai 2005 Nathalie Villa Motivations Exemples Rappels sur le principe SVM Aspects théoriques Approche directe Régularisation Consistance Expériences Données de spectrométrie Boat / Goat Bibliographie Une procédure consistante Choisir les paramètres Paramètres à déterminer : d, C, K, paramètres liés à K :
- 43. Discrimination de courbes par SVM LSP, Mai 2005 Nathalie Villa Motivations Exemples Rappels sur le principe SVM Aspects théoriques Approche directe Régularisation Consistance Expériences Données de spectrométrie Boat / Goat Bibliographie Une procédure consistante Choisir les paramètres Paramètres à déterminer : d, C, K, paramètres liés à K : Pour tout d 1, tout C 2]0; Cd ] et tout K 2 Kd (ensemble fini), effectuer l’apprentissage sur l observations ! construction de la fonction de décision ;
- 44. Discrimination de courbes par SVM LSP, Mai 2005 Nathalie Villa Motivations Exemples Rappels sur le principe SVM Aspects théoriques Approche directe Régularisation Consistance Expériences Données de spectrométrie Boat / Goat Bibliographie Une procédure consistante Choisir les paramètres Paramètres à déterminer : d, C, K, paramètres liés à K : Pour tout d 1, tout C 2]0; Cd ] et tout K 2 Kd (ensemble fini), effectuer l’apprentissage sur l observations ! construction de la fonction de décision ; évaluer l’erreur sur les m = N − l observations restantes : (fonction d’erreur pénalisée) 1 m XN n=l+1 11{(xn)6=yn} + d p N − l
- 45. Discrimination de courbes par SVM LSP, Mai 2005 Nathalie Villa Motivations Exemples Rappels sur le principe SVM Aspects théoriques Approche directe Régularisation Consistance Expériences Données de spectrométrie Boat / Goat Bibliographie Résultat Consistance Le classifieur construit de cette manière-là est universellement consistant : son erreur converge vers l’erreur de Bayes.
- 46. Discrimination de courbes par SVM LSP, Mai 2005 Nathalie Villa Motivations Exemples Rappels sur le principe SVM Aspects théoriques Approche directe Régularisation Consistance Expériences Données de spectrométrie Boat / Goat Bibliographie Résultat Consistance Le classifieur construit de cette manière-là est universellement consistant : son erreur converge vers l’erreur de Bayes. Limites du résultat : X doit être bornée dans L2(μ) ; La base de projection doit être orthogonale (6= B-Splines, ACP, . . . ).
- 47. Discrimination de courbes par SVM LSP, Mai 2005 Nathalie Villa Motivations Exemples Rappels sur le principe SVM Aspects théoriques Approche directe Régularisation Consistance Expériences Données de spectrométrie Boat / Goat Bibliographie Sommaire 1 Motivations Exemples Rappels sur le principe SVM 2 Aspects théoriques Approche directe Régularisation Consistance 3 Expériences Données de spectrométrie Boat / Goat
- 48. Discrimination de courbes par SVM LSP, Mai 2005 Nathalie Villa Motivations Exemples Rappels sur le principe SVM Aspects théoriques Approche directe Régularisation Consistance Expériences Données de spectrométrie Boat / Goat Bibliographie Données de spectrométrie But : Séparer les morceaux de viande avec un fort contenu de graisse ( 20 %) de ceux avec un faible contenu. 0 10 20 30 40 50 60 70 80 90 100 4.5 4 3.5 3 2.5 2 Fat 20 % 0 10 20 30 40 50 60 70 80 90 100 5.5 5 4.5 4 3.5 3 2.5 2 Fat 20 %
- 49. Discrimination de courbes par SVM LSP, Mai 2005 Nathalie Villa Motivations Exemples Rappels sur le principe SVM Aspects théoriques Approche directe Régularisation Consistance Expériences Données de spectrométrie Boat / Goat Bibliographie Méthodologie et résultats Description des données et méthodes 215 spectres discrétisés en 100 points. 50 découpages aléatoires en : 120 (apprentissage) / 95 (test) ; 10 CV pour la détermination des paramètres.
- 50. Discrimination de courbes par SVM LSP, Mai 2005 Nathalie Villa Motivations Exemples Rappels sur le principe SVM Aspects théoriques Approche directe Régularisation Consistance Expériences Données de spectrométrie Boat / Goat Bibliographie Méthodologie et résultats Description des données et méthodes 215 spectres discrétisés en 100 points. 50 découpages aléatoires en : 120 (apprentissage) / 95 (test) ; 10 CV pour la détermination des paramètres. Résultats Noyau Erreur moyenne (test) Linéaire 2.7% Linéaire sur X00 2.3% Gaussien 6.1% Gaussien sur X00 1.9% Les résultats entre gaussien sur X00 et linéaire sont significativement différents (t-test) Gaussien sur X00 est meilleur que linéaire dans 27 cas sur 50 (égal dans 10 cas).
- 51. Discrimination de courbes par SVM LSP, Mai 2005 Nathalie Villa Motivations Exemples Rappels sur le principe SVM Aspects théoriques Approche directe Régularisation Consistance Expériences Données de spectrométrie Boat / Goat Bibliographie Reconnaissance vocale But : Différencier les mots Boat et Goat 0 2000 4000 6000 8000 −1.0 −0.5 0.0 0.5 1.0 Boat time 0 2000 4000 6000 8000 −0.6 −0.4 −0.2 0.0 0.2 0.4 0.6 Goat time
- 52. Discrimination de courbes par SVM LSP, Mai 2005 Nathalie Villa Motivations Exemples Rappels sur le principe SVM Aspects théoriques Approche directe Régularisation Consistance Expériences Données de spectrométrie Boat / Goat Bibliographie Méthodologie et résultats Description des données et méthodes 100 enregistrements discrétisés en 8 192 points ( ! ! !)
- 53. Discrimination de courbes par SVM LSP, Mai 2005 Nathalie Villa Motivations Exemples Rappels sur le principe SVM Aspects théoriques Approche directe Régularisation Consistance Expériences Données de spectrométrie Boat / Goat Bibliographie Méthodologie et résultats Description des données et méthodes 100 enregistrements discrétisés en 8 192 points ( ! ! !) Mise en oeuvre de la procédure consistante : Projection sur une base trigonométrique ; Partage de la base de données en 50 spectres (apprentissage) / 49 (validation) ; Performances déterminées par Leave-One-Out.
- 54. Discrimination de courbes par SVM LSP, Mai 2005 Nathalie Villa Motivations Exemples Rappels sur le principe SVM Aspects théoriques Approche directe Régularisation Consistance Expériences Données de spectrométrie Boat / Goat Bibliographie Méthodologie et résultats Description des données et méthodes 100 enregistrements discrétisés en 8 192 points ( ! ! !) Mise en oeuvre de la procédure consistante : Projection sur une base trigonométrique ; Partage de la base de données en 50 spectres (apprentissage) / 49 (validation) ; Performances déterminées par Leave-One-Out. Résultats Méthodes Erreur LOO SVM linéaire sur données brutes 46% SVM gaussien sur projection 8% k-plus proches voisins sur projection 21%
- 55. Discrimination de courbes par SVM LSP, Mai 2005 Nathalie Villa Motivations Exemples Rappels sur le principe SVM Aspects théoriques Approche directe Régularisation Consistance Expériences Données de spectrométrie Boat / Goat Bibliographie Conclusion et perspectives Possibilité de traiter les données fonctionnelles par SVM;
- 56. Discrimination de courbes par SVM LSP, Mai 2005 Nathalie Villa Motivations Exemples Rappels sur le principe SVM Aspects théoriques Approche directe Régularisation Consistance Expériences Données de spectrométrie Boat / Goat Bibliographie Conclusion et perspectives Possibilité de traiter les données fonctionnelles par SVM; Une approche par projection permet d’obtenir une procédure consistante ;
- 57. Discrimination de courbes par SVM LSP, Mai 2005 Nathalie Villa Motivations Exemples Rappels sur le principe SVM Aspects théoriques Approche directe Régularisation Consistance Expériences Données de spectrométrie Boat / Goat Bibliographie Conclusion et perspectives Possibilité de traiter les données fonctionnelles par SVM; Une approche par projection permet d’obtenir une procédure consistante ; D’un point de vue pratique : La projection permet d’obtenir une régularisation supplémentaire qui améliore les performances ; Des opérations fonctionnelles peuvent également améliorer les performances ;
- 58. Discrimination de courbes par SVM LSP, Mai 2005 Nathalie Villa Motivations Exemples Rappels sur le principe SVM Aspects théoriques Approche directe Régularisation Consistance Expériences Données de spectrométrie Boat / Goat Bibliographie Conclusion et perspectives Possibilité de traiter les données fonctionnelles par SVM; Une approche par projection permet d’obtenir une procédure consistante ; D’un point de vue pratique : La projection permet d’obtenir une régularisation supplémentaire qui améliore les performances ; Des opérations fonctionnelles peuvent également améliorer les performances ; Quelques questions ouvertes : Relacher les conditions pour la consistance (base B-Spline, autres) ; Etudier la consistance du point de vue des problèmes de régression.
- 59. Discrimination de courbes par SVM LSP, Mai 2005 Nathalie Villa Motivations Exemples Rappels sur le principe SVM Aspects théoriques Approche directe Régularisation Consistance Expériences Données de spectrométrie Boat / Goat Bibliographie G. Biau, F. Bunea, et M. Wegkamp. Functional Classification in Hilbert Spaces. IEEE Transactions on Information Theory, 2005. A paraître. L. Ferré et N. Villa. Multi-layer Neural Network with Functional Inputs. 2005. Soumis à publication. T. Hastie, A. Buja, et R. Tibshirani. Penalized Discriminant Analysis. Annals of Statistics, 23 : 73–102, 1995. T. Hastie, S. Rosset, R. Tibschirani, et J. Zhu. The entire regularization path for the support vector machine. Journal of Machine Learning Research, 5 : 1391–1415, 2004. C.J. Lin. Formulations of support vector machines : a note from an optimization point of view. Neural Computation, 2(13) : 307–317, 2001. J.O. Ramsay et B.W. Silverman. Applied Functional Data Analysis. Springer Verlag, 2002. F. Rossi, B. Conan-Guez, et A. El Golli. Clustering functional data with the som algorithm. In ESANN’2004 proceedings, 305–312, Bruges, Belgique, 2004.
- 60. Discrimination de courbes par SVM LSP, Mai 2005 Nathalie Villa Motivations Exemples Rappels sur le principe SVM Aspects théoriques Approche directe Régularisation Consistance Expériences Données de spectrométrie Boat / Goat Bibliographie F. Rossi, N. Delannay, B. Conan-Guez, et M. Verleysen. Representation of functional data in neural networks. Neurocomputing, 64 : 183–210, 2005. F. Rossi et B. Conan-Guez. Functional Multi-Layer perceptron : a nonlinear tool for functional data anlysis. Neural Networks, 18(1) : 45–60, 2005. F. Rossi et N. Villa. Classification in Hilbert Spaces with Support Vector Machines. In ASMDA 2005 proceedings, Brest, France, 2005. A paraître. N. Villa et F. Rossi. Support Vector Machine for Functional Data Classification. In ESANN proceedings, 467–472, 2005.