Prédiction conforme sparse
Upcoming SlideShare
Loading in...5
×
 

Prédiction conforme sparse

on

  • 1,280 views

présentation Mohamed Hebiri

présentation Mohamed Hebiri

Statistics

Views

Total Views
1,280
Views on SlideShare
669
Embed Views
611

Actions

Likes
0
Downloads
4
Comments
0

9 Embeds 611

http://previsions.blogspot.com 415
http://previsions.blogspot.fr 147
http://www.previsions.blogspot.com 35
http://previsions.blogspot.ca 5
http://previsions.blogspot.de 3
http://previsions.blogspot.ch 3
http://previsions.blogspot.com.au 1
http://previsions.blogspot.be 1
http://previsions.blogspot.co.uk 1
More...

Accessibility

Categories

Upload Details

Uploaded via as Adobe PDF

Usage Rights

© All Rights Reserved

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Processing…
Post Comment
Edit your comment

Prédiction conforme sparse Prédiction conforme sparse Presentation Transcript

  • Pr´dicteurs Conformes Sparses e Universit´ Paris-Est – Marne-la-Vall´e e e Groupe de travail pr´vision e Crest, 8 Avril 2011M. Hebiri (UMLV) SCP 8 Avril 2011 1 / 21
  • Outline1 Cadre de travail2 Pr´-requis e3 Pr´dicteurs Conformes Sparses e Lasso Conformal Predictor Famille de pr´dicteurs conformes e4 Exp´riences num´riques e e M´thodes et comparaison e Performances M. Hebiri (UMLV) SCP 8 Avril 2011 2 / 21
  • Cadre TransductifR´f´rences: ee Vapnik ’98 Joachims ’99 M. Hebiri (UMLV) SCP 8 Avril 2011 3 / 21
  • Mod`le de r´gression lin´aire e e eObservations: En = {(x1 , y1 ), . . . , (xn , yn ), xnew } yi = xi β ∗ + ξi Vecteur des variables : xi = (xi,1 , . . . , xi,p ) ∈ Rp , i≥1 Nouvelle observation : xnew ∈ Rp R´sponse : yi ∈ R, e i≥1 Param`tre inconnu : β ∗ = (β1 , . . . , βp ) ∈ Rp e ∗ ∗ Bruit : ξi ∼ N (0, σ 2 ), σ 2 connu. M. Hebiri (UMLV) SCP 8 Avril 2011 4 / 21
  • ObjectifsObjectif I : Etant donn´ En et ε > 0, construire un pr´dicteur conforme e e(intervalle de confiance) Γε de niveau 1 − ε pour ynewOutil : Mesure de conformit´ entre xnew et les xi d´j` observ´s e ea e distance (g´om´trique, voisinage, etc.) e e distance de similarit´ : ` d´finir par la suite e a eObjectif II : Exploiter la sparsit´ du mod`le (beaucoup de composantes e edans β ∗ sont ´gale ` zero) si n´cessaire e a eOutil : Recourrir ` une proc´dure de s´lection de variables (LASSO, etc.) a e eRemarque : ce deuxi`me objectif est particuli`rement int´ressant lorsque e e e → le nombre de variables est tr`s grand (comparativement au nombre ed’observations) → le nombre de variables vraiment pertinentes est petit M. Hebiri (UMLV) SCP 8 Avril 2011 5 / 21
  • Pr´diction Conforme : e Vovk et al. ’05Notations : y ∈ R : valeur possible de ynew |A| : cardinal de l’ensemble AScore de Non-conformit´ α(y) = (α1 (y), . . . , αn (y), αnew (y)) e αi (y) : similarit´ entre (xnew , y) et (xi , yi ) e information relative : p-value 1 p(y) = | {i ∈ {1, . . . , n, new} : αnew (y) ≤ αi (y)} | n+1 1 p(y) ∈ [ n+1 ; 1] plus p(y) est petite, moins la paire test´e (xnew , y) est vraisemblable e (ce choix fait de y une valeur aberrante lorsqu’elle est combin´e avec e xnew )Pr´dicteur Conforme Γε : valeurs y ∈ R telle que p(y) > ε. e M. Hebiri (UMLV) SCP 8 Avril 2011 6 / 21
  • Estimateur LASSO : Tibshirani ’96LASSO n p ˆ 1 2 β = Argmin (yi − xi β) + λ |βj | β∈Rp n i=1 j=1 Param`tre de r´gularisation : λ e eMotivation : ˆ Solution sparse β (i.e., beaucoup de coefficients r´duits ` 0) e a R´sultats interpr´tables quand le mod`le est sparse e e e M. Hebiri (UMLV) SCP 8 Avril 2011 7 / 21
  • AlgorithmiqueSolution approch´e : LARS algorithme (Efron et al. ’04) e Algorithme LARS : données de diabètes 600 400 200 Coefficients βj 0 −200 −400 −600 0 0.2 0.4 0.6 0.8 1 mc ( Σ | βj | ) / ( Σ | βj |) ˆ ˆ → βλ1 , . . . , βλK : approximations de la solution LASSO aux points detransition λ = λ1 , . . . , λK M. Hebiri (UMLV) SCP 8 Avril 2011 8 / 21
  • Suite... ˆ Etape k : µk = xk βλk = xk (xk xk )−1 (xk y − ˆ λk sk ) 2 vecteur des r´ponses : y = (y1 , . . . , yn ) e matrice des donn´es : x = (x1 , . . . , xn ) e vecteur signe : sk xk est la restriction de x aux colonnes correspondant aux variables s´lectionn´es e e ˆNe prend pas en compte xnew dans la construction de β ! M. Hebiri (UMLV) SCP 8 Avril 2011 9 / 21
  • Pr´dicteurs Conformes Sparses e On consid`re les donn´es augment´es : x = (x1 , . . . , xn , xnew ) et e e e y = (y1 , . . . , yn , y) Pour tout point de transition λk , on d´finit l’estimateur LASSO µk e ˆ sur la base de xk et yOn d´finit le score de Non-conformit´ e e αk (y) := |y − µk | = |Ak + Ck + Bk y| ˆo` | · | s’interpr`te composante par composante et u e  Ak = (ak , . . . , ak , ak ) := (I − Hk ) (y1 , . . . , yn , 0)  1 n new Bk = (bk , . . . , bk , bk ) := (I − Hk ) (0, . . . , 0, 1) 1 n new Ck = (ck , . . . , ck , ck ) := λk xk (xk xk )−1 sk  1 n new 2 Les αk (y) sont lin´aires par morceaux e M. Hebiri (UMLV) SCP 8 Avril 2011 10 / 21
  • Pr´dicteurs Conformes Sparses e 1 p-value: pk (y) = n+1 | i : αi (y) ≤ αnew (y) | k k Pr´dicteur ` l’´tape k : Γε = {y ∈ R : pk (y) > ε} e a e kProposition k kLes points y tels que αi (y) = αnew (y) existent k = bki) si bi new : quand y est ´gal ` e a ak − ak + ck − ck i new i new ak + ak + ck + ck i new i new − et − . bk − bk i new bk + bk i newii) si bk = bk = 0 : lorsque y est ´gal ` i new e a ak + ak + ck + ck i new i new − 2bk iConformal Lasso Predictor Γε : le plus petit Γε opt k M. Hebiri (UMLV) SCP 8 Avril 2011 11 / 21
  • Exemple de pr´dicteurs conformes e Conformal predictors when n=300 80 60 40 20 k Γε 0 −20 y new −40 CoLP −60 −80 0 10 20 30 40 50 iteration→ Le Conformal Lasso Predictor est le plus petit intervalle→ Dans cet exemple, il contient la vraie valeur de ynew→ En g´n´ral : ∀λ fix´ P(ynew ∈ Γλ ) ≥ 1 − ε e e e M. Hebiri (UMLV) SCP 8 Avril 2011 12 / 21
  • ExtensionEstimateur de la forme : µ = u(x, s)y + v(x, s) ˆo` u(·) et v(·) sont des fonctions constantes par morceaux par rapport ` y u aOn s’int´resse ` e a CoLP: u(x, s) = xk (xk xk )−1 xk v(x, s) = −λk xk (xk xk )−1 sk CoRP: u(x, s) = x(x x + µIp )−1 x et v = 0 CENeP: u(x, s) = xk (xk xk + µk Ik )−1 xk v(x, s) = −λk xk (xk xk )−1 sk M. Hebiri (UMLV) SCP 8 Avril 2011 13 / 21
  • Cadre exp´rimental e Tous les intervalles de confiance construits sont de niveau 1 − ε = 90% Toutes les exp´riences de simulations sont r´p´t´es M = 1000 fois e e ee Mesures de performance : Pr´cision : taille de l’intervalle e M Validit´ : VALε = M −1 e I(ynew ∈ (Γε )m ) opt m=1 S´lection de variable : reconstitution du support de β ∗ eM´thodes de r´f´rence : e ee S´lection de variables : LASSO original (Tibshirani ’96) et e l’Elastic-Net original (Zou & Hastie ’05) (bas´ sur le crit`re BIC) e e Pr´cision et validit´ : CoRP (Vovk et al. ’05) e e M. Hebiri (UMLV) SCP 8 Avril 2011 14 / 21
  • Donn´es simul´es avec p = 50 e eA∗ = {j : βj = 0} : ensemble des variables pertinentes ∗ Exemple(a): A∗ = {1}; d´croissance exponentielle des corr´lations e e entre les variables successives {15, . . . , 35} Exemple(b): A∗ = {1, . . . , 5} ∪ {10, . . . , 25} ; les corr´lations sont e comme dans l’Exemple(a) Exemple(c): A∗ = {1, . . . , 15}; trois groupes de variables tr`se corr´l´es : G1 = {1, . . . , 5}, G2 = {6, . . . , 10} and G1 = {11, . . . , 15} ee Exemple(d): A∗ = {1, . . . , p}; d´croissance exponentielle des e corr´lations entre les variables successives {1, . . . , p} e M. Hebiri (UMLV) SCP 8 Avril 2011 15 / 21
  • Validit´ e Table: Contrˆle de VALε oExemple[n/σ] CoRP CoLP CoLaRP CENePEx (a)[300/1] 0.90± 0.02 0.88± 0.02 0.85± 0.02 0.88± 0.02Ex (a)[300/7] 0.89± 0.02 0.91± 0.02 0.89± 0.02 0.90± 0.02Ex (a)[300/15] 0.89± 0.02 0.89 ± 0.02 0.88± 0.02 0.89± 0.02Ex (b)[300/1] 0.90± 0.02 0.88± 0.02 0.87± 0.02 0.87± 0.02Ex (c)[300/1] 0.90± 0.02 0.90± 0.02 0.89± 0.02 0.90± 0.02Ex (d)[300/1] 0.89± 0.02 0.90± 0.02 0.90± 0.02 0.90± 0.02Ex (a)[50/3] 0.89± 0.02 0.67± 0.03 0.41± 0.03 0.79± 0.02Ex (a)[20/3] 0.86± 0.02 0.60± 0.03 0.30± 0.03 0.69± 0.03Exemple[n/σ] CoRP CoLP Stopped-CoLP 2-PN-CoLPEx (a)[50/7] 0.85± 0.02 0.62± 0.03 0.82± 0.02 0.88± 0.02Ex (b)[50/1] 0.88± 0.02 0.56± 0.03 0.82± 0.02 0.91 ± 0.02Ex (c)[20/15] 0.88± 0.02 0.61± 0.03 0.77± 0.03 0.90± 0.02Ex (d)[20/1] 0.90± 0.02 0.60± 0.03 0.79± 0.02 0.89± 0.02M. Hebiri (UMLV) SCP 8 Avril 2011 16 / 21
  • S´lection de variables : e Exemple(b)[300/5] 50 50 45 45 40 40 35 35 30 30Iteration Iteration 25 25 20 20 CoLP 15 CoRLaP 15 CENeP Lasso Elastic−Net 10 10 5 5 0 0 0 5 10 15 20 25 30 35 40 45 50 0 5 10 15 20 25 30 35 40 45 50 Variable index Variable index M. Hebiri (UMLV) SCP 8 Avril 2011 17 / 21
  • Pr´cision : e Exemple(b)[n/5] 4 90 x 10 2.5 Selected predictor 80 Selected predictor Failed predictor 70 2 60Intervals sizes Intervals sizes 1.5 50 40 1 30 20 0.5 10 0 0 0 5 10 15 20 25 30 35 40 45 50 0 50 100 150 200 250 300 350 400 Iteration Iteration M. Hebiri (UMLV) SCP 8 Avril 2011 18 / 21
  • Donn´es R´elles e eOn utilise les donn´es “House Boston” (506 observations et 13 variables) e On ajoute artificiellement 483 variables bruits → p = 500 On effectue 150 permutations des lignes de la matrice des donn´es et e du vecteur r´ponse e → on s´lectionne n = 50 couples (xi , yi ) e → on choisit une lignes au hasard comme ´tant (xnew , ynew ) eTable: contrˆle de VALε et du numbre de variables bruits s´lectionn´es (variables o e eX14 ` X500 ) (p = 500 et n = 50). a CoRP CoLP CENeP Stopped-CoLP 2-PN-CoLP VALε 0.93± 0.01 0.43± 0.04 0.85± 0.02 0.85± 0.02 0.93± 0.01 Noise 100 % 20.3 % 4.0 % 5.9 % 5.9 % M. Hebiri (UMLV) SCP 8 Avril 2011 19 / 21
  • ConclusionPr´dicteurs Conformes Sparses e → crit`re naturelle de s´lection de l’intervalle optimal e e → bonne performance dans le cas p ≤ n → correction dans le cas p > n : permet d’´galer (ou d’am´lorer) e eles performances du CoRP (avec une pr´cisioin toujours meilleure) eValidit´ th´orique (Vovk et al. ’05) e ePerspective : consistance en s´lection de variables (th´orique) lorsque e ela s´lection est bas´e sur le crit`re de pr´cision ! e e e eM. Hebiri (UMLV) SCP 8 Avril 2011 20 / 21
  • Merci de votre attentionM. Hebiri (UMLV) SCP 8 Avril 2011 21 / 21