Prediction of Quantiles by Statistical Learning and Application to GDP Forecasting
Upcoming SlideShare
Loading in...5
×
 

Prediction of Quantiles by Statistical Learning and Application to GDP Forecasting

on

  • 2,009 views

Pierre Alquier (Paris 7)

Pierre Alquier (Paris 7)

Statistics

Views

Total Views
2,009
Views on SlideShare
837
Embed Views
1,172

Actions

Likes
0
Downloads
7
Comments
0

25 Embeds 1,172

http://previsions.blogspot.fr 901
http://previsions.blogspot.com 147
http://previsions.blogspot.co.uk 28
http://www.previsions.blogspot.fr 15
http://previsions.blogspot.ch 12
http://previsions.blogspot.in 9
http://previsions.blogspot.de 9
http://previsions.blogspot.it 9
http://previsions.blogspot.ca 8
http://previsions.blogspot.be 7
http://previsions.blogspot.com.es 3
http://previsions.blogspot.ro 3
http://previsions.blogspot.ru 3
http://previsions.blogspot.com.au 2
http://previsions.blogspot.cz 2
http://www.directrss.co.il 2
http://previsions.blogspot.hu 2
http://previsions.blogspot.gr 2
http://previsions.blogspot.mx 2
http://previsions.blogspot.co.il 1
http://previsions.blogspot.co.at 1
http://previsions.blogspot.se 1
http://previsions.blogspot.ie 1
http://www.google.fr 1
http://previsions.blogspot.dk 1
More...

Accessibility

Categories

Upload Details

Uploaded via as Adobe PDF

Usage Rights

© All Rights Reserved

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Processing…
Post Comment
Edit your comment

Prediction of Quantiles by Statistical Learning and Application to GDP Forecasting Prediction of Quantiles by Statistical Learning and Application to GDP Forecasting Presentation Transcript

  • Introduction : problème de la prévisionDépendance faible et inégalités PAC-Bayésiennes Prévision de séries temporelles faiblement dépendantes Avec M. Cornec (INSEE), O. Wintenberger (Dauphine), X. Li (Cergy) Pierre Alquier Groupe de travail “Prévision”, ENGREF, 13 avril 2012 Pierre Alquier Prévision de séries temporelles faiblement dépendantes
  • Introduction : problème de la prévisionDépendance faible et inégalités PAC-Bayésiennes1 Résumé des épisodes précédents : prévision de la croissance du PIB Introduction et notations Application à la prévision de la croissance du PIB2 Dépendance faible et inégalités PAC-Bayésiennes Estimateur de Gibbs / minimisation du risque empirique Bornes PAC-Bayésiennes Exemples Pierre Alquier Prévision de séries temporelles faiblement dépendantes
  • Introduction : problème de la prévision Introduction et notations Dépendance faible et inégalités PAC-Bayésiennes Application à la prévision de la croissance du PIBContexte Soit (Xt )t∈Z un processus stationnaire à valeurs dans Rm . On observe (X1 , ..., Xn ). But : apprendre à prédire le processus. Pierre Alquier Prévision de séries temporelles faiblement dépendantes
  • Introduction : problème de la prévision Introduction et notations Dépendance faible et inégalités PAC-Bayésiennes Application à la prévision de la croissance du PIBContexte Soit (Xt )t∈Z un processus stationnaire à valeurs dans Rm . On observe (X1 , ..., Xn ). But : apprendre à prédire le processus. On se donne une famille de prédicteurs (experts) : F ⊂ f : (Rm )k → Rm mesurables . Définition ˆ Pour tout f ∈ F, Xtf := f (Xt−1 , . . . , Xt−k ). Pierre Alquier Prévision de séries temporelles faiblement dépendantes
  • Introduction : problème de la prévision Introduction et notations Dépendance faible et inégalités PAC-Bayésiennes Application à la prévision de la croissance du PIBFamilles classiques de prédicteurs Définition ˆ Pour tout f ∈ F, Xtf = f (Xt−1 , . . . , Xt−k ). Pierre Alquier Prévision de séries temporelles faiblement dépendantes
  • Introduction : problème de la prévision Introduction et notations Dépendance faible et inégalités PAC-Bayésiennes Application à la prévision de la croissance du PIBFamilles classiques de prédicteurs Définition ˆ Pour tout f ∈ F, Xtf = f (Xt−1 , . . . , Xt−k ). Prédicteurs AR(k) : k ˆ Xtf = θ0 + θi Xt−i . i=1 Modèle additif non paramétrique, pour une base (ϕj )∞ , j=1 k ∞ ˆ Xtf = θi,j ϕj (Xt−i ). i=1 j=1 Pierre Alquier Prévision de séries temporelles faiblement dépendantes
  • Introduction : problème de la prévision Introduction et notations Dépendance faible et inégalités PAC-Bayésiennes Application à la prévision de la croissance du PIBFonction de perte & risque ˆ Soit une fonction de perte : (Xtf , Xt ) ≥ 0 mesure l’erreur commise par le prédicteur f à la date t. Définition - le risque R Pour tout f ∈ F, R(f ) := E ˆ Xtf , Xt . Pierre Alquier Prévision de séries temporelles faiblement dépendantes
  • Introduction : problème de la prévision Introduction et notations Dépendance faible et inégalités PAC-Bayésiennes Application à la prévision de la croissance du PIBFonction de perte & risque ˆ Soit une fonction de perte : (Xtf , Xt ) ≥ 0 mesure l’erreur commise par le prédicteur f à la date t. Définition - le risque R Pour tout f ∈ F, R(f ) := E ˆ Xtf , Xt . On peut l’estimer par Définition - le risque empirique rn 1 n ˆ Pour tout f ∈ F, rn (f ) := n−k t=k+1 Xtf , Xt . Pierre Alquier Prévision de séries temporelles faiblement dépendantes
  • Introduction : problème de la prévision Introduction et notations Dépendance faible et inégalités PAC-Bayésiennes Application à la prévision de la croissance du PIBLe problème de la prévision de la croissance But : lors du 3ème mois du trimestre t, annoncer quelle sera la croissance ∆GDPt lors de ce trimestre. Information disponible : Pierre Alquier Prévision de séries temporelles faiblement dépendantes
  • Introduction : problème de la prévision Introduction et notations Dépendance faible et inégalités PAC-Bayésiennes Application à la prévision de la croissance du PIBLe problème de la prévision de la croissance But : lors du 3ème mois du trimestre t, annoncer quelle sera la croissance ∆GDPt lors de ce trimestre. Information disponible : 1 le passé : ∆GDPt−1 , ..., ∆GDP1 , date 1 : 1988-T1. Pierre Alquier Prévision de séries temporelles faiblement dépendantes
  • Introduction : problème de la prévision Introduction et notations Dépendance faible et inégalités PAC-Bayésiennes Application à la prévision de la croissance du PIBLe problème de la prévision de la croissance But : lors du 3ème mois du trimestre t, annoncer quelle sera la croissance ∆GDPt lors de ce trimestre. Information disponible : 1 le passé : ∆GDPt−1 , ..., ∆GDP1 , date 1 : 1988-T1. 2 les enquêtes de conjoncture, mensuelles, de l’INSEE. Pierre Alquier Prévision de séries temporelles faiblement dépendantes
  • Introduction : problème de la prévision Introduction et notations Dépendance faible et inégalités PAC-Bayésiennes Application à la prévision de la croissance du PIBLe problème de la prévision de la croissance But : lors du 3ème mois du trimestre t, annoncer quelle sera la croissance ∆GDPt lors de ce trimestre. Information disponible : 1 le passé : ∆GDPt−1 , ..., ∆GDP1 , date 1 : 1988-T1. 2 les enquêtes de conjoncture, mensuelles, de l’INSEE. 3 toute autre information quantitative ou qualitative. Pierre Alquier Prévision de séries temporelles faiblement dépendantes
  • Introduction : problème de la prévision Introduction et notations Dépendance faible et inégalités PAC-Bayésiennes Application à la prévision de la croissance du PIBLes enquêtes de conjoncture Il s’agit de questionnaires mensuels envoyés aux plus grandes entreprises françaises, et à un échantillon d’entreprises plus petites. Ces données : Pierre Alquier Prévision de séries temporelles faiblement dépendantes
  • Introduction : problème de la prévision Introduction et notations Dépendance faible et inégalités PAC-Bayésiennes Application à la prévision de la croissance du PIBLes enquêtes de conjoncture Il s’agit de questionnaires mensuels envoyés aux plus grandes entreprises françaises, et à un échantillon d’entreprises plus petites. Ces données : 1 proviennent directement des agents qui font vivre l’économie. Pierre Alquier Prévision de séries temporelles faiblement dépendantes
  • Introduction : problème de la prévision Introduction et notations Dépendance faible et inégalités PAC-Bayésiennes Application à la prévision de la croissance du PIBLes enquêtes de conjoncture Il s’agit de questionnaires mensuels envoyés aux plus grandes entreprises françaises, et à un échantillon d’entreprises plus petites. Ces données : 1 proviennent directement des agents qui font vivre l’économie. 2 sont disponibles quasiment en temps réel (lors du troisième mois du trimestre, on connaît les résultats pour les deux premiers mois). Pierre Alquier Prévision de séries temporelles faiblement dépendantes
  • Introduction : problème de la prévision Introduction et notations Dépendance faible et inégalités PAC-Bayésiennes Application à la prévision de la croissance du PIBLes enquêtes de conjoncture Il s’agit de questionnaires mensuels envoyés aux plus grandes entreprises françaises, et à un échantillon d’entreprises plus petites. Ces données : 1 proviennent directement des agents qui font vivre l’économie. 2 sont disponibles quasiment en temps réel (lors du troisième mois du trimestre, on connaît les résultats pour les deux premiers mois). → les résultats sont synthétisés par l’INSEE dans l’indicateur de climat, disons It−1 . Pierre Alquier Prévision de séries temporelles faiblement dépendantes
  • Introduction : problème de la prévision Introduction et notations Dépendance faible et inégalités PAC-Bayésiennes Application à la prévision de la croissance du PIBRésultats connus La famille de prédicteurs f ∆GDPt = α + β∆GDPt−1 + γIt−1 + δ(It−1 − It−2 )|It−1 − It−2 | a été utilisée par Cornec (CIRET conference, 2010). On obtient : Pierre Alquier Prévision de séries temporelles faiblement dépendantes
  • Introduction : problème de la prévision Introduction et notations Dépendance faible et inégalités PAC-Bayésiennes Application à la prévision de la croissance du PIBRésultats connus La famille de prédicteurs f ∆GDPt = α + β∆GDPt−1 + γIt−1 + δ(It−1 − It−2 )|It−1 − It−2 | a été utilisée par Cornec (CIRET conference, 2010). On obtient : 1 des prévisions globalement aussi précises que celles de l’INSEE. Pierre Alquier Prévision de séries temporelles faiblement dépendantes
  • Introduction : problème de la prévision Introduction et notations Dépendance faible et inégalités PAC-Bayésiennes Application à la prévision de la croissance du PIBRésultats connus La famille de prédicteurs f ∆GDPt = α + β∆GDPt−1 + γIt−1 + δ(It−1 − It−2 )|It−1 − It−2 | a été utilisée par Cornec (CIRET conference, 2010). On obtient : 1 des prévisions globalement aussi précises que celles de l’INSEE. 2 des prévisions d’autant moins précises que la conjoncture est mauvaise. → nécessité de donner un intervalle de confiance ou une indication de précision. Pierre Alquier Prévision de séries temporelles faiblement dépendantes
  • Introduction : problème de la prévision Introduction et notations Dépendance faible et inégalités PAC-Bayésiennes Application à la prévision de la croissance du PIBRésultats : prévision Prévisions en utilisant la fa- mille de prédicteurs de Cor- nec et la fonction de perte (x, x ) = |x − x |. Prédicteur : ˆ f ∈ arg min rn (f ). f ∈F Les performances moyennes sont voisines de celles obte- nues par l’INSEE. Pierre Alquier Prévision de séries temporelles faiblement dépendantes
  • Introduction : problème de la prévision Introduction et notations Dépendance faible et inégalités PAC-Bayésiennes Application à la prévision de la croissance du PIBRésultats : intervalles de confiance Intervalles de confiance en utilisant la fonction de perte quantile de Koenker : (x, x ) = (x−x )(τ −1(x−x < 0)). Pierre Alquier Prévision de séries temporelles faiblement dépendantes
  • Estimateur de Gibbs / minimisation du risque empirique Introduction : problème de la prévision Bornes PAC-BayésiennesDépendance faible et inégalités PAC-Bayésiennes Exemples1 Résumé des épisodes précédents : prévision de la croissance du PIB Introduction et notations Application à la prévision de la croissance du PIB2 Dépendance faible et inégalités PAC-Bayésiennes Estimateur de Gibbs / minimisation du risque empirique Bornes PAC-Bayésiennes Exemples Pierre Alquier Prévision de séries temporelles faiblement dépendantes
  • Estimateur de Gibbs / minimisation du risque empirique Introduction : problème de la prévision Bornes PAC-Bayésiennes Dépendance faible et inégalités PAC-Bayésiennes ExemplesEt en théorie ? On a utilisé ˆ f = arg min rn (f ) f ∈F mais il n’y a pas, a priori, de théorie pour justifier une telle méthode ! Pierre Alquier Prévision de séries temporelles faiblement dépendantes
  • Estimateur de Gibbs / minimisation du risque empirique Introduction : problème de la prévision Bornes PAC-Bayésiennes Dépendance faible et inégalités PAC-Bayésiennes ExemplesEt en théorie ? On a utilisé ˆ f = arg min rn (f ) f ∈F mais il n’y a pas, a priori, de théorie pour justifier une telle méthode ! Justifié par la théorie des processus ARMA si on suppose que la croissance du PIB est un processus ARMA ( ). Il reste deux possibilités : Pierre Alquier Prévision de séries temporelles faiblement dépendantes
  • Estimateur de Gibbs / minimisation du risque empirique Introduction : problème de la prévision Bornes PAC-Bayésiennes Dépendance faible et inégalités PAC-Bayésiennes ExemplesEt en théorie ? On a utilisé ˆ f = arg min rn (f ) f ∈F mais il n’y a pas, a priori, de théorie pour justifier une telle méthode ! Justifié par la théorie des processus ARMA si on suppose que la croissance du PIB est un processus ARMA ( ). Il reste deux possibilités : 1  “Je n’ai pas besoin de théorie, ça marche en pratique ! La théorie produit des choses optimales en théorie mais qui ne marchent pas en pratique.” Pierre Alquier Prévision de séries temporelles faiblement dépendantes
  • Estimateur de Gibbs / minimisation du risque empirique Introduction : problème de la prévision Bornes PAC-Bayésiennes Dépendance faible et inégalités PAC-Bayésiennes ExemplesEt en théorie ? On a utilisé ˆ f = arg min rn (f ) f ∈F mais il n’y a pas, a priori, de théorie pour justifier une telle méthode ! Justifié par la théorie des processus ARMA si on suppose que la croissance du PIB est un processus ARMA ( ). Il reste deux possibilités : 1  “Je n’ai pas besoin de théorie, ça marche en pratique ! La théorie produit des choses optimales en théorie mais qui ne marchent pas en pratique.” 2 Y si ça marche en pratique, la théorie doit pouvoir dire quelque chose dessus ! Pierre Alquier Prévision de séries temporelles faiblement dépendantes
  • Estimateur de Gibbs / minimisation du risque empirique Introduction : problème de la prévision Bornes PAC-Bayésiennes Dépendance faible et inégalités PAC-Bayésiennes ExemplesFonction de perte & risque (suite) ˆ Rappel : (Xtf , Xt ) ≥ 0 mesure l’erreur commise par le prédicteur f à la date t. Rappel - le risque de prévision R Pour tout f ∈ F, R(f ) := E ˆ Xtf , Xt . Pierre Alquier Prévision de séries temporelles faiblement dépendantes
  • Estimateur de Gibbs / minimisation du risque empirique Introduction : problème de la prévision Bornes PAC-Bayésiennes Dépendance faible et inégalités PAC-Bayésiennes ExemplesFonction de perte & risque (suite) ˆ Rappel : (Xtf , Xt ) ≥ 0 mesure l’erreur commise par le prédicteur f à la date t. Rappel - le risque de prévision R Pour tout f ∈ F, R(f ) := E ˆ Xtf , Xt . ˆ Pour tout estimateur f , ˆ ˆ R(f ) = inf R +[R(f ) − inf R ]. F F “biais” “variance” Pierre Alquier Prévision de séries temporelles faiblement dépendantes
  • Estimateur de Gibbs / minimisation du risque empirique Introduction : problème de la prévision Bornes PAC-Bayésiennes Dépendance faible et inégalités PAC-Bayésiennes ExemplesEstimateur de Gibbs - minimisation de rn Définition - min. du risque empirique On pose ˆ f = arg min rn (f ). f ∈F Pierre Alquier Prévision de séries temporelles faiblement dépendantes
  • Estimateur de Gibbs / minimisation du risque empirique Introduction : problème de la prévision Bornes PAC-Bayésiennes Dépendance faible et inégalités PAC-Bayésiennes ExemplesEstimateur de Gibbs - minimisation de rn Définition - min. du risque empirique On pose ˆ f = arg min rn (f ). f ∈F Soit π une loi a priori sur l’ensemble F. ˆ Définition - l’estimateur de Gibbs fλ On pose ˆ fe −λrn (f ) π(df ) fλ = =: f π−λrn (df ). e −λrn (f ) π(df ) Pierre Alquier Prévision de séries temporelles faiblement dépendantes
  • Estimateur de Gibbs / minimisation du risque empirique Introduction : problème de la prévision Bornes PAC-Bayésiennes Dépendance faible et inégalités PAC-Bayésiennes ExemplesHypothèses 1 Le processus (Xt ) est borné p.s., P( Xt ≤ B) = 1. Pierre Alquier Prévision de séries temporelles faiblement dépendantes
  • Estimateur de Gibbs / minimisation du risque empirique Introduction : problème de la prévision Bornes PAC-Bayésiennes Dépendance faible et inégalités PAC-Bayésiennes ExemplesHypothèses 1 Le processus (Xt ) est borné p.s., P( Xt ≤ B) = 1. 2 (x, x ) = g (x − x ) avec g convexe et L-Lipshitz. Pierre Alquier Prévision de séries temporelles faiblement dépendantes
  • Estimateur de Gibbs / minimisation du risque empirique Introduction : problème de la prévision Bornes PAC-Bayésiennes Dépendance faible et inégalités PAC-Bayésiennes ExemplesHypothèses 1 Le processus (Xt ) est borné p.s., P( Xt ≤ B) = 1. 2 (x, x ) = g (x − x ) avec g convexe et L-Lipshitz. 3 Pour tout f ∈ F, k f (x1 , . . . , xk ) − f (x1 , . . . , xk ) ≤ aj (f ) xj − xj , j=1 k aj (f ) ≤ K . j=1 Pierre Alquier Prévision de séries temporelles faiblement dépendantes
  • Estimateur de Gibbs / minimisation du risque empirique Introduction : problème de la prévision Bornes PAC-Bayésiennes Dépendance faible et inégalités PAC-Bayésiennes ExemplesHypothèses 1 Le processus (Xt ) est borné p.s., P( Xt ≤ B) = 1. 2 (x, x ) = g (x − x ) avec g convexe et L-Lipshitz. 3 Pour tout f ∈ F, k f (x1 , . . . , xk ) − f (x1 , . . . , xk ) ≤ aj (f ) xj − xj , j=1 k aj (f ) ≤ K . j=1 4 k ≤ n/2. Pierre Alquier Prévision de séries temporelles faiblement dépendantes
  • Estimateur de Gibbs / minimisation du risque empirique Introduction : problème de la prévision Bornes PAC-Bayésiennes Dépendance faible et inégalités PAC-Bayésiennes ExemplesInégalité PAC-Bayésienne pour la prédiction Théorème Sous les hypothèses précédentes, pour tout ε ∈]0, 1[, pour tout λ > 0, 2 ˆ λκ2 K(ρ, π) + log P R(fλ ) ≤ inf Rdρ + n + ε ρ n λ ≥ 1 − ε. √ κn = 2K (1 + L)(B + θ∞,n (1)). Pierre Alquier Prévision de séries temporelles faiblement dépendantes
  • Estimateur de Gibbs / minimisation du risque empirique Introduction : problème de la prévision Bornes PAC-Bayésiennes Dépendance faible et inégalités PAC-Bayésiennes ExemplesCoefficient de θ-dépendance faible Introduits par Doukhan et Louhichi (SPA, 1999). Soit Fi = σ(Xt , t ≤ i). Pour i < j1 < · · · < j on pose θp (Fi , (Xj1 , . . . , Xjp )) := sup E [g (Xj1 , . . . , Xj )|Fi ] − E [g (Xj1 , . . . , Xj )] p . g 1-Lipshitz Enfin, θp,r (k) := max sup θp (Fi , (Xj1 , . . . , Xjp ))). ≤r i+k≤j1 <j2 <···<j Pierre Alquier Prévision de séries temporelles faiblement dépendantes
  • Estimateur de Gibbs / minimisation du risque empirique Introduction : problème de la prévision Bornes PAC-Bayésiennes Dépendance faible et inégalités PAC-Bayésiennes ExemplesExemples de calculs de coefficients θ Tout processus Xt = F (ξt , ξt−1 , ξt−2 , . . . ) avec les ξi iid et bornés par b, et ∞ F (x1 , x2 , . . . ) − F (x1 , x2 , . . . ) ≤ aj xj − xj j=1 vérifie : ∞ θ∞,n (1) ≤ 2b jaj . j=1 Inclut par exemple : Xt = G (ξt , Xt−1 ) = G (ξt , G (ξt−1 , Xt−2 )) = · · · = H(ξt , ξt−1 , . . . ). Pierre Alquier Prévision de séries temporelles faiblement dépendantes
  • Estimateur de Gibbs / minimisation du risque empirique Introduction : problème de la prévision Bornes PAC-Bayésiennes Dépendance faible et inégalités PAC-Bayésiennes ExemplesRappel Théorème Sous les hypothèses précédentes, pour tout ε ∈]0, 1[, pour tout λ > 0, 2 ˆ 2λκ2 n K(ρ, π) + log ε P R(fλ ) ≤ inf Rdρ + +2 ρ n λ ≥ 1 − ε. √ κn = 2K (1 + L)(B + θ∞,n (1)). Pierre Alquier Prévision de séries temporelles faiblement dépendantes
  • Estimateur de Gibbs / minimisation du risque empirique Introduction : problème de la prévision Bornes PAC-Bayésiennes Dépendance faible et inégalités PAC-Bayésiennes ExemplesCas où card(F) = M < ∞ (1/2) Si π uniforme, 2 ˆ 2λκ2 n K(ρ, π) + log ε R(fλ ) ≤ inf Rdρ + +2 ρ n λ 2 2λκ2 n log(M) + log ε ≤ inf R(f ) + +2 f ∈F n λ Pierre Alquier Prévision de séries temporelles faiblement dépendantes
  • Estimateur de Gibbs / minimisation du risque empirique Introduction : problème de la prévision Bornes PAC-Bayésiennes Dépendance faible et inégalités PAC-Bayésiennes ExemplesCas où card(F) = M < ∞ (1/2) Si π uniforme, 2 ˆ 2λκ2 n K(ρ, π) + log ε R(fλ ) ≤ inf Rdρ + +2 ρ n λ 2 2λκ2 n log(M) + log ε ≤ inf R(f ) + +2 f ∈F n λ et λ = n log(M)/κn ( ) conduit à Théorème ˆ 2 log(M) 2κn log 2 ε R(fλ ) ≤ inf R + 2κn + . F n n log(M) Pierre Alquier Prévision de séries temporelles faiblement dépendantes
  • Estimateur de Gibbs / minimisation du risque empirique Introduction : problème de la prévision Bornes PAC-Bayésiennes Dépendance faible et inégalités PAC-Bayésiennes ExemplesCas où card(F) = M < ∞ (2/2) ˆ Et pour le minimiseur du risque empirique f ? Un calcul similaire conduit à Pierre Alquier Prévision de séries temporelles faiblement dépendantes
  • Estimateur de Gibbs / minimisation du risque empirique Introduction : problème de la prévision Bornes PAC-Bayésiennes Dépendance faible et inégalités PAC-Bayésiennes ExemplesCas où card(F) = M < ∞ (2/2) ˆ Et pour le minimiseur du risque empirique f ? Un calcul similaire conduit à Théorème Pour un c > 0 connu, ˆ log(M) c.κn log 2ε R(f ) ≤ inf R + c.κn + . F n n log(M) Gros avantage : ne nécessite pas la connaissance de κn . Pierre Alquier Prévision de séries temporelles faiblement dépendantes
  • Estimateur de Gibbs / minimisation du risque empirique Introduction : problème de la prévision Bornes PAC-Bayésiennes Dépendance faible et inégalités PAC-Bayésiennes ExemplesCas des prédicteurs AR (1/2) On se restreint à Xt ∈ R et, pour f ∈ F, k f (Xt−1 , ..., Xt−k ) = θj Xt−j j=1 avec θ 1 ≤ L. Cette fois, on prend π uniforme. Pierre Alquier Prévision de séries temporelles faiblement dépendantes
  • Estimateur de Gibbs / minimisation du risque empirique Introduction : problème de la prévision Bornes PAC-Bayésiennes Dépendance faible et inégalités PAC-Bayésiennes ExemplesCas des prédicteurs AR (1/2) On se restreint à Xt ∈ R et, pour f ∈ F, k f (Xt−1 , ..., Xt−k ) = θj Xt−j j=1 avec θ 1 ≤ L. Cette fois, on prend π uniforme. Un calcul similaire quoique plus moche et le choix √ λ = kn/κn ( ) conduisent à : Théorème 2 ˆ k e 2 LB n 2κn log ε R(fλ ) ≤ inf R + 2κn log + √ . F n κn k nk Pierre Alquier Prévision de séries temporelles faiblement dépendantes
  • Estimateur de Gibbs / minimisation du risque empirique Introduction : problème de la prévision Bornes PAC-Bayésiennes Dépendance faible et inégalités PAC-Bayésiennes ExemplesCas des prédicteurs AR (2/2) ˆ Et pour le minimiseur du risque empirique f ? Un calcul similaire conduit à Pierre Alquier Prévision de séries temporelles faiblement dépendantes
  • Estimateur de Gibbs / minimisation du risque empirique Introduction : problème de la prévision Bornes PAC-Bayésiennes Dépendance faible et inégalités PAC-Bayésiennes ExemplesCas des prédicteurs AR (2/2) ˆ Et pour le minimiseur du risque empirique f ? Un calcul similaire conduit à Théorème Pour un c > 0 connu, 2 ˆ k c.κn log ε R(f ) ≤ inf R + c.κn log(n) + √ . F n nk Gros avantage : ne nécessite pas la connaissance de κn . Pierre Alquier Prévision de séries temporelles faiblement dépendantes
  • Estimateur de Gibbs / minimisation du risque empirique Introduction : problème de la prévision Bornes PAC-Bayésiennes Dépendance faible et inégalités PAC-Bayésiennes ExemplesCas général On peut introduire une mesure de la complexité de l’ensemble de prédicteurs F, en fait : 1 log 1 π{θ:R(θ)−inf F R≤ λ } C(F, π) := sup . λ>c log(λ) Le résultat est alors : Théorème Pour une constante c > 0 connue et λ C(F, π)n/κn , ˆ  R(fλ )  log( 1 ) C(F, π) inf R + c. log(n) + c. √ ε . ˆ F n n R(f )  Pierre Alquier Prévision de séries temporelles faiblement dépendantes
  • Estimateur de Gibbs / minimisation du risque empirique Introduction : problème de la prévision Bornes PAC-Bayésiennes Dépendance faible et inégalités PAC-Bayésiennes ExemplesSélection de modèles (1/3) Soient M familles de prédicteurs F1 , ..., FM . Par exemple, F1 : f (Xt−1 , ..., Xt−k ) = θ1 Xt−1 F2 : f (Xt−1 , ..., Xt−k ) = θ1 Xt−1 + θ1 Xt−2 . . . . . . k Fk : f (Xt−1 , ..., Xt−k ) = θj Xt−j j=1 Pierre Alquier Prévision de séries temporelles faiblement dépendantes
  • Estimateur de Gibbs / minimisation du risque empirique Introduction : problème de la prévision Bornes PAC-Bayésiennes Dépendance faible et inégalités PAC-Bayésiennes ExemplesSélection de modèles (1/3) Soient M familles de prédicteurs F1 , ..., FM . Par exemple, F1 : f (Xt−1 , ..., Xt−k ) = θ1 Xt−1 C(F1 , π1 ) 1 F2 : f (Xt−1 , ..., Xt−k ) = θ1 Xt−1 + θ1 Xt−2 C(F2 , π2 ) 2 . . . . . . . . . k Fk : f (Xt−1 , ..., Xt−k ) = θj Xt−j C(Fk , πk ) k j=1 On fixe des lois a priori dans chaque famille de prédicteurs : π1 , . . . , π M . Pierre Alquier Prévision de séries temporelles faiblement dépendantes
  • Estimateur de Gibbs / minimisation du risque empirique Introduction : problème de la prévision Bornes PAC-Bayésiennes Dépendance faible et inégalités PAC-Bayésiennes ExemplesSélection de modèles (2/3) On choisit M p1 , . . . , pM ≥ 0 avec pi = 1. i=1 On pose M π= pi πi . i=1 Rappel e −λrn (f ) π(df ) π−λrn (df ) = e −λrn (g ) π(dg ) Pierre Alquier Prévision de séries temporelles faiblement dépendantes
  • Estimateur de Gibbs / minimisation du risque empirique Introduction : problème de la prévision Bornes PAC-Bayésiennes Dépendance faible et inégalités PAC-Bayésiennes ExemplesSélection de modèles (3/3) Définition ˆ λκ2 K(π−λrn , π) + log(|Λ|/ε) n λ = arg min rn dπ−λrn + + λ∈Λ n λ sur une grille finie Λ bien choisie. Pierre Alquier Prévision de séries temporelles faiblement dépendantes
  • Estimateur de Gibbs / minimisation du risque empirique Introduction : problème de la prévision Bornes PAC-Bayésiennes Dépendance faible et inégalités PAC-Bayésiennes ExemplesSélection de modèles (3/3) Définition ˆ λκ2 K(π−λrn , π) + log(|Λ|/ε) n λ = arg min rn dπ−λrn + + λ∈Λ n λ sur une grille finie Λ bien choisie. Théorème ˆˆ R(fλ )  2 log(n)  C(Fj , πj ) log εpj ≤ inf inf R + c. log(n) + c. . 1≤j≤M Fj n C(Fj , πj )n Pierre Alquier Prévision de séries temporelles faiblement dépendantes
  • Estimateur de Gibbs / minimisation du risque empirique Introduction : problème de la prévision Bornes PAC-Bayésiennes Dépendance faible et inégalités PAC-Bayésiennes ExemplesThe end Merci ! Pierre Alquier Prévision de séries temporelles faiblement dépendantes