Introduction : problème de la prévisionDépendance faible et inégalités PAC-Bayésiennes   Prévision de séries temporelles f...
Introduction : problème de la prévisionDépendance faible et inégalités PAC-Bayésiennes1   Résumé des épisodes précédents :...
Introduction : problème de la prévision   Introduction et notations  Dépendance faible et inégalités PAC-Bayésiennes   App...
Introduction : problème de la prévision   Introduction et notations  Dépendance faible et inégalités PAC-Bayésiennes   App...
Introduction : problème de la prévision   Introduction et notations  Dépendance faible et inégalités PAC-Bayésiennes   App...
Introduction : problème de la prévision    Introduction et notations  Dépendance faible et inégalités PAC-Bayésiennes    A...
Introduction : problème de la prévision   Introduction et notations  Dépendance faible et inégalités PAC-Bayésiennes   App...
Introduction : problème de la prévision   Introduction et notations  Dépendance faible et inégalités PAC-Bayésiennes   App...
Introduction : problème de la prévision   Introduction et notations  Dépendance faible et inégalités PAC-Bayésiennes   App...
Introduction : problème de la prévision   Introduction et notations  Dépendance faible et inégalités PAC-Bayésiennes   App...
Introduction : problème de la prévision   Introduction et notations  Dépendance faible et inégalités PAC-Bayésiennes   App...
Introduction : problème de la prévision   Introduction et notations  Dépendance faible et inégalités PAC-Bayésiennes   App...
Introduction : problème de la prévision   Introduction et notations  Dépendance faible et inégalités PAC-Bayésiennes   App...
Introduction : problème de la prévision   Introduction et notations  Dépendance faible et inégalités PAC-Bayésiennes   App...
Introduction : problème de la prévision   Introduction et notations  Dépendance faible et inégalités PAC-Bayésiennes   App...
Introduction : problème de la prévision   Introduction et notations  Dépendance faible et inégalités PAC-Bayésiennes   App...
Introduction : problème de la prévision   Introduction et notations  Dépendance faible et inégalités PAC-Bayésiennes   App...
Introduction : problème de la prévision   Introduction et notations  Dépendance faible et inégalités PAC-Bayésiennes   App...
Introduction : problème de la prévision   Introduction et notations  Dépendance faible et inégalités PAC-Bayésiennes   App...
Introduction : problème de la prévision    Introduction et notations  Dépendance faible et inégalités PAC-Bayésiennes    A...
Introduction : problème de la prévision    Introduction et notations  Dépendance faible et inégalités PAC-Bayésiennes    A...
Estimateur de Gibbs / minimisation du risque empirique        Introduction : problème de la prévision                     ...
Estimateur de Gibbs / minimisation du risque empirique          Introduction : problème de la prévision                   ...
Estimateur de Gibbs / minimisation du risque empirique          Introduction : problème de la prévision                   ...
Estimateur de Gibbs / minimisation du risque empirique          Introduction : problème de la prévision                   ...
Estimateur de Gibbs / minimisation du risque empirique          Introduction : problème de la prévision                   ...
Estimateur de Gibbs / minimisation du risque empirique          Introduction : problème de la prévision                   ...
Estimateur de Gibbs / minimisation du risque empirique          Introduction : problème de la prévision                   ...
Estimateur de Gibbs / minimisation du risque empirique          Introduction : problème de la prévision                   ...
Estimateur de Gibbs / minimisation du risque empirique          Introduction : problème de la prévision                   ...
Estimateur de Gibbs / minimisation du risque empirique          Introduction : problème de la prévision                   ...
Estimateur de Gibbs / minimisation du risque empirique          Introduction : problème de la prévision                   ...
Estimateur de Gibbs / minimisation du risque empirique          Introduction : problème de la prévision                   ...
Estimateur de Gibbs / minimisation du risque empirique          Introduction : problème de la prévision                   ...
Estimateur de Gibbs / minimisation du risque empirique          Introduction : problème de la prévision                   ...
Estimateur de Gibbs / minimisation du risque empirique          Introduction : problème de la prévision                   ...
Estimateur de Gibbs / minimisation du risque empirique           Introduction : problème de la prévision                  ...
Estimateur de Gibbs / minimisation du risque empirique          Introduction : problème de la prévision                   ...
Estimateur de Gibbs / minimisation du risque empirique          Introduction : problème de la prévision                   ...
Estimateur de Gibbs / minimisation du risque empirique          Introduction : problème de la prévision                   ...
Estimateur de Gibbs / minimisation du risque empirique          Introduction : problème de la prévision                   ...
Estimateur de Gibbs / minimisation du risque empirique          Introduction : problème de la prévision                   ...
Estimateur de Gibbs / minimisation du risque empirique          Introduction : problème de la prévision                   ...
Estimateur de Gibbs / minimisation du risque empirique          Introduction : problème de la prévision                   ...
Estimateur de Gibbs / minimisation du risque empirique          Introduction : problème de la prévision                   ...
Estimateur de Gibbs / minimisation du risque empirique          Introduction : problème de la prévision                   ...
Estimateur de Gibbs / minimisation du risque empirique          Introduction : problème de la prévision                   ...
Estimateur de Gibbs / minimisation du risque empirique          Introduction : problème de la prévision                   ...
Estimateur de Gibbs / minimisation du risque empirique          Introduction : problème de la prévision                   ...
Estimateur de Gibbs / minimisation du risque empirique          Introduction : problème de la prévision                   ...
Estimateur de Gibbs / minimisation du risque empirique          Introduction : problème de la prévision                   ...
Estimateur de Gibbs / minimisation du risque empirique          Introduction : problème de la prévision                   ...
Estimateur de Gibbs / minimisation du risque empirique          Introduction : problème de la prévision                   ...
Upcoming SlideShare
Loading in …5
×

Prediction of Quantiles by Statistical Learning and Application to GDP Forecasting

2,308
-1

Published on

Pierre Alquier (Paris 7)

0 Comments
1 Like
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total Views
2,308
On Slideshare
0
From Embeds
0
Number of Embeds
23
Actions
Shares
0
Downloads
17
Comments
0
Likes
1
Embeds 0
No embeds

No notes for slide

Prediction of Quantiles by Statistical Learning and Application to GDP Forecasting

  1. 1. Introduction : problème de la prévisionDépendance faible et inégalités PAC-Bayésiennes Prévision de séries temporelles faiblement dépendantes Avec M. Cornec (INSEE), O. Wintenberger (Dauphine), X. Li (Cergy) Pierre Alquier Groupe de travail “Prévision”, ENGREF, 13 avril 2012 Pierre Alquier Prévision de séries temporelles faiblement dépendantes
  2. 2. Introduction : problème de la prévisionDépendance faible et inégalités PAC-Bayésiennes1 Résumé des épisodes précédents : prévision de la croissance du PIB Introduction et notations Application à la prévision de la croissance du PIB2 Dépendance faible et inégalités PAC-Bayésiennes Estimateur de Gibbs / minimisation du risque empirique Bornes PAC-Bayésiennes Exemples Pierre Alquier Prévision de séries temporelles faiblement dépendantes
  3. 3. Introduction : problème de la prévision Introduction et notations Dépendance faible et inégalités PAC-Bayésiennes Application à la prévision de la croissance du PIBContexte Soit (Xt )t∈Z un processus stationnaire à valeurs dans Rm . On observe (X1 , ..., Xn ). But : apprendre à prédire le processus. Pierre Alquier Prévision de séries temporelles faiblement dépendantes
  4. 4. Introduction : problème de la prévision Introduction et notations Dépendance faible et inégalités PAC-Bayésiennes Application à la prévision de la croissance du PIBContexte Soit (Xt )t∈Z un processus stationnaire à valeurs dans Rm . On observe (X1 , ..., Xn ). But : apprendre à prédire le processus. On se donne une famille de prédicteurs (experts) : F ⊂ f : (Rm )k → Rm mesurables . Définition ˆ Pour tout f ∈ F, Xtf := f (Xt−1 , . . . , Xt−k ). Pierre Alquier Prévision de séries temporelles faiblement dépendantes
  5. 5. Introduction : problème de la prévision Introduction et notations Dépendance faible et inégalités PAC-Bayésiennes Application à la prévision de la croissance du PIBFamilles classiques de prédicteurs Définition ˆ Pour tout f ∈ F, Xtf = f (Xt−1 , . . . , Xt−k ). Pierre Alquier Prévision de séries temporelles faiblement dépendantes
  6. 6. Introduction : problème de la prévision Introduction et notations Dépendance faible et inégalités PAC-Bayésiennes Application à la prévision de la croissance du PIBFamilles classiques de prédicteurs Définition ˆ Pour tout f ∈ F, Xtf = f (Xt−1 , . . . , Xt−k ). Prédicteurs AR(k) : k ˆ Xtf = θ0 + θi Xt−i . i=1 Modèle additif non paramétrique, pour une base (ϕj )∞ , j=1 k ∞ ˆ Xtf = θi,j ϕj (Xt−i ). i=1 j=1 Pierre Alquier Prévision de séries temporelles faiblement dépendantes
  7. 7. Introduction : problème de la prévision Introduction et notations Dépendance faible et inégalités PAC-Bayésiennes Application à la prévision de la croissance du PIBFonction de perte & risque ˆ Soit une fonction de perte : (Xtf , Xt ) ≥ 0 mesure l’erreur commise par le prédicteur f à la date t. Définition - le risque R Pour tout f ∈ F, R(f ) := E ˆ Xtf , Xt . Pierre Alquier Prévision de séries temporelles faiblement dépendantes
  8. 8. Introduction : problème de la prévision Introduction et notations Dépendance faible et inégalités PAC-Bayésiennes Application à la prévision de la croissance du PIBFonction de perte & risque ˆ Soit une fonction de perte : (Xtf , Xt ) ≥ 0 mesure l’erreur commise par le prédicteur f à la date t. Définition - le risque R Pour tout f ∈ F, R(f ) := E ˆ Xtf , Xt . On peut l’estimer par Définition - le risque empirique rn 1 n ˆ Pour tout f ∈ F, rn (f ) := n−k t=k+1 Xtf , Xt . Pierre Alquier Prévision de séries temporelles faiblement dépendantes
  9. 9. Introduction : problème de la prévision Introduction et notations Dépendance faible et inégalités PAC-Bayésiennes Application à la prévision de la croissance du PIBLe problème de la prévision de la croissance But : lors du 3ème mois du trimestre t, annoncer quelle sera la croissance ∆GDPt lors de ce trimestre. Information disponible : Pierre Alquier Prévision de séries temporelles faiblement dépendantes
  10. 10. Introduction : problème de la prévision Introduction et notations Dépendance faible et inégalités PAC-Bayésiennes Application à la prévision de la croissance du PIBLe problème de la prévision de la croissance But : lors du 3ème mois du trimestre t, annoncer quelle sera la croissance ∆GDPt lors de ce trimestre. Information disponible : 1 le passé : ∆GDPt−1 , ..., ∆GDP1 , date 1 : 1988-T1. Pierre Alquier Prévision de séries temporelles faiblement dépendantes
  11. 11. Introduction : problème de la prévision Introduction et notations Dépendance faible et inégalités PAC-Bayésiennes Application à la prévision de la croissance du PIBLe problème de la prévision de la croissance But : lors du 3ème mois du trimestre t, annoncer quelle sera la croissance ∆GDPt lors de ce trimestre. Information disponible : 1 le passé : ∆GDPt−1 , ..., ∆GDP1 , date 1 : 1988-T1. 2 les enquêtes de conjoncture, mensuelles, de l’INSEE. Pierre Alquier Prévision de séries temporelles faiblement dépendantes
  12. 12. Introduction : problème de la prévision Introduction et notations Dépendance faible et inégalités PAC-Bayésiennes Application à la prévision de la croissance du PIBLe problème de la prévision de la croissance But : lors du 3ème mois du trimestre t, annoncer quelle sera la croissance ∆GDPt lors de ce trimestre. Information disponible : 1 le passé : ∆GDPt−1 , ..., ∆GDP1 , date 1 : 1988-T1. 2 les enquêtes de conjoncture, mensuelles, de l’INSEE. 3 toute autre information quantitative ou qualitative. Pierre Alquier Prévision de séries temporelles faiblement dépendantes
  13. 13. Introduction : problème de la prévision Introduction et notations Dépendance faible et inégalités PAC-Bayésiennes Application à la prévision de la croissance du PIBLes enquêtes de conjoncture Il s’agit de questionnaires mensuels envoyés aux plus grandes entreprises françaises, et à un échantillon d’entreprises plus petites. Ces données : Pierre Alquier Prévision de séries temporelles faiblement dépendantes
  14. 14. Introduction : problème de la prévision Introduction et notations Dépendance faible et inégalités PAC-Bayésiennes Application à la prévision de la croissance du PIBLes enquêtes de conjoncture Il s’agit de questionnaires mensuels envoyés aux plus grandes entreprises françaises, et à un échantillon d’entreprises plus petites. Ces données : 1 proviennent directement des agents qui font vivre l’économie. Pierre Alquier Prévision de séries temporelles faiblement dépendantes
  15. 15. Introduction : problème de la prévision Introduction et notations Dépendance faible et inégalités PAC-Bayésiennes Application à la prévision de la croissance du PIBLes enquêtes de conjoncture Il s’agit de questionnaires mensuels envoyés aux plus grandes entreprises françaises, et à un échantillon d’entreprises plus petites. Ces données : 1 proviennent directement des agents qui font vivre l’économie. 2 sont disponibles quasiment en temps réel (lors du troisième mois du trimestre, on connaît les résultats pour les deux premiers mois). Pierre Alquier Prévision de séries temporelles faiblement dépendantes
  16. 16. Introduction : problème de la prévision Introduction et notations Dépendance faible et inégalités PAC-Bayésiennes Application à la prévision de la croissance du PIBLes enquêtes de conjoncture Il s’agit de questionnaires mensuels envoyés aux plus grandes entreprises françaises, et à un échantillon d’entreprises plus petites. Ces données : 1 proviennent directement des agents qui font vivre l’économie. 2 sont disponibles quasiment en temps réel (lors du troisième mois du trimestre, on connaît les résultats pour les deux premiers mois). → les résultats sont synthétisés par l’INSEE dans l’indicateur de climat, disons It−1 . Pierre Alquier Prévision de séries temporelles faiblement dépendantes
  17. 17. Introduction : problème de la prévision Introduction et notations Dépendance faible et inégalités PAC-Bayésiennes Application à la prévision de la croissance du PIBRésultats connus La famille de prédicteurs f ∆GDPt = α + β∆GDPt−1 + γIt−1 + δ(It−1 − It−2 )|It−1 − It−2 | a été utilisée par Cornec (CIRET conference, 2010). On obtient : Pierre Alquier Prévision de séries temporelles faiblement dépendantes
  18. 18. Introduction : problème de la prévision Introduction et notations Dépendance faible et inégalités PAC-Bayésiennes Application à la prévision de la croissance du PIBRésultats connus La famille de prédicteurs f ∆GDPt = α + β∆GDPt−1 + γIt−1 + δ(It−1 − It−2 )|It−1 − It−2 | a été utilisée par Cornec (CIRET conference, 2010). On obtient : 1 des prévisions globalement aussi précises que celles de l’INSEE. Pierre Alquier Prévision de séries temporelles faiblement dépendantes
  19. 19. Introduction : problème de la prévision Introduction et notations Dépendance faible et inégalités PAC-Bayésiennes Application à la prévision de la croissance du PIBRésultats connus La famille de prédicteurs f ∆GDPt = α + β∆GDPt−1 + γIt−1 + δ(It−1 − It−2 )|It−1 − It−2 | a été utilisée par Cornec (CIRET conference, 2010). On obtient : 1 des prévisions globalement aussi précises que celles de l’INSEE. 2 des prévisions d’autant moins précises que la conjoncture est mauvaise. → nécessité de donner un intervalle de confiance ou une indication de précision. Pierre Alquier Prévision de séries temporelles faiblement dépendantes
  20. 20. Introduction : problème de la prévision Introduction et notations Dépendance faible et inégalités PAC-Bayésiennes Application à la prévision de la croissance du PIBRésultats : prévision Prévisions en utilisant la fa- mille de prédicteurs de Cor- nec et la fonction de perte (x, x ) = |x − x |. Prédicteur : ˆ f ∈ arg min rn (f ). f ∈F Les performances moyennes sont voisines de celles obte- nues par l’INSEE. Pierre Alquier Prévision de séries temporelles faiblement dépendantes
  21. 21. Introduction : problème de la prévision Introduction et notations Dépendance faible et inégalités PAC-Bayésiennes Application à la prévision de la croissance du PIBRésultats : intervalles de confiance Intervalles de confiance en utilisant la fonction de perte quantile de Koenker : (x, x ) = (x−x )(τ −1(x−x < 0)). Pierre Alquier Prévision de séries temporelles faiblement dépendantes
  22. 22. Estimateur de Gibbs / minimisation du risque empirique Introduction : problème de la prévision Bornes PAC-BayésiennesDépendance faible et inégalités PAC-Bayésiennes Exemples1 Résumé des épisodes précédents : prévision de la croissance du PIB Introduction et notations Application à la prévision de la croissance du PIB2 Dépendance faible et inégalités PAC-Bayésiennes Estimateur de Gibbs / minimisation du risque empirique Bornes PAC-Bayésiennes Exemples Pierre Alquier Prévision de séries temporelles faiblement dépendantes
  23. 23. Estimateur de Gibbs / minimisation du risque empirique Introduction : problème de la prévision Bornes PAC-Bayésiennes Dépendance faible et inégalités PAC-Bayésiennes ExemplesEt en théorie ? On a utilisé ˆ f = arg min rn (f ) f ∈F mais il n’y a pas, a priori, de théorie pour justifier une telle méthode ! Pierre Alquier Prévision de séries temporelles faiblement dépendantes
  24. 24. Estimateur de Gibbs / minimisation du risque empirique Introduction : problème de la prévision Bornes PAC-Bayésiennes Dépendance faible et inégalités PAC-Bayésiennes ExemplesEt en théorie ? On a utilisé ˆ f = arg min rn (f ) f ∈F mais il n’y a pas, a priori, de théorie pour justifier une telle méthode ! Justifié par la théorie des processus ARMA si on suppose que la croissance du PIB est un processus ARMA ( ). Il reste deux possibilités : Pierre Alquier Prévision de séries temporelles faiblement dépendantes
  25. 25. Estimateur de Gibbs / minimisation du risque empirique Introduction : problème de la prévision Bornes PAC-Bayésiennes Dépendance faible et inégalités PAC-Bayésiennes ExemplesEt en théorie ? On a utilisé ˆ f = arg min rn (f ) f ∈F mais il n’y a pas, a priori, de théorie pour justifier une telle méthode ! Justifié par la théorie des processus ARMA si on suppose que la croissance du PIB est un processus ARMA ( ). Il reste deux possibilités : 1 “Je n’ai pas besoin de théorie, ça marche en pratique ! La théorie produit des choses optimales en théorie mais qui ne marchent pas en pratique.” Pierre Alquier Prévision de séries temporelles faiblement dépendantes
  26. 26. Estimateur de Gibbs / minimisation du risque empirique Introduction : problème de la prévision Bornes PAC-Bayésiennes Dépendance faible et inégalités PAC-Bayésiennes ExemplesEt en théorie ? On a utilisé ˆ f = arg min rn (f ) f ∈F mais il n’y a pas, a priori, de théorie pour justifier une telle méthode ! Justifié par la théorie des processus ARMA si on suppose que la croissance du PIB est un processus ARMA ( ). Il reste deux possibilités : 1 “Je n’ai pas besoin de théorie, ça marche en pratique ! La théorie produit des choses optimales en théorie mais qui ne marchent pas en pratique.” 2 Y si ça marche en pratique, la théorie doit pouvoir dire quelque chose dessus ! Pierre Alquier Prévision de séries temporelles faiblement dépendantes
  27. 27. Estimateur de Gibbs / minimisation du risque empirique Introduction : problème de la prévision Bornes PAC-Bayésiennes Dépendance faible et inégalités PAC-Bayésiennes ExemplesFonction de perte risque (suite) ˆ Rappel : (Xtf , Xt ) ≥ 0 mesure l’erreur commise par le prédicteur f à la date t. Rappel - le risque de prévision R Pour tout f ∈ F, R(f ) := E ˆ Xtf , Xt . Pierre Alquier Prévision de séries temporelles faiblement dépendantes
  28. 28. Estimateur de Gibbs / minimisation du risque empirique Introduction : problème de la prévision Bornes PAC-Bayésiennes Dépendance faible et inégalités PAC-Bayésiennes ExemplesFonction de perte risque (suite) ˆ Rappel : (Xtf , Xt ) ≥ 0 mesure l’erreur commise par le prédicteur f à la date t. Rappel - le risque de prévision R Pour tout f ∈ F, R(f ) := E ˆ Xtf , Xt . ˆ Pour tout estimateur f , ˆ ˆ R(f ) = inf R +[R(f ) − inf R ]. F F “biais” “variance” Pierre Alquier Prévision de séries temporelles faiblement dépendantes
  29. 29. Estimateur de Gibbs / minimisation du risque empirique Introduction : problème de la prévision Bornes PAC-Bayésiennes Dépendance faible et inégalités PAC-Bayésiennes ExemplesEstimateur de Gibbs - minimisation de rn Définition - min. du risque empirique On pose ˆ f = arg min rn (f ). f ∈F Pierre Alquier Prévision de séries temporelles faiblement dépendantes
  30. 30. Estimateur de Gibbs / minimisation du risque empirique Introduction : problème de la prévision Bornes PAC-Bayésiennes Dépendance faible et inégalités PAC-Bayésiennes ExemplesEstimateur de Gibbs - minimisation de rn Définition - min. du risque empirique On pose ˆ f = arg min rn (f ). f ∈F Soit π une loi a priori sur l’ensemble F. ˆ Définition - l’estimateur de Gibbs fλ On pose ˆ fe −λrn (f ) π(df ) fλ = =: f π−λrn (df ). e −λrn (f ) π(df ) Pierre Alquier Prévision de séries temporelles faiblement dépendantes
  31. 31. Estimateur de Gibbs / minimisation du risque empirique Introduction : problème de la prévision Bornes PAC-Bayésiennes Dépendance faible et inégalités PAC-Bayésiennes ExemplesHypothèses 1 Le processus (Xt ) est borné p.s., P( Xt ≤ B) = 1. Pierre Alquier Prévision de séries temporelles faiblement dépendantes
  32. 32. Estimateur de Gibbs / minimisation du risque empirique Introduction : problème de la prévision Bornes PAC-Bayésiennes Dépendance faible et inégalités PAC-Bayésiennes ExemplesHypothèses 1 Le processus (Xt ) est borné p.s., P( Xt ≤ B) = 1. 2 (x, x ) = g (x − x ) avec g convexe et L-Lipshitz. Pierre Alquier Prévision de séries temporelles faiblement dépendantes
  33. 33. Estimateur de Gibbs / minimisation du risque empirique Introduction : problème de la prévision Bornes PAC-Bayésiennes Dépendance faible et inégalités PAC-Bayésiennes ExemplesHypothèses 1 Le processus (Xt ) est borné p.s., P( Xt ≤ B) = 1. 2 (x, x ) = g (x − x ) avec g convexe et L-Lipshitz. 3 Pour tout f ∈ F, k f (x1 , . . . , xk ) − f (x1 , . . . , xk ) ≤ aj (f ) xj − xj , j=1 k aj (f ) ≤ K . j=1 Pierre Alquier Prévision de séries temporelles faiblement dépendantes
  34. 34. Estimateur de Gibbs / minimisation du risque empirique Introduction : problème de la prévision Bornes PAC-Bayésiennes Dépendance faible et inégalités PAC-Bayésiennes ExemplesHypothèses 1 Le processus (Xt ) est borné p.s., P( Xt ≤ B) = 1. 2 (x, x ) = g (x − x ) avec g convexe et L-Lipshitz. 3 Pour tout f ∈ F, k f (x1 , . . . , xk ) − f (x1 , . . . , xk ) ≤ aj (f ) xj − xj , j=1 k aj (f ) ≤ K . j=1 4 k ≤ n/2. Pierre Alquier Prévision de séries temporelles faiblement dépendantes
  35. 35. Estimateur de Gibbs / minimisation du risque empirique Introduction : problème de la prévision Bornes PAC-Bayésiennes Dépendance faible et inégalités PAC-Bayésiennes ExemplesInégalité PAC-Bayésienne pour la prédiction Théorème Sous les hypothèses précédentes, pour tout ε ∈]0, 1[, pour tout λ 0, 2 ˆ λκ2 K(ρ, π) + log P R(fλ ) ≤ inf Rdρ + n + ε ρ n λ ≥ 1 − ε. √ κn = 2K (1 + L)(B + θ∞,n (1)). Pierre Alquier Prévision de séries temporelles faiblement dépendantes
  36. 36. Estimateur de Gibbs / minimisation du risque empirique Introduction : problème de la prévision Bornes PAC-Bayésiennes Dépendance faible et inégalités PAC-Bayésiennes ExemplesCoefficient de θ-dépendance faible Introduits par Doukhan et Louhichi (SPA, 1999). Soit Fi = σ(Xt , t ≤ i). Pour i j1 · · · j on pose θp (Fi , (Xj1 , . . . , Xjp )) := sup E [g (Xj1 , . . . , Xj )|Fi ] − E [g (Xj1 , . . . , Xj )] p . g 1-Lipshitz Enfin, θp,r (k) := max sup θp (Fi , (Xj1 , . . . , Xjp ))). ≤r i+k≤j1 j2 ···j Pierre Alquier Prévision de séries temporelles faiblement dépendantes
  37. 37. Estimateur de Gibbs / minimisation du risque empirique Introduction : problème de la prévision Bornes PAC-Bayésiennes Dépendance faible et inégalités PAC-Bayésiennes ExemplesExemples de calculs de coefficients θ Tout processus Xt = F (ξt , ξt−1 , ξt−2 , . . . ) avec les ξi iid et bornés par b, et ∞ F (x1 , x2 , . . . ) − F (x1 , x2 , . . . ) ≤ aj xj − xj j=1 vérifie : ∞ θ∞,n (1) ≤ 2b jaj . j=1 Inclut par exemple : Xt = G (ξt , Xt−1 ) = G (ξt , G (ξt−1 , Xt−2 )) = · · · = H(ξt , ξt−1 , . . . ). Pierre Alquier Prévision de séries temporelles faiblement dépendantes
  38. 38. Estimateur de Gibbs / minimisation du risque empirique Introduction : problème de la prévision Bornes PAC-Bayésiennes Dépendance faible et inégalités PAC-Bayésiennes ExemplesRappel Théorème Sous les hypothèses précédentes, pour tout ε ∈]0, 1[, pour tout λ 0, 2 ˆ 2λκ2 n K(ρ, π) + log ε P R(fλ ) ≤ inf Rdρ + +2 ρ n λ ≥ 1 − ε. √ κn = 2K (1 + L)(B + θ∞,n (1)). Pierre Alquier Prévision de séries temporelles faiblement dépendantes
  39. 39. Estimateur de Gibbs / minimisation du risque empirique Introduction : problème de la prévision Bornes PAC-Bayésiennes Dépendance faible et inégalités PAC-Bayésiennes ExemplesCas où card(F) = M ∞ (1/2) Si π uniforme, 2 ˆ 2λκ2 n K(ρ, π) + log ε R(fλ ) ≤ inf Rdρ + +2 ρ n λ 2 2λκ2 n log(M) + log ε ≤ inf R(f ) + +2 f ∈F n λ Pierre Alquier Prévision de séries temporelles faiblement dépendantes
  40. 40. Estimateur de Gibbs / minimisation du risque empirique Introduction : problème de la prévision Bornes PAC-Bayésiennes Dépendance faible et inégalités PAC-Bayésiennes ExemplesCas où card(F) = M ∞ (1/2) Si π uniforme, 2 ˆ 2λκ2 n K(ρ, π) + log ε R(fλ ) ≤ inf Rdρ + +2 ρ n λ 2 2λκ2 n log(M) + log ε ≤ inf R(f ) + +2 f ∈F n λ et λ = n log(M)/κn ( ) conduit à Théorème ˆ 2 log(M) 2κn log 2 ε R(fλ ) ≤ inf R + 2κn + . F n n log(M) Pierre Alquier Prévision de séries temporelles faiblement dépendantes
  41. 41. Estimateur de Gibbs / minimisation du risque empirique Introduction : problème de la prévision Bornes PAC-Bayésiennes Dépendance faible et inégalités PAC-Bayésiennes ExemplesCas où card(F) = M ∞ (2/2) ˆ Et pour le minimiseur du risque empirique f ? Un calcul similaire conduit à Pierre Alquier Prévision de séries temporelles faiblement dépendantes
  42. 42. Estimateur de Gibbs / minimisation du risque empirique Introduction : problème de la prévision Bornes PAC-Bayésiennes Dépendance faible et inégalités PAC-Bayésiennes ExemplesCas où card(F) = M ∞ (2/2) ˆ Et pour le minimiseur du risque empirique f ? Un calcul similaire conduit à Théorème Pour un c 0 connu, ˆ log(M) c.κn log 2ε R(f ) ≤ inf R + c.κn + . F n n log(M) Gros avantage : ne nécessite pas la connaissance de κn . Pierre Alquier Prévision de séries temporelles faiblement dépendantes
  43. 43. Estimateur de Gibbs / minimisation du risque empirique Introduction : problème de la prévision Bornes PAC-Bayésiennes Dépendance faible et inégalités PAC-Bayésiennes ExemplesCas des prédicteurs AR (1/2) On se restreint à Xt ∈ R et, pour f ∈ F, k f (Xt−1 , ..., Xt−k ) = θj Xt−j j=1 avec θ 1 ≤ L. Cette fois, on prend π uniforme. Pierre Alquier Prévision de séries temporelles faiblement dépendantes
  44. 44. Estimateur de Gibbs / minimisation du risque empirique Introduction : problème de la prévision Bornes PAC-Bayésiennes Dépendance faible et inégalités PAC-Bayésiennes ExemplesCas des prédicteurs AR (1/2) On se restreint à Xt ∈ R et, pour f ∈ F, k f (Xt−1 , ..., Xt−k ) = θj Xt−j j=1 avec θ 1 ≤ L. Cette fois, on prend π uniforme. Un calcul similaire quoique plus moche et le choix √ λ = kn/κn ( ) conduisent à : Théorème 2 ˆ k e 2 LB n 2κn log ε R(fλ ) ≤ inf R + 2κn log + √ . F n κn k nk Pierre Alquier Prévision de séries temporelles faiblement dépendantes
  45. 45. Estimateur de Gibbs / minimisation du risque empirique Introduction : problème de la prévision Bornes PAC-Bayésiennes Dépendance faible et inégalités PAC-Bayésiennes ExemplesCas des prédicteurs AR (2/2) ˆ Et pour le minimiseur du risque empirique f ? Un calcul similaire conduit à Pierre Alquier Prévision de séries temporelles faiblement dépendantes
  46. 46. Estimateur de Gibbs / minimisation du risque empirique Introduction : problème de la prévision Bornes PAC-Bayésiennes Dépendance faible et inégalités PAC-Bayésiennes ExemplesCas des prédicteurs AR (2/2) ˆ Et pour le minimiseur du risque empirique f ? Un calcul similaire conduit à Théorème Pour un c 0 connu, 2 ˆ k c.κn log ε R(f ) ≤ inf R + c.κn log(n) + √ . F n nk Gros avantage : ne nécessite pas la connaissance de κn . Pierre Alquier Prévision de séries temporelles faiblement dépendantes
  47. 47. Estimateur de Gibbs / minimisation du risque empirique Introduction : problème de la prévision Bornes PAC-Bayésiennes Dépendance faible et inégalités PAC-Bayésiennes ExemplesCas général On peut introduire une mesure de la complexité de l’ensemble de prédicteurs F, en fait : 1 log 1 π{θ:R(θ)−inf F R≤ λ } C(F, π) := sup . λc log(λ) Le résultat est alors : Théorème Pour une constante c 0 connue et λ C(F, π)n/κn , ˆ  R(fλ )  log( 1 ) C(F, π) inf R + c. log(n) + c. √ ε . ˆ F n n R(f )  Pierre Alquier Prévision de séries temporelles faiblement dépendantes
  48. 48. Estimateur de Gibbs / minimisation du risque empirique Introduction : problème de la prévision Bornes PAC-Bayésiennes Dépendance faible et inégalités PAC-Bayésiennes ExemplesSélection de modèles (1/3) Soient M familles de prédicteurs F1 , ..., FM . Par exemple, F1 : f (Xt−1 , ..., Xt−k ) = θ1 Xt−1 F2 : f (Xt−1 , ..., Xt−k ) = θ1 Xt−1 + θ1 Xt−2 . . . . . . k Fk : f (Xt−1 , ..., Xt−k ) = θj Xt−j j=1 Pierre Alquier Prévision de séries temporelles faiblement dépendantes
  49. 49. Estimateur de Gibbs / minimisation du risque empirique Introduction : problème de la prévision Bornes PAC-Bayésiennes Dépendance faible et inégalités PAC-Bayésiennes ExemplesSélection de modèles (1/3) Soient M familles de prédicteurs F1 , ..., FM . Par exemple, F1 : f (Xt−1 , ..., Xt−k ) = θ1 Xt−1 C(F1 , π1 ) 1 F2 : f (Xt−1 , ..., Xt−k ) = θ1 Xt−1 + θ1 Xt−2 C(F2 , π2 ) 2 . . . . . . . . . k Fk : f (Xt−1 , ..., Xt−k ) = θj Xt−j C(Fk , πk ) k j=1 On fixe des lois a priori dans chaque famille de prédicteurs : π1 , . . . , π M . Pierre Alquier Prévision de séries temporelles faiblement dépendantes
  50. 50. Estimateur de Gibbs / minimisation du risque empirique Introduction : problème de la prévision Bornes PAC-Bayésiennes Dépendance faible et inégalités PAC-Bayésiennes ExemplesSélection de modèles (2/3) On choisit M p1 , . . . , pM ≥ 0 avec pi = 1. i=1 On pose M π= pi πi . i=1 Rappel e −λrn (f ) π(df ) π−λrn (df ) = e −λrn (g ) π(dg ) Pierre Alquier Prévision de séries temporelles faiblement dépendantes
  51. 51. Estimateur de Gibbs / minimisation du risque empirique Introduction : problème de la prévision Bornes PAC-Bayésiennes Dépendance faible et inégalités PAC-Bayésiennes ExemplesSélection de modèles (3/3) Définition ˆ λκ2 K(π−λrn , π) + log(|Λ|/ε) n λ = arg min rn dπ−λrn + + λ∈Λ n λ sur une grille finie Λ bien choisie. Pierre Alquier Prévision de séries temporelles faiblement dépendantes
  52. 52. Estimateur de Gibbs / minimisation du risque empirique Introduction : problème de la prévision Bornes PAC-Bayésiennes Dépendance faible et inégalités PAC-Bayésiennes ExemplesSélection de modèles (3/3) Définition ˆ λκ2 K(π−λrn , π) + log(|Λ|/ε) n λ = arg min rn dπ−λrn + + λ∈Λ n λ sur une grille finie Λ bien choisie. Théorème ˆˆ R(fλ )  2 log(n)  C(Fj , πj ) log εpj ≤ inf inf R + c. log(n) + c. . 1≤j≤M Fj n C(Fj , πj )n Pierre Alquier Prévision de séries temporelles faiblement dépendantes
  53. 53. Estimateur de Gibbs / minimisation du risque empirique Introduction : problème de la prévision Bornes PAC-Bayésiennes Dépendance faible et inégalités PAC-Bayésiennes ExemplesThe end Merci ! Pierre Alquier Prévision de séries temporelles faiblement dépendantes
  1. A particular slide catching your eye?

    Clipping is a handy way to collect important slides you want to go back to later.

×