Act6420 uqam-part1

5,912 views
5,872 views

Published on

0 Comments
2 Likes
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total views
5,912
On SlideShare
0
From Embeds
0
Number of Embeds
2
Actions
Shares
0
Downloads
28
Comments
0
Likes
2
Embeds 0
No embeds

No notes for slide

Act6420 uqam-part1

  1. 1. ` ´Arthur CHARPENTIER - Moddeles de previsions (ACT6420 - Automne 2012) Mod`les de pr´vision e e Partie 1 - r´gression e Arthur Charpentier charpentier.arthur@uqam.ca http ://freakonometrics.blog.free.fr/ Automne 2012 1
  2. 2. ` ´ Arthur CHARPENTIER - Moddeles de previsions (ACT6420 - Automne 2012) Plan du cours• Motivation et introduction aux mod`les de r´gression e e• Le mod`le lin´aire simple e e◦ R´sultats g´n´raux e e e◦ Approche matricielle• Le mod`le lin´aire multiple e e◦ R´sultats g´n´raux e e e◦ Tests, choix de mod`le, diagnostique e• Aller plus loin◦ Les mod`les non lin´aires param´triques e e e◦ Les mod`les non lin´aires nonparam´triques e e e 2
  3. 3. ` ´Arthur CHARPENTIER - Moddeles de previsions (ACT6420 - Automne 2012) Un peu de terminologie L’´tude de la transmission g´n´tique de e e e certaines caract´ristiques a int´ress´ e e e Galton en 1870 puis Pearson en 1896. Galton a propos´ d´tudier la taille d’un enfant en e e fonction de la taille (moyenne) de ses parents, a ` partir de 928 observations. 3
  4. 4. ` ´Arthur CHARPENTIER - Moddeles de previsions (ACT6420 - Automne 2012) 4
  5. 5. ` ´Arthur CHARPENTIER - Moddeles de previsions (ACT6420 - Automne 2012) 5
  6. 6. ` ´ Arthur CHARPENTIER - Moddeles de previsions (ACT6420 - Automne 2012) 74 q q q q q q q q q q q q q q q q q q 72 q q q q q q q Taille de lenfant (inches) q q q q q q q q 70 q q q q q q q q q q q q q q q q q q q 68 q q q q q q q q q q q q q q q q q q 66 q q q q q q q q q q q q q q q q 64 q q q q q q q q q q q 62 q q q q q 64 66 68 70 72 Taille moyenne des parents (inches)Un enfant de parents grands est en moyenne grand, mais moins que ses parents.Un enfant de parents petits est en moyenne petits, mais moins que ses parents.=⇒ “I have called this peculiarity by the name of regression”, au sens r´gression evers la moyenne. 6
  7. 7. ` ´ Arthur CHARPENTIER - Moddeles de previsions (ACT6420 - Automne 2012) Un peu de terminologiePearson a propos´ d’´tudier le lien entre la taille d’un homme et celle de son e ep`re. La conclusion est la mˆme, il y a r´gression vers la moyenne. e e e q q q q q q q q q q q q q 75 q q q qq q q q q q q qq q q q q q qq q q qqq q q q q q q q q q q q q q q qq qq qq q q q q q q q qq q q qq q q q qq q q q q qq q q q q q qq q q q q q qq q q q q q q q qq q qq q q q q q qq q q q q q Taille du fils (inches) q q q q qq q q q q q q qq qqq q q q q q q qq q qq qq q qq q q qqq q q q q qq q q q q qq q q q q q q q q qqq q qq q q q qq q q q q qq q q qq q qq q q q qq qq q q q qq q qq q q q q q qq qqqq qq qq q qq qqqqq q q q q q q q q qq qq q q q q q q q q qq q q q q q q q q q q qq q q q q q q q q q qq q qq q q q qq q q q q q q qq q q q q q q q q q q 70 q q q q q q q qqqqq q q qq q q q q qqq qq q q qqq q qq q q q qq q qq q q q q q q qq q q qq q qq q q q q q qq q q q qq q q q qq qqqq q q q qqq qqq q q qq q q q q q q q qq q q q q q q qqq q q q q q q q q qqq q qqq q qq q q q q q qq q qqqq q qq q q q q q q q q q q qq q q q q qq q q q q q q qq q q q qq qq q q q q q q q qq q q q q qq q q qqq q qq q q q q q qq q qqq q q q q q q qq q q q q q q q qq q q q qq q qq q q q q q qq q q qq qqq q qq qq q qqq q q q q q q q q qq qq q q q q qq q qq q q q qq q q qqq qq q q qq qq qq q qq q q q q qqq q q q q q q qq q q qq qq q q qq q q q q q q q q q q qq q q q qq q q q q q q qq qqqq q q q q qq q qq q q q q q q q q q q qq q q q q q q q q q q q q q q qq q qqq q qq q q q qq q q q q q q q q qqq q q qq q q qq q qq qqqq q q q q q qq q q q q qq q qq q q q q q q q q q q q q q q q q q q q qq qq q q q q qq q q qq q qq q qq qq q q q q q q q q q q qq q q q q q q q qq qq q q qq q q q q q qqq q qq q qqqq q q q q q q qq q q q q q q q q q q qq q q q q q q q qq q q q qq q q q q q q q qq q qq q q q q qq qq q q qq q q q q q q q q q q qq q q qqq q q qq q q q q q qq q qq 65 q q q q qq q q q q q q qq q qq q q q qq q q q q q q q q qq q q q q q q q q q q q q qq q q q q q q q q q q q qq q q qq q qq q q q q q q q q q q q q q q q q q q q q q q q qq q q q 60 q q q q q 60 65 70 75 Taille du père (inches) r´gression = ´tudes de corr´lations e e e 7
  8. 8. ` ´ Arthur CHARPENTIER - Moddeles de previsions (ACT6420 - Automne 2012) Un peu de terminologieRemarque cela ne signifie pas que les fils sont plus “moyens” que leurs p`res : il ene s’agit que d’une notion de corr´lation, de d´pendance, en aucun cas de lois e emarginales q q q q q q q q q q q qq q q q q q q q q qq q q q q q q 75 75 q q q q q q q q q q q q q q q qq q q q q qq q qq q q qq q qq q qqqqqqq q q q q qq qqq q q q q q qqq q q q qq qqqq q q q qq q qq q qq q q qq q qq q q q q qq q qqq q q q q q q q qq q q q q qq q qq q q q q q q qq qq q q q q q q q qq q q qqq q qq q q q q q qq q qq q q q q q qqq qq q q qq q qq q q q q q q q q q q q q q q q qqq q q q q q q qq q q qq q qq q qq q q q qq qq qq q q qqq qq qq q q q q q qqqq q q q qq qq qq q q qq qq q q q q q qq q q q qq q q q q q q q q q q qqq q qq qq q q q q q qqq qq q qq q q q q qq qq q qqqq qq q q qq qq q qq q q q q q qqqqq q q q q q qqq q q qq qqqqqq q qqqq q qqq q q q qqq q qqq q qq qqq q q q q qq qq q q qq q qqq q qq qq q q q q q q q q q q qq qq q q q q q qq q q q qq q q q qq qq q q q qq q q q q q q qq q q qq q q q q q qqqqq qq q qq qqqqq qq q qqq qqq q q q q qq q qq q q qqqq q q q q q q q q q q q q qq q q q qq q qqq q q qq q qqq qq q qq q q q q qqq q qqqqq q q q q q q qqq q q q q q q q q qqq q q q qq q q q q q qq qq q q q q q q q qq q q qq q q qq qq q q q q qqq q qq q q q q 70 70 qq q q q qq q q q q q q q q q q q q q qqqqqqqq q qq q qqqq q q qq q q q q qq q qqq q qq q q q q q q q qq qq qq q qq q qqq qqqqq q qq q q qq q q qq q qq qq q q q q q q q qqq q q q q qqqqqqqqqqq qq q qq q q qq q q q qqqq q q q qq q q qqq q q q q qqq q q qq qq q qq q q q qq q qqqqq q q q q qqq q q q q q q qq qq q qq qq qqq qqqqq q qqq q q qq qq q q q q qqqqqqq qq qq q q q qq q qq q q q q qq q q q qqqqq qqqqqq qq q q q q q q q qq q qqqqqqq q q qqq q q q q q q q q q qq qqq q q q qq qqq qq q qqq q q q qq qqq qq q q q q qq q qqqqqqqqq q q q q q q q qqqq qq qqqq q q q q q q q q q qq q qq q qqqqqqq q qqq q q q q qqq q qq q q q q q qq q q qqqq q q q qqqq qqq q q q q qq q q q q q q qq qqqqqqqqq qq qq q q q q qq qqq q q qqq qqq qq qq q qqq q qq q qq qq q q q q qqqqq q q q qq q q qqq qq q q q q qqq qq q q q qq q q qq qq qqq qq q qq qq q q q q q q qq qq q q q q qqqqqq qq q qq q qq qq q q qq q qqqqq q q q q q q q q q q q qqqq qqq q qqqq qq qq q qq q q q q qqq qqq q q qq q q q q qq qqqqqqqqqqq q q q q qq qq qqq q q q q q qqq q qq qqq qq q q q qq q q q q qq q q qq q q q q qq qqq qq q qq q q q q qqq qqqqqqqq q q q q q q qqq q q q q qq q qq q qq q q q q q qq qq q q q qqq q q q qq q q q qqq q qq q qqq q q q q q q qq q q qqqqqqq qqq qq q qqq q q q q q q qq qq q q qq q q q q qqq q q q q qq q q q qq qq q q qq qqqq q q qq q q q q qq q q q qq q q q q q qq q qqqq qq qqqq q qq q qqq q q qq qqq q q q q q q qqq q q q q q q qq q q q q q q q q q qqqqqqq q q q q qq q q q qqq q q qq q q q q qq qqq qq q q qqq q q q q qq q q q qq q q q q q q q q qqq q qq qq q q q q q q qq q q qqqq q q q qq q q q q q qqq q q q q 65 65 q qq q q qq q q q q q q q qq q q q qqq q q q qqqqq q q qq q q q q q q q q q qqq qq q q qq q qq q q q q qq q qq q q q q q q qqq qq q q q q q q q qq q qq q q q q qq q q q qqq q q q q q q q q q q qq q q q q q qqq qq q q q q q q qq q q qq q q qq q q qq q q q q q q q q q q q qq q q qq q q q q q 60 60 q q q 60 65 70 75 60 65 70 75 8
  9. 9. ` ´ Arthur CHARPENTIER - Moddeles de previsions (ACT6420 - Automne 2012) de l’esp´rance ` l’esp´rance conditionnelle e a ePr´dire le poids Y , sans aucune autre information e 0.05 q q q q q q q q q q q q q q q q q q q q q q q q q q q q q q q q q q q q q q q q q q q q q q q q q q q q q 0.04 0.03 densité 0.02 0.01 0.00 40 60 80 100 120 Poids (kg) 9
  10. 10. ` ´ Arthur CHARPENTIER - Moddeles de previsions (ACT6420 - Automne 2012) de l’esp´rance ` l’esp´rance conditionnelle e a eOn peut aussi regarder la loi de Y , pour en d´duire des quantiles (e.g. ob´sit´) e e e 0.05 q q q q q q q q q q q q q q q q q q q q q q q q q q q q q q q q q q q q q q q q q q q q q q q q q q q q q 0.04 0.03 densité 0.02 0.01 0.00 40 60 80 100 120 Poids (kg) 10
  11. 11. ` ´ Arthur CHARPENTIER - Moddeles de previsions (ACT6420 - Automne 2012) de l’esp´rance ` l’esp´rance conditionnelle e a eOn peut aussi regarder la loi de Y , derri`re se cache un m´lange (par sexe) e e 0.05 0.04 0.03 densité 0.02 0.01 0.00 40 60 80 100 120 Poids (kg) 11
  12. 12. ` ´ Arthur CHARPENTIER - Moddeles de previsions (ACT6420 - Automne 2012) de l’esp´rance ` l’esp´rance conditionnelle e a eEstimation de la loi de Y |X = 175 120 100 Poids (kg) 80 q 60 40 150 160 170 180 190 Taille (cm) 12
  13. 13. ` ´ Arthur CHARPENTIER - Moddeles de previsions (ACT6420 - Automne 2012) de l’esp´rance ` l’esp´rance conditionnelle e a eEstimation de la loi de Y |X = 185 120 100 q Poids (kg) 80 q 60 40 150 160 170 180 190 Taille (cm) 13
  14. 14. ` ´ Arthur CHARPENTIER - Moddeles de previsions (ACT6420 - Automne 2012) de l’esp´rance ` l’esp´rance conditionnelle e a eEstimation de la loi de Y |X = 165 120 100 q Poids (kg) 80 q 60 q 40 150 160 170 180 190 Taille (cm) 14
  15. 15. ` ´ Arthur CHARPENTIER - Moddeles de previsions (ACT6420 - Automne 2012) de l’esp´rance ` l’esp´rance conditionnelle e a ePour plusieurs valeur de x, il possible d’estimer une loi de Y |X = x 120 100 Poids (kg) 80 60 40 150 160 170 180 190 Taille (cm) 15
  16. 16. ` ´ Arthur CHARPENTIER - Moddeles de previsions (ACT6420 - Automne 2012) de l’esp´rance ` l’esp´rance conditionnelle e a eUne explication de la nonlin´arit´, l’h´t´rog´n´it´ hommes/femmes e e ee e e e 120 100 Poids (kg) 80 60 40 150 160 170 180 190 Taille (cm) 16
  17. 17. ` ´ Arthur CHARPENTIER - Moddeles de previsions (ACT6420 - Automne 2012) de l’esp´rance ` l’esp´rance conditionnelle e a eUne relation plus quadratique que lin´aire ? e 120 q q q 100 q q q q q q q q q q q q q Poids (kg) q q q q q q q q q q q q 80 q q q q q q q q q q q q q q q q q q q q q q q q q q q q q q q q q q q q q q q q q q q q q q q q q q q q q q q q q q q q q q q q q q q q q q q q q q q 60 q q q q q q q q q q q q q q q q q q q q q q q q q q q q q q q q q q q q q q q q q q q q q q q q q q q q q q q q q q q q q q q q q q q q q q q q q 40 q 150 160 170 180 190 Taille (cm) 17
  18. 18. ` ´ Arthur CHARPENTIER - Moddeles de previsions (ACT6420 - Automne 2012) Esp´rance conditionelle et projection eFaire une pr´diction de Y ` X fix´ c’est projeter Y sur l’ensemble des variables e a eal´atoires engendr´es par X [...] e e 18
  19. 19. ` ´ Arthur CHARPENTIER - Moddeles de previsions (ACT6420 - Automne 2012) Esp´rance conditionelle et projection e[...] on peut se restreindre ` un sous-ensemble, celui des transformations affines aengendr´es par X [...] e 19
  20. 20. ` ´ Arthur CHARPENTIER - Moddeles de previsions (ACT6420 - Automne 2012) Esp´rance conditionelle et projection e[...] ou on se restreint ` un sous-ensemble de ce sous-ensemble, les constantes. a 20
  21. 21. ` ´ Arthur CHARPENTIER - Moddeles de previsions (ACT6420 - Automne 2012) Un peu de motivation ?Le prestige (Y ) expliqu´ par le salaire (X), cf. Blishen & McRoberts (1976), e´tude du “prestige” de 102 m´tiers au Canada.e e PHYSICIANS q UNIVERSITY.TEACHERS q LAWYERS q 80 ARCHITECTS q q q q q qq q q q q q GENERAL.MANAGERS q q q OSTEOPATHS.CHIROPRACTORS q q q q q q 60 q q q q q q q Prestige q q q q q q q q q qq q q q q q q q qq q q q q q q q q q q 40 qq q q q q q q q qq qqq q q q q q q q q q qq q q q q q q q q q q q 20 q q q q q 0 5000 10000 15000 20000 25000 Revenu 21
  22. 22. ` ´ Arthur CHARPENTIER - Moddeles de previsions (ACT6420 - Automne 2012) Un peu de motivation ?Le prestige (Y ) expliqu´ par le salaire (X), cf. Blishen & McRoberts (1976), e´tude du “prestige” de 102 m´tiers au Canada.e e PHYSICIANS q UNIVERSITY.TEACHERS q LAWYERS q 80 ARCHITECTS q q q q q qq q q q q q GENERAL.MANAGERS q q q OSTEOPATHS.CHIROPRACTORS q q q q q q 60 q q q q q q q Prestige q q q q q q q q q qq q q q q q q q qq q q q q q q q q q q 40 qq q q q q q q q qq qqq q q q q q q q q q qq q q q q q q q q q q q 20 q q q q q 0 5000 10000 15000 20000 25000 Revenu 22
  23. 23. ` ´Arthur CHARPENTIER - Moddeles de previsions (ACT6420 - Automne 2012) Un peu de motivation ? q q q 80 q q q q q qq q q q q q q q q q q q q q q 60 q q q q q q q Prestige q q q q q q q q q qq q q q q q q q qq q q q q q q q q q q 40 qq q q q q q q q qq qqq q q q q q q q q q qq q q q q q q q q q q q 20 q q q q q 0 5000 10000 15000 20000 25000 Revenu 23
  24. 24. ` ´Arthur CHARPENTIER - Moddeles de previsions (ACT6420 - Automne 2012) Un peu de motivation ? q q q 80 q q q q q qq q q q q q q q q q q q q q q 60 q q q q q q q Prestige q q q q q q q q q qq q q q q q q q qq q q q q q q q q q q 40 qq q q q q q q q qq qqq q q q q q q q q q qq q q q q q q q q q q q 20 q q q q q 0 5000 10000 15000 20000 25000 Revenu 24
  25. 25. ` ´ Arthur CHARPENTIER - Moddeles de previsions (ACT6420 - Automne 2012) Lien avec le cours de statistique ?• Cours de statistique ‘descriptive’On dispose d’un ´chantillon {y1 , · · · , yn }, de variables r´elles, yi ∈ R. e eOn peut d´finir la moyenne, ou la variance (empirique) e n y1 + · · · + yn 1• y= = yi n n i=1 n 2 1• s = [yi − y]2 n i=1 25
  26. 26. ` ´ Arthur CHARPENTIER - Moddeles de previsions (ACT6420 - Automne 2012) Lien avec le cours de statistique ?• Cours de statistique math´matique eOn dispose d’un ´chantillon {y1 , · · · , yn }, vu comme des r´alisation de variables e eal´atoires {Y1 (ω), · · · , Yn (ω)}, ω ∈ Ω, i.e. yi = Yi (ω) ∈ R. On a maintenant des evariables al´atoires sous-jacentes, Yi . Les moyennes et variances empiriques sont ealors des r´alisations des variables al´atoires e e n Y1 + · · · + Yn 1• Y = = Yi n n i=1 n 2 1• S = [Yi − Y ]2 n i=1i.e. y = Y (ω) et s2 = S 2 (ω). En statistique math´matique, on utilise des epropri´t´s de ces variables al´atoires pour en d´duire des propri´t´s sur telle ou ee e e eetelle statistique. 26
  27. 27. ` ´ Arthur CHARPENTIER - Moddeles de previsions (ACT6420 - Automne 2012) PLa loi des grands nombres garantit que Y → E(Y ) si on suppose que les Xi sontdes variables ind´pendantes, de mˆme esp´rance et de mˆme variance (finies, loi e e e efaible des grands nombres), i.e. ∀ε > 0. Y1 + Y2 + · · · + Yn lim P − E(Y ) ε =0 n→+∞ nOn a aussi le th´or`me central limite, qui garantit que e e√ L n(Y − E(Y )) → N (0, Var(Y )) si on suppose que les Xi sont des variablesind´pendantes, de mˆme esp´rance et de mˆme variance (finies, loi faible des e e e egrands nombres), i.e. √ Y n − E(Y ) lim P n ≤z = Φ(z) n→∞ Var(Y )o` Φ(·) est la fonction de r´partition de la loi N (0, 1). u e 27
  28. 28. ` ´ Arthur CHARPENTIER - Moddeles de previsions (ACT6420 - Automne 2012) Lien avec le cours de statistique ?• Cours d’inf´rence (param´trique) e eOn dispose d’un ´chantillon {y1 , · · · , yn }, vu comme des r´alisation de variables e eal´atoires {Y1 (ω), · · · , Yn (ω)}, o` les variables al´atoires sous-jacentes, Yi , sont e u esuppos´es ind´pendantes, et identiquement distribu´es, de loi e e eF ∈ F = {Fθ , θ ∈ Θ}. Aussi, F = Fθ0 , mais θ0 est inconnu.Remarque θ est g´n´rallement un param`tre dans Rk , mais pour simplifier, on e e esupposera θ ∈ Θ ⊂ R.Un estimateur θ est une fonction des observations. Attention, parfois• θ = s(y1 , · · · , yn ) est un r´el, e.g. θ = y e• θ = s(Y1 , · · · , Yn ) est une variable al´atoire, e.g. θ = Y ePour estimer θ, on dispose de deux m´thodes standards e• la m´thode des moments e• la m´thode du maximum de vraisemblance e 28

×