Cours stochastic processes

673 views
561 views

Published on

0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total views
673
On SlideShare
0
From Embeds
0
Number of Embeds
1
Actions
Shares
0
Downloads
18
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

Cours stochastic processes

  1. 1. P OLYTECH ’L ILLE GIS 4P ROCESSUS S TOCHASTIQUES
  2. 2. Table des mati` res eIntroduction 3 Exercices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71 Chaˆnes de Markov ı 8 1.1 D´ finitions . . . . . . . . . . . . . . . . . . e . . . . . . . . . . . . . . . . . . . . . . . . . 8 1.2 Classification des etats . . . . . . . . . . . ´ . . . . . . . . . . . . . . . . . . . . . . . . . 13 1.2.1 Classes irr´ ductibles . . . . . . . . e . . . . . . . . . . . . . . . . . . . . . . . . . 13 1.2.2 R´ currence et transience . . . . . . e . . . . . . . . . . . . . . . . . . . . . . . . . 14 1.2.3 P´ riodicit´ . . . . . . . . . . . . . e e . . . . . . . . . . . . . . . . . . . . . . . . . 18 1.3 Th´ or` mes limites . . . . . . . . . . . . . . e e . . . . . . . . . . . . . . . . . . . . . . . . . 20 1.3.1 Les mesures stationnaires . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20 1.3.2 Lorsque l’espace d’´ tats E est fini . e . . . . . . . . . . . . . . . . . . . . . . . . . 21 1.3.3 Lorsque l’espace d’´ tats E est infini e . . . . . . . . . . . . . . . . . . . . . . . . . 23 1.4 Exercices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 242 Processus stochastiques markoviens en temps continu 26 2.1 Processus de Poisson . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26 2.1.1 Trois propri´ t´ s de la loi exponentielle . . . . . . . ee . . . . . . . . . . . . . . . . . 26 2.1.2 Pr´ sentation du processus de Poisson . . . . . . . e . . . . . . . . . . . . . . . . . 28 2.1.3 Simulation et mod´ lisation . . . . . . . . . . . . . e . . . . . . . . . . . . . . . . . 31 2.2 Processus markoviens de sauts . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33 2.2.1 D´ finition et exemples . . . . . . . . . . . . . . . e . . . . . . . . . . . . . . . . . 33 2.2.2 Probabilit´ s de transition et g´ n´ rateur de Markov e e e . . . . . . . . . . . . . . . . . 35 2.2.3 Th´ or` me limite . . . . . . . . . . . . . . . . . . e e . . . . . . . . . . . . . . . . . 39 2.3 Application aux mod` les de files d’attente . . . . . . . . . e . . . . . . . . . . . . . . . . . 41 2.3.1 Pr´ sentation g´ n´ rale . . . . . . . . . . . . . . . . e e e . . . . . . . . . . . . . . . . . 41 ´ 2.3.2 Etude du cas M/M/1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42 2.4 Exercices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46Annexe : quelques formules 49 2
  3. 3. Introduction On peut d´ finir un processus stochastique comme etant une famille {Xt }t∈T de variables al´ atoires e ´ eind´ x´ es par le temps t. Les mots processus et stochastique signifient respectivement fonction et al´ atoire. e e eAlors qu’une variable al´ atoire X associe a chaque ω ∈ Ω une r´ alisation X(ω), un processus stochastique e ` e{Xt }t∈T associe a chaque ω une fonction (ou trajectoire) {Xt (ω)}t∈T : ` T → E , t → Xt (ω)o` E est l’espace d’arriv´ e des variables al´ atoires Xt . Passer des variables al´ atoires aux processus sto- u e e echastiques revient a passer en analyse des points aux fonctions. A ` ` titre d’exemple, la trajectoire d’unemouche en fonction du temps peut etre mod´ lis´ e par un processus stochastique a valeurs dans E = R3 . ˆ e e `Lorsque l’ensemble des temps T est au plus d´ nombrable (par exemple T = N), on parle de processus estochastiques a temps discret. Lorsqu’il est continu (i.e. T = [0; t0 ] ou T = R+ ), on parle de processus `stochastiques a temps continu. `Dans tout ce cours, on abr` ge les expressions “variable al´ atoire” en v.a. et “ind´ pendantes et identique- e e ement distribu´ es” en i.i.d. eLes situations r´ elles pouvant etre mod´ lis´ es par des processus stochastiques sont nombreuses. En voici e ˆ e equelques exemples :E XEMPLES : • Probl` me de la ruine du joueur. Consid´ rons une suite de v.a. (Yn )n≥1 i.i.d. dont la loi commune e eest d´ finie par e IP(Y1 = 1) = p et IP(Y1 = −1) = 1 − pet une quantit´ initiale (d´ terministe ou al´ atoire) Y0 ∈ Z ind´ pendante des v.a. Yn . On d´ finit la marche e e e e eal´ atoire simple par e Xn+1 = Xn + Yn+1 = Y0 + Y1 + . . . + Yn + Yn+1 ,pour tout n ∈ N. La suite (Xn )n≥1 est un processus stochastique a temps discret T = N (ce sont les `instants n = 0, 1, 2 . . .) et a valeurs dans E = Z. La suite (Xn )n≥1 repr´ sente l’´ volution de la fortune ` e ed’un joueur (jouant a pile ou face, a la roulette...) gagnant un montant fixe (ici 1 euro) avec probabilit´ p et ` ` eperdant le mˆ me montant avec probabilit´ 1 − p. Les parties, dont les r´ sultats sont les Yn , sont suppos´ es e e e eind´ pendantes. La fortune du joueur a l’issue de la n e ` e partie est X . La quantit´ Y repr´ sente la fortune n e 0 einitiale du joueur.Le joueur est ruin´ (et donc arrˆ te de jouer) d` s que la suite (Xn )n≥1 touche l’axe des abscisses. On peut e e e 3
  4. 4. egalement ajouter comme condition que le joueur s’arrˆ te de jouer si sa fortune atteint un certain seuil´ ea > Y0 . Dans ce jeu, on aimerait connaˆtre l’esp´ rance de gain en fonction des param` tres Y0 , a et p, ou ı e eencore la dur´ e moyenne du jeu. e Y0 n F IGURE 1 – Le joueur est ruin´ a l’issue de la 12e partie. e` • Probl` me de l’extinction d’une population. Consid´ rons une suite doublement ind´ x´ e de v.a. e e e e{Yn,m , n ∈ N, m ∈ N∗ } i.i.d. et a valeurs enti` res. La variable Yn,m repr´ sente le nombre de fils du me ` e eindividu dans la ne g´ n´ ration (s’il existe). Posons X0 = 1 ; il y a initialement un seul individu (g´ n´ ration e e e e0). Puis, pour tout n, Xn Xn+1 = Yn,m m=1repr´ sente le nombre d’individu dans la (n+1)e g´ n´ ration. La suite (Xn )n≥1 est un processus stochastique e e ea temps discret T = N (ce sont les g´ n´ rations) et a valeurs dans E = N. Il est connu sous le nom de` e e `processus de branchement ou arbre de Galton-Watson.F IGURE 2 – Sont repr´ sent´ es les quatre premi` res g´ n´ rations d’un arbre de Galton-Watson. Le premier e e e e eindividu a Y0,1 = 3 fils. Ceux-ci auront respectivement Y1,1 = 1, Y1,2 = 4 et Y1,3 = 0 fils. La 2e g´ n´ ration e ecomprend donc 5 individus : X2 = 5.Historiquement, Galton et Watson ont introduit ce mod` le pour etudier la perp´ tuation des lign´ es des e ´ e eLords en Angletrre au 19e si` cle : les individus sont des Lords qui transmettent leur titre uniquement a e `leurs fils. Il s’agit alors d’´ tudier l’´ volution de la population au cours du temps, i.e. la quantit´ Xn quand e e en devient grand. Y aura-t’il extinction de la lign´ e de Lords ? Voici une premi` re r´ ponse pleine de bon e e e 4
  5. 5. sens : si le nombre moyen IE[Y0,1 ] de fils de chaque individu est elev´ , la population devrait rapidement ´ e ı ` l’inverse, si IE[Y0,1 ] est proche de 0, la population devrait s’´ teindre.croˆtre. A e • S´ ries temporelles ou chronologiques. Les s´ ries temporelles peuvent etre mod´ lis´ es par des e e ˆ e eprocessus stochastiques. Elles peuvent illustrer le nombre de morts suite a des accidents de la route dans `un pays donn´ durant un intervalle de temps, le nombre de passagers dans les transports a´ riens ou encore e eles valeurs de clˆ tures journali` res du CAC40. o e 4000 3500 EuStockMarkets[, 3] 3000 2500 2000 1500 1992 1993 1994 1995 1996 1997 1998 Time F IGURE 3 – Valeurs de clˆ tures journali` res du CAC40 de 1991 a 1998. o e `Un des objectifs principaux de l’´ tude d’une s´ rie temporelle est la pr´ vision des r´ alisations futures, tr` s e e e e esouvent pour des raisons economiques (pr´ voir l’´ volution de la demande d’un produit pour ajuster au ´ e emieux les moyens de production, pr´ voir l’´ volution d’un march´ financier...). e e eLes s´ ries temporelles feront l’objet de tout un cours en GIS5. e • Files d’attente. La salle de r´ servation d’une grande gare SNCF donne une bonne repr´ sentation e ed’une file d’attente (queue en anglais). Elle comprend un certain nombre de guichets et des clients qui sontsoit en train d’ˆ tre servis, soit en attente qu’un guichet se lib` re. Le nombre total de ces clients pr´ sents e e edans la salle de r´ servation au temps t est not´ Nt . Le hasard intervient dans les arriv´ es des clients ainsi e e eque dans la dur´ e des services. La suite (Nt )t≥0 est un processus stochastique a temps continu et a valeurs e ` `dans E = N. L’objectif est d’´ tudier l’´ volution de Nt au cours du temps afin d’optimiser le nombre de e eguichets n´ cessaires pour satisfaire en un temps raisonnable les clients. eOn peut egalement mod´ liser par une file d’attente un syst` me informatique dans lequel les nouvelles ´ e etˆ ches se mettent en attente avant d’ˆ tre trait´ es, ou encore un poste de travail dans une usine. a e eLes files d’attentes seront etudi´ es en d´ tails dans ce cours. ´ e eEn GIS3 ou en GIS4, vous avez d´ j` vu des processus stochastiques : n’importe quelle suite de v.a. i.i.d. eaen est un exemple ! L’ind´ pendance entre les variables facilite les calculs et permet d’obtenir sans trop ed’efforts des th´ or` mes limites int´ ressants (Loi des Grands Nombres, Th´ or` me Central Limite...). Mal- e e e e eheureusement, l’ind´ pendance n’est pas un ph´ nom` ne courant dans la nature. Int´ grer de la d´ pendance e e e e eentre les variables permet de mod´ liser plus fid` lement la r´ alit´ . Il y a n´ anmoins un coˆ t a payer ; les e e e e e u `calculs sont plus durs et les th´ or` mes plus chers. e eLes processus stochastiques que nous etudierons dans ce cours prendront en compte une certaine d´ pen- ´ edance entre les variables ; une d´ pendance de type markovienne (ou de Markov). Cela signifie que l’´ volu- e etion future du processus ne d´ pend de son pass´ que par l’interm´ diaire du pr´ sent. Par exemple pour e e e ed´ cider au mieux du 21e coup a jouer dans une partie d’´ checs, il suffit de connaˆtre la configuration du jeu e ` e ıa l’issue du 20e coup, le d´ tail des 19 premiers coups n’ayant alors aucune importance.` e 5
  6. 6. Les exemples d´ crits p´ c´ demment sont markoviens. La fortune du joueur a l’issue de la (n + 1)e partie ne e e e `d´ pend que de sa fortune a l’issue de la n e ` e et du r´ sultat de la (n + 1)e partie, mais pas de l’´ volution totale e ede sa fortune depuis le d´ but du jeu. Pour un processus de Galton-Watson, le nombre d’individus dans la eg´ n´ ration a venir ne d´ pend que du nombre d’individus dans la g´ n´ ration actuelle et du nombre de fils e e ` e e equ’ils auront. Les files d’attente que nous etudierons seront aussi des processus stochastiques markoviens. ´Pour les s´ ries temporelles, vous verrez l’ann´ e prochaine... e e 6
  7. 7. ExercicesExercice 1 : D´ nombrement de trajectoires d’une marche al´ atoire e ePartie 1. Consid´ rons la marche al´ atoire simple (Xn )n∈N a valeurs dans Z, d´ finie par e e ` e X0 = y0 ∈ Z Xn = y0 + Y1 + . . . + Yn , ∀n ≥ 1o` (Yn )n≥1 est une suite de v.a. i.i.d., chacune valant 1 avec probabilit´ p et −1 avec probabilit´ 1 − p, et u e ey0 ∈ Z. 1. Quelles sont les valeurs que peut prendre X100 ? Notons E100 cet ensemble. 2. Soit y ∈ E100 . Combien y-a-t’il de trajectoires v´ rifiant X100 = y ? Pr´ ciser ce nombre lorsque e ey = y0 + 100, y = y0 − 100 et y = y0 . 3. Soit y ∈ E100 . Montrer que toutes les trajectoires v´ rifiant X100 = y ont la mˆ me probabilit´ . e e eQuelle est cette probabilit´ ? e 4. Principe de r´ flexion. Soient x, x′ , y, y ′ des entiers tels que 0 ≤ x ≤ x′ et yy ′ ≥ 0. Justifier eheuristiquement qu’il y a autant de trajectoires de la marche al´ atoire allant de (x, y) a (x′ , y ′ ) en touchant e `l’axe des abscisses, que de trajectoires allant de de (x, −y) a (x′ , y ′ ). `Partie 2. Application au distributeur automatique de boissons.Consid´ rons un distributeur automatique de boissons, chacunes valant 1 euro. Supposons que 60% des eclients d´ sirant acheter une boisson la paie avec une pi` ce de 1 euro, et le reste, avec une pi` ce de 2 euros. e e e `Dans ce dernier cas, le distributeur rend au consommateur sa monnaie, i.e. une pi` ce de 1 euro. A condition equ’il en ait... Il s’agit donc pour l’appariteur de pr´ voir dans le distributeur, en d´ but de journ´ e, un stock e e esuffisant de pi` ces de 1 euro. Mais pas trop pour ne pas bloquer inutilement de la tr´ sorerie ! e e 5. Mod´ liser par une marche al´ atoire l’´ volution au cours du temps du stock du distributeur. e e e 6. Supposons que dans une journ´ e donn´ e, 100 clients se pr´ sentent et que exactement 60 d’entre e e eeux paient avec une pi` ce de 1 euro. Quel stock initial permet d’assurer (disons a 95%) que chaque client e `r´ cup` re sa monnaie ? e e 7
  8. 8. Chapitre 1Chaˆnes de Markov ı Un mod` le d’´ volution dynamique en temps discret dans lequel on fait d´ pendre l’´ volution future de e e e el’´ tat pr´ sent et du hasard est une chaˆne de Markov. C’est un processus stochastique a temps discret. On e e ı `en rencontre dans de nombreux domaines d’applications...1.1 D´ finitions eD´ finition 1.1.1 Soit (Xn )n∈N une suite de v.a. a valeurs dans un espace E fini ou d´ nombrable, appel´ e ` e eespace d’´ tats. On dit que (Xn )n∈N est une chaˆne de Markov si e ı IP(Xn+1 = j | Xn = i, Xn−1 = in−1 , . . . , X1 = i1 , X0 = i0 ) = IP(Xn+1 = j | Xn = i) ,pour tout entier n ∈ N, pour tout etat j et pour toute suite d’´ tats i0 , i1 , . . . , in−1 , i pour lesquels la ´ eprobabilit´ conditionnelle a un sens, i.e. e IP(Xn = i, Xn−1 = in−1 , . . . , X1 = i1 , X0 = i0 ) > 0 .Si de plus la quantit´ IP(Xn+1 = j | Xn = i) ne d´ pend pas de n, i.e. e e IP(Xn+1 = j | Xn = i) = IP(X1 = j | X0 = i)alors la chaˆne de Markov (Xn )n∈N est dite homog` ne. ı eIl faut comprendre une chaˆne de Markov (Xn )n∈N comme une promenade dans l’espace d’´ tats E, la ı evariable Xn indiquant l’´ tat dans lequel on est a l’instant n. La v.a. X0 repr´ sente l’´ tat initial duquel e ` e ed´ marre la chaˆne. Selon le contexte, X0 pourra etre al´ atoire ou d´ terministe. e ı ˆ e eLa propri´ t´ de Markov signifie que, connaissant le dernier etat visit´ (disons a l’instant n), la loi du ee ´ e `prochain etat visit´ (i.e. la loi de Xn+1 ) ne d´ pend pas des etats visit´ s depuis l’instant 0 jusqu’` l’instant ´ e e ´ e an − 1. Plus prosa¨quement, on dit que ı conditionnellement au pr´ sent, le futur ne d´ pend pas du pass´ . e e eMais il d´ pend du pr´ sent : Xn et Xn+1 n’ont aucune raison d’ˆ tre ind´ pendantes ! e e e eLa propri´ t´ d’homog´ n´ it´ d’une chaˆne de Markov exprime quant a elle que la probabilit´ d’aller de i en ee e e e ı ` ej reste la mˆ me au cours du temps. Elle permet de regrouper en une seule matrice (ind´ pendante de n) les e eprobabilit´ s de transition entre deux etats quelconques. e ´ 8
  9. 9. D´ finition 1.1.2 Soit (Xn )n∈N une chaˆne de Markov homog` ne a espace d’´ tats E. Soient i, j ∈ E deux e ı e ` eetats. La probabilit´´ e pi,j := IP(X1 = j | X0 = i)est appel´ e probabilit´ de transition de i a j. La matrice P := (pi,j )i,j∈E est appel´ e matrice de transition e e ` ede la chaˆne. ıLorsque l’espace d’´ tats E est fini, la matrice P est carr´ e de taille Card(E). Lorsqu’il est infini, elle e eadmet un nombre infini de lignes et de colonnes. Les coefficients de la matrice P sont positifs ou nuls.Leur somme sur une mˆ me ligne vaut 1 : pour tout i ∈ E, e   pi,j = IP(X1 = j | X0 = i) = IP  {X1 = j} X0 = i = 1 . j∈E j∈E j∈EComme nous le verrons dans les exemples suivants, il arrive fr´ quemment dans les applications que pour eun etat i donn´ , le nombre d’´ tats j directement accessibles depuis i (i.e. tel que pi,j > 0) soit faible. La ´ e ematrice de transition est alors tr` s creuse ; elle contient beaucoup de 0. Il est souvent plus economique (et e ´plus pertinent) de r´ sumer les probabilit´ s de transition dans le diagramme de transition. C’est un graphe e eorient´ et pond´ r´ dont l’ensemble des sommets est E. Une arˆ te de poids pi,j va de i a j si pi,j > 0. e ee e `E XEMPLES : • Transmission d’un bit informatique. Un bit informatique valant 0 ou 1 est transmis d’un poste Avers un poste B en passant par N interm´ diaires. Chacun de ces interm´ diaires transmet correctement le bit e eavec probabilit´ p et l’inverse avec probabilit´ 1 − p, ind´ pendamment les uns des autres. Le bit (al´ atoire) e e e ed’entr´ e, disons X0 , est suppos´ ind´ pendent des interm´ diaires. Pour n = 1, . . . , N , notons Xn le bit e e e esortant du ne interm´ diaire. e 1 n N A B Xn−1 XnLa suite de v.a. (Xn )0≤n≤N est a valeurs dans l’espace d’´ tats E = {0, 1}. V´ rifions que c’est une chaˆne ` e e ıde Markov. Consid´ rons pour ce faire, une suite i0 , . . . , in , in+1 d’´ l´ ments de {0, 1}. e ee IP(Xn+1 = in+1 et Xn = in , . . . , X0 = i0 )IP(Xn+1 = in+1 | Xn = in , . . . , X0 = i0 ) = IP(Xn = in , . . . , X0 = i0 ) IP(Xn+1 − Xn = in+1 − in et Xn = in , . . . , X0 = i0 ) = IP(Xn = in , . . . , X0 = i0 ) = IP(Xn+1 − Xn = in+1 − in ) ,du fait de l’ind´ pendance entre la v.a. Xn+1 − Xn (qui repr´ sente l’action du (n + 1)e interm´ diaire) et e e el’´ tat du bit a la sortie des n premiers interm´ diaires. Pour la mˆ me raison ; e ` e e IP(Xn+1 − Xn = in+1 − in ) IP(Xn = in ) IP(Xn+1 = in+1 | Xn = in , . . . , X0 = i0 ) = IP(Xn = in ) = IP(Xn+1 = in+1 | Xn = in ) . 9
  10. 10. Enfin, le caract` re homog` ne de la chaˆne (Xn )0≤n≤N r´ sulte du calcul : e e ı e p si i = j IP(Xn+1 = j | Xn = i) = IP(Xn+1 − Xn = j − i) = . 1−p sinon.Voici la matrice et le graphe de transition de cette chaˆne : ı 1−p p 1−p P = p 0 1 p 1−p p 1−p • La marche al´ atoire simple. Soient (Yn )n≥1 une suite de v.a. i.i.d., chacune valant 1 avec proba- ebilit´ p et −1 avec probabilit´ 1 − p. Soit Y0 ∈ Z une v.a. ind´ pendante des Yn , repr´ sentant le point de e e e ed´ part sur l’axe Z de la chaˆne. On d´ finit la marche al´ atoire simple par e ı e e Xn+1 = Xn + Yn+1 = Y0 + Y1 + . . . + Yn + Yn+1 ,pour tout n ∈ N. Le processus stochastique (Xn )n≥1 est une chaˆne de Markov homog` ne. Son espace ı ed’´ tats E = Z est cette fois infini. Comme dans l’exemple du bit informatique, le caract` re markovien e eprovient de l’ind´ pendance des Yn : e IP(Xn+1 = in+1 et Xn = in , . . . , X0 = i0 ) IP(Xn+1 = in+1 | Xn = in , . . . , X0 = i0 ) = IP(Xn = in , . . . , X0 = i0 ) IP(Yn+1 = in+1 − in et Xn = in , . . . , X0 = i0 ) = IP(Xn = in , . . . , X0 = i0 ) = IP(Yn+1 = in+1 − in ) IP(Yn+1 = in+1 − in ) IP(Xn = in ) = IP(Xn = in ) IP(Xn+1 − Xn = in+1 − in et Xn = in ) = IP(Xn = in ) = IP(Xn+1 = in+1 | Xn = in ) ,o` les i0 , . . . , in , in+1 sont des etats. Idem pour le caract` re homog` ne : u ´ e e   p si j = i + 1 IP(Xn+1 = j | Xn = i) = IP(Yn+1 = j − i) = 1−p si j = i − 1 . 0 sinon. La matrice de transition de la chaˆne (Xn )n≥1 est de taille infinie. Sa ie ligne est de la forme : ı ··· 0 0 1−p 0 p 0 0 ···o` le “0” intercal´ entre les coefficients 1 − p et p est sur la ie colonne. Son graphe de transition est donn´ u e epar la Figure 1.1. 10
  11. 11. p p i−1 i i+1 1−p 1−p F IGURE 1.1 – Le graphe de transition de la marche al´ atoire simple. e • Le processus de Galton-Watson d´ crit en introduction est egalement une chaˆne de Markov ho- e ´ ımog` ne. eDans la pratique, nous prouverons qu’une suite de v.a. est une chaˆne de Markov en utilisant le r´ sultat ı eintuitif suivant :Proposition 1.1.3 Une suite de v.a. (Xn )n≥1 d´ finie r´ cursivement par Xn+1 = f (Xn , Yn+1 ) o` e e u - (Yn )n≥1 est une suite de v.a. i.i.d. a valeurs dans un espace E ′ , ` - X0 ∈ E est une v.a. donn´ e et ind´ pendante des (Yn )n≥1 , e e - f :E×E ′ → E est une application d´ terministe, eest une chaˆne de Markov homog` ne a espace d’´ tats E. ı e ` eCe crit` re permet d’affirmer tr` s rapidement que la marche al´ atoire simple d´ finie pr´ c´ demment est e e e e e eune chaˆne de Markov homog` ne. En effet, les incr´ ments Y0 , Y1 , Y2 . . . sont des v.a. i.i.d. a valeurs dans ı e e `l’espace E ′ = {−1; 1} (E ′ = Z convenait egalement), X0 = Y0 et Xn+1 = f (Xn , Yn+1 ) avec comme ´application d´ terministe f : f (x, y) = x + y. eProposition 1.1.4 La loi d’une chaˆne de Markov homog` ne (Xn )n∈N est enti` rement d´ termin´ e par la ı e e e edonn´ e de sa matrice de transition P et de la loi de X0 , appel´ e loi initiale et not´ e µ0 : e e e pour tout i ∈ E, µ0 (i) := IP(X0 = i).Plus pr´ cis´ ment, pour tout entier n et toute suite d’´ tats i0 , i1 , . . . , in−1 , in de E : e e e IP(Xn = in , Xn−1 = in−1 , . . . , X1 = i1 , X0 = i0 ) = µ0 (i0 )pi0 ,i1 . . . pin−1 ,in . (1.1)La formule (1.1) permet d’´ crire la probabilit´ d’une intersection, i.e. e e IP(Xn = in , Xn−1 = in−1 , . . . , X1 = i1 , X0 = i0 ) ,comme un produit de probabilit´ s conditionnelles, les coefficients pi,j . eEn divisant par µ0 (i0 ) dans (1.1), il s’ensuit que : IP(Xn = in , Xn−1 = in−1 , . . . , X1 = i1 | X0 = i0 ) = pi0 ,i1 . . . pin−1 ,in .D´ monstration Le r´ sultat repose sur la formule e e n IP Ak = IP(A0 ) IP(A1 | A0 ) IP(A2 | A1 ∩ A0 ) . . . IP(An | An−1 ∩ . . . ∩ A0 ) k=0 11
  12. 12. a d´ montrer par r´ currence sur n ∈ N et appliqu´ e aux ev´ nements Ak = {Xk = ik }. Il ne reste plus qu’`` e e e ´ e aidentifier les termes : IP(A0 ) = IP(X0 = i0 ) vaut µ(i0 ), IP(A1 | A0 ) = IP(X1 = i1 | X0 = i0 ) vaut pard´ finition pi0 ,i1 et e IP(A2 | A1 ∩ A0 ) = IP(X2 = i2 | X1 = i1 , X0 = i0 ) = IP(X2 = i2 | X1 = i1 ) = pi1 ,i2 ,par la propri´ t´ de Markov. C’est pareil pour les autres termes. eeDans toute la suite, consid´ rons une chaˆne de Markov homog` ne (Xn )n∈N a valeurs dans E, de matrice e ı e `de transition P et de loi initiale µ0 .Proposition 1.1.5 La loi de la chaˆne de Markov homog` ne (Xn )n∈N est invariante par translation dans le ı etemps. Autrement dit, pour tous entiers n, m, toute suite d’´ tats i0 , i1 , . . . , in , in+1 , . . . , in+m pour lesquels e IP(Xn = in , Xn−1 = in−1 , . . . , X1 = i1 , X0 = i0 ) > 0 ,il vient : IP(Xn+m = in+m , . . . , Xn+1 = in+1 | Xn = in , . . . , X0 = i0 ) = IP(Xm = in+m , . . . , X1 = in+1 | X0 = in ) .La probabilit´ conditionnelle d’une trajectoire donn´ e (i.e. les etats in+1 , . . . , in+m ) reste la mˆ me au cours e e ´ edu temps, qu’elle ait lieu entre les instants n + 1 et n + m ou entre les instants 1 et m. Seul compte ledernier etat visit´ , en l’occurrence in . ´ eUne g´ n´ ralisation de ce r´ sultat est connue sous le nom de relation de Chapman-Kolmogorov : e e e IP(Xn+m = j | X0 = i) = IP(Xm = j | X0 = k) IP(Xn = k | X0 = i) . k∈EIl faut la lire comme suit : aller de i a j en n + m pas, c’est aller de i a un certain etat k en n pas puis de k ` ` ´a j en m pas.`Notons par µn la loi de Xn . C’est une mesure de probabilit´ sur E que l’on peut ecrire sous la forme e ´d’un vecteur ligne (µn (j))j∈E (i.e. un el´ ment de R ´e Card(E) ). L’objectif de la fin de cette section consiste a `etablir une relation matricielle liant µn a la loi initiale µ0 et a la matrice P´ ` ` (n)Pour ce faire, notons par (pi,j )i,j∈E les coefficients de la matrice P n , puissance ne de P . L’expression (n)brute de pi,j est (n) pi,j = pi,i1 pi1 ,i2 . . . pin−1 ,j . i1 ,...,in−1 ∈E (n)Cette formule etant purement alg´ brique, voici une nouvelle expression du coefficient pi,j lui donnant ´ edavantage de sens :Proposition 1.1.6 Soient n un entier et i, j des etats. ´ (n) (1) IP(Xn = j | X0 = i) = pi,j . 12
  13. 13. (2) µn+1 = µn P . (3) µn = µ0 P n , ce qui signifie que IP(Xn = j) est le j e el´ ment du vecteur ligne µ0 P n . ´eEn utilisant des vecteurs colonnes pour d´ crire les lois de Xn et Xn+1 , le point (2) devient e t µn+1 =t P t µn .On peut donc voir l’´ volution en loi de la suite (Xn )n∈N comme un syst` me it´ ratif lin´ aire dont t P est la e e e ematrice d’´ volution : on obtient la loi de Xn+1 en multipliant (matriciellement et par la gauche) la loi de eXn par t P .D´ monstration Seul le cas n = 2 sera trait´ pour donner l’intuition concernant le point (1). Le coefficient e e (2) e ligne et de la j e colonne de la matrice P 2 vautpi,j de la i (2) pi,j = pi,k pk,j . k∈ELa formule des probabilit´ s totales et la Proposition 1.1.4 permettent d’´ crire les egalit´ s : e e ´ e IP(X2 = j, X0 = i) = IP(X2 = j, X1 = k, X0 = i) k∈E = µ0 (i) pi,k pk,j , k∈E (2)desquelles on en d´ duit le r´ sultat ; IP(X2 = j|X0 = i) = pi,j . Par ailleurs, e e µn+1 (j) = IP(Xn+1 = j) = IP(Xn+1 = j, Xn = i) i∈E = IP(Xn+1 = j | Xn = i) IP(Xn = i) i∈E = pi,j IP(Xn = i) . i∈ECette egalit´ implique la relation matricielle µn+1 = µn P (i.e. le point (2)). Enfin, le point (3) s’obtient ´ epar une r´ currence imm´ diate. e e ´1.2 Classification des etats1.2.1 Classes irr´ ductibles eD´ finition 1.2.1 Soient i et j deux etats de E. On dit que l’´ tat j est accessible depuis l’´ tat i si e ´ e e (n) ∃n ∈ N, pi,j = IP(Xn = j | X0 = i) > 0 .On dit que les etats i et j communiquent si chacun est accessible depuis l’autre. On note alors i ↔ j. ´Proposition 1.2.2 La relation ↔ est une relation d’´ quivalence sur E. e 13
  14. 14. D´ monstration La r´ fl´ xivit´ (i.e. i ↔ i) est imm´ diate : pour n = 0, IP(X0 = i | X0 = i) = 1. Il en va e e e e ede mˆ me pour la sym´ trie (i ↔ j implique j ↔ i). Enfin, la transitivit´ repose sur la relation de Chapman- e e eKolmogorov. Supposons que i ↔ j et j ↔ k. En particulier, les etats j et k sont respectivement accessibles ´depuis i et j. Il existe donc des entiers m et n tels que IP(Xm = k|X0 = j) > 0 et IP(Xn = j|X0 = i) > 0.Par cons´ quent, e IP(Xn+m = k | X0 = i) = IP(Xm = k | X0 = l) IP(Xn = l | X0 = i) l∈E ≥ IP(Xm = k | X0 = j) IP(Xn = j | X0 = i) > 0 ,d’o` k est accessible depuis l’´ tat i. C’est la mˆ me chose dans l’autre sens. u e eL’espace E peut donc etre partitionn´ en classes d’´ quivalence pour la relation ↔, appel´ es classes ˆ e e eirr´ ductibles. Nous insisterons dans les paragraphes suivants sur le fait que les etats d’une mˆ me classe e ´ eirr´ ductible ont des propri´ t´ s equivalentes vis a vis de la chaˆne (r´ currence, transience et p´ riodicit´ ). e ee ´ ` ı e e eLorsque l’espace E est r´ duit a une seule classe (i.e. tous les etats communiquent), on dit que la chaˆne est e ` ´ ıirr´ ductible. En g´ n´ ral, E se partitionne en etats isol´ s dans lesquels on ne revient jamais une fois qu’on e e e ´ eles a quitt´ s, et en classes irr´ ductibles disjointes. e ePour d´ terminer les classes irr´ ductibles d’une chaˆne de Markov, il est commode de travailler sur le graphe e e ıde transition plutˆ t que sur la matrice de transition P . oE XEMPLE : Consid´ rons une chaˆne de Markov a valeurs dans E = {a, b, c, d, e} et dont la matrice et le e ı `graphe de transition sont donn´ es par : e   1/2 1/2 0 0 0 1/2  1/4 1/2 1/4 0 0  1/2 1/4 1 1/2   P =  0 0 0 1 0  b  1/2 a c d e  0 0 1/2 0 1/2  0 0 0 1 0 1/4 1/2 1La chaˆne comporte deux classes irr´ ductibles : {a, b} et {c, d, e}. ı e1.2.2 R´ currence et transience eD´ finition 1.2.3 Soit i ∈ E. La v.a. Ti d´ finie par e e Ti = inf{n ≥ 1, Xn = i}est appel´ e temps d’atteinte de i ou encore temps de retour a i lorsque la chaˆne (Xn )n∈N part de i. Par e ` ıconvention, lorsque pour tout n ≥ 1, Xn = i, on pose Ti = +∞.D´ finition 1.2.4 Un etat i ∈ E est dit r´ current si, partant de i, on y revient presque sˆ rement en temps e ´ e ufini : IP(Ti < +∞ | X0 = i) = 1 .L’´ tat i est dit transient dans le cas contraire, i.e. lorsque IP(Ti = +∞ | X0 = i) > 0. e 14
  15. 15. Autrement dit, un etat est transient si avec probabilit´ strictement positive, on peut le quitter pour ne jamais ´ e (n)y revenir. Comme cas particulier d’´ tat transient, on retrouve les etats pour lesquels pi,i = 0, pour tout e ´n ≥ 1. Ce sont ceux que l’on quitte au premier pas pour ne jamais y revenir ; IP(Ti < +∞ | X0 = i) = IP(∃n ≥ 1, Xn = i | X0 = i)   = IP  {Xn = i} X0 = i n≥1 ≤ IP(Xn = i | X0 = i) n≥1 (n) ≤ pi,i = 0 . n≥1E XEMPLES : • Reprenons le cas de la chaˆne de Markov a valeurs dans E = {a, b, c, d, e} d´ finie dans le paragraphe ı ` epr´ c´ dent. L’´ tat b est transient. En effet, l’´ tat c est accessible depuis b mais pas l’inverse. Autrement dit, e e e een allant en c depuis b, on est sˆ r de ne jamais y revenir : u   IP(Tb = +∞ | X0 = b) = IP  {Xn = b} X0 = b n≥1 ≥ IP(X1 = c | X0 = b) = 1/4 .Ce qui donne IP(Tb < +∞ | X0 = b) < 1. Il en va de mˆ me pour l’´ tat a : e e 1 1 IP(Ta = +∞ | X0 = a) ≥ IP(X2 = c, X1 = b | X0 = a) = × , 4 2 ´ ` e ´d’apr` s la Proposition 1.1.4. Les etats c, d et e seront quant a eux r´ currents. Etudions le cas de c. En epartant de c, l’unique solution pour ne jamais y revenir consiste a aller en d puis a transiter ind´ finiment ` ` eentre d et e, ce qui est de probabilit´ nulle. En effet, pour tout n, e IP(Tc = +∞ | X0 = c) ≤ IP(X2n+1 = d, X2n = e, . . . , X3 = d, X2 = e, X1 = d | X0 = c) ≤ pc,d (pd,e pe,d )n ,toujours d’apr` s la Proposition 1.1.4. Avec pd,e pe,d = 1/2, on obtient la majoration : e 1 IP(Tc = +∞ | X0 = c) ≤ . 2nIl ne reste plus qu’` faire tendre n tend vers l’infini. a • En exercice, il sera montr´ que la marche al´ atoire sur Z est r´ currente dans le cas sym´ trique, i.e. e e e epour p = q = 1/2, et transiente sinon.La v.a. Ni est le nombre de passages de la chaˆne (Xn )n∈N par l’´ tat i apr` s l’instant 0 : ı e e Ni = 1 Xn =i 1 n≥1Partant de j, on acc` de en i en temps fini, puis on revient en i au moins n fois (i.e. Ni ≥ n). Cela fait donc eau moins n + 1 passages en i (partant de j). 15
  16. 16. Lemme 1.2.5 Pour tout entier n et tous etats i et j, ´ IP(Ni ≥ n + 1 | X0 = j) = IP(Ti < +∞ | X0 = j) IP(Ni ≥ n | X0 = i) .Les etats transients sont ceux dans lesquels on ne passe qu’un nombre fini de fois. Par opposition, on ´revient une infinit´ de fois dans un etat r´ current. e ´ eProposition 1.2.6 Les conditions suivantes sont equivalentes : ´ (1) l’´ tat i est r´ current : IP(Ti < +∞|X0 = i) = 1 ; e e (2) conditionnellement a X0 = i, la chaˆne de markov (Xn )n∈N revient presque sˆ rement une infinit´ ` ı u e de fois en i : IP(Ni = +∞ | X0 = i) = 1 ; (n) (3) la s´ rie e pi,i diverge.Proposition 1.2.7 Les conditions suivantes sont equivalentes : ´ (4) l’´ tat i est transient : IP(Ti < +∞|X0 = i) < 1 ; e (5) conditionnellement a X0 = i, la v.a. Ni est presque sˆ rement finie et suit la loi g´ om´ trique de ` u e e param` tre αi = IP(Ti < +∞|X0 = i) : e ∀n ∈ N, IP(Ni = n | X0 = i) = αn (1 − αi ) ; i (n) (6) conditionnellement a X0 = i, la v.a. Ni est int´ grable : IE[Ni |X0 = i] = ` e pi,i < +∞. (n)Remarquons que l’identit´ entre l’esp´ rance conditionnelle IE[Ni |X0 = i] et la s´ rie e e e pi,i est valablequelle que soit la nature de cette derni` re, en la consid´ rant comme un el´ ment de [0; +∞]. Elle repose sur e e ´ele th´ or` me de Fubini. e e   IE[Ni | X0 = i] = IE  1 Xn =i 1 X0 = i n≥1 = IE[1 Xn =i | X0 = i] 1 n≥1 = IP(Xn = i | X0 = i) n≥1 (n) = pi,i . n≥1Les deux propositions ci-dessus se d´ montrent simultan´ ment. e eD´ monstration Prouvons (1) ⇒ (2). En combinant, IP(Ti < +∞|X0 = i) = 1 et le Lemme 1.2.5, il evient : IP(Ni ≥ n + 1 | X0 = i) = IP(Ni ≥ n | X0 = i) = . . . = IP(Ni ≥ 1 | X0 = i), 16
  17. 17. en it´ rant. Par ailleurs, {Ni ≥ 1} = {Ti < +∞}. On en d´ duit que pour tout n, IP(Ni ≥ n|X0 = i) = 1. e eIl ne reste plus qu’` faire tendre n vers l’infini pour obtenir (2) : a   IP(Ni = +∞ | X0 = i) = IP  {Ni ≥ n} X0 = i n≥1 = lim IP(Ni ≥ n | X0 = i) n→+∞ = 1.L’implication (2) ⇒ (3) repose sur : (n) pi,i = IE[Ni | X0 = i] ≥ (+∞) IP(Ni = +∞ | X0 = i) = +∞ . n≥1Supposons (4) : αi = IP(Ti < +∞|X0 = i) < 1. Le Lemme 1.2.5 donne : IP(Ni ≥ n + 1 | X0 = i) = αi IP(Ni ≥ n | X0 = i) = . . . = αn IP(Ni ≥ 1 | X0 = i) . iAinsi, IP(Ni ≥ n + 1 | X0 = i) = αn IP(Ti < +∞ | X0 = i) = αn+1 . i iOn en d´ duit d’une part que Ni est presque sˆ rement finie e u IP(Ni = +∞ | X0 = i) = lim IP(Ni ≥ n | X0 = i) = 0 n→+∞(car αi < 1) et d’autre part que sa loi est g´ om´ trique de param` tre αi . Ce qui prouve (5). e e e IP(Ni = n | X0 = i) = IP(Ni ≥ n | X0 = i) − IP(Ni ≥ n + 1 | X0 = i) = αn (1 − αi ) . iL’implication (5) ⇒ (6) est imm´ diate : e αi IE[Ni | X0 = i] = IP(Ni ≥ n | X0 = i) = < +∞ . 1 − αi n≥1Enfin, (3) ⇒ (1) et (6) ⇒ (4) sont respectivement les contrapos´ es de (4) ⇒ (6) et (1) ⇒ (3). Les eboucles sont boucl´ es ! eLa r´ currence et la transience sont des propri´ t´ s de classe irr´ ductible : e ee eProposition 1.2.8 Si les etats i et j communiquent alors ils sont tous deux r´ currents ou tous deux tran- ´ esients.Ainsi, tous les etats appartenant a la mˆ me classe irr´ ductible qu’un etat transient (resp. r´ current), le seront ´ ` e e ´ eegalement. La classe sera alors qualifi´ e de transiente (resp. r´ currente).´ e e (k) (l)D´ monstration Si les etats i et j communiquent, il existe deux instants k et l tels que pi,j > 0 et pj,i > 0. e ´Soit m ≥ k + l. Partant de i, une facon d’y revenir en m pas consiste a d’abord aller en j en l pas, puis d’y ¸ `revenir en m − k − l pas pour enfin aller en i en k pas : (m) (l) (m−k−l) (k) pi,i ≥ pi,j pj,j pj,i . 17
  18. 18. De la mˆ me mani` re, e e (m) (k) (m−k−l) (l) pj,j ≥ pj,i pi,i pi,j . (m) (m)Les deux s´ ries m pi,i et e m pj,j sont donc de mˆ me nature. Les Propositions 1.2.6 et 1.2.7 permettent ealors de conclure.Proposition 1.2.9 La probabilit´ de sortir d’une classe irr´ ductible r´ currente est nulle. Plus pr´ cis´ ment, e e e e esi i est un etat r´ current et C(i) sa classe alors ´ e (n) ∀j ∈ C(i), ∀n ∈ N, IP(Xn = j | X0 = i) = pi,j = 0 . / (n)D´ monstration Soit j ∈ C(i) et supposons par l’absurde qu’il existe un entier n tel que pi,j > 0. Il e / (m) (m)existe alors un entier m tel que pj,i > 0. Dans le cas contraire, i.e. ∀m pj,i = 0, l’´ tat i ne pourrait etre e ˆr´ current puisqu’il existerait une probabilit´ non nulle de quitter i et de ne jamais y revenir. D` s lors, les e e eetats i et j communiquent, ce qui contredit j ∈ C(i).´ /Proposition 1.2.10 Toute chaˆne de Markov homog` ne sur un espace d’´ tats fini a au moins un etat ı e e ´r´ current. En particulier, toute chaˆne irr´ ductible sur un espace d’´ tats fini est r´ currente. e ı e e eD´ monstration Montrons que, etant donn´ un etat i transient, le nombre moyen de passage par l’´ tat i en e ´ e ´ epartant d’un etat j, i.e. IE[Ni |X0 = j], est finie. Cette affirmation repose sur le Lemme 1.2.5, la Proposition ´1.2.7, le fait que IE[Z] = n≥1 IP(Z ≥ n) pour une v.a. positive Z et le calcul suivant : IE[Ni | X0 = j] = IP(Ni ≥ n + 1 | X0 = j) n∈N = IP(Ti < +∞ | X0 = j) IP(Ni ≥ n | X0 = i) n∈N = IP(Ti < +∞ | X0 = j) IP(Ni ≥ n | X0 = i) n∈N = IP(Ti < +∞ | X0 = j)(1 + IE[Ni | X0 = i]) < +∞ .Donc, presque sˆ rement, chaque etat de E est visit´ un nombre fini de fois. C’est impossible : E etant fini, u ´ e ´notre chaˆne fr´ quente au moins l’un des etats de E une infinit´ de fois. ı e ´ e1.2.3 P´ riodicit´ e eD´ finition 1.2.11 La p´ riode d’un etat i est l’entier d(i) d´ fini par e e ´ e (n) d(i) = PGCD{n ≥ 1, pi,i > 0} .Lorsque d(i) = 1, l’´ tat i est qualifi´ de ap´ riodique. e e e 18
  19. 19. Un etat en lequel on peut rester avec probabilit´ non nulle, i.e. pi,i > 0, est automatiquement ap´ riodique. ´ e e ` Voici deux exemples. A gauche, l’´ tat a est de p´ riode 2 (idem pour b). En effet, chaque chemin de e e e `probabilit´ non nulle partant de a et y revenant comprend un nombre pair de pas. A droite, tous les etats ´ e ´sont ap´ riodiques. Etudions en particulier le cas de l’´ tat 1. Depuis cet etat, il est possible d’y revenir en 3 e ´pas (en faisant 1 → 2 → 3 → 1) : (3) p1,1 = p1,i pi,j pj,1 ≥ p1,2 p2,3 p3,1 > 0 . i,j∈E (5)Il est egalement possible d’y revenir en 5 pas : p1,1 > 0 (en faisant 1 → 2 → 3 → 4 → 3 → 1). Puisque 3 ´et 5 sont premiers entre eux, l’´ tat 1 est ap´ riodique. e e 1/2 1 1/2 1 2/3 1/3 3 4 a b 2 1 1 1/3 2/3Simuler une chaˆne de Markov est tr` s facile. Voici le code R de la fonction iteration qui prend en entr´ e ı e eun etat x ∈ E et renvoie l’´ tat visit´ juste apr` s conform´ ment a la dynamique d´ crite par le graphe de ´ e e e e ` etransition ci-dessus a droite. ` iteration <– function(X) { U <– runif(1,min=0,max=1) if (X==a) { if (U < 1/3) {Y=b} else {Y=c}} if (X==b) { if (U < 2/3) {Y=b} else {Y=c}} if (X==c) { if (U < 1/2) {Y=a} else {Y=d}} if (X==d) {Y=c} Y }La p´ riodicit´ est une propri´ t´ de classe irr´ ductible : e e ee eProposition 1.2.12 Si les etats i et j communiquent alors ils ont la mˆ me p´ riode. ´ e eTous les etats d’une mˆ me classe irr´ ductible ont donc la mˆ me p´ riode. Si celle-ci vaut 1, la classe est ´ e e e ealors qualifi´ e de ap´ riodique. e eD´ monstration Soient i et j deux etats qui communiquent. Il suffit de montrer que d(j) divise d(i). En e ´effet, par sym´ trie, on aura egalement d(i) divise d(j), et donc d(j) = d(i). Comme i et j communiquent, e ´ (l) (m)il existe deux entiers l et m tels que pi,j > 0 et pj,i > 0. Consid´ rons maintenant un entier n tel que e (n)pi,i > 0. Les in´ galit´ s e e (m+n+l) (m) (n) (l) pj,j ≥ pj,i pi,i pi,j > 0 19
  20. 20. et (m+l) (m) (l) pj,j ≥ pj,i pi,j > 0impliquent respectivement que d(j) divise les entiers m + n + l et m + l : il divise donc la diff´ rence, i.e. e (n)n. Autrement dit, d(j) divise tous les entiers n tels que pi,i > 0. Il divise donc leur PGCD d(i).1.3 Th´ or` mes limites e e ´Etant donn´ une chaˆne de Markov homog` ne (Xn )n∈N , l’objectif de cette derni` re partie est d’approximer e ı e ela loi de la v.a. Xn lorsque n tend vers l’infini.1.3.1 Les mesures stationnairesD´ finition 1.3.1 Une mesure stationnaire (ou invariante) d’une chaˆne de Markov de matrice de transition e ıP est une loi de probabilit´ sur E, disons π = (π(j))j∈E , v´ rifiant π = πP . e eSoit π une mesure stationnaire pour la chaˆne de Markov (Xn )n∈N de matrice de transition P . Rappelons ıque le vecteur ligne (µn (j))j∈E d´ signe la loi de la v.a. Xn . La formule µn+1 = µn P (Proposition 1.1.6) eimplique que si la loi de Xn est π (i.e. µn = π) alors il en est de mˆ me pour la loi de Xn+1 (i.e. µn+1 = π). ePar cons´ quent, si la loi initiale µ0 (celle de X0 ) est π alors toutes les v.a. Xn seront distribu´ es selon π. e eC’est ce qui justifie le qualificatif de stationnaire. Cela signifie que la probabilit´ de se trouver dans un etat e ´donn´ reste constante au cours du temps, bien que la chaˆne saute constamment d’´ tat en etat. Une mesure e ı e ´stationnaire doit donc etre comprise comme un equilibre dynamique en loi. ˆ ´E XEMPLE :Consid´ rons une chaˆne de Markov (Xn )n∈N a espace d’´ tats E = {a, b, c} dont la matrice et le graphe de e ı ` etransition sont donn´ s par : e a 1   0 1 0 1/2 b 1/2 P =  0 1/2 1/2  1/2 0 1/2 c 1/2 1/2R´ solvons le syst` me lin´ aire π = πP o` les coordonn´ es du vecteur π sont not´ es (πa , πb , πc ). On obtient e e e u e eune droite vectorielle de solutions, engendr´ e par le vecteur (1/2, 1, 1). Par ailleurs, la mesure stationnaire eπ est une mesure de probabilit´ . Elle doit donc satisfaire la condition πa + πb + πc = 1. Ceci d´ termine π e ede mani` re unique ; π = (1/5, 2/5, 2/5). eAttention, contrairement a l’exemple ci-dessus, une chaˆne de Markov peut ne pas admettre de mesure ` ıstationnaire, ou mˆ me en admettre plusieurs... e 20
  21. 21. Consid´ rons enfin une chaˆne de Markov (Xn )n∈N a espace d’´ tats E fini et de matrice de transition P . e ı ` eSupposons de plus que la suite (Xn )n∈N converge en loi vers une mesure de probabilit´ sur E, not´ e ν : e e pour tout j ∈ E, lim µn (j) = ν(j) . n→+∞Puisque E est fini, l’application lin´ aire t P est continue donc t P t µn converge (coordonn´ e par coor- e edonn´ e) vers e t P t ν, lorsque n tend vers l’infini. D’autre part, t P t µ = t µ n n+1 converge egalement (coor- ´donn´ e par coordonn´ e) vers la loi t ν. Celle-ci v´ rifie donc t P t ν = t ν, ou encore ν = νP . En conclusion, e e esi la suite (Xn )n∈N converge en loi vers une mesure de probabilit´ alors cette loi limite est n´ cessairement e eune mesure stationnaire pour la chaˆne de Markov correspondante. ı1.3.2 Lorsque l’espace d’´ tats E est fini eConsid´ rons une chaˆne de Markov homog` ne (Xn )n∈N a espace d’´ tats fini E et de matrice de transition e ı e ` eP . Comme la somme des coefficients sur chaque ligne de P vaut 1, tout vecteur a coordonn´ es constantes ` eest vecteur propre de P associ´ a la valeur propre 1. Une matrice carr´ e et sa transpos´ e ayant les mˆ mes e` e e evaleurs propres, 1 est donc egalement valeur propre de t P . Notons E1 l’espace propre associ´ a la valeur ´ e`propre 1 pour t P : E1 = {v ∈ RCard(E) , tP v = v} .On vient de montrer que dim E1 ≥ 1. D` s lors, tout vecteur (colonne) t π appartenant a E1 et dont la e `somme des coordonn´ es vaut 1, produit un vecteur ligne π, loi de probabilit´ sur E et v´ rifiant π = πP . e e eC’est donc une mesure stationnaire pour la chaˆne de Markov de matrice de transition P . En conclusion, ıl’existence d’au moins une mesure stationnaire est automatique lorsque l’espace d’´ tats E est fini. eLorsque la chaˆne est irr´ ductible (dans ce cas, tous les etats sont r´ currents), l’espace propre E1 est de ı e ´ edimension 1, ce qui implique l’unicit´ de la mesure stationnaire. eProposition 1.3.2 Consid´ rons une chaˆne de Markov homog` ne a espace d’´ tats fini E et de matrice de e ı e ` etransition P . Elle admet au moins une mesure stationnaire. Si la chaˆne est irr´ ductible alors il y a unicit´ ı e ede la mesure stationnaire (notons-la π). Dans ce cas, elle charge tous les etats ´ π(i) > 0, pour tout i ∈ Eet le temps moyen de retour en i est egal a l’inverse de π(i) : ´ ` 1 IE[T (i) | X0 = i] = , pour tout i ∈ E. π(i)Cependant, l’existence et l’unicit´ de la mesure stationnaire π n’assure pas la convergence en loi de la suite e(Xn )n∈N vers π. Cette convergence repose en fait sur l’ap´ riodicit´ de la chaˆne. e e ıLe r´ sultat suivant est non trivial. Il ne sera pas d´ montr´ . e e eTh´ or` me 1.3.3 Consid´ rons une chaˆne de Markov homog` ne (Xn )n∈N a espace d’´ tats fini E et de e e e ı e ` ematrice de transition P . Supposons de plus que la chaˆne est irr´ ductible et ap´ riodique. Notons π sa ı e emesure stationnaire. (1) La matrice P n converge quand n tend vers l’infini vers une matrice dont toutes les lignes sont egales a π. ´ ` 21
  22. 22. (2) Quelle que soit la loi de X0 , la suite (Xn )n∈N convergence en loi quand n tend vers l’infini vers π : pour tout etat i, IP(Xn = i) → π(i). ´Les points (1) et (2) s’interpr` tent par de l’ind´ pendance asymptotique : en deux instants eloign´ s l’un de e e ´ el’autre, la chaˆne se comporte de mani` re presque ind´ pendante. En effet, les quantit´ s IP(Xn = j|X0 = i) ı e e eet IP(Xn = j) tendent toutes les deux vers la mˆ me limite π(j). Elles sont donc proches asymptotiquement, ece qui donne IP(Xn = j , X0 = i) ≃ IP(Xn = j) IP(X0 = i) .En utilisant l’invariance par translation dans le temps, la relation ci-dessus se g´ n´ ralise en e e IP(Xn+m = j , Xm = i) ≃ IP(Xn+m = j) IP(Xm = i) .Consid´ rons une nouvelle fois l’exemple du bit informatique dont la matrice de transition est donn´ e par e e p 1−p P = . 1−p pLa chaˆne de Markov correspondante est irr´ ductible si et seulement si p < 1. Dans ce cas, l’unique ı emesure stationnaire est le vecteur ligne π = (1/2, 1/2). Si de plus p > 0, alors la chaˆne est ap´ riodique. ı eLe th´ or` me limite s’applique : e e 1 ∀i ∈ {0, 1}, lim IP(Xn = i) = . n→+∞ 2Autrement dit, quelque soit le bit initial X0 et quelle que soit la valeur de 0 < p < 1, au bout d’un certaintemps, le bit sortant suit une loi uniforme sur {0, 1}.Lorque p = 0, la matrice de transition devient 0 1 P = . 1 0La chaˆne est alors 2−p´ riodique. Puisque P 2 est egale a la matrice identit´ , il en va de mˆ me pour toutes ı e ´ ` e eles puissances paires de P , tandis que les puissances impaires sont egales a P . Par cons´ quent, le coefficient ´ ` e (n) (n)p0,0 prend alternativement les valeurs 0 et 1 : la suite (p0,0 )n∈N ne peut converger. (n)Terminons par une comparaison. La Th´ or` me 1.3.3 stipule que, sous les bonnes hypoth` ses, pi,j tend e e evers une limite strictement positive (Proposition 1.3.2). Ceci concerne le cas o` j est r´ current. Lorsque u e (n)j est transient, pi,j tend vers 0. En effet, l’esp´ rance conditionnelle IE[Nj |X0 = i] est finie (voir la ed´ monstration de la Proposition 1.2.10). Par cons´ quent, la s´ rie e e e (n) pi,j = IP(Xn = j | X0 = i) n≥1 n≥1 = IE[1 Xn =j | X0 = i] 1 n≥1 = IE[Nj | X0 = i] (n)est convergente. Son terme g´ n´ ral, i.e. pi,j , tend donc vers 0 quand n tend vers l’infini. e e 22
  23. 23. 1.3.3 Lorsque l’espace d’´ tats E est infini eL’´ tude th´ orique de la convergence en loi d’une chaˆne de Markov devient plus d´ licate lorsque l’espace e e ı e e `d’´ tats E est infini. A plus forte raison que dans la partie pr´ c´ dente, les r´ sultats qui suivent ne seront pas e e ed´ montr´ s. e eConsid´ rons une chaˆne de Markov homog` ne (Xn )n∈N irr´ ductible et r´ currente, a espace d’´ tats infini E e ı e e e ` e E , a coordonn´ eset de matrice de transition P . On peut alors montrer qu’il existe un vecteur colonne v ∈ R ` estrictement positives, v´ rifiant t P v = v. Si la somme des coordonn´ es de v est finie e e M := v(j) < +∞ , (1.2) j∈Ealors il suffit de renormaliser le vecteur v par sa masse totale M pour obtenir une mesure stationnaire (quisera unique). Cependant la condition (1.2) n’est pas toujours v´ rifi´ e. Une hypoth` se suppl´ mentaire sur e e e ela chaˆne doit etre faite pour assurer l’existence (et l’unicit´ ) d’une mesure stationnaire. ı ˆ eD´ finition 1.3.4 Consid´ rons une chaˆne de Markov homog` ne irr´ ductible et r´ currente a espace d’´ tats e e ı e e e ` einfini E. Soit i ∈ E. Le temps de retour T (i) a i est fini presque sˆ rement (car i est r´ current). Si, de plus, ` u e IE[T (i)|X0 = i] < +∞ ,l’´ tat i est qualifi´ de r´ current positif. Dans le cas contraire, i est qualifi´ de r´ current nul. e e e e eˆEtre r´ current nul signifie que l’on revient presque sˆ rement en temps fini en cet etat mais que le temps de e u ´retour est plutˆ t long. Si long que son esp´ rance est infinie. o eLa marche al´ atoire simple et sym´ trique (i.e. avec p = 1/2) sur Z est un exemple de chaˆne de Markov e e ıpour laquelle tous les etats sont r´ currents nuls. ´ eLe th´ or` me suivant etablit que la r´ currence positive est une propri´ t´ de classe (mˆ me chose pour la e e ´ e ee er´ currence nulle) : c’est une condition n´ cessaire et suffisante pour l’existence d’une mesure stationnaire. e eSi c’est le cas, il y a unicit´ de la mesure stationnaire. eTh´ or` me 1.3.5 Soit (Xn )n∈N une chaˆne de Markov homog` ne irr´ ductible, a espace d’´ tats infini E. e e ı e e ` eSont equivalentes : ´ (i) tous les etats sont r´ currents positifs ; ´ e (ii) il existe au moins un etat r´ current positif ; ´ e (iii) la chaˆne (Xn )n∈N admet (au moins) une mesure stationnaire. ıLorsque ces conditions sont v´ rifi´ es, il y a unicit´ de la mesure statonnaire. Notons-la π. Elle est d´ finie e e e epar : 1 ∀i ∈ E, = IE[T (i) | X0 = i] . π(i)Si de plus, la chaˆne (Xn )n∈N est ap´ riodique alors : ı e (1) la matrice P n converge quand n tend vers l’infini vers une matrice dont toutes les lignes sont egales ´ aπ; ` (2) quelle que soit la loi de X0 , la suite (Xn )n∈N convergence en loi quand n tend vers l’infini vers π : pour tout etat i, IP(Xn = i) → π(i). ´ 23
  24. 24. 1.4 ExercicesExercice 1 : Transmission d’un bit informatiqueUn bit informatique valant 0 ou 1 est transmis d’un poste A vers un poste B en passant par N interm´ diaires. eChacun de ces interm´ diaires transmet correctement le bit avec probabilit´ p et l’inverse avec probabilit´ e e e1 − p, ind´ pendamment les uns des autres. Le bit (al´ atoire) d’entr´ e, disons X0 , est suppos´ ind´ pendent e e e e edes interm´ diaires. Pour n = 1, . . . , N , notons Xn le bit sortant du ne interm´ diaire. e e 1. Il a et´ v´ rifi´ en cours que la suite de v.a. (Xn )0≤n≤N est une chaˆne de Markov homog` ne. ´e e e ı eRappeler sa matrice et son graphe de transition. 2. Calculer la probabilit´ que le bit arrive correct en B. Que vaut cette probabilit´ lorsque N tend vers e el’infini ?Commentaires : le th´ or` me limite 1.3.3 permet de retrouver rapidement ces r´ sultats. e e eExercice 2 : Jeu de l’oieSoit le petit jeu de l’oie suivant. Les cases sont 0, 1, 2, 3 et forment un cycle. Sur la case 3, il est ecrit “au ´ `prochain tour, reculez de deux cases”. On part de la case 0 et on gagne d` s que l’on y retourne. A chaque eetape, on lance une pi` ce sym´ trique : on avance d’une case si c’est face et de deux si c’est pile. On note´ e eXn la suite des etats (le joueur continue de jouer apr` s avoir gagn´ ). ´ e e 1. Montrer que la suite (Xn )n∈N est une chaˆne de Markov homog` ne issue de 0 et donner sa matrice ı ede transition. ´ 2. Etudier la convergence en loi de la chaˆne. ı 3. En d´ duire le nombre moyen de coups jou´ s pour gagner. e eExercice 3 : Gestion de stockDans un magasin, on souhaite suivre l’´ volution au cours du temps du stock d’un article donn´ , i.e. le e enombre d’exemplaires de cet article en r´ serve dans le magasin. Notons Xn ce nombre au matin du ne jour. eCe jour-l` , Dn+1 exemplaires de cet article sont demand´ s. Le stock evolue comme suit. Si Xn −Dn+1 ≥ s a e ´alors on ne r´ approvisionne pas. Dans le cas contraire, on r´ approvisionne a hauteur de S. Les entiers s et e e `S sont les niveaux minimal et maximal du stock. La suite de v.a. (Dn )n≥1 est i.i.d. et le niveau initial dustock X0 peut etre suppos´ ind´ pendant des (Dn )n≥1 . ˆ e e 1. Montrer que la suite (Xn )n∈N est une chaˆne de Markov homog` ne et donner son graphe de tran- ı esition (du moins, les arˆ tes issues d’un etat s ≤ x ≤ S). e ´ 2. Supposons d´ sormais que s = 1, S = 2 et que la loi commune des (Dn )n≥1 est uniforme sur e{0, 1, 2}. Donner la matrice et le graphe de transition. Quelle est la probabilit´ d’ˆ tre en rupture de stock a e e `long terme ?Exercice 4 (Examen 2009) :Consid´ rons la chaˆne de Markov (Xn )n∈N a valeurs dans E = {a, b, c, d} et dont la matrice de transition e ı `est donn´ e par : e   1/2 1/4 1/4 0  1/2 1/2 0 0  P =  0  . 0 0 1  0 1/2 1/2 0 24

×