Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Cadenas de__markov

589 views

Published on

cadenas de Markov.

Published in: Education
  • Login to see the comments

  • Be the first to like this

Cadenas de__markov

  1. 1. Cadenas de MarkovCadenas de Markov Proceso estocásticoProceso estocástico Cadena de MarkovCadena de Markov EstadoEstado TransiciónTransición
  2. 2.  Probabilidad de transiciónProbabilidad de transición Es la probabilidad que ocurra la transiciónEs la probabilidad que ocurra la transición del estado i al estado j, dado que se está endel estado i al estado j, dado que se está en el estado i.el estado i. P{ XP{ X t + 1t + 1 = j / X= j / X tt = i }= i }
  3. 3.  Probabilidades estacionarias de un pasoProbabilidades estacionarias de un paso Si para cada i y j se cumple:Si para cada i y j se cumple: P{ XP{ X t + 1t + 1 = j / X= j / X tt = i } = P{ X= i } = P{ X 11 = j / X= j / X 00 = i }= i } entonces, se dice que las probabilidades deentonces, se dice que las probabilidades de un paso son estacionariasun paso son estacionarias Notación: PNotación: Pijij
  4. 4.  Probabilidad de transición en n pasosProbabilidad de transición en n pasos P{ XP{ X t + nt + n = j / X= j / X tt = i } = P{ X= i } = P{ X nn = j / X= j / X 00 = i }= i } Notación: PNotación: Pijij (n)(n)
  5. 5.  Propiedades de PPropiedades de Pijij (n)(n) 1. Pij (n) ≥ 0 para todo i, j y n = 0, 1, 2, … 2. Σ Pij (n) = 1 para todo i, j de 0 a M, y n = 0, 1, 2, …
  6. 6.  Notación matricial, PNotación matricial, P (n)(n) 00 11 22 MM 00 P00 (n) P01 (n) P02 (n) P0M (n) 11 P10 (n) 22 P20 (n) MM PM0 (n) PMM (n)
  7. 7. Ecuaciones de Chapman -Ecuaciones de Chapman - KolmogorovKolmogorov Permite calcular la probabilidad de transición en n pasos  Pij (n) = Σ Pik (m) Pkj (n-m) para todo i, j, n, 0 ≤ m ≤ n, y la sumatoria desde k=0, hasta k=M
  8. 8. La matriz de probabilidades de transición deLa matriz de probabilidades de transición de n pasos se pueden obtener a partir de lan pasos se pueden obtener a partir de la matriz de probabilidades de transición de unmatriz de probabilidades de transición de un pasopaso  P(n) = P * P * P * …. * P = P(n-1) * P
  9. 9. Clasificación de estadosClasificación de estados  Definiciones:Definiciones: AccesiblesAccesibles ComunicadosComunicados  SiSi dos estados se comunicandos estados se comunican, pertenecen a la, pertenecen a la misma clasemisma clase  Si todos los estados pertenecen a la misma clase,Si todos los estados pertenecen a la misma clase, entoncesentonces la cadena es irreduciblela cadena es irreducible
  10. 10.  ffiiii = probabilidad de que el proceso regrese= probabilidad de que el proceso regrese al estado i, dado que comienza en el estadoal estado i, dado que comienza en el estado i.i.  Estado recurrenteEstado recurrente: f: fiiii = 1= 1  Estado transitorioEstado transitorio: f: fiiii < 1< 1  Estado absorbenteEstado absorbente: p: piiii = 1= 1
  11. 11. Tiempos de primera pasadaTiempos de primera pasada  El número de transiciones que hace elEl número de transiciones que hace el proceso al ir de un estado i a un estado jproceso al ir de un estado i a un estado j por primera vez, es elpor primera vez, es el tiempo de primeratiempo de primera pasadapasada  Cuando j = i, se habla deCuando j = i, se habla de tiempo detiempo de recurrencia para el estado irecurrencia para el estado i
  12. 12.  µµijij = tiempo esperado de primera pasada= tiempo esperado de primera pasada  µµijij = infinito,= infinito, sisi ΣΣ ffiiii (n)(n) < 1< 1  µµijij == ΣΣ n * fn * fiiii (n)(n) ,, sisi ΣΣ ffiiii (n)(n) = 1= 1
  13. 13. CuandoCuando ΣΣ ffiiii (n)(n) = 1,= 1, se satisface la ecuación:se satisface la ecuación:  µµijij = 1 += 1 + Σ {Σ { ppikik ** µµkjkj }} donde la sumatoria varía para todo kdonde la sumatoria varía para todo k distinto de jdistinto de j  Cuando i = j,Cuando i = j, µµijij se llamase llama tiempo esperadotiempo esperado de recurrenciade recurrencia
  14. 14. Probabilidades de Estado EstableProbabilidades de Estado Estable  Es la probabilidad de que le sistema seEs la probabilidad de que le sistema se encuentra en el estado j, independiente delencuentra en el estado j, independiente del estado inicialestado inicial  ππjj = lim p= lim pijij (n)(n) , con n tendiendo al infinito, con n tendiendo al infinito  ππii = 1 /= 1 / µµiiii
  15. 15.  Ecuaciones de estado estableEcuaciones de estado estable 1.1. ππjj == Σ πΣ πj *j * ppijij para j = 0, 1, …, M y lapara j = 0, 1, …, M y la sumatoria variando de i = 0, 1, …, Msumatoria variando de i = 0, 1, …, M 2.2. Σ πΣ πjj = 1= 1
  16. 16. Estados AbsorbentesEstados Absorbentes  Si k es un estado absorbente, y el procesoSi k es un estado absorbente, y el proceso comienza en el estado i, la probabilidad decomienza en el estado i, la probabilidad de llegar en algún momento a k se llamallegar en algún momento a k se llama probabilidad de absorciónprobabilidad de absorción  Notación: fNotación: fikik
  17. 17.  Ecuaciones:Ecuaciones: ffikik == ΣΣ ppijij ** ffjkjk para todo i = 0, 1, …, M; ypara todo i = 0, 1, …, M; y la sumatoria variando de j = 0 hasta Mla sumatoria variando de j = 0 hasta M La ecuación anterior está sujeto a:La ecuación anterior está sujeto a:  ffkkkk = 1= 1  ffikik = 0,= 0, si el estado i es recurrente, ysi el estado i es recurrente, y además i es distinto de kademás i es distinto de k

×