1. Cadenas de MarkovCadenas de Markov
Proceso estocásticoProceso estocástico
Cadena de MarkovCadena de Markov
EstadoEstado
TransiciónTransición
2. Probabilidad de transiciónProbabilidad de transición
Es la probabilidad que ocurra la transiciónEs la probabilidad que ocurra la transición
del estado i al estado j, dado que se está endel estado i al estado j, dado que se está en
el estado i.el estado i.
P{ XP{ X t + 1t + 1 = j / X= j / X tt = i }= i }
3. Probabilidades estacionarias de un pasoProbabilidades estacionarias de un paso
Si para cada i y j se cumple:Si para cada i y j se cumple:
P{ XP{ X t + 1t + 1 = j / X= j / X tt = i } = P{ X= i } = P{ X 11 = j / X= j / X 00 = i }= i }
entonces, se dice que las probabilidades deentonces, se dice que las probabilidades de
un paso son estacionariasun paso son estacionarias
Notación: PNotación: Pijij
4. Probabilidad de transición en n pasosProbabilidad de transición en n pasos
P{ XP{ X t + nt + n = j / X= j / X tt = i } = P{ X= i } = P{ X nn = j / X= j / X 00 = i }= i }
Notación: PNotación: Pijij
(n)(n)
5. Propiedades de PPropiedades de Pijij
(n)(n)
1. Pij
(n)
≥ 0 para todo i, j y n = 0, 1, 2, …
2. Σ Pij
(n)
= 1 para todo i, j de 0 a M, y
n = 0, 1, 2, …
7. Ecuaciones de Chapman -Ecuaciones de Chapman -
KolmogorovKolmogorov
Permite calcular la probabilidad de transición
en n pasos
Pij
(n)
= Σ Pik
(m)
Pkj
(n-m)
para todo i, j, n, 0 ≤ m ≤ n, y la sumatoria
desde k=0, hasta k=M
8. La matriz de probabilidades de transición deLa matriz de probabilidades de transición de
n pasos se pueden obtener a partir de lan pasos se pueden obtener a partir de la
matriz de probabilidades de transición de unmatriz de probabilidades de transición de un
pasopaso
P(n)
= P * P * P * …. * P = P(n-1)
* P
9. Clasificación de estadosClasificación de estados
Definiciones:Definiciones:
AccesiblesAccesibles
ComunicadosComunicados
SiSi dos estados se comunicandos estados se comunican, pertenecen a la, pertenecen a la
misma clasemisma clase
Si todos los estados pertenecen a la misma clase,Si todos los estados pertenecen a la misma clase,
entoncesentonces la cadena es irreduciblela cadena es irreducible
10. ffiiii = probabilidad de que el proceso regrese= probabilidad de que el proceso regrese
al estado i, dado que comienza en el estadoal estado i, dado que comienza en el estado
i.i.
Estado recurrenteEstado recurrente: f: fiiii = 1= 1
Estado transitorioEstado transitorio: f: fiiii < 1< 1
Estado absorbenteEstado absorbente: p: piiii = 1= 1
11. Tiempos de primera pasadaTiempos de primera pasada
El número de transiciones que hace elEl número de transiciones que hace el
proceso al ir de un estado i a un estado jproceso al ir de un estado i a un estado j
por primera vez, es elpor primera vez, es el tiempo de primeratiempo de primera
pasadapasada
Cuando j = i, se habla deCuando j = i, se habla de tiempo detiempo de
recurrencia para el estado irecurrencia para el estado i
12. µµijij = tiempo esperado de primera pasada= tiempo esperado de primera pasada
µµijij = infinito,= infinito, sisi ΣΣ ffiiii
(n)(n)
< 1< 1
µµijij == ΣΣ n * fn * fiiii
(n)(n)
,, sisi ΣΣ ffiiii
(n)(n)
= 1= 1
13. CuandoCuando ΣΣ ffiiii
(n)(n)
= 1,= 1, se satisface la ecuación:se satisface la ecuación:
µµijij = 1 += 1 + Σ {Σ { ppikik ** µµkjkj }}
donde la sumatoria varía para todo kdonde la sumatoria varía para todo k
distinto de jdistinto de j
Cuando i = j,Cuando i = j, µµijij se llamase llama tiempo esperadotiempo esperado
de recurrenciade recurrencia
14. Probabilidades de Estado EstableProbabilidades de Estado Estable
Es la probabilidad de que le sistema seEs la probabilidad de que le sistema se
encuentra en el estado j, independiente delencuentra en el estado j, independiente del
estado inicialestado inicial
ππjj = lim p= lim pijij
(n)(n)
, con n tendiendo al infinito, con n tendiendo al infinito
ππii = 1 /= 1 / µµiiii
15. Ecuaciones de estado estableEcuaciones de estado estable
1.1. ππjj == Σ πΣ πj *j * ppijij para j = 0, 1, …, M y lapara j = 0, 1, …, M y la
sumatoria variando de i = 0, 1, …, Msumatoria variando de i = 0, 1, …, M
2.2. Σ πΣ πjj = 1= 1
16. Estados AbsorbentesEstados Absorbentes
Si k es un estado absorbente, y el procesoSi k es un estado absorbente, y el proceso
comienza en el estado i, la probabilidad decomienza en el estado i, la probabilidad de
llegar en algún momento a k se llamallegar en algún momento a k se llama
probabilidad de absorciónprobabilidad de absorción
Notación: fNotación: fikik
17. Ecuaciones:Ecuaciones:
ffikik == ΣΣ ppijij ** ffjkjk para todo i = 0, 1, …, M; ypara todo i = 0, 1, …, M; y
la sumatoria variando de j = 0 hasta Mla sumatoria variando de j = 0 hasta M
La ecuación anterior está sujeto a:La ecuación anterior está sujeto a:
ffkkkk = 1= 1
ffikik = 0,= 0, si el estado i es recurrente, ysi el estado i es recurrente, y
además i es distinto de kademás i es distinto de k
