Cadenas de markov

13,504 views

Published on

Published in: Education
0 Comments
6 Likes
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total views
13,504
On SlideShare
0
From Embeds
0
Number of Embeds
3
Actions
Shares
0
Downloads
485
Comments
0
Likes
6
Embeds 0
No embeds

No notes for slide

Cadenas de markov

  1. 1. UNIVERSIDAD NACIONAL EXPERIMENTAL POLITÉCNICA “ANTONIO JOSÉ DE SUCRE” VICERRECTORADO BARQUISIMETO DIRECCIÓN DE INVESTIGACIÓN Y POSTGRADO Dobobuto, Karina Poletto, Ivonne Diciembre, 2013
  2. 2. Definición de Cadenas de Markov (Discretas y Continuas) Los procesos estocásticos son sucesiones de eventos regidos por leyesprobabilísticas. Varios investigadores han estudiado las características y elcomportamiento de estas sucesiones, para aplicarlos a los procesos estocásticos enfísica, ingeniería, biología, medicina y otras disciplinas así como también en otras ramasde la matemática y han establecido sus teorías y propiedades. Propiedad Markoviana Según las fuentes consultadas, entre ellasVega (s.f), se puede afirmar que una propiedad queposeen los procesos aleatorios y de ramificación, esque sus valores en el n-ésimo paso solo dependende los valores en el (n − 1)-ésimo paso, y no de losanteriores. Esta propiedad conocida comopropiedad markoviana es de gran importancia en elestudio de estos procesos, y en el estudio general dela teoría de procesos estocásticos. Cadena de Markov (CM) Las fuentes consultadas coinciden en la siguiente definición: Un proceso X ={Xn : n ≥ 0}, es una cadena de Markov si satisface la siguiente condición, llamadacondición de Markov:P(X[n + 1] = in+1 | X[n] = in, X[n − 1] = in−1, X[n − 2] = in−2, . . .) = P(X[n + 1] = in+1 |X[n] = in), n N, La probabilidad de que la secuencia tome un valor dado en el instante n+1 soloestá condicionada por el valor de la secuencia en el instante n y es independiente de losvalores de la secuencia en los instantes anteriores (n − 1, n − 2, ...) Puede interpretarse esta ecuación como que, dado el “presente” del proceso, el“futuro” es independiente del “pasado”. Es decir, una cadena de Markov es unasucesión de variables que “ven el pasado a través del último suceso”.
  3. 3. Cadenas de Markov Discretas En documento consultado en la web denominado CMTD.pdf, (ver referenciasbibliográficas) se encuentra que un proceso estocástico {Xn, n = 0, 1, 2,…} es unaCadena de Markov en Tiempo Discreto (CMTD) si para cada n y xj, j=0,…,n+1, severifica Por otro lado, Vega (s.f) expone:Cadenas de Markov Continuas Sea {Xt}t≥0 un proceso estocástico de tiempo continuo (es decir t [0; T] con T R fijo), que toma valores en un conjunto numerable E. Decimos que el proceso{Xt}t≥0 es una Cadena de Markov de Tiempo Continuo (CMTC) si s, t ≥ 0 y i,j, Xu E con 0 ≤ u ≤ s se cumple queP(Xt+s = j / Xs = i , Xu = xu 0 ≤ u < s) = P(Xt+s = j /Xs = i) Es decir, una cadena de Markov de tiempo continuo es un proceso estocásticoque verifica la propiedad markoviana donde la probabilidad condicional de un futuroestado en el tiempo t + s, dado el estado presente en el tiempo s y todos los estadospasados, solo depende del presente estado y en independiente del pasado.P(Xt+s = y / Xt = x ; Xu = xu 0 ≤ u < t) = P(Xt+s = y/Xt = x)donde x, y, xu E; 0 ≤ u < t. Ecuaciones de Chapman-Kolmogorov De las fuentes consultadas a través de internet se recoge la información que sepresenta a continuación. La ecuación de Chapman-Kolmogorov es una identidad sobre lasdistribuciones de probabilidad conjunta de los diferentes conjuntos de coordenadas enun proceso estocástico. Supongamos que { fi } es una colección indexada de variables aleatorias, esdecir, un proceso estocástico. Hacemos
  4. 4. sea la función conjunta de densidad de probabilidad de los valores de las variablesaleatorias de f1 a fn. Entonces, la ecuación de Chapman-Kolmogorov esusando el proceso estocástico considerado es markoviano, la ecuación de Chapman-Kolmogorov es equivalente a una identidad en las densidades de transición. En laformación de la cadena de Markov, se supone que i1 < ... < in. Así, debido a la propiedadde Márkov.donde la probabilidad condicional es la probabilidad de transición entrelos momentos . Así, la ecuación de Chapman-Kolmogorov toma la forma Cuando la distribución de probabilidad sobre el espacio de estados de unacadena de Markov es discreta y la cadena de Markov es homogénea, las ecuaciones deChapman-Kolmogorov se pueden expresar en términos de multiplicación de matrices(que pueden ser de dimensión infinita), así:donde P(t) es la matriz de transición, es decir, si Xt es el estado del proceso en elmomento t, entonces para dos estados cualesquiera i & j, tenemos De la propiedad de Markov y la homogeneidad temporal, se puede comprobarque la probabilidad de ir de i a j en m etapas es P(Xm = j |X0 = i) =Iterando se obtiene que: P(Xm = j |X0 = i) = pm(i , j) Es decir, la probabilidad de ir de i a j en m etapas es el elemento (i , j) de Pm.
  5. 5. La paradoja de Borel-Chapman-Kolmogorov Clasificación de Estados en Cadenas de Markov Estados Individuales en una Cadena Con base en lo expuesto por Puigjaner (2001), se pueden clasificarlos los estadosde la siguiente manera: Estado Transitorio Se define hj como el instante de la primera visita al estado j, es decir, el instanteen que el proceso entra por primera vez en el estado j, después de abandonar el estadoactual. Además, se define: [ f P hj <∞|X(0)=i ]como la probabilidad de visitar el estado j en un tiempo finito partiendo del estado i. Se dice que un estado j es transitorio (o no recurrente) si y sólo si hay unaprobabilidad positiva de que el proceso no vuelva al estado j después de abandonarlo; esdecir, si fjj < 1. Estado Recurrente Un estado j se dice que es recurrente si y sólo si, partiendo del estado j, elproceso vuelve en un tiempo finito al estado j con probabilidad 1: es decir, si fjj = 1.
  6. 6. Periodicidad Sea X una CM irreducible. Entonces, o bien todos los estados son periódicos deperiodo k (y decimos que X es periódica de periodo k), o bien ningún estado esperiódico (y decimos que X es aperiódica) En toda CM periódica de periodo k, existe una partición de S, ={A1, A2, …,Ak}, de tal manera que todas las transiciones van desde Ai hasta A(i mod k)+1 Estado Absorbente Un estado i se dice que es absorbente si qij = 0 para todo j ≠ i, por tanto si qii =1. Estado Alcanzable Un estado j se dice que es alcanzable desde el estado i si para algún t > 0, pij(t) >0. Estados de las Cadenas Un subconjunto A del espacio de estados S se dice que es cerrado si En este caso pij(t) = 0 para todo i ∈ A, todo j ∈ A, y todo t > 0. De este modo, losestados de A no son alcanzables desde estados de A. Después de definir las propiedades de los estados individuales, se va a definiruna importante propiedad de una cadena de Markov considerada como un todo. Estado Irreducible Una cadena de Markov se dice que es irreducible si S es cerrado y ningúnsubconjunto propio de S es cerrado. Es decir, si cada estado de S es alcanzable desdecualquier otro estado.
  7. 7. Se definen las probabilidades límite {πj, j ∈ S } como Puede demostrarse que para toda CMTC irreducible y homogénea los límitesanteriores existen y son independientes de la distribución inicial {πj(t), j ∈ S }; por otraparte, cuando existen los límites:se obtiene siguiente el sistema de ecuaciones lineales de modo que: Cadenas Ergódicas El sistema anterior es un sistema homogéneo, una posible solución es πi =0para todo i ∈ S. Si ésta es la única solución del sistema, entonces no existe ladistribución estacionaria para la CMTC. Si, en cambio, existen otras soluciones,entonces la única distribución límite de la CMTC se obtiene imponiendo la condición denormalización: En este caso los estados de la CMTC son recurrentes, no nulos y ergódicos, demodo que se dice que la propia cadena es ergódica. Las probabilidades límite de una cadena de Markov ergódica satisfacen larelación La distribución límite de una CMTC ergódica se llama también distribución enequilibrio o en régimen estacionario. El tiempo medio de recurrencia para un estado j, Mj, se define como el tiempomedio transcurrido entre dos instantes sucesivos en los que el proceso entra en el estadoj. Puede demostrarse que:
  8. 8. Cadenas de Markov en Tiempo Continuo En documento de la autora Vega (s.f) se encuentra la siguiente información:Definición Sea {Xt}t ≥0 un proceso estocástico de tiempo continuo (es decir t [0; T] con T R fijo), que toma valores en un conjunto numerable E. Decimos que el proceso {Xt}t ≥0 esuna cadena de Markov de tiempo continuo si s; t ≥ 0 y i; j; xu E con 0 ≤ u < s se cumpleque P(Xt+s = j /Xs = i ; Xu = xu 0 ≤ u < s) = P(Xt+s = j / Xs = i) En otras palabras, una cadena de Markov de tiempo continuo (CMTC) es unproceso estocástico que verifica la propiedad markoviana, es decir, que la probabilidadcondicional de un futuro estado en el tiempo t + s, dado el estado presente en el tiempo sy todos los estados pasados, solo depende del presente estado y en independiente delpasado. Propiedades En una cadena de Markov de tiempo continuo, el presente, el futuro y el pasadoson independientes. P(Xt+s = y /Xt = x ; Xu = xu 0 ≤ u < t) = P(Xt+s = y / Xt = x) donde x; y; xu E; 0 ≤ u < t. Teorema. Sea un proceso de Markov de tiempo continuo tal que las velocidadesde salida de los estados q(x) están uniformemente acotadas por λ > 0. Entonces valeque: P(Tn+1 - Tn > t / Xtn = x) =
  9. 9. Ejemplos de Aplicaciones de las Cadenas de MarkovEjemplo 1En una comunidad hay 3 supermercados (S1, S2, S3) existe la movilidad de un clientede uno a otro. El 1 de septiembre, ¼ de los clientes va al S1, ⅓ al S2 y 5/12 al S3 de untotal de 10.000 personas. Cada mes el S1 retiene el 90% de sus clientes y pierde el 10%que se va al S2. Se averiguó que el S2 solo retiene el 5% y pierde el 85% que va a S1 yel resto se va a S3, el S3 retiene solo el 40%, pierde el 50% que va al S1 y el 10% va alS2. a) Establecer la matriz de transición b) ¿Cuál es la proporción de clientes para los supermercados el 1 de noviembre?Solución: a) La matriz de transición para el orden S1, S2, S3 es: b) Para el mes de noviembre (han transcurrido 2 meses desde 1 de septiembre) Sabemos P0=( 1/4 1/3 5/12) Debemos realizar el cálculo P0*P2 y así obtendremos que la proporción de clientes es del 81,54% para S1, 9,58% para S2 y para S3 8,8%. Lo cual se ha calculado mediante Matlab.>> Po=[0.25 0.33 0.42];>> P=[0.9 0.1 0;0.85 0.05 0.10;0.5 0.1 0.4];>> X=Po*P^2;Po=[0.25 0.33 0.42];P=[0.9 0.1 0;0.85 0.05 0.10;0.5 0.1 0.4];X=Po*P^2;>> Po=[0.25 0.33 0.42]Po = 0.2500 0.3300 0.4200>> P=[0.9 0.1 0;0.85 0.05 0.10;0.5 0.1 0.4]P= 0.9000 0.1000 0
  10. 10. 0.8500 0.0500 0.1000 0.5000 0.1000 0.4000>> X=Po*P^2X= 0.8154 0.0958 0.0888Ejemplo 2.Suponga que toda la industria de refresco produce dos colas: Coca Cola y Pepsi Cola.Cuando una persona ha comprado Coca Cola hay una probabilidad de 90% de que sigacomprándola la vez siguiente. Si una persona compró Pepsi, hay 80% de que repita lavez siguiente. Se pide:a) Si una persona actualmente es comprador de Pepsi. ¿Cuál es la probabilidad de quecompre Coca Cola pasadas dos compras a partir de hoy?b) Si en la actualidad una persona es comprador de Coca Cola. ¿Cuál es la probabilidadde que compre Coca Cola pasadas tres compras a partir de ahora?Solución:Este situación se puede modelar como una cadena de Markov con dos estados {Coca-Cola, Pepsi-Cola}= {C,P} La matriz de transición para el orden C,P, es: a) En este caso nos piden la probabilidad de transición en dos pasos, es decir que se pide el valor en fila 2, columna 1 para la matriz P2. Utilizando Matlab obtenemos que:X= 0.8300 0.1700
  11. 11. 0.3400 0.6600Por lo tanto la probabilidad de que compre Coca Cola pasadas dos compras a partir delmomento en el que realizó la compra de Pepsi es de 0.34. b) En este caso se pide la probabilidad de transición en fila 1, columna 1 para la matriz P3. De igual manera hacemos uso de Matlab para obtener que:Y= 0.7810 0.2190 0.4380 0.5620De esta forma podemos decir que la probabilidad de compra de Coca Cola por unapersona pasadas tres compras es 0.78.En MeteorologíaSi se observa el clima de una región a través de distintos días, es claro que el estadoactual solo depende del último estado y no de toda la historia en sí, de modo que sepueden usar cadenas de Markov para formular modelos climatológicos básicos.Ejemplo3.Supongamos que el clima de una determinada región sólo puede ser soleado (s1) onublado (s2) y que las condiciones del clima en mañanas sucesivas forman una cadenade Markov con probabilidades de transición estacionarias. La matriz de transición estádada por:Si un día concreto está nublado, ¿Cuál es la probabilidad de que esté nublado al díasiguiente?La respuesta es P22 = 0.4Economía y FinanzasLas cadenas de Markov se pueden utilizar para realizar análisis de un determinadoproducto en el mercado, a los tomadores de decisiones en las organizaciones les permiteestablecer la ejecución o no de una determinada estrategias de mercadeo y ventas. En elsiguiente ejemplo se muestra su aplicación en esta área.
  12. 12. Ejemplo 4.En un país como Colombia existen 3 operadores principales de telefonía móvil como loson Tigo, Comcel y Movistar (estados). Los porcentajes actuales que tiene cadaoperador en el mercado actual son para Tigo 0.4 para Comcel 0.25 y para Movistar0.35. (estado inicial). Se tiene la siguiente información un usuario actualmente de Tigotiene una probabilidad de permanecer en Tigo de 0.60, de pasar a Comcel 0.2 y depasarse a Movistar de 0.2; si en la actualidad el usuario es cliente de Comcel tiene unaprobabilidad de mantenerse en Comcel del 0.5 de que esta persona se cambie a Tigo 0.3y que se pase a Movistar de 0.2; si el usuario es cliente en la actualidad de movistar laprobabilidad que permanezca en movistar es de 0.4 de que se cambie a Tigo de 0.3 y aComcel de 0.3.Partiendo de esta información podemos elaborar la matriz de transición. TIGO COMCEL MOVISTAR E1 TIGO 0.6 0.2 0.2 E2 COMCEL 0.3 0.5 0.2 E3 MOVISTAR 0.3 0.3 0.4La suma de las probabilidades de cada estado en este caso operador deben ser iguales a1Estado Inicial Po= (0.4 0.25 0.35)Seguidamente se procede a encontrar los estados en los siguientes pasos o tiempos, serealiza multiplicando la matriz de transición por el estado inicial y así sucesivamentepero multiplicando por el estado inmediatamente anterior. TIGO COMCEL MOVISTAR E1 TIGO 0.6 0.2 0.2 E2 COMCEL 0.3 0.5 0.2 E3 MOVISTAR 0.3 0.3 0.4
  13. 13. Llamaremos T a la Matriz de Transición P0 0.4 0.25 0.35 P0 es el estado inicial P1 0.42 0.31 0.27 P1=P0*T P2 0.426 0.32 0.254 P2=P0*T2 P3 0.4278 0.3214 0.2508 P3=P0*T3 P4 0.42834 0.3215 0.25016 P4=P0*T4 P5 0.428502 0.321466 0.250032 P5=P0*T5 Como se observa la variación en el periodo 4 al 5 mínima casi insignificante, por lo tanto podemos decir que ya se ha llegado al vector o estado estable.Ejemplo 5.Consideremos una sucesión de elecciones políticas en cierto país: el sistema podríatomarse como el país mismo y cada elección lo dejaría en cierto estado, es decir en elcontrol del partido ganador. Si sólo hay dos partidos políticos fuertes, llamados A y B,los que por lo regular controlan el gobierno, entonces podemos decir que el país seencuentra en el estado A o B si el partido A o B ganara la elección. Cada ensayo (o seacada elección), coloca al país en uno de los dos estados A o B. Una sucesión de 10elecciones podría producir resultados tales como los siguientes:A, B, A, A, B, B, B, A, B, B
  14. 14. La primera elección en la sucesión deja en el poder al partido A, la segunda fue ganadapor el partido B, y así sucesivamente, hasta que la décima elección la gane el partido B.Supongamos que las probabilidades de que el partido A o B ganen la próxima elecciónson determinadas por completo por el partido que está en el poder ahora. Por ejemplopodríamos tener las probabilidades siguientes:• Si el partido A está en el poder, existe una probabilidad de ¼ que el partido A ganarála próxima elección y una probabilidad de ¾ de que el partido B gane la elecciónsiguiente.• Si el partido B está en el poder, hay una probabilidad de ⅓ de que el partido A gane laelección siguiente y una probabilidad de ⅔ que el partido B permanezca en el poder.En tal caso, la sucesión de elecciones forman una cadena de Markov, dado que lasprobabilidades de los dos resultados de cada elección están determinadas por elresultado de la elección precedente.Lo descrito anteriormente puede representarse gráficamente usando la siguiente red:Los círculos A y B se denominan nodos y representan los estados del proceso, lasflechas que van de un nodo a sí mismo o al otro son los arcos y representan laprobabilidad de cambiar de un estado al otro.La información probabilística que se acaba de dar se puede representar de maneraconveniente por la siguiente matriz: Resultado de la próxima elección Resultado de A B la última A ¼ ¾ elección B ⅓ ⅔
  15. 15. Esta matriz es la matriz de transición. Los elementos de la matriz de transiciónrepresentan las probabilidades de que en el próximo ensayo el estado del sistema delpartido indicado a la izquierda de la matriz cambie al estado del partido indicado arribade la matriz.Aplicaciones en Bioinformática  Búsqueda de genes  Mapeo de vinculación genética  Análisis filogenético  Predicción de estructura secundaria de proteínas  Búsqueda de sitios conservados vs sitios variables  Predicción de regiones que codifican proteínas dentro de genomas  Modelado de familias de secuencias de proteína o ADN relacionado  Predicción de elementos de estructura secundaria en secuencias primarias de proteína
  16. 16. Referencias Electrónicashttp://www.ugr.es/~bioestad/_private/cpfund10.pdfhttp://www.bioingenieria.edu.ar/academica/catedras/metestad/Cadenas%20de%20Mark ov-1.pdfhttp://www.lcc.uma.es/~ezeqlr/ios/Tema4.pdfhttp://www.matematicas.unam.mx/lars/libros/procesos2012.pdfhttp://www.rac.es/ficheros/doc/00204.pdfhttp://ocw.uc3m.es/estadistica/procesos-estocasticos-con-aplicaciones-al-ambito- empresarial/presentaciones/2MC.pdfhttp://www.santafe-conicet.gov.ar/~aguilera/apuntes/markov.pdfhttp://materias.fi.uba.ar/6615/Material/markov.pdfhttp://www.vc.ehu.es/campus/centros/farmacia/deptos- f/depme/profesor/gracia/defip.pdfhttp://www.compelect.com.co/archivos/diamatlab/2006/pdf/Aplicacion%20de%20las% 20Cadenas%20de%20Markov%20en%20Tiempo%20Continuo%20a%20Partir%2 0del%20Modelamiento%20de%20Sistemas%20Reactivos%20Utilizando%20State flow%20de%20MATLAB.pdfhttp://www.scielo.cl/pdf/ingeniare/v14n2/art09.pdfhttp://invoperacionesid2.blogspot.com/2011/06/cadenas-de-markov.htmlhttps://notas-or.wikispaces.com/4-+Cadenas+de+Markovhttp://mate.dm.uba.ar/~pgroisma/pr1.pdfhttp://mate.dm.uba.ar/~pgroisma/markov.mhttp://mate.dm.uba.ar/~pgroisma/simulacion.htmlhttp://www.mathworks.com/videos/getting-started-with-matlab- 68985.html?s_tid=main_tutorial_ML_rphttp://www.eumed.net/cursecon/ecolat/cu/2011/pdc.htmhttp://www.vc.ehu.es/campus/centros/farmacia/deptos- f/depme/profesor/gracia/defip.pdfhttp://gavilan.uis.edu.co/~hortegab/radiogis/biblioteca_virtual/radiopropagacion/outdoo r/Curso_Canal/Talleres_Estadistica_Canal_Movil.pdfhttp://www.uv.es/montes/probabilitat/manual.pdfhttp://knuth.uca.es/repos/l_edyp/pdf/febrero06/lib_edyp.c4.pdfhttp://www.matematicas.unam.mx/lars/libros/procesos2012.pdf
  17. 17. http://www.miscelaneamatematica.org/Misc48/4803.pdfhttp://www.bioingenieria.edu.ar/academica/catedras/metestad/Cadenas%20de%20Mark ov-1.pdf

×