Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Estado Finito de Cadenas de Markov

  • Login to see the comments

Estado Finito de Cadenas de Markov

  1. 1. Estado Finito De Cadenas De MarkovDISCRETE STOCHASTIC PROCESSES Draft of 2nd Edition R. G. Gallager Capitulo 4 Presentación Por: Enrique Malavé Rivera Luis A. Pons Pérez
  2. 2. De Estados finitosMARKOV CADENAS Capitulo 4.1 y 4.2 Presentación Por: Enrique Malavé Rivera
  3. 3. Las cadenas de Markov son los procesosestocásticos definidos solo en enteros. Los valores de tiempo,n=0,1,….,En cada tiempo entero≥ 0,existe un valor entero aleatorio.La variable (RV)Xn, es llamada el estado en el n(tiempo) y el proceso en la familia de rv{Xn, n≥0}.
  4. 4.  Un proceso entero de tiempo{Xn,n≥0} puede ser visto como un proceso{X(t),t≥0} definida para todo t real, tomando X(t)=Xn para n ≤ t < n+1. En general ,para las cadenas de Markov,el conjunto de valores posibles para cada Xn rv es un conjunto numerable, normalmente se toma como {0,1,2,…}. En este capítulo se dedica la atención a un cojunto finito de valores posibles, por ejemplo {1,…,M}.Así que estamos mirando procesos cuyas funciones que se muestran son secuencias de números enteros, cada uno entre 1 y M.
  5. 5.  No hay ningún significado especial para el uso de etiqueta de enteros por los estados, ni raz ón de peso para incluir a 0 como un estado para el caso de infinitos numerables y para no incluirlo en el caso finito. Para el caso infinito numerable las aplicaciones más comunes provienen de la teoría de colas,y el estado a menudo representa el número de clientes en espera, que puede ser cero. Para el caso finito, a menudo usan vectores y matrices, y es más convencional para el uso positivo de etiquetas de enteros.
  6. 6.  Definición : Una cadena de Markov es un proceso entero de tiempo {Xn,n≥0}donde cada uno de rv Xn ,n ≥ 1, es un valor entero y depende del pasado, solo através de la rv más reciente Xn-1.Más especificamente, para todos los enteros positivos,n,I,j,k,…M,Pr{Xn=j│Xn-1=I,Xn- 2=K,…,XO=m}=Pr{Xn=j│Xn-1=i}.(4.1).es Esta ecuación es más fácil de leer si se abrevia como Pr{Xn│Xn-2,..XO}=Pr{Xn│Xn- 1}. Esta abreviatura significa que se cumple la igualdad de todos los valores de la muestra de cada una de las caravanas, es decir que significa lo mismo que (4.1).
  7. 7.  Por otra parte,,Pr{Xn= j│Xn-1} solo depende de I y j( sin n) y se denota por Pr {Xn=j│Xn-1=i}=Pij.Pij es la probabilidad de pasar al estado j, dado que el anterior soy yo, el nuevo estado, dado el Estado anterior, es independiente de todos los estados anteriores. El uso de la palabra Estado aquí,se ajusta a la idea habitual del estado de un sistema, el Estado en un momento dado es el resumen de todo lo relacionado con el pasado que es relevante para el futuro.
  8. 8.  Las cadenas de Malkov se pueden utilizar para modelar una gran variedad de fenómenos físicos y puede utilizarse para aproximar muchos otros tipos de procesos estocásticos.
  9. 9. Estado Finito De Cadenas De MarkovDISCRETE STOCHASTIC PROCESSES Draft of 2nd Edition R. G. Gallager Capitulo 4.3,4.4 y 4.5 Presentación Por: Luis A. Pons Pérez
  10. 10.  Hace poco mas de cien años se escribió el primer trabajo sobre Cadenas de Markov, aun así este sigue siendo un instrumento muy útil de estudio estocástico.
  11. 11.  Las Cadenas de Markov son de gran importancia: 1. Se usa para explicar ejemplos de biología, de física, de ciencias sociales y economía. 2. Los modelos son sencillos pues su teoría esta muy bien trabajada.
  12. 12. El proceso {Xn} es una Cadena de Markov si para cualquiern N, j , i , in−1, . . . , i0  S (espacio de estados)P(Xn+1 = j |Xn = i ,Xn−1 = in−1, . . . ,X0 = i0)=P(Xn+1 = j |Xn= i)Esta es la Propiedad de Markov y establece que: ◦ Dado el presente cualquier otra información del pasado es irrelevante para predecir el futuro.
  13. 13. La Representación De LaMatriz
  14. 14.  La matriz [P] de transición de probabilidades de las cadenas de Markov es llamada una matriz estocástica. Una matriz estocástica es una matriz cuadrada de términos no negativos en la cual los elementos en cada línea suman 1.
  15. 15.  Debemos considerar n pasos de probabilidades de transición Pijn en términos de [P]. La probabilidad de ir del estado i al estado j en dos pasos es la suma sobre h de todos los posibles tránsitos de dos pasos, de i a h y de h a j. Esto utilizando la condición de Markov.(Pr{Xn=j | Xn−1=i,Xn−2=k, . . . ,X0=m} = Pr{Xn=j | Xn−1=i})
  16. 16. M Pij2   Pih Phj h 1 Puede verse que es solo el termino i j del producto de la matriz [P] consigo misma. Esto denota[P][P] como P2, esto significa P 2 es el (i , j) elemento de la que ij matriz[P]2. Similarmente, Pijn es el elemento i j de la n potencia de la matriz [P].
  17. 17.  Pues como [ P]m n  [ P]m [ P]n entonces: M Pijm  n   Pih Phj m n h 1Esta ecuación es conocida como La Ecuación Chapman-Kolmogorov. n**Un método muy eficiente de computar [P]n así como Pij para un n muy grande, multiplicando [P]2 por [P]2, [P]4 por [P]4, hasta entonces multiplicar estas potencias binarias entre si hasta donde sea necesario.
  18. 18.  La matriz [P]n es muy importante por varias razones: ◦ Los elementos i , j de la matriz lo cual es P n que ij es la probabilidad de estar en un estado j a tiempo n dando un estado i a tiempo 0. ◦ Pues si la memoria del pasado muere con un incremento en n, entonces podemos esperar la dependencia de i y n desaparecer en P n . ij ◦ Esto quiere decir que [P]n debe converger a un limite de n → 1, y , segundo, que cada línea de [P]n debe tender al mismo grupo de probabilidades. ◦ Si esta convergencia se gesta (aunque luego determinemos las razones bajo las que se da), [P]n y [P]n+1 serán iguales cuando el limite → .
  19. 19.  Esto quiere decir entonces que : Lim[ P]n  ( Lim[ P]n [ P])
  20. 20.  La mejor forma de lidiar con la potencia n de una matriz es el encontrar los eigenvalores y los eigenvectores de una matriz.
  21. 21. Definición El vector de línea  es el eigenvector izquierdo de [P] del eigenvalor  si  ≠ 0 y [P]= . El vector columna v es el eigenvector derecho del eigenvalor  si v ≠ 0 y [P]v = v.
  22. 22.  Los eigenvalores y los eigenvectores pueden ser encontrados usando algebra elemental.
  23. 23.  Estas ecuaciones no tienen solución en cero si la matriz [P − I], donde [I] es la matriz identidad, (debe haber un v no igual a 0 para el cual [P − I] v = 0). Entonces  debe ser tal que el determinante de [P − I], conocido como (P11 − )(P22 − ) − P12P21, es igual a 0. Resolver estas ecuaciones cuadráticas en , encontraremos que  tiene dos soluciones,  1 = 1 y  2 = 1 − P12 − P21. Asuma inicialmente que P12 y P21 son ambos 0. Entonces la solución para el eigenvector izquierdo y derecho, π(1) y v(1), de 1 y π(2) y v(2) de 2, son dadas por:
  24. 24.  Estas soluciones poseen un factor de normalización arbitrario. 1 0  Dejemos que []   0  2 y que [U] sea la matriz con columnas v(1) y v(2).  Entonces las dos ecuaciones derechas de eigenvectores en Pueden ser combinadas de forma compacta como [P][U] = [U][Λ]. Surge entonces (dado como se ha normalizado el eigenvector) que el inverso de [U] es exactamente la matriz cuyas líneas son el eigenvector izquierdo de [P] Lo que muestra que todo eigenvector derecho de un eigenvalor debe ser ortogonal a cualquier eigenvalor izquierdo. Vemos entonces que [P]=[U][Λ][U]−1y consecuentemente [P]n = [U][Λ]n[U]−1.
  25. 25.  Si multiplicamos obtenemos: Donde
  26. 26.  Si recordamos que 2 = 1 − P12 − P21, veremos que |  2| ≤ 1. Si P12 = P21 = 0, entonces  2 = 1 tal que [P] y [P]n son simplemente matrices idénticas. Si P12 = P21 = 1, entonces  2 = −1 tal que [P]n alterna entre la matriz identidad para n eventos y [P] para n impar. En todos los demás casos |  2| < 1 y [P]n se acerca a la matriz cuyas líneas son iguales a π.
  27. 27.  Parte de este caso especifico generaliza a un numero arbitrario de estados finitos. En particular =1 es siempre un eigenvalor y el vector e cuyos componentes son igual a 1 es siempre un eigenvector derecho de  =1 (esto se debe de que cada línea de una matriz estocástica suma igual a 1). Desafortunadamente, no todas las matrices estocásticas pueden ser representadas en la forma de [P]= [U][Λ][U−1] (ya que M la necesidad de los independientes eigenvectores derechos no existe. En general, l matriz diagonal de eigenvalores en [P] = [U][Λ][U−1] debe entonces esta ser remplazada por el la Forma Jordan, la cual no necesariamente nos producirá resultados deseables.
  28. 28. Teoría de Perron-Frobenius La teoría de Perron-Frobenius puede caracterizarse como una teoría de matrices cuadradas. ◦ Con todos los términos positivos y en generalizando para ciertos casos, se posee términos no negativos. Los resultados primordialmente conciernen a los eigenvalores, los eigenvectores y a las potencias de las matrices.
  29. 29.  Un vector real x (un vector con componentes reales) es definido como positivo, denotando x > 0. Si xi > 0 para cada componente i. Una matriz real [A] es positiva, denotando [A] > 0, si Aij > 0 para cada i , j. De igual forma, x es no negativo, denotando x ≥ 0, si xi ≥ 0 para todo i. [A] es no negativa, denotando [A] ≥ 0, si Aij ≥ 0 para todo i, j. Nota: Es posible tener x ≥ 0 and x ≠ 0 sin tener que x > 0, pues x > 0 quiere decir que al menos un componente de x es positivo y todos son no negativos. Si x > y y y < x ambos quieren decir que x −y > 0. De igual forma si x ≥ y y y ≤ x quiere decir que x −y ≥ 0. Entonces las desigualdades matriciales correspondientes tienen significados correspondientes.
  30. 30. Que muestra el Teorema de Perron-Fobenius  Muestras: ◦ Una matriz positiva cuadrada [A] siempre tiene un eigenvalor positivo  que excede la magnitud de todos los demás eigenvalores. ◦ Este  tiene un eigenvector derecho v que es positivo y único dentro una escala de factores. ◦ Establece estos resultados relacionando  a los siguientes y comúnmente usados problemas de optimización.
  31. 31.  Para una matriz cuadrada dada [A] > 0, y para cualquier vector no igual a cero x ≥ 0, sea g(x) el mas grande numero real a por el que ax ≤ [A]x. Sea  definida por:Podemos expresar g(x) explícitamente re-escribiendo ax ≤ Ax como axi ≤ Aij xj paratoda i. La mas grande a para la que esto essatisfecho es: Donde
  32. 32.  Si [A] > 0, x ≥ 0 y x ≠ 0, lleva a que el numerador iAij xj es positivo para todo i. Como gi(x) es positivo para xi > 0 e infinito para xi = 0, tal que g(x) > 0.
  33. 33. Teorema Perron-Frobenius Para Matrices Positivas Sea [A] > 0 sea una M por M matriz, sea  > 0 dada pory por dondey dejemos  ser un vector x que maximizaEntonces: 1. v = [A]v y v > 0. 2. Para cualquier otro eigenvalor μ de [A], |μ| < . 3. Si x satisface x = [A]x, entonces x = βv para algunos (posiblemente complejos) números β.
  34. 34. Definición Una Matriz Irreducible es una matriz no negativa tal que para cada par de nodos i , j en su grafica, existe un desplazamiento de i a j.
  35. 35.  Para algunas matrices estocásticas, una matriz irreducible es una matriz estocástica, una matriz recurrente de Cadena de Markov. Si denotamos el elemento i, j de [A]n por Anij, entonces vemos como Anij > 0 si existe un largo de desplazamiento n desde i a j en la grafica. Si [A] es irreducible, un desplazamiento existe desde cualquier i a cualquier j (incluyendo j = i) con largo al menos M, desde que el desplazamiento necesario visita cada otro nodo al menos una vez. Entonces si Anij > 0 para algunos n, 1 ≤ n ≤ M, y Mn=1 Anij > 0 .
  36. 36. *La clave para analizar Matrices Irreducibles es que la Matriz B  n 1[ A] es M n estrictamente positiva.
  37. 37. Teorema Perron-Frobenius Para Matrices IrreduciblesSea [A] ≥ 0 sea una M por M matriz irreducible y sea  lo supremo eny en dondeEntonces lo supremo es alcanzado como un máximo en algún vector v y el par ,v que tiene las siguientes cualidades: 1. v = [A]v y v > 0. 2. Para cualquier otro eigenvalor μ de [A], |μ| ≤ . 3. Si x satisface x = [A]x, entonces x = βv para algunos (posiblemente complejos) números β.
  38. 38. Nota!!!! Este es casi el mismo teorema que mencionamos anteriormente , la diferencia es que , se espera que [A] sea irreducible (pero no necesariamente positiva), y la magnitud la necesidad de los otros eigenvalores no es estrictamente menos que . Cuando miramos a matrices recurrentes de un periodo d, encontraremos que hay d - 1 otros eigenvalores de magnitud igual a  . Por esta posibilidad de otros eigenvalores con la misma magnitud que , nos referimos a  como el mas grande del los eigenvalores reales de [A].
  39. 39. Corolario El mas grande de los eigenvalores reales  de una matriz irreducible [A] ≥ 0 tiene un eigenvector izquierdo positivo .  es el único eigenvector de ( dentro de un factor escala) y que es solo un vector no negativo no cero u (dentro de un factor escala) que satisface u ≤ u[A].
  40. 40. Corolario Sea  el mas grande de los eigenvalores reales de una matriz irreducible y sea el eigenvector derecho e izquierdo de  ser v >0 y  >0. Entonces, dentro de un factor escala, v es el único eigenvector derecho no negativo de [A] (no hay otros eigenvalores que tengan eigenvectores no negativos). Similarmente, dentro de un factor escala,  es el único eigenvector izquierdo no negativo de [A].
  41. 41. Corolario Sea [P] una matriz estocástica irreducible (Una matriz recurrente de cadena de Markov). Entonces =1 siendo el mas grande de los eigenvalores de [P], e = (1, 1, . . . , 1)T es el eigenvector derecho de =1, único dentro de un factor escala, y hay una probabilidad única vector π > 0 que es el eigenvector izquierdo de =1.
  42. 42. Corolario Sea [P] una matriz de transición de una uni-cadena . Entonces =1 siendo el mas grande de los eigenvalores de [P], e = (1, 1, . . . , 1)T es el eigenvector derecho de =1, único dentro de un factor escala, y hay una probabilidad única vector π ≥ 0 que es el eigenvector izquierdo de =1; i>0 para cada estado i de recurrencia y i=0 para cada estado de transición.
  43. 43. Matriz de Transición Los qij se agrupan en la denominada matriz de transición de la Cadena de Markov:  q00 q01 q02 ...     qij i , jS  q10 q11 q12 ... Q q20 q21 q22 ...    ...   ... ... ...
  44. 44. Propiedades De La Matriz De Transición Por ser los qij probabilidades, i, j  S , qij  0,1 Por ser 1 la probabilidad del suceso seguro, cada fila ha de sumar 1, es decir, i  S , q jS ij 1*Una matriz que cumpla estas dos propiedades se llama matriz estocástica
  45. 45. Corolario El mas grande de los eigenvalores reales  de una matriz irreducible [A] ≥ 0 es estrictamente una función creciente de cada componente de [A].
  46. 46. Corolario Sea  el mas grande de los eigenvalores de [A] > 0 y sea  y v los egenvectores positivos derecho e izquierdo de , normalizado tal que v =I. Entonces:
  47. 47. Teorema Sea [P] una matriz de transición de un estado finito ergodico de Cadena de Markov. Entonces = 1 es el mas grande de los eigenvalores reales de [P], y  > |μ| para cada otro eigenvalor μ. En adición el Limn→1[P]n = eπ , donde π > 0 es el único vector de probabilidad capaz de satisfacer π[P] = π y e = (1, 1, . . . , 1)T es el único vector v (dentro de un factor escala) que satisface [P]v = v.
  48. 48. Cadenas Ergódica Sea x una Cadena de Markov finita. Diremos que x es ergódica sii es irreducible, recurrente y aperiódica Ejemplo:
  49. 49. Teorema Sea [P] un matriz de transición de una unicadena ergódica. Entonces  = 1 es el mas grande de los eigenvalores reales de [P], y  >|μ| para cualquier otro eigenvalor μ. En adición, el Limm→1[P]m = eπ , donde π ≥ 0 es el único vector de probabilidad que satisface π[P] = π y e = (1, 1, . . . , 1)T es el único v (dentro de un factor escala) satisfaciendo [P]v = v.
  50. 50.  La noción sobre las Cadenas de Markov Ergódica es diferente en el texto de Galager comparado a la teoría general. La diferencia esta en que en el texto toma una Cadena de Markov como algo que ha sido especificado sin indicar o especificar el estado inicial de distribución, porque diferentes estados iníciales de distribución pertenecen a diferentes procesos estocásticos. Si una Cadena de Markov comienza en un estado inicial estacionado, entonces el proceso estocástico correspondiente es el estacionario y de otra manera no lo será.
  51. 51. Cadenas de Markov Con Recompensa Suponga que cada estado i en una Cadena de Markov esta asociado con una recompensa ri. En la medida que la Cadena de Markov cambia de estado en estado, existe una secuencia asociada a recompensa que no es independiente, pero está relacionadas por la estadística de la cadena de Markov. La situación es similar a pero diferente de, a un proceso de renovación de recompensa. En la medida que el proceso de renovación de recompensa, la recompensa ri puede igualmente ser un costo o arbitrariamente una función de valor real del estado.
  52. 52.  El modelo de la Cadena de Markov con recompensa es uno muy amplio. Casi todo proceso estocástico puede ser aproximado por Cadena de Markov. En el estudio de teoría de renovaciones, se puede observar que el concepto de renovación es muy grafico y no solo para modelar portafolios corporativos o el desempeño de un portafolio. También para el estudio de la vida residual y muchos otros fenómenos.
  53. 53.  Comúnmente es natural asociar recompensas con transiciones mas que asociarlas con estados. Si rij denota la recompensa asociada con la transición de i a j y Pij denota la probabilidad de transición correspondiente, entonces ri=j Pijrij es e la recompensa esperada asociada a la transición del estado i. Como solo estamos analizando la recompensa esperada, y como el efecto de las recompensas de transición rij están resumidas en el estado de recompensa ri=j Pijrij , se ignora la recompensa de transición y solo consideramos el estado de recompensa.
  54. 54. Ejemplo 4.5.1 (Primer Tiempo dePase Esperado). Un problema común cuando se trabajo con Cadenas de Markov es encontrar en numero de pasos esperados, comenzando en algún estado inicial, antes de algún estado final es entrado.
  55. 55.  Como el contestar este problema no depende de que después de que un estado final es entrado, podemos modificar la Cadena para convertir el estado final dado, es decir el estado 1, en un estado de aprisionamiento ( o sea un estado 1 es un estado del cual no existe salida, para el que Pii = 1). Esto es , si ponemos P11 = 1, P1j = 0 para todo j ≠1, y dejamos Pij sin cambiar para todo i ≠ 1 y todo j. La conversión de una Cadena de Markov de cuatro estado en una cadena en la que el estado 1 es un estado restringido. Obsérvese que los arcos que salen del nodo 1 han sido removidos.
  56. 56.  Sea vi el numero esperado de pasos para alcanzar el estado 1 comenzando en el estado i ≠ 1. Este numero de pasos incluye el primer paso mas el numero de pasos esperados desde cualquier estado que se entre posteriormente (el cual es 0 si el estado 1 es entrado como el siguiente).
  57. 57.  Para la cadena propuesta , estas son las ecuaciones:Para un Cadena Arbitraria de M estados donde1es un estado atrapado y todos los demásestados son transitan, este set de ecuaciones setransforma en:
  58. 58.  Si definimos ri = 1 para i≠1 y ri = 0 para i = 1, entonces ri es una unidad de recompensa para una entrada no realizada aun al estado de contención, y vi como la esperada recompensa agregada antes de entrar el estado de contención. Al tomar r1 = 0, la recompensa cesa al entrar en el estado de contención, y vi es la recompensa esperada en curso, el primer transcurso esperado del estado i al estado 1. En este ejemplo la recompensa ocurre solamente en estados de transito. Pero como los estados de transito tienen cero probabilidad de estado continuo, el estado continuo gana por unidad tiempo, g =i πiri, es 0.
  59. 59.  Si definimos v1 = 0, entonces , junto con v1 = 0, que tiene la forma de vector:Esta ecuación v = r +[P]v es un grupo de Mecuaciones lineales, de los cuales la primera esv1 = 0 + v1, y , con v1 = 0, el ultimo M − 1corresponde a
  60. 60. Bibliografía DISCRETE STOCHASTIC PROCESSES, Draft of 2nd Edition, R. G. Gallager, May 24, 2010. Presentación: Cadenas de Markov, Ezequiel López Rubio, Departamento de Lenguajes y Ciencias de la Computación, Universidad de Málaga.
  61. 61. Fin

×