Cadenas de markov

15,418 views

Published on

Published in: Career
3 Comments
12 Likes
Statistics
Notes
No Downloads
Views
Total views
15,418
On SlideShare
0
From Embeds
0
Number of Embeds
28
Actions
Shares
0
Downloads
606
Comments
3
Likes
12
Embeds 0
No embeds

No notes for slide

Cadenas de markov

  1. 1. Instituto Tecnológico de Puebla INVESTIGACIÓN DE OPERACIONES II Equipo 5: Mayra Priscila Fernanda Escalona Contreras Ivannia Alejandra Méndez Méndez Jesús Antonio Rivera Sánchez Ulises Juan Carlos Marín Rosas 4. Cadenas de Markov
  2. 2. ÍNDICE4.1 Introducción.4.2 Formulación de las cadenas de Markov.4.3 Procesos estocásticos.4.4 Propiedad Markoviana de primer orden.4.5Probabilidad de transición estacionarias de un solo paso.4.6 Probabilidad de transición estacionarias de “n” pasos.4.7 Estados absorbentes.4.8Probabilidad de transición estacionarias de estados estables. Tiempos de primer paso.
  3. 3. 4.1 INTRODUCCIÓN “Cuando, conociendo el pasado y el presente, el comportamiento probabilístico del futuro inmediato sólo depende del estado presente”
  4. 4. Matemáticas aplicadas a la administración y a la economía/PEARSON/Arya y Lardner
  5. 5.  Un proceso o sucesión de eventos que se desarrolla en el tiempo en el cual el resultado en cualquier etapa contiene algún elemento que depende del azar se denomina proceso aleatorio o proceso estocástico. Por ejemplo, la sucesión podría ser las condiciones del tiempo en una serie de días consecutivos: el tiempo cambia día a día de una manera que en apariencia es algo aleatoria.  Un ejemplo simple de un proceso estocástico es una sucesión de ensayos de Bernoulli, por ejemplo, una sucesión de lanzamientos de una moneda. En este caso, el resultado en cualquier etapa es independiente de todos los resultados previos.  Sin embargo, en la mayoría de los procesos estocásticos, cada resultado depende de lo que sucedió en etapas anteriores del proceso. Por ejemplo, el tiempo en un día determinado no es aleatorio por completo sino que es afectado en cierto grado por el tiempo de días previos.Matemáticas aplicadas a la administración y a la economía/PEARSON/Arya y Lardner
  6. 6. El caso más simple de un proceso estocástico en que los resultados dependen de otros, ocurre cuando el resultado en cada etapa sólo depende del resultado de la etapa anterior y no de cualquiera de los resultados previos. Tal proceso se denomina proceso de Markov o cadena de Markov (una cadena de eventos, cada evento ligado al precedente). Estas cadenas reciben su nombre del matemático ruso Andrei Andreevitch Markov (1856-1922) que desarrollo el método en 1907. Como mencionamos antes, estas cadenas tiene memoria, recuerdan el último evento y eso condiciona las posibilidades de los eventos futuros. Esto justamente las distingue de una serie de eventos independientes como el hecho de tirar una moneda. Este tipo de proceso presenta una forma de dependencia simple, pero muy útil en muchos modelos, entre las variables aleatorias que forman un proceso estocástico.Matemáticas aplicadas a la administración y a la economía/PEARSON/Arya y Lardner
  7. 7. Matemáticas aplicadas a la administración y a la economía/PEARSON/Arya y Lardner
  8. 8. Matemáticas aplicadas a la administración y a la economía/PEARSON/Arya y Lardner
  9. 9. Matemáticas aplicadas a la administración y a la economía/PEARSON/Arya y Lardner
  10. 10. Matemáticas aplicadas a la administración y a la economía/PEARSON/Arya y Lardner
  11. 11. Cadena de Márkov• Proceso estocástico discreto en el que la probabilidad de que ocurra un evento depende del evento inmediatamente anterior.• Una cadena de Márkov es una secuencia X1, X2, X3,... de variables aleatorias.
  12. 12. • El rango de estas variables, es llamado espacio estado, el valor de Xn es el estado del proceso en el tiempo n. Si la distribución de probabilidad condicional de Xn+1 en estados pasados es una función de Xn por sí sola, entonces:• Donde xi es el estado del proceso en el instante i. La identidad mostrada es la Propiedad de Márkov.
  13. 13. Tipos de cadenas de Markov
  14. 14. Cadenas irreducibles• Una cadena de Markov se dice irreducible si se cumple cualquiera de las siguientes condiciones (equivalentes entre sí):• 1. Desde cualquier estado de E se puede acceder a cualquier otro.• 2. Todos los estados se comunican entre sí.• 3. C(x)=E para algún x∈E.• 4. C(x)=E para todo x∈E.• 5. El único conjunto cerrado es el total.
  15. 15. Cadenas positivo-recurrentes• Una cadena de Markov se dice positivo- recurrente si todos sus estados son positivo-recurrentes. Si la cadena es además irreducible es posible demostrar que existe un único vector de probabilidad invariante y está dado por:
  16. 16. Cadenas regulares• Se dice regular (también primitiva o ergódica) si existe alguna potencia positiva de la matriz de transición cuyas entradas sean todas estrictamente mayores que cero.• Cuando el espacio de estados E es finito, si P denota la matriz de transición de la cadena se tiene que:donde W es una matriz con todos sus renglones iguales a un mismo vector de probabilidad w, que resulta ser el vector de probabilidad invariante de la cadena.
  17. 17. Cadenas absorbentes• Una cadena de Markov con espacio de estados finito se dice absorbente si se cumplen las dos condiciones siguientes:• 1. La cadena tiene al menos un estado absorbente.• 2. De cualquier estado no absorbente se accede a algún estado absorbente.• Si denotamos como A al conjunto de todos los estados absorbentes y a su complemento como D, tenemos los siguientes resultados:
  18. 18. • Su matriz de transición siempre se puede llevar a una de la formadonde la submatriz Q corresponde a los estados del conjunto D, I es la matriz identidad, 0 es la matriz nula y R alguna submatriz.•esto es, no importa en donde se encuentre la cadena, eventualmente terminará en un estado absorbente.
  19. 19. Cadenas de Markov en tiempo continuo• Si en lugar de considerar una secuencia discreta X1, X2,..., Xi,.. con i indexado en el conjunto de números naturales, se consideran las variables aleatorias Xt con t que varía en un intervalo continuo del conjunto de números reales, tendremos una cadena en tiempo continuo. Para este tipo de cadenas en tiempo continuo la propiedad de Márkov se expresa de la siguiente manera:•• tal que
  20. 20. • FORMATO DE LA MATRIZ DE TRANCISIONES:
  21. 21. Como realizar el diagrama de transición A
  22. 22. Ejemplo: la ruina del jugadorEn el tiempo 0, tengo $2. en los tiempos 1,2 … n participo enun juego en el que apuesto $1. con la probabilidad P, gano eljuego, y con probabilidad 1-P, pierdo el juego. Mi objetivo esincrementar mi capital a $4, y cuando lo logre se termina eljuego. El juego también se termina si mi capital se reduce a$0.1.-Encuentre la matriz de transición.2.-Desarolle el diagrama de transición.
  23. 23. estado
  24. 24. Algunas veces nos encontramos interesados en cómo cambia unavariable aleatoria con el tiempo. Por ejemplo, es posible que se desee saber cómo evoluciona el precio de una parte de las acciones o laparticipación en el mercado de una empresa. El estudio de cómo una variable aleatoria cambia a través del tiempo incluyen los procesos estocásticos.
  25. 25. ¿Qué es un proceso estocástico?Suponga que se observan algunas características de un sistema en puntosdiscretos en el tiempo (identificados con 0,1,2,….). Sea Xt el valor de lacaracterística del sistema en el tiempo t. En la mayoría de las situaciones,Xt NO SE CONOCE CON CERTEZA ANTES DEL TIEMPO t y se podríaconsiderar como una variable aleatoria. Un proceso estocástico discreto en el tiempo es simplemente unadescripción de la relación entre las variables aleatorias X0, X1, X2….
  26. 26. • Se dispone de 4 módulos de atención que se van activando secuencialmente a medida que la cantidad de usuarios que deben ser atendidos aumenta. Central• Cada módulo tiene un máximo de usuarios a Telefónica los que puede entregar servicio.• Cuando un módulo está completamente utilizado, entra en servicio el siguiente módulo.• Si un módulo deja de ser utilizado, el módulo se desactiva temporalmente, quedando en servicio los módulos anteriores. 1 2 3 4
  27. 27. • La definición de estados para el ejemplo será: – Estado 1: El módulo 1 está Central siendo utilizado. Telefónica – Estado 2: El módulo 2 está siendo utilizado. – Estado 3: El módulo 3 está siendo utilizado. – Estado 4: El módulo 4 está siendo utilizado. 1 2 3 4
  28. 28. • Si consideramos los siguientes porcentajes, para pasar de curso, repetir o retirarse en cada año: Repetir 1º año: 2% Repetir 1º año: 2% Repetir 3º año: 4% Pasar aa2º año: 97% Pasar 2º año: 97% Pasar a 4º año: 92% Retirarse al final del 1º año: 1% Retirarse al final del 1º año: 1% Retirarse al final del 3º año: 2% Repetir 2º año: 3% Repetir 4º año: 1% Pasar a 3º año: 95% Egresar: 96% Retirarse al final del 2º año: 2% Retirarse al final del 4º año: 3%
  29. 29. • Definición de estados: – Estado 1: Estar en primer año. – Estado 2: Estar en segundo año. – Estado 3: Estar en tercer año. – Estado 4: Estar en cuarto año. – Estado 5: Egresar del establecimiento. – Estado 6: Retirarse del establecimiento.• La representación gráfica de los estados definidos es: 1 2 3 4 5 6
  30. 30. El clima de Centerville puede cambiar con rapidez de un día a otros. Sin embrago, las posibilidades de tener clima seco (sin lluvia) mañana es de alguna forma mayor si hoy esta seco, es decir, no llueve. Esta probabilidades no cambian si se considera la información acerca del clima en los días anteriores a hoy. La evolución del clima día tras día en Centerville es un proceso estocástico. Si se comienza en alguna día inicial (etiquetado como el día 0), el clima se observa cada día t puede ser:
  31. 31.  Estado 0= El día es seco O bien Estado 1= El día t es lluvioso Así, para = 0, 1, 2, …, la variable aleatoria Xt Toma los valores , 0 sí día t es seco Xt 1 sí día t es lluvioso El proceso estocástico {Xt}= {X0, X1, X2….} proporciona una representación matemática de la forma como evaluación el clima de Centerville a través del tiempo.
  32. 32. PROPIEDAD DE MARKOV• Nos dice que el futuro depende únicamente del valor del estado del presente y es independiente del pasado.
  33. 33. • Como son probabilidades condicionales deben satisfacer:• Y• Donde M es el numero finito asociado a los diferentes estados por donde puede pasar el proceso
  34. 34. Una matriz de transición P se dice que es regular sipara algún entero positivo k, la matriz k P no tieneelementos iguales a cero. Si P es una matriz detransición regular, entonces sin importar la matrizde estado inicial, las matrices de estado sucesivasse aproximan a alguna matriz de estado fija B endonde B.P = B. La matriz B se denomina matrizestacionaria del sistema.
  35. 35. Ejemplo: Si la matriz de transición regular es: Es la matriz estacionaria que se requiere.
  36. 36. Por definición, la suma de las probabilidades p1+ p2 =1 y además B.P = B, o sea: De allí, resolviendo el sistema que queda planteado podemos calcular la matriz estacionaria buscada.
  37. 37. Ejemplo:Suponga que toda la industria de bebidas de colaproduce solo 2. Dado que una persona la ultima vezcompro cola 1, hay 67% de probabilidades de que susiguiente compra se cola 1. Dado que la ultima comprade una persona fue cola 2, hay un 33% de probabilidadde que su siguiente compra se cola 2.
  38. 38. Si una persona en la actualidad es comprador de cola2, ¿cual es la probabilidad de que compre cola 1 dos veces a partir de ahora?Solución: vemos las compras de cada persona como una cadena de Markov con el estado, en cualquier tiempo dado, el tipo de cola que compro la persona en la ultima vez. Así, la compras de cada individuo puede representarse como una cadena de Markov donde.
  39. 39. Estado 1 = la persona compro cola del tipo 1 la ultima vez Estado 2= la persona compro cola del tipo 2 la ultima vezSi se define xn como el tipo de cola que una persona compra en su n-ésima compra futura (compra actual de cola = x0) , entonces x0 ,x1... se podría describir como la cadena de Markov con la siguiente matriz de transición:
  40. 40. Respondiendo a la pregunta se tiene unaprobabilidad del 67% de que el compradorde cola dos compre cola 1 dos veces apartir de ahora.
  41. 41. Suponga que se está estudiando una cadena de Markov conuna matriz de probabilidad de transición conocida P. (puestoque las cadenas con las que se tratará son estacionarias, nonos molestaremos en marcar nuestras cadenas de Markovcomo estacionarias). Una pregunta de interés es:Si una cadena de Markov está en el estado i en el tiempo m,¿cuál es la probabilidad de que n periodos después la cadenaesté en el estado j? Puesto que se trata con una cadena deMarkov estacionaria, esta probabilidad es independiente dem, así que se podría escribir
  42. 42. P = ( X n + m = j | X m = i ) = P ( X n = j | X 0 = i ) = Pij (n )donde Pij ( n ) se llama probabilidad del n-ésimo paso de unatransición del estado i al estado j.Resulta claro que P (1) = Pu: Para determinar P (2) , ij ijobserve que si el sistema ahora está en el estado i, entoncespara que el sistema termine en el estado j dos periodos apartir de ahora, se debe ir del estado i a algún estado k yluego del estado k al estado j (véase la figura 3). Esterazonamiento nos permite escribir
  43. 43. k =sPij (2) = ∑( probabilidad de transición de i a k ) X ( probabilidad de transicion de k a j) k =1Usando la definición de P, la matriz de probabilidad de transición, se reescribe la última ecuación como k =s …………(3) P (2) = ∑ ij PikPjk k=1El lado derecho de (3) es sólo el producto escalar del renglón i de la matriz P con la columna J de la matriz P. 2Por P consiguiente,ij (2) es el ij-ésimo elemento de la matriz . P Alampliar este razonamiento, se puede demostrar que paran > 1,
  44. 44. Pij (n) = ij − emesimo elemento de P n……..(4) Pij (0) = P ( X 0 = j | X 0 = i )Por supuesto, para n = O, , asíque se debe escribir  Pij (0) =  .l si j = i   0 si j ≠ i Se ilustrael uso de laecuación (4)en el ejemplo 4.
  45. 45. EJEMPLO DE BEBIDASuponga que toda la industria de bebidas produce solo 2refrescos. Dado que una persona la ultima vez comprorefresco 1, hay 90% de probabilidades de que su siguientecompra sea refresco 1. dado que la ultima compra de unapersona fue refresco 2, hay un 80% de probabilidades de quesu siguiente compra se refresco 2.•1 Si una persona en la actualidad es comprador de cola 2,¿cuál es la probabilidad de que compre cola 1 dos veces apartir de ahora?
  46. 46. • 2 Si una persona en la actualidad es comprador de cola 1, ¿cuál es la probabilidad de que compre cola 1 tres ocasiones a partir de ahora?SOLUCION:Vemos las compras de cada persona como una cadena de Markov con el estado, en cualquier tiempo dado, del tipo de cola que compró la persona en la última vez. Así, las compras de cada individuo pueden representarse como una cadena de Markov de dos estados, donde;
  47. 47. • Estado l = La persona compró cola del tipo 1 la última vez.• Estado 2 = La persona compró cola del tipo 2 la última vez.Si se define Xn como el tipo de cola que una persona compra en su n-ésima compra futura (compra actual de cola = Xo), entonces X0, X1,… se podría describir como la cadena de Markov con la siguiente matriz de transición:  R1 R 2  R 1 .90 .10 P= R 2 .20 .80    
  48. 48. Ahora se pueden contestar las preguntas 1 y 2.Se busca P(X2 = 1|X0 = 2) = p21(2) = elemento 2,1 de P 2: .90 .10 .90 .10 .83 .17  P = 2  .20 .80 = .34 .66 .20 .80    •Por consiguiente, P21(2) = .34. Esto significa que laprobabilidad de que un bebedor de cola 2 en el futuro compredos veces cola l es .34. Mediante la teoría de probabilidadbásica, se podría obtener esta respuesta de una maneradistinta (véase la figura 4).
  49. 49. • Observe que P21 (2) = (probabilidad de que la siguiente compra sea cola 1 y la segunda compra sea cola 1) + (probabilidad de que la siguiente compra sea cola 2 y la segunda compra sea cola 1) = P21P11 + P22P21= (.20)(.90) + (.80)(.20) = .34. 2 Se busca P11(3) = elemento 11 de P 3 :  90 . .10 83 . .17   781 . .219P =P ( P ) = 3 2 = 438  20 . .80 34 . .66  . .562 
  50. 50. • Por lo tanto, P11(3) = .781
  51. 51. PROBABILIDADES DE ESTADOS ESTABLESAhora analizaremos el concepto importante de probabilidadesde estado estable, que se puede usar para describir elcomportamiento a largo plazo de una cadena de Markov.El resultado es vital para comprender las probabilidades deestado estable y el comportamiento a largo plazo de lascadenas de Markov.
  52. 52. Sea P la matriz de transición de una cadena ergódica deestado estable. Entonces existe un vector π = [π1 π2 … πs] talque:
  53. 53. • El vector π = [π1 π2 … πs] se llama distribución de estado estable, o distribución de equilibrio, para la cadena de Marcos. Para una cadena determinada con matriz de transición P, ¿cómo se puede hallar la distribución de probabilidades de estado estable? A Partir del teorema 1, se observa que y toda i Pij (n + 1) ≅ Pij (n ) ≅ π j
  54. 54. π (m + n) = π(n) [P]m Lo cual define una relación derecurrencia, la cual permite conocer la evolución del vector deprobabilidad de estado en el instante m, conociendo el vectorde probabilidad inicial, hacienda n = 0A medida que aumenta el número de instantes m, lasmatrices convergen a un valor estable, independiente delvector de probabilidad inicial. Por lo tanto, cuando el sistemallega a un estado j, la probabilidad en estado estable llegaraser:
  55. 55. m π j = lim Pij    m →∞Entonces la ecuación quedaría de la siguiente manera. π = πPYa que con la ecuación anterior se tendrían un número infinitode soluciones debido a que el rango de la matriz P siempreresulta ser menor o igual a s - 1. Para obtener valores únicosde las probabilidades de estado, observe que para cualquier ny cualquier i
  56. 56. Pi 1(n ) + Pi 2 (n ) + ... + Pis ( n ) = 1 ∑π j j =1Para ejemplificar estas probabilidades utilizaremos el ejemploanterior de los refrescos donde P: Refresco 1 refresco 2 P = refresco 1 0.9 0.1 refresco 2 0.2 0.8
  57. 57. 0.9 0.1 π1 π2 = π1 π2 0.2 0.8Ejemplo:Se considera una señal con amplitud entre −2A y 2A, el cualsolo puede tomar valores múltiplos de A. En cualquierinstante n, la señal puede, ya sea quedarse en el mismovalor, aumentar A o disminuir A. Al asumir que los cambiostienen igual probabilidad, determine:
  58. 58. 1. La matriz de transición de estados.2. La probabilidad de que en el segundo instante, la señal pase el estado −A al estado A.3. La probabilidad de estado de la señal en estado estable.
  59. 59. El diagrama de transición de estados que se ilustra en lasiguiente figura, determina el proceso de Markov donde:Luego, la matriz de transición de estados es igual a:
  60. 60. • Para definir las probabilidades de transición para el segundo instante, se tiene:
  61. 61. Luego P−A,A = 1/9 = 0.111. Nótese que dicha probabilidadpuede hallarse usando la matriz de transición de estado inicialP−A,A = P−A,0P0,A = 1/3*1/3 = 0.111. En estado estable sedebe satisfacer el sistema de ecuaciones, dado por 2.26, yeliminando el término π5:
  62. 62. Suponga que cada cliente realiza una compra de refresco durantecualquier semana. Suponiendo que hay 100 mil clientes queconsumen refresco. A la compañía le cuesta 1 dólar producir unrefresco y lo vende en 2 dólares. Por $500 mil al año, una empresapublicitaria garantiza disminuir de 10 a 5% la fracción de clientes derefresco 1que cambian a refresco 2 después de una compra. ¿Debela compañía que fabrica refresco 1 contratar a la empresapublicitaria?
  63. 63. En la actualidad, una fraccion π1 = 2/3 de las compras derefresco 1. Cada compra de refresco 1produce a la compañiauna gananci de 1 dolar. Puesto que hay un total 52(100 000),compras de refresco al año, ganancia de la compañoa queproduce refresco 1 es:•2/3(5 200 000) = $3466666
  64. 64. La compañía publicitaria esta ofreciendo cambiar la matriz Pa Refresco 1 refresco 2 P = refresco 1 0.95 0.05 refresco 2 0.2 0.8Para P, las ecuaciones de estado estable sonΠ1 = .95π1 + .20π2Π2 = .05π1 + .80π2Sustituyendo la ecuación por π1 + π2 = 1 y resolviendo, se obtiene π1 = .80 y π2 = .20. Ahora la ganancia anual de la compañia que producerefresco 1 será
  65. 65. .80 (5 200 000) – 500 000 = $3660000•Por lo tanto, la compañía que producerefresco 1 debe contratar a la agenciade publicidad.
  66. 66. Cadenas absorbentes• Muchas aplicaciones interesantes de las cadenas de markov tienen que ver con cadenas en las que algunos de los estados son absorbentes y el resto son estados transitorios. Este tipo de cadena se llama cadena absorbente. Considere una cadena de markov absorbente; si se comienza en un estado transitorio, entonces finalmente se esta seguro de salir del estado transitorio y terminar en uno de los estados absorbentes
  67. 67. Cadenas absorbentes• En este formato, los renglones y las columnas de P corresponden (en orden) a los estados• Aquí I es una matriz identidad de m x m que refleja el hecho de que nunca se puede dejar un estado absorbente: Q es una matriz de (s – m) x (s – m) que representa estados transitorios; R es una matriz de (s – m) x m que representa transiciones a estados absorbentes; 0 es una matriz de m x (s – m) que consiste por completo en ceros. Esto refleja el echo de que es imposible ir de un estado absorbente a un transitorio.
  68. 68. Ejemplo planificación de fuerza de trabajo• El bufete jurídico de Mason y Burger emplea tres tipos de abogados: principiantes, experimentados y asociados. Durante un año determinado, hay una probabilidad .15 de que un abogado principiante sea promovido a experimentado y una probabilidad .05 de que salga de la empresa. También, hay una probabilidad .20 de que el abogado experimentado sea promovido asocio y una probabilidad .10 de que salga de la empresa. La probabilidad de que un asociado salga de la empresa es de .05• 1 ¿Cuál es el tiempo promedio que un abogado principiante recién contratado dure trabajando en la empresa ?• 2 ¿Cuál es la probabilidad de que un abogado principiante se convierta en asociado ?• 3 ¿Cuál es el tiempo promedio que un asociado pasa en la empresa ?
  69. 69. Matriz de probabilidades de transición. s=5, m=2 Entonces experimentad sale como no sale como principiante o asociado asociado asociadoprincipiante 0.8 0.15 0 0.05 0experimentado 0 0.7 0.2 0.1 0asociado 0 0 0.95 0 0.05sale como noasociado 0 0 0 1 0 sale como asociado 0 0 0 0 1
  70. 70. SoluciónPor lo tanto: 0.8 0.15 0 0.05 0Q= 0 0.7 0.2 R= 0.1 c0 0 0 0.95 3x3 0 0.05 3x2Entonces: 0.2 -0.15 0 I -Q = 0 0.3 -0.2 0 0 0.05
  71. 71. SoluciónEsta matriz tiene por nombre matriz fundamental de lacadena de markov. 5 2.5 10 (I-Q)^-1 = 0 3.33 13.33 0 0 20Por lo tanto: a1 a2 t1 0.5 0.5 (I-Q)^-1 R= t2 0.33 0.66 t3 0 1
  72. 72. Ejemplo : cuentas por cobrar• Suponga que una empresa asume que una cuenta es incobrable si se tiene mas de tres meses de atraso. Entonces al comienza de cada mes, cada cuenta se puede clasificar en uno de los siguientes estados:• Estado 1 Cuentas nuevas.• Estado 2 El pago de la cuenta tiene un mes de atraso.• Estado 3 El pago de la cuenta tiene dos meses de atraso.• Estado 4 El pago de la cuenta tiene tres meses de atraso.• Estado 5 La cuenta ha sido pagada.• Estado 6 La deuda se borra como deuda incobrable.Los datos se muestran en la siguiente cadena de markov
  73. 73. • ¿ cual es la probabilidad de que finalmente se cobre una cuenta nueva?• ¿Cuál es la probabilidad de una cuenta de un mes de retraso en algún momento sea una deuda incobrable?
  74. 74. Matriz de probabilidad de transición Entonces s=6, m=2 nueva 1 mes 2 meses 3 meses pagada incobrablenueva 0 0.6 0 0 0.4 01 mes 0 0 0.5 0 0.5 02 meses 0 0 0 0.4 0.6 03 meses 0 0 0 0 0.7 0.3pagada 0 0 0 0 1 0deudaincobrable 0 0 0 0 0 1
  75. 75. soluciónPor lo tanto: 0 0.6 0 0 0 0 0.5 0 Q= 0 0 0 0.4 0 0 0 0 4x4 0.4 0 0.5 0 R= 0.6 0 0.7 0.3 4x2
  76. 76. Solución 1 -0.6 0 0 0 1 -0.5 0 I-Q= 0 0 1 -0.4 0 0 0 1 Se encuentra que ; t1 t2 t3 t4 t1 1 0.6 0.3 0.12(I - Q)^-1= t2 0 1 0.5 0.2 t3 0 0 1 0.4 t4 0 0 0 1
  77. 77. Para las preguntas 1 y 3 es necesario calcular; a1 a2 t1 0.964 0.036(I - Q)^-1 R = t2 0.94 0.06 t3 0.88 0.12 t4 0.7 0.3
  78. 78. Interpretación• 1.- Así finalmente de que se cobre una cuenta nueva es de = .964 el 96%.• 2.- por consiguiente, la probabilidad de una cuenta con un mes de retraso se convierta en una deuda incobrable es de = .06
  79. 79. PROBABILIDADES DE ESTADOS ESTABLES• Ahora analizaremos el concepto importante de probabilidades de estado estable, que se puede usar para describir el comportamiento a largo plazo de una cadena de Markov.• El resultado es vital para comprender las probabilidades de estado estable y el comportamiento a largo plazo de las cadenas de Markov.
  80. 80. • Sea P la matriz de transición de una cadena ergódica de estado estable. Entonces existe un vector π = [π1 π2 … πs] tal que
  81. 81. • El vector π = [π1 π2 … πs] se llama distribución de estado estable, o distribución de equilibrio, para la cadena de Marcos. Para una cadena determinada con matriz de transición P, ¿cómo se puede hallar la distribución de probabilidades de estado estable? A Partir del teorema 1, se observa que y toda i
  82. 82. • π (m + n) = π(n) [P]m Lo cual define una relación de recurrencia, la cual permite conocer la evolución del vector de probabilidad de estado en el instante m, conociendo el vector de probabilidad inicial, hacienda n = 0
  83. 83. • A medida que aumenta el número de instantes m, las matrices convergen a un valor estable, independiente del vector de probabilidad inicial. Por lo tanto, cuando el sistema llega a un estado j, la probabilidad en estado estable llegara ser:
  84. 84. • Entonces la ecuación quedaría de la siguiente manera.Ya que con la ecuación anterior se tendrían un número infinito desoluciones debido a que el rango de la matriz P siempre resultaser menor o igual a s - 1. Para obtener valores únicos de lasprobabilidades de estado, observe que para cualquier n ycualquier i
  85. 85. • Para ejemplificar estas probabilidades utilizaremos el ejemplo anterior de los refrescos donde P: Refresco 1 refresco 2 P = refresco 1 0.9 0.1 refresco 2 0.2 0.8 0.9 0.1 π1 π2 = π1 π2 0.2 0.8
  86. 86. • Ejemplo 2.7 Se considera una señal con amplitud entre −2A y 2A, el cual solo puede tomar valores múltiplos de A. En cualquier instante n, la señal puede, ya sea quedarse en el mismo valor, aumentar A o disminuir A. Al asumir que los cambios tienen igual probabilidad, determine:
  87. 87. • La matriz de transición de estados.• La probabilidad de que en el segundo instante, la señal pase el estado −A al estado A.• La probabilidad de estado de la señal en estado estable.
  88. 88. El diagrama de transición de estados que se ilustra en lasiguiente figura, determina el proceso de Markov donde:
  89. 89. • Luego, la matriz de transición de estados es igual a:
  90. 90. • Para definir las probabilidades de transición para el segundo instante, se tiene:
  91. 91. • Luego P−A,A = 1/9 = 0.111. Nótese que dicha probabilidad puede hallarse usando la matriz de transición de estado inicial P−A,A = P−A,0P0,A = 1/3*1/3 = 0.111. En estado estable se debe satisfacer el sistema de ecuaciones, dado por 2.26, y eliminando el término π5:
  92. 92. • Suponga que cada cliente realiza una compra de refresco durante cualquier semana. Suponiendo que hay 100 mil clientes que consumen refresco. A la compañía le cuesta 1 dólar producir un refresco y lo vende en 2 dólares. Por $500 mil al año, una empresa publicitaria garantiza disminuir de 10 a 5% la fracción de clientes de refresco 1que cambian a refresco 2 después de una compra. ¿Debe la compañía que fabrica refresco 1 contratar a la empresa publicitaria?
  93. 93. • En la actualidad, una fraccion π1 = 2/3 de las compras de refresco 1. Cada compra de refresco 1produce a la compañia una gananci de 1 dolar. Puesto que hay un total 52(100 000), compras de refresco al año, ganancia de la compañoa que produce refresco 1 es:• 2/3(5 200 000) = $3466666
  94. 94. • La compañía publicitaria esta ofreciendo cambiar la matriz P a Refresco 1 refresco 2 P = refresco 1 0.95 0.05 refresco 2 0.2 0.8 Para P, las ecuaciones de estado estable son Π1 = .95π1 + .20π2 Π2 = .05π1 + .80π2
  95. 95. • Sustituyendo la ecuación por π1 + π2 = 1 y resolviendo, se obtiene π1 = .80 y π2 = .20. Ahora la ganancia anual de la compañia que produce refresco 1 será• .80 (5 200 000) – 500 000 = $3660000• Por lo tanto, la compañía que produce refresco 1 debe contratar a la agencia de publicidad.

×