Algoritmo EM

377 views

Published on

Los modelos de mixturas finitas tienen una larga historia en la estadística, se han utilizado para análisis de homogeneidad de poblaciones en varias disciplinas, y últimamente, en minería de datos, reconocimiento de patrones, aprendizaje automático, es decir son una herramienta que brinda un marco teórico y práctico para agrupación y clasificación. Esta presentación ofrece una introducción a la teoría de los modelos de mixturas de distribuciones normales y proporciona los resultados de una serie de experimentos que tienen la finalidad de ilustrar su amplia flexibilidad y versatilidad.

Published in: Economy & Finance
  • Be the first to comment

Algoritmo EM

  1. 1. Algoritmo EM Ejemplos con Modelos de Mixturas Normales Análisis Cuantitativo del Riesgo Estadística I David Solís
  2. 2. 2 Resumen Antecedentes y Origen Ejemplos Generalización e Implementación 1 2 3 4 Referencias 5 Agenda
  3. 3. 3 Resumen El algoritmo EM se usa para encontrar estimadores de máxima verosimilitud de parámetros en modelos probabilísticos que dependen de variables no observables. Descripción Método iterativo que alterna dos pasos: Paso E. Se calcula la esperanza de la verosimilitud mediante la inclusión de variables latentes como si fueran observables. Paso M. Se calculan estimadores de máxima verosimilitud de los parámetros mediante la maximización de la verosimilitud esperada del paso E. Los parámetros que se encuentran en el paso M se usan para comenzar el paso E siguiente, y así el proceso se repite hasta encontrar los valores óptimos.
  4. 4. 4 Resumen Antecedentes y Origen Ejemplos Generalización e Implementación 1 2 3 4 Referencias 5 Agenda
  5. 5. 5 Antecedentes Experimento Weldon-Pearson En 1894 Pearson modeló una mixtura de dos distribuciones u n i v a r i a d a s n o r m a l e s c o n diferentes medias μ1 y μ2 y varianzas σ1 y σ2 con proporciones π1 y π2 a a l g u n o s d a t o s proporcionados por Weldon. Consistió en mediciones de los caparazones de cangrejos(la proporción del ancho del frente sobre la longitud del cuerpo) de n =1000 cangrejos de una muestra de la bahía de Nápoles.
  6. 6. 5 Antecedentes Experimento Weldon-Pearson En 1894 Pearson modeló una mixtura de dos distribuciones u n i v a r i a d a s n o r m a l e s c o n diferentes medias μ1 y μ2 y varianzas σ1 y σ2 con proporciones π1 y π2 a a l g u n o s d a t o s proporcionados por Weldon. Consistió en mediciones de los caparazones de cangrejos(la proporción del ancho del frente sobre la longitud del cuerpo) de n =1000 cangrejos de una muestra de la bahía de Nápoles. 29 intervalos. Sesgada a la izquierda.
  7. 7. 6 Antecedentes Experimento Weldon-Pearson Weldon había especulado que la asimetría en el histograma de estos datos podría ser una señal de que esta población había evolucionando hacia dos nuevas subespecies. El resultado del modelo de mixturas de Pearson, mostrado en la parte derecha sugiere que existen dos subespecies presentes.
  8. 8. Origen
  9. 9. Origen
  10. 10. 8 Resumen Antecedentes y Origen Ejemplos Generalización e Implementación 1 2 3 4 Referencias 5 Agenda
  11. 11. Generalización X- Muestra completa ~ f(x; θ) Y - Muestra observada (incompleta) ~ f(y;θ) tal que y(x) = y Se define Q(θ;θp) = E[lnf(x;θ)|Y, θp] Se obtiene θp+1, = 0 Se itera hasta que |θp+1 - θp| o |Q(θp+1;θp) - Q(θp;θp)| son suficientemente pequeñas, es decir se obtienen valores óptimos para Q(θ;θp) y θ Se espera que la verosimilitud no decrezca en cada iteración Q(θp+1;θp) ≥ Q(θp;θp) 9
  12. 12. 10 Implementación del Algoritmo en R
  13. 13. 10 Implementación del Algoritmo en R
  14. 14. 10 Implementación del Algoritmo en R
  15. 15. 10 Implementación del Algoritmo en R
  16. 16. 10 Implementación del Algoritmo en R
  17. 17. 10 Implementación del Algoritmo en R
  18. 18. 11 Resumen Antecedentes y Origen Ejemplos Generalización e Implementación 1 2 3 4 Referencias 5 Agenda
  19. 19. 12 Simulación de 2 Mixturas Normales Simulación de una mixtura de 1,000 observaciones con la siguiente función de densidad Componente μ 𝜎 p 1 6.9841974 0.4764190 0.7048 2 9.9399546 0.5385381 0.2952 Modelo D p-value Interpretación Mixtura de 2 normales simulada 0.0286 0.3875 No hay evidencia en contra de la hipótesis nula. Los datos parecen ser consistentes con la hipótesis nula.
  20. 20. 13 Ajuste de una Mixtura de 2 Gammas Se simularon dos mixturas de dos gammas: Mixtura 1: Componente 1: shape = 9, rate = 2, p = 2 3; componente 2: shape =17, rate = 2, p =1 3 Componente μ 𝜎 p 1 3.9251897 1.0163427 0.4117 2 7.2398009 2.3865015 0.5883 Modelo D p-value Interpretación Mixtura 1 0.0222 0.7092 No hay evidencia en contra de la hipótesis nula. Los datos parecen ser consistentes con la hipótesis nula.
  21. 21. 13 Ajuste de una Mixtura de 2 Gammas Se simularon dos mixturas de dos gammas: Mixtura 1: Componente 1: shape = 9, rate = 2, p = 2 3; componente 2: shape =17, rate = 2, p =1 3 Componente μ 𝜎 p 1 3.9251897 1.0163427 0.4117 2 7.2398009 2.3865015 0.5883 Modelo D p-value Interpretación Mixtura 1 0.0222 0.7092 No hay evidencia en contra de la hipótesis nula. Los datos parecen ser consistentes con la hipótesis nula. El resultado de la prueba KS nos permite aceptar la primera mixtura.
  22. 22. 14 Ajuste de una Mixtura de 2 Gammas Componente μ 𝜎 p 1 1.9133099 0.8917386 0.6345 2 10.1737830 2.6468378 0.3655 Modelo D p-value Interpretación Mixtura 2 0.0444 0.0386 Hay evidencia moderada en contra de la hipótesis nula. Mixtura 2: Componente 1: shape = 4, rate = 2, p = 2 3; componente 2: shape = 21, rate = 2, p =1 3
  23. 23. 14 Ajuste de una Mixtura de 2 Gammas Componente μ 𝜎 p 1 1.9133099 0.8917386 0.6345 2 10.1737830 2.6468378 0.3655 Modelo D p-value Interpretación Mixtura 2 0.0444 0.0386 Hay evidencia moderada en contra de la hipótesis nula. El resultado de la prueba KS nos permite rechazar o al menos poner en duda la segunda mixtura. Aunque gráficamente parece aceptable el ajuste, en realidad fue muy pobre de acuerdo a la prueba de bondad. Mixtura 2: Componente 1: shape = 4, rate = 2, p = 2 3; componente 2: shape = 21, rate = 2, p =1 3
  24. 24. 15 Ajuste de una Serie de Tiempos Financiera Ajustar la distribución de los rendimientos logarítmicos de los precios de cierre de la serie de tiempo de TELMEX de 2011 (de 01/01/2011 a 30/12/2011). Con la finalidad de conseguir la mejor bondad de ajuste se quitaron 3 outliers.
  25. 25. 16 Alternativas a la Normal para Rendimientos
  26. 26. 17 Alternativas a la Normal para Rendimientos
  27. 27. 18 Componente μ 𝜎 p 1 -0.0001801668 0.0110634290 0.7055 2 0.0009019293 0.0023377669 0.2945 Ajuste de una Serie de Tiempos Financiera Parte 1. Ajuste con una mixtura de 2 normales Modelo D p-value Interpretación Mixtura 0.0781 0.0983 La evidencia en contra de la hipótesis nula es poco convincente.
  28. 28. 18 Componente μ 𝜎 p 1 -0.0001801668 0.0110634290 0.7055 2 0.0009019293 0.0023377669 0.2945 Ajuste de una Serie de Tiempos Financiera Parte 1. Ajuste con una mixtura de 2 normales Modelo D p-value Interpretación Mixtura 0.0781 0.0983 La evidencia en contra de la hipótesis nula es poco convincente. El ajuste parece aceptable ya que la estimación de densidad por núcleo subestima en los picos. Se puede apreciar que las normales que componen la mixtura están prácticamente centradas en 0.
  29. 29. 19 α β δ μ 80.6667627555 -6.8113636432 0.0076182371 0.0007840097 Ajuste de una Serie de Tiempos Financiera Parte 2. Ajuste con la distribución Normal Inversa Gausiana Modelo D p-valúe Interpretación Normal Inversa Gausiana 0.0716 0.1593 No hay evidencia en contra de la hipótesis nula. Los datos parecen ser consistentes con la hipótesis nula.
  30. 30. 19 α β δ μ 80.6667627555 -6.8113636432 0.0076182371 0.0007840097 Ajuste de una Serie de Tiempos Financiera Parte 2. Ajuste con la distribución Normal Inversa Gausiana Modelo D p-valúe Interpretación Normal Inversa Gausiana 0.0716 0.1593 No hay evidencia en contra de la hipótesis nula. Los datos parecen ser consistentes con la hipótesis nula. Para este caso, con la Normal Inversa Gausiana se obtuvo un mejor ajuste que con la mixtura normal, sin embargo con ambos modelos se acepta la hipótesis nula.
  31. 31. 20 Resumen Antecedentes y Origen Ejemplos Generalización e Implementación 1 2 3 4 Referencias 5 Agenda
  32. 32. 21 Referencias Otras fuentes 978-0-471-00626-8 978-0-471-20170-0 978-3-540-40502-3 978-0-198-52396-3 978-0-412-24620-3 978-0-412-04251-5

×