Expectation Maximization: o básico do básico

969 views

Published on

Palestra muito superfical e não muito bem organizada sobre o algoritmo Expectation-Maximization

Published in: Data & Analytics
  • Be the first to comment

  • Be the first to like this

Expectation Maximization: o básico do básico

  1. 1. Expectation Maximization: o básico do básico Nicolau L. Werneck Geekie Geekie, São Paulo 03 de Setembro de 2014
  2. 2. Resumo e Sumário Expectation Maximization (EM) é um algoritmo lato sensu. É uma técnica de estimação de parâmetros que permite lidar com dados faltantes. Muitos algoritmos já foram e são propostos para lidar com esse problema, e na verdade são instâncias do EM. Caso usual: estimação de parâmetros q dadas observações x com classes z desconhecidas. p(x; z;q) 1 / 18
  3. 3. Métodos de estimação Vários metodos de estimação foram desenvolvidos ao longo da história... Máxima probabilidade—pega o valor mais provável. Máxima verossimilhança—Fisher, ca. 1912... Máxima probabilidade a posteriori— MP via Bayes. ML é MAP com uma priori uniforme. EM — Maximização do valor esperado da verossimilhança. Média de funções de verossimilhança sobre variáveis não-observadas. 2 / 18
  4. 4. Métodos de estimação Máxima probabilidade ^x = argmax x p(x) Máxima verossimilhança ^q = argmax q p(xjq) Máxima probabilidade a posteriori ^q = argmax q p(xjq)p(q) EM e EAP ^q = argmax q Ezfp(xjz;q)g 3 / 18
  5. 5. História 1960s, 1970s — M-estimation, IRLS. (Tukey, Huber, Wedderburn...) 1970 — Algoritmo de Baum et al. para HMM. 1977 — EM por Dempster, Laird e Rubin. 1981 — Wu, prova de convergência do EM. 1981 — Bock e Aitkin, EM aplicado à TRI. 4 / 18
  6. 6. M-estimação 5 / 18
  7. 7. M-estimação MLE: q Õip(xi jq) ^q = argmax q åi ^q = argmin

×