Aprendizaje Estadístico con Funciones Kernel

3,835 views

Published on

Published in: Education
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total views
3,835
On SlideShare
0
From Embeds
0
Number of Embeds
62
Actions
Shares
0
Downloads
30
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

Aprendizaje Estadístico con Funciones Kernel

  1. 1. Universidad Nacional de Educación a Distancia Máster en Matemáticas Avanzadas Trabajo Fin de Máster Aprendizaje Estadístico con Funciones Kernel Tutor: Prof. Hilario Navarro Veguillas Autor: Juan José Gibaja Martíns Madrid, 5 de octubre de 2010
  2. 2. Índice ● Datos ● Patrones en datos ● Aprendizaje estadístico ● Patrones lineales y no lineales ● La solución kernel ● Fundamentos matemáticos ● Perspectiva histórica ● Support Vector Machines ● Ejemplo: elipses entrelazadas ● Ejemplo: base de datos IRIS ● Kernel PCA ● Ejemplo: parábola ● Conclusión
  3. 3. Datos
  4. 4. Patrones en datos
  5. 5. Patrones en datos Perspectiva histórica paradigma Nuevo Ventaja científico competitiva
  6. 6. Aprendizaje estadístico
  7. 7. Aprendizaje estadístico Aprendizaje supervisado Perspectiva histórica Aprendizaje no supervisado
  8. 8. Patrones lineales y no lineales
  9. 9. Patrones lineales y no lineales Algoritmos eficientes Patrones simples Perspectiva histórica Algoritmos no eficientes Patrones complejos
  10. 10. La solución kernel
  11. 11. La solución kernel Perspectiva representación Cambiar la histórica (vídeo)
  12. 12. La solución kernel Perspectiva histórica
  13. 13. La solución kernel Perspectiva histórica INEFICIENCIA
  14. 14. La solución kernel k(x,y)=〈φ(x),φ(y)〉 Perspectiva histórica
  15. 15. La solución kernel Perspectiva histórica ¿Y si razonamos al revés?
  16. 16. La solución kernel φ y 〈,〉 k ...pero...
  17. 17. La solución kernel ¿ k φ y〈,〉 ? SÍ. Si k es FINITAMENTE SEMIDEFINIDA POSITIVA
  18. 18. Fundamentos matemáticos
  19. 19. Fundamentos matemáticos ● Espacio vectorial ● Producto interno Perspectiva histórica ● Espacio con producto interno ● Espacio de Hilbert ● Espacio de Hilbert separable e isomorfía ● Matriz de Gram y matriz kernel ● Funciones finitamente semidefinidas positivas ● Caracterización de las funciones kernel ● Reproducing Kernel Hilbert Space
  20. 20. Perspectiva histórica
  21. 21. Perspectiva histórica (kernels) Perspectiva histórica D. Hilbert Mercer (1909) Aronszajn (1950) Aizerman et al. (1964) Poggio y Girosi (1990)
  22. 22. Perspectiva histórica (clasificadores) Fisher (1936) Vapnik y Lerner (1963) Perspectiva histórica(1964) Vapnik y Chervonenkis Cover (1965) Mangasarian (1965) Smith (1968) Duda y Hart (1973) Bennett y Mangasarian (1992)
  23. 23. Perspectiva histórica (SVM) Perspectiva histórica V. Vapnik Vapnik y Chervonenkis (1974) Vapnik (1979, 1982) Boser, Guyon y Vapnik (1992) Cortes y Vapnik (1995) Vapnik (1995) Shawe-Taylor (1998) Shawe-Taylor y Cristianini (2000)
  24. 24. Perspectiva histórica (otros algoritmos) Perspectiva histórica B. Schölkopf Baudat y Anouar (2000) Schölkopf, Smola y Müller (1998) Van Gestel et al. (2001) Burges (2005) Girolami (2001)
  25. 25. Support vector machines
  26. 26. Support vector machines Clases separables vs. no separables Perspectiva histórica
  27. 27. Support vector machines Enfoque primal vs. dual Perspectiva histórica
  28. 28. Support vector machines Incorporación del kernel Perspectiva histórica
  29. 29. Ejemplo: espirales entrelazadas
  30. 30. Ejemplo: espirales entrelazadas Perspectiva histórica
  31. 31. Ejemplo: espirales entrelazadas Perspectiva histórica
  32. 32. Ejemplo: Base de datos IRIS
  33. 33. Ejemplo: Base de datos IRIS Perspectiva histórica
  34. 34. Ejemplo: Base de datos IRIS Perspectiva histórica
  35. 35. Ejemplo: Base de datos IRIS Perspectiva histórica
  36. 36. Ejemplo: Base de datos IRIS Perspectiva histórica
  37. 37. Ejemplo: Base de datos IRIS Perspectiva histórica
  38. 38. Kernel PCA
  39. 39. Kernel PCA PCA a partir de covarianzas Perspectiva histórica PCA a partir de productos escalares
  40. 40. Ejemplo: parábola
  41. 41. Ejemplo: parábola Perspectiva histórica
  42. 42. Ejemplo: parábola Perspectiva histórica
  43. 43. Ejemplo: parábola Perspectiva histórica
  44. 44. Ejemplo: parábola Perspectiva histórica
  45. 45. Ejemplo: parábola Perspectiva histórica
  46. 46. Ejemplo: parábola Perspectiva histórica
  47. 47. Conclusión
  48. 48. Conclusión El Aprendizaje Estadístico basado en Perspectiva histórica Funciones Kernel es una vía prometedora para conjugar las ventajas de los algoritmos lineales y no lineales de detección de patrones en bases de datos.

×