Learning Vector Quantization LVQ

1,911 views

Published on

Published in: Education, Technology
0 Comments
1 Like
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total views
1,911
On SlideShare
0
From Embeds
0
Number of Embeds
7
Actions
Shares
0
Downloads
51
Comments
0
Likes
1
Embeds 0
No embeds

No notes for slide

Learning Vector Quantization LVQ

  1. 1. Machine Learning & Neural Networks Eric Postma IKAT
  2. 2. Contenido <ul><li>Perceptron y perceptrón multicapa </li></ul><ul><li>Learning Vector Quantisation </li></ul><ul><li>Kohonen Self-Organising Feature Map </li></ul><ul><li>Multidimensional Scaling (optional) </li></ul>
  3. 3. Perceptrón
  4. 4. Deducción de la regla delta de aprendizaje Target output Actual output h = i
  5. 5. Perceptrón Multicapa
  6. 6. Función sigmoidal <ul><li>Puede ser también tanh (<-1,+1> ipv <0,1>) </li></ul><ul><li>Obteniendo f’(x) = f(x) [1 – f(x)] </li></ul>
  7. 7. Deducción de la regla delta generalizada
  8. 8. Función de error (LMS)
  9. 9. Ajuste del vector de pesos (capa oculta – salida)
  10. 10. Ajuste del vector de pesos (capa de entrada – capa oculta)
  11. 11. Propagación hacia adelante y retropropagación
  12. 12. El problema de muestras dispersas <ul><li>Los puntos (muestras) dispersos tienen la mayor contribución en el error total </li></ul>outlier
  13. 13. Solución al problema de los puntos dispersos <ul><li>Error Minkowsky (R < 2) </li></ul><ul><li>Para R = 1 es el mínimo de la función de error de mediana de los datos ( Número de puntos < mediana = Número de puntos > mediana ) </li></ul>
  14. 14. El problema de inversión x t x t Functional mapping Non-functional inverse mapping
  15. 15. Ejemplo: análisis espectral
  16. 16. Alternativa: modelos mixtos <ul><li>Entrada de la red: vector de parámetros </li></ul><ul><li>Una combinación lineal de funciones kernel parametrizadas (p.e. Funciones Gaussianas) dada como salida </li></ul><ul><li>El vector de parámetros determina la forma de las funciones kernel </li></ul>
  17. 17. Solución m.b.v. Modelo mixto x t Non-functional inverse mapping
  18. 18. Weight decay <ul><li>Conjunción del valor absoluto de los pesos </li></ul><ul><li>Resulta en un modelo simple </li></ul><ul><li>El parametro Lambda determina el peso relativo </li></ul>
  19. 19. Regla delta generalizada con Weight Decay <ul><li>Deducción de la regla delta generalizada para una red con LMS error + weight decay </li></ul>
  20. 20. Regla de aprendizaje con weight decay
  21. 21. Cushings Dataset
  22. 22. Algunos resultados… <ul><li>Perceptrón multicapa (2-2-3) </li></ul><ul><li>1 capa oculta </li></ul><ul><li>Conexión directa entrada-salida </li></ul><ul><li>Salida Soft-max </li></ul><ul><li>Total 21 pesos </li></ul>
  23. 23. 2 hidden (perfect fit)
  24. 24. 2 hidden (perfect fit)
  25. 25. 2 hidden, lambda = 0.001 (smoother) = Lokaal minimum
  26. 26. 2 hidden, lambda = 0.01 = Lokaal minimum
  27. 27. 5 hidden, lambda = 0.01
  28. 28. 20 hidden, lambda = 0.01
  29. 29. Learning Vector Quantisation (LVQ)
  30. 46. Self-organizing Feature Maps Teuvo Kohonen
  31. 47. Inspiración biológica <ul><li>Imágenes topográficas en la corteza </li></ul><ul><li>Corteza visual </li></ul><ul><li>Corteza somatosensorial </li></ul><ul><li>Corteza motora </li></ul><ul><li>Corteza inferotemporal </li></ul>
  32. 48. La diferencia más importante con LVQ <ul><li>La vecindad </li></ul>
  33. 56. SOM toegepast op tijdreeksen
  34. 57. Matlab SOM toolbox
  35. 58. Los datos (3D)
  36. 59. Unified Distance Matrix
  37. 60. Sammon mapping
  38. 61. Hit histogram 1 (numeric)
  39. 62. Hit histogram 2 (size)

×