Curso 2006 Sesion 1 Kohonen
Upcoming SlideShare
Loading in...5
×

Like this? Share it with your network

Share
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Be the first to comment
No Downloads

Views

Total Views
2,524
On Slideshare
2,522
From Embeds
2
Number of Embeds
1

Actions

Shares
Downloads
118
Comments
0
Likes
2

Embeds 2

http://www.slideshare.net 2

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
    No notes for slide

Transcript

  • 1. Mapas Autoorganizados o Mapas de Kohonen Miguel BARRETO Investigador MINISTERIO DE AGRICULTURA Y DESARROLLO RURAL asocaña
  • 2. Plan Nuestro proyecto Descripción Visualización inteligente Mecanismos de Aprendizaje supervisado no supervisado La inspiración biológica Cartas topológicas Cartas retinotópicas Informaciones Multidimensionales Autoorganización Mapas autoorganizados Arquitectura SOM Algoritmo de aprendizaje Ejemplo práctico
  • 3. Nuestro proyecto Proyecto: Agricultura de precisión y la construcción de modelos campo-cultivo para especies de frutas tropicales. Objetivo general: Contribuir a la competitividad de pequeños cultivadores de frutales nativos en la región tropical de América Latina y al sector azucarero con el desarrollo e integración de técnicas computacionales bioinspiradas e información y procedimientos agrobiológicos.
  • 4. Investigación COCH (“triple I”) I ncremental modeling I ntegration of heterogeneous data I ntelligent visualization 4th dimension: model validation (usefulness & biological response) model exploitation Nuestro proyecto
  • 5. Visualización Inteligente y mapas autoorganizados Los mapas auto organizados son una herramienta para la visualización de datos en altas dimensiones. Básicamente SOM produce un grafico de similitud de los datos de entrada. Convierte las relaciones estadísticas no lineales entre datos de alta dimensionalidad en simples relaciones geométricas en puntos de una imagen en una visualización de baja dimensionalidad En contraste con los métodos clásicos, los SOM proporcionan una fácil visualización, tomando pocas suposiciones y restricciones además es capaz de manejar grandes grupos de datos y aislar patrones y estructuras de los datos. Por estas razones los mapas autoorganizados han empezado a ser de gran interés para en exploración y análisis de datos, data mining y ahora también en procesos agro-ecológicos. Nuestro proyecto
  • 6. Mecanismos de Aprendizaje
  • 7. Aprendizaje supervisado
    • Se le suministra a la red un conjunto de datos de entrada y la respuesta esperada.
    • Se comparan los datos obtenidos por el sistema con los datos de entrada aportados, con la respuesta esperada y se modifican los pesos en función del error obtenido.
    • El conjunto de datos utilizados en el proceso de aprendizaje se denomina conjunto de entrenamiento (training set).
    • Si los vectores de entrada utilizados no contienen la información idónea la red puede llegar a no aprender.
    Mecanismos de aprendizaje
  • 8. Aprendizaje no supervisado
    • Sólo se aplica a la red neuronal los datos de entrada, sin indicarle la salida esperada.
    • La red neuronal es capaz de reconocer algún tipo de estructura en el conjunto de datos de entrada (normalmente redundancia de datos) y de esta forma se produce auto-aprendizaje.
    • Durante el proceso de aprendizaje la red autoorganizada debe descubrir por sí misma rasgos comunes, regularidades, correlaciones o categorías en los datos de entrada, incorporarlos a su estructura interna de conexiones.
    • Se dice, por tanto, que las neuronas deben auto-organizarse en función de los estímulos (datos) procedentes del exterior.
    Mecanismos de aprendizaje
  • 9. La inspiración biológica W. Penfield
  • 10. Los experimentos de Penfield La inspiración biológica
  • 11. Cartas topológicas La inspiración biológica
  • 12. Humunculus, el hombrecito dentro del cerebro La inspiración biológica
  • 13. Humunculus, el hombrecito dentro del cerebro La inspiración biológica
  • 14. Cartas retinotópicas Hubel & Wiesel La inspiración biológica
  • 15. Cartas retinotópicas La inspiración biológica
  • 16. Informaciones Multidimensionales La inspiración biológica
  • 17. Sinestesia La inspiración biológica
  • 18. Sinestesia La inspiración biológica
  • 19. Proceso biológico Si algunas regiones del espacio de entrada son mas usadas que otras y reciben una rica variedad de estímulos estas se mapearan mejor. (ej. Las manos de un pianista o un cirujano) La inspiración biológica
  • 20. Autoorganización Cada nodo de la red tiene conexiones exicitatorias laterales con su vecinos mas próximos pero conexiones laterales inhibitorias con sus vecinos mas distantes. En el mapa topográfico cortical estas regiones crecerán , mientras que las regiones que no son usadas se harán mas pequeñas. La inspiración biológica
  • 21. El “sombrero mejicano” La inspiración biológica Respuesta Positiva (Excitación) Respuesta Negativa (Inhibición) + -
  • 22. El “sombrero mejicano” La inspiración biológica
  • 23. Tomando la inspiración biológica La inspiración biológica Mapas Autoorganizados Al final del aprendizaje neuronas con características similares se ubican cerca unas de otras. Red de Neuronas Proceso de aprendizaje por competición Bioinspirado Biológico Ejemplos Estímulos del espacio de entrada
  • 24. Mapas autoorganizados
    • Mapas autoorganizados
    • Mapas de Kohonen
    • Self Organizing Maps (SOM)
    “ Generación de una taxonomía de datos sin conocimientos previos”
  • 25. Bondades de los mapas autoorganizados
    • Clustering: Actuar como clasificadores, encontrando patrones en los datos
    • de entrada y clasificándolos en grupos según estos patrones.
    • Reducción de dimensión: Representar datos multidimensionales en espacios de mucha menor dimensión, normalmente una o dos dimensiones, preservando la topología de la entrada.
    • Esto es muy útil cuando se trabaja con espacios multidimensionales (más de tres dimensiones) que el ser humano no es capaz de representar, como por ejemplo en problemas agro-ecológicos en los que intervienen numerosas variables como temperatura, precipitación, humedad relativa, etc.
    • Pre-tratamiento de datos: SOM trabaja con ausencia de datos
    • Análisis y comprensión de datos: SOM permite una presentación visual sobre las relaciones entre variables
    Mapas autoorganizados
  • 26. Creando el modelo bioinspirado Inspirándose en estos comportamientos biológicos se desarrollaron los mapas autoorganizados. Los Mapas Autoorganizados o SOM (Self-Organizing Maps) fueron creados por Teuvo Kohonen entre los años 1982 y 1990 La idea se basa en un funcionamiento biológico de aprendizaje por competición, de forma que cuando un conjunto de datos de entrada se presenta a la red, los pesos de las neuronas se adaptan de forma que la clasificación presente en el espacio de entrada se preserva en la salida. Mapas autoorganizados
  • 27. Arquitectura SOM Capa de entrada Una por cada variable de entrada Capa de salida y competición No existe capa oculta Mapas autoorganizados … n … … n m
  • 28. Un ejemplo de la arquitectura SOM Capa de entrada de tres dimensiones (x,y,z) Capa de salida y competición de 9 neuronas Mapas autoorganizados
  • 29. Capa de entrada Tabla con ejemplos Estímulos del espacio de entrada. Una neurona por cada dimensión, en este ejemplo 3. Mapas autoorganizados/ Un ejemplo de la arquitectura SOM x y z R 3
  • 30. Capa de entrada Cada neurona de la capa de entrada esta conectada a todas las neuronas de la capa de salida. Mapas autoorganizados/ Un ejemplo de la arquitectura SOM x y z R 3
  • 31. Capa de entrada x y z 18.91 22.13 27.40 Cada ejemplo es presentado a las neuronas de la capa de salida. Así se buscan las neuronas mas parecidas al vector de entrada mediante un proceso de competición. Finalmente se crean grupos con características similares. Mapas autoorganizados/ Un ejemplo de la arquitectura SOM R 3
  • 32. Capa de salida y competición Mapas autoorganizados/ Un ejemplo de la arquitectura SOM Entre las neuronas de la capa de salida, puede decirse que existen conexiones laterales de excitación e inhibición implícitas, pues aunque no estén conectadas, cada una de estas neuronas va a tener cierta influencia sobre sus vecinas.
  • 33. Capa de salida y competición Mapas autoorganizados/ Un ejemplo de la arquitectura SOM La influencia sobre vecinos se consigue a través de un proceso de competición entre las neuronas y de la aplicación de una función denominada de vecindad. Cuadrada Hexagonal 0 1 2 0 1 2
  • 34. Resumen Mapas autoorganizados/ Un ejemplo de la arquitectura SOM
  • 35. Algoritmo de aprendizaje Mapas autoorganizados/ Algoritmo de aprendizaje
  • 36. 1.Determinar la topología del mapa Mapas autoorganizados/ Algoritmo de aprendizaje
  • 37. 2. Determinar el tamaño del mapa Mapas autoorganizados/ Algoritmo de aprendizaje
  • 38. 3. Escoger el tipo de vecindario Mapas autoorganizados/ Algoritmo de aprendizaje 0 1 2 0 1 2
  • 39. 4. Inicializar los pesos de las neuronas Mapas autoorganizados/ Algoritmo de aprendizaje x y R 2
  • 40. Concepto de peso Capa de Salida Dos Dimensiones (x,y) Tres Dimensiones (x,y,z) n Dimensiones (x,y,z, …, n) Capa de Entrada Mapas autoorganizados/ Algoritmo de aprendizaje w2 w1 w w1 w2 w w2 w1 w3 w w1 w2 w3 w w1 w2 w3 … wn w Dos Dimensiones Dos Dimensiones Dos Dimensiones
  • 41. Inicializar los pesos de las neuronas Mapas autoorganizados/ Algoritmo de aprendizaje x y R 2 t = 0
  • 42. Inicializar los pesos de las neuronas Mapas autoorganizados/ Algoritmo de aprendizaje x y R 2 t = 0 0.2 0.3
  • 43. Inicializar los pesos de las neuronas Mapas autoorganizados/ Algoritmo de aprendizaje t = 0 0.2 0.3 0.4 0.8 0.9 0.3 0.5 0.7 0.7 0.3 0.6 0.1 0.6 0.7 0.2 0.7 0.9 0.4 0.6 0.7 0.5 0.3 0.2 0.3 0.4 0.7 0.9 0.2 0.1 0.3 0.8 0.3 0.5 0.8 0.3 0.3 0.2 0.6 0.6 0.6 0.7 0.4 0.5 0.5 0.5 0.6 0.6 0.3 0.2 0.7 0.7 0.8 0.7 0.8 0.8 0.6 0.6 0.7 0.2 0.3 0.2 0.7 0.2 0.3 0.9 0.3 0.9 0.7 0.2 0.3 0.7 0.8
  • 44. Inicializar los pesos de las neuronas Mapas autoorganizados/ Algoritmo de aprendizaje x y R 2 t = 0 0.2 0.3 0.4 0.8 0.9 0.3 0.5 0.7 0.7 0.3 0.6 0.1 0.6 0.7 0.2 0.7 0.9 0.4 0.6 0.7 0.5 0.3 0.2 0.3 0.4 0.7 0.9 0.2 0.1 0.3 0.8 0.3 0.5 0.8 0.3 0.3 0.2 0.6 0.6 0.6 0.7 0.4 0.5 0.5 0.5 0.6 0.6 0.3 0.2 0.7 0.7 0.8 0.7 0.8 0.8 0.6 0.6 0.7 0.2 0.3 0.2 0.7 0.2 0.3 0.9 0.3 0.9 0.7 0.2 0.3 0.7 0.8
  • 45. Inicializar los pesos de las neuronas Mapas autoorganizados/ Algoritmo de aprendizaje x y R 2 0.2 0.3 0.4 0.8 0.9 0.3 0.5 0.7 0.7 0.3 0.6 0.1 0.6 0.7 0.2 0.7 0.9 0.4 0.6 0.7 0.5 0.3 0.2 0.3 0.4 0.7 0.9 0.2 0.1 0.3 0.8 0.3 0.5 0.8 0.3 0.3 0.2 0.6 0.6 0.6 0.7 0.4 0.5 0.5 0.5 0.6 0.6 0.3 0.2 0.7 0.7 0.8 0.7 0.8 0.8 0.6 0.6 0.7 0.2 0.3 0.2 0.7 0.2 0.3 0.9 0.3 0.9 0.7 0.2 0.3 0.7 0.8
  • 46. Inicializar los pesos de las neuronas Mapas autoorganizados/ Algoritmo de aprendizaje 1 x y R 2 0.2 0.3 0.4 0.8 0.9 0.3 0.5 0.7 0.7 0.3 0.6 0.1 0.6 0.7 0.2 0.7 0.9 0.4 0.6 0.7 0.5 0.3 0.2 0.3 0.4 0.7 0.9 0.2 0.1 0.3 0.8 0.3 0.5 0.8 0.3 0.3 0.2 0.6 0.6 0.6 0.7 0.4 0.5 0.5 0.5 0.6 0.6 0.3 0.2 0.7 0.7 0.8 0.7 0.8 0.8 0.6 0.6 0.7 0.2 0.3 0.2 0.7 0.2 0.3 0.9 0.3 0.9 0.7 0.2 0.3 0.7 0.8 1 w2 w1 0
  • 47. 5. Presentar una entrada a la red Mapas autoorganizados/ Algoritmo de aprendizaje x y R 2 0.2 0.3 0.4 0.8 0.9 0.3 0.5 0.7 0.7 0.3 0.6 0.1 0.6 0.7 0.2 0.7 0.9 0.4 0.6 0.7 0.5 0.3 0.2 0.3 0.4 0.7 0.9 0.2 0.1 0.3 0.8 0.3 0.5 0.8 0.3 0.3 0.2 0.6 0.6 0.6 0.7 0.4 0.5 0.5 0.5 0.6 0.6 0.3 0.2 0.7 0.7 0.8 0.7 0.8 0.8 0.6 0.6 0.7 0.2 0.3 0.2 0.7 0.2 0.3 0.9 0.3 0.9 0.7 0.2 0.3 0.7 0.8 0.14 0.77 1 1 w2 w1 0
  • 48. Presentar una entrada a la red Mapas autoorganizados/ Algoritmo de aprendizaje 1 1 w2 w1 0 x y R 2 0.2 0.3 0.4 0.8 0.9 0.3 0.5 0.7 0.7 0.3 0.6 0.1 0.6 0.7 0.2 0.7 0.9 0.4 0.6 0.7 0.5 0.3 0.2 0.3 0.4 0.7 0.9 0.2 0.1 0.3 0.8 0.3 0.5 0.8 0.3 0.3 0.2 0.6 0.6 0.6 0.7 0.4 0.5 0.5 0.5 0.6 0.6 0.3 0.2 0.7 0.7 0.8 0.7 0.8 0.8 0.6 0.6 0.7 0.2 0.3 0.2 0.7 0.2 0.3 0.9 0.3 0.9 0.7 0.2 0.3 0.7 0.8 0.14 0.77
  • 49. Concepto de distancia Mapas autoorganizados/ Algoritmo de aprendizaje Recordemos que cuando se presenta un patrón de entrenamiento, se debe identificar la neurona de salida vencedora, esto es, la neurona cuyo vector de pesos sea el más parecido al patrón presentado. De acuerdo con este criterio, dos vectores serán más similares cuanto menor sea su distancia. Un criterio de similitud muy utilizado es la distancia euclidiana que viene dado por la siguiente expresión: De acuerdo con este criterio, dos vectores serán más similares cuanto menor sea su distancia .
  • 50. Concepto de distancia Mapas autoorganizados/ Algoritmo de aprendizaje Una medida de similitud alternativa más simple que la euclidiana, es la correlación o producto escalar: según la cual, dos vectores serán más similares cuanto mayor sea su correlación.
  • 51. 6. Encontrar la neurona ganadora Mapas autoorganizados/ Algoritmo de aprendizaje x y R 2 0.2 0.3 0.4 0.8 0.9 0.3 0.5 0.7 0.7 0.3 0.6 0.1 0.6 0.7 0.2 0.7 0.9 0.4 0.6 0.7 0.5 0.3 0.2 0.3 0.4 0.7 0.9 0.2 0.1 0.3 0.8 0.3 0.5 0.8 0.3 0.3 0.2 0.6 0.6 0.6 0.7 0.4 0.5 0.5 0.5 0.6 0.6 0.3 0.2 0.7 0.7 0.8 0.7 0.8 0.8 0.6 0.6 0.7 0.2 0.3 0.2 0.7 0.2 0.3 0.9 0.3 0.9 0.7 0.2 0.3 0.7 0.8 0.14 0.77
  • 52. Ajustar los pesos de la neurona ganadora Ajustar los pesos de la neurona ganadora en la dirección del punto presente en la entrada. ΔW = α(t) (X – W) , también los pesos de las neuronas de la vecindad de la neurona ganadora. Pero con una tasa de aprendizaje reducida (Sombrero Mejicano) de manera que se especialice menos que la neurona ganadora . Mapas autoorganizados/ Algoritmo de aprendizaje
  • 53. 7. Presentar otro ejemplo Mapas autoorganizados/ Algoritmo de aprendizaje x y R 2 0.2 0.3 0.4 0.8 0.9 0.3 0.5 0.7 0.7 0.3 0.6 0.1 0.6 0.7 0.2 0.7 0.9 0.4 0.6 0.7 0.5 0.3 0.2 0.3 0.4 0.7 0.9 0.2 0.1 0.3 0.8 0.3 0.5 0.8 0.3 0.3 0.2 0.6 0.6 0.6 0.7 0.4 0.5 0.5 0.5 0.6 0.6 0.3 0.2 0.7 0.7 0.8 0.7 0.8 0.8 0.6 0.6 0.7 0.2 0.3 0.2 0.7 0.2 0.3 0.9 0.3 0.9 0.7 0.2 0.3 0.7 0.8 0.09 0.71
  • 54. Presentar otro ejemplo Mapas autoorganizados/ Algoritmo de aprendizaje x y R 2 0.2 0.3 0.4 0.8 0.9 0.3 0.5 0.7 0.7 0.3 0.6 0.1 0.6 0.7 0.2 0.7 0.9 0.4 0.6 0.7 0.5 0.3 0.2 0.3 0.4 0.7 0.9 0.2 0.1 0.3 0.8 0.3 0.5 0.8 0.3 0.3 0.2 0.6 0.6 0.6 0.7 0.4 0.5 0.5 0.5 0.6 0.6 0.3 0.2 0.7 0.7 0.8 0.7 0.8 0.8 0.6 0.6 0.7 0.2 0.3 0.2 0.7 0.2 0.3 0.9 0.3 0.9 0.7 0.2 0.3 0.7 0.8 0.09 0.71
  • 55. BMU (Best match unit) Mapas autoorganizados/ Algoritmo de aprendizaje
  • 56. Repetir Mapas autoorganizados/ Algoritmo de aprendizaje Reducir la vecindad de las neuronas y repetir 2 a 4 veces para todos los puntos por un cierto numero de iteraciones
  • 57. Visualización y funcionamiento del mapa Mapas autoorganizados/ Algoritmo de aprendizaje x y R 2 0.2 0.3 0.4 0.8 0.9 0.3 0.5 0.7 0.7 0.3 0.6 0.1 0.6 0.7 0.2 0.7 0.9 0.4 0.6 0.7 0.5 0.3 0.2 0.3 0.4 0.7 0.9 0.2 0.1 0.3 0.8 0.3 0.5 0.8 0.3 0.3 0.2 0.6 0.6 0.6 0.7 0.4 0.5 0.5 0.5 0.6 0.6 0.3 0.2 0.7 0.7 0.8 0.7 0.8 0.8 0.6 0.6 0.7 0.2 0.3 0.2 0.7 0.2 0.3 0.9 0.3 0.9 0.7 0.2 0.3 0.7 0.8
  • 58. Visualización y funcionamiento del mapa Una vez seleccionado el mapa óptimo, podemos pasar a la fase de visualización observando en qué coordenadas del mapa se encuentra la neurona asociada a cada patrón de entrenamiento. Esto nos permite proyectar el espacio multidimensional de entrada en un mapa bidimensional y, en virtud de la similitud entre las neuronas vecinas, observar los clusters o agrupaciones de datos organizados por la propia red. Por este motivo, el modelo de mapa autoorganizado es especialmente útil para establecer relaciones, desconocidas previamente, entre conjuntos de datos. En la fase de funcionamiento, la red puede actuar como un clasificador de patrones ya que la neurona de salida activada ante una entrada nueva representa la clase a la que pertenece dicha información de entrada. .
  • 59. Visualización y funcionamiento del mapa Mapas autoorganizados/ Algoritmo de aprendizaje x y R 2
  • 60. Evaluación del ajuste del mapa Los mapas tienen dos formas de medir su calidad: Exactitud de la representación de los datos Exactitud de la representación de la topología de los datos Para ajustar el mapa se debe jugar un poco con el manejo de las vecindades y la tasa de aprendizaje. También se deben hacer varios mapas para así escoger el que presente menos error. El compromiso entre los dos errores debe ser evaluado por el experto
  • 61. Dos dimensiones Mapas autoorganizados/ Algoritmo de aprendizaje
  • 62. Tres dimensiones Mapas autoorganizados/ Algoritmo de aprendizaje
  • 63. Ejemplo practico Mapas autoorganizados/ Algoritmo de aprendizaje
  • 64. Ejemplo práctico En el proceso general de aprendizaje suelen considerarse dos fases. En la primera fase, se pretende organizar los vectores de pesos en el mapa. Para ello, se comienza con una tasa de aprendizaje y un tamaño de vecindad grandes, para luego ir reduciendo su valor a medida que avanza el aprendizaje. En la segunda fase, se persigue el ajuste fino del mapa, de modo que los vectores de pesos se ajusten más a los vectores de entrenamiento. El proceso es similar al anterior aunque suele ser más largo, tomando la tasa de aprendizaje constante e igual a un pequeño valor y un radio de vecindad constante.