Aprendizaje Competitivo y Cooperativo
Aprendizaje  Autosupervisado
Antecedentes Históricos <ul><li>1973 Christopher Von der Malsburg introdujo el aprendizaje autorganizativo. Red para la cl...
Aprendizaje Competitivo <ul><li>Una forma de aprendizaje Autosupervisado. </li></ul><ul><li>Las neuronas “compiten” basada...
Las Redes  Competitivas <ul><li>Esta clase de redes se han usado para explicar la formación de mapas topológicos que ocurr...
Arquitecturas Simples Red para el calculo de la distancia de Hamming. MAXNET:  Red competitiva simple
Red Competitiva Capa  de entrada Salida: 1 si es el nodo ganador. 0 de otra forma Capa de salida con conexiones inhibitorias
La Red competitiva <ul><li>Es similar a la red feedforward de una capa, excepto que posee conexiones negativas entre los n...
Aprendizaje Competitivo <ul><li>Como su nombre indica, las neuronas de salida de una red neuronal compiten entre ellas par...
Redes Competitivas  y  Cooperativas . <ul><li>Red de Hamming </li></ul><ul><li>LVQ: Learning Vector Quantization (Kohonen)...
“ Clustering” Tres formas distintas de agrupar  el mismo conjunto de puntos de entrada .
Clustering & Cuantifican  de Vectores 3 clases en un espacio de 2 dimensiones Diagrama de Voronoi
Elementos del  Aprendizaje Competitivo <ul><li>Un conjunto de neuronas que son todas iguales excepto por una distribución ...
Elementos del  Aprendizaje Competitivo <ul><li>Un mecanismo que permita a las neuronas competir para una respuesta correct...
2 formas de competencia 0 10 0 10 La  “ganadora” Patrón de entrada presentado Neuronas Input presentation carries the assu...
2 formas de competencia La ganadora se parece mas a la entrada Patron de entrada presentado  Neuronas Input presentation c...
¿Porque no hacer a la ganadora exactamente como la entrada? <ul><li>Pudiera haber muchos mas patrones de entrada distintos...
Medición de similaridades o proximidad  (opposite: distance) <ul><li>Supongase que x es un vector de entrada y  w i   el v...
Ejemplo: Distancia Euclidea <ul><li>Suponga  x  = [1 1 -1 1], w = [1 -1 -1 -1] </li></ul><ul><li>la Distancia Euclidiana  ...
Distancia “ Manhattan <ul><li>Otra medida de la distancia, usada cunado los valores son enteros, es la Distancia “ Manhatt...
Ejemplo:  “Manhattan” o “city-block”   <ul><li>Suponga  x   = [1 1 -1 1], w = [1 -1 -1 -1] </li></ul><ul><li>Distance Manh...
Distancia de Hamming <ul><li>Otra medida de la distancia, usada cuando los valores son binarios ( 2-valores ), es la  “Dis...
Ejemplo:  Distancia de Hamming <ul><li>Suponga  x   = [1 1 -1 1], w = [1 -1 -1 -1] </li></ul><ul><li>Distance de Hamming  ...
El producto punto   (medida de similaridad)  <ul><li>El producto punto (inner)   x w i  </li></ul><ul><li>es mas grande  c...
El producto punto como Coseno <ul><li>El producto punto (inner) normalizado es el coseno del angulo entre los vectores x y...
Ejemplo: Producto Punto <ul><li>Suponga x  = [1 1 -1 1], w = [1 -1 -1 -1] </li></ul><ul><li>Producto punto  =  </li></ul><...
Determinación del Ganador <ul><li>La ganadora es la neurona con el peso ya sea </li></ul><ul><ul><li>Con la mas pequeña di...
Dudas ???
Hasta la próxima !!!
Richard Hamming  (1915-1998)
Upcoming SlideShare
Loading in …5
×

REDES NEURONALES Aprendizaje Competitivo Cooperativo

6,731 views

Published on

Published in: Education, Technology
0 Comments
1 Like
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total views
6,731
On SlideShare
0
From Embeds
0
Number of Embeds
1,412
Actions
Shares
0
Downloads
169
Comments
0
Likes
1
Embeds 0
No embeds

No notes for slide

REDES NEURONALES Aprendizaje Competitivo Cooperativo

  1. 1. Aprendizaje Competitivo y Cooperativo
  2. 2. Aprendizaje Autosupervisado
  3. 3. Antecedentes Históricos <ul><li>1973 Christopher Von der Malsburg introdujo el aprendizaje autorganizativo. Red para la clasificación de entradas; las neuronas vecinas responden a entradas similares. Red inspirada en la corteza visual de los gatos (David Hubel and Turten Wiesel) </li></ul>Finales 60´s y principios de los 70´s Stephen Grossberg introdujo las redes competitivas con conexiones laterales.
  4. 4. Aprendizaje Competitivo <ul><li>Una forma de aprendizaje Autosupervisado. </li></ul><ul><li>Las neuronas “compiten” basadas en la proximidad a un patrón de entrada. </li></ul><ul><li>La neurona mas próxima al patrón (La “ganadora”) ajusta su peso para hacerse mas próxima. </li></ul>
  5. 5. Las Redes Competitivas <ul><li>Esta clase de redes se han usado para explicar la formación de mapas topológicos que ocurren en muchos sistemas sensoriales humanos, incluidos la visión, audición, tacto y olfato. </li></ul>
  6. 6. Arquitecturas Simples Red para el calculo de la distancia de Hamming. MAXNET: Red competitiva simple
  7. 7. Red Competitiva Capa de entrada Salida: 1 si es el nodo ganador. 0 de otra forma Capa de salida con conexiones inhibitorias
  8. 8. La Red competitiva <ul><li>Es similar a la red feedforward de una capa, excepto que posee conexiones negativas entre los nodos de salida. </li></ul><ul><li>Debido a la conexiones anteriores, los nodos de salida tienden a competir para representar el patrón de entrada actual. </li></ul>
  9. 9. Aprendizaje Competitivo <ul><li>Como su nombre indica, las neuronas de salida de una red neuronal compiten entre ellas para activarse. </li></ul><ul><li>A diferencia del aprendizaje asociativo en el que varias neuronas de salida pueden estar activas simultáneamente. </li></ul><ul><li>En el aprendizaje competitivo solo una neurona permanecerá activa a la vez. </li></ul>
  10. 10. Redes Competitivas y Cooperativas . <ul><li>Red de Hamming </li></ul><ul><li>LVQ: Learning Vector Quantization (Kohonen). </li></ul><ul><li>SOM (Kohonen). </li></ul><ul><li>ART (Carpenter y Grossberg) </li></ul><ul><li>Cognitrón y Neocognitrón (Fukushima ). </li></ul>
  11. 11. “ Clustering” Tres formas distintas de agrupar el mismo conjunto de puntos de entrada .
  12. 12. Clustering & Cuantifican de Vectores 3 clases en un espacio de 2 dimensiones Diagrama de Voronoi
  13. 13. Elementos del Aprendizaje Competitivo <ul><li>Un conjunto de neuronas que son todas iguales excepto por una distribución aleatoria de pesos sinápticos, que por lo tanto responden de forma distinta dado un conjunto de patrones de entrada. </li></ul><ul><li>Se establece un limite en la ponderación de de cada neurona. </li></ul>
  14. 14. Elementos del Aprendizaje Competitivo <ul><li>Un mecanismo que permita a las neuronas competir para una respuesta correcta dado un subconjunto de entradas, tal que una neurona de salida o únicamente una neurona de un grupo sea activa a la vez. A la neurona que gana la competencia se le llama: “Winner Take all” “neurona, ganadora toma todo” </li></ul>
  15. 15. 2 formas de competencia 0 10 0 10 La “ganadora” Patrón de entrada presentado Neuronas Input presentation carries the assumption that the network is supposed to “learn” the input.
  16. 16. 2 formas de competencia La ganadora se parece mas a la entrada Patron de entrada presentado Neuronas Input presentation carries the assumption that the network is supposed to “learn” the input. La perdedora se queda como esta .
  17. 17. ¿Porque no hacer a la ganadora exactamente como la entrada? <ul><li>Pudiera haber muchos mas patrones de entrada distintos que neuronas. </li></ul><ul><li>Por el promedio de su comportamiento, una neurona puede poner un gran numero distinto de entradas, pero similares entre si, en una misma categoría. </li></ul>
  18. 18. Medición de similaridades o proximidad (opposite: distance) <ul><li>Supongase que x es un vector de entrada y w i el vector de pesos de la i th neurona. </li></ul><ul><li>Una medida de la distancia es la Distancia Euclideana : </li></ul>
  19. 19. Ejemplo: Distancia Euclidea <ul><li>Suponga x = [1 1 -1 1], w = [1 -1 -1 -1] </li></ul><ul><li>la Distancia Euclidiana = </li></ul><ul><li>sqrt (0 2 + 2 2 + 0 2 + 2 2 ) = 2.83... </li></ul>
  20. 20. Distancia “ Manhattan <ul><li>Otra medida de la distancia, usada cunado los valores son enteros, es la Distancia “ Manhattan ” o “ city-block ” : </li></ul>
  21. 21. Ejemplo: “Manhattan” o “city-block” <ul><li>Suponga x = [1 1 -1 1], w = [1 -1 -1 -1] </li></ul><ul><li>Distance Manhattan = 0 + 2 + 0 + 2 = 4 </li></ul>
  22. 22. Distancia de Hamming <ul><li>Otra medida de la distancia, usada cuando los valores son binarios ( 2-valores ), es la “Distancia de Hamming”: </li></ul>0 cuando los valores son iguales. 1 de otra forma
  23. 23. Ejemplo: Distancia de Hamming <ul><li>Suponga x = [1 1 -1 1], w = [1 -1 -1 -1] </li></ul><ul><li>Distance de Hamming = </li></ul><ul><li>0 + 1 + 0 + 1 = 2 </li></ul>
  24. 24. El producto punto (medida de similaridad) <ul><li>El producto punto (inner) x w i </li></ul><ul><li>es mas grande cuando x esta mas proximo a w i . </li></ul>Usualmente esto es mejor si x y w i estan normalizados antes de usar esta medida, esto es
  25. 25. El producto punto como Coseno <ul><li>El producto punto (inner) normalizado es el coseno del angulo entre los vectores x y wi. </li></ul>x w i
  26. 26. Ejemplo: Producto Punto <ul><li>Suponga x = [1 1 -1 1], w = [1 -1 -1 -1] </li></ul><ul><li>Producto punto = </li></ul><ul><li>[1 1 -1 1] [1 -1 -1 -1] T = 0 </li></ul>
  27. 27. Determinación del Ganador <ul><li>La ganadora es la neurona con el peso ya sea </li></ul><ul><ul><li>Con la mas pequeña distancia a la entrada </li></ul></ul><ul><ul><li>El producto punto mas grande con la entrada. </li></ul></ul><ul><li>Si se utiliza el producto punto, es mejor normalizar los pesos y la entrada primero o usar valores normalizados únicamente. </li></ul>
  28. 28. Dudas ???
  29. 29. Hasta la próxima !!!
  30. 30. Richard Hamming (1915-1998)

×