REDES NEURONALES Aprendizaje Competitivo Cooperativo

  • 5,070 views
Uploaded on

 

More in: Education , Technology
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Be the first to comment
    Be the first to like this
No Downloads

Views

Total Views
5,070
On Slideshare
0
From Embeds
0
Number of Embeds
4

Actions

Shares
Downloads
144
Comments
0
Likes
0

Embeds 0

No embeds

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
    No notes for slide

Transcript

  • 1. Aprendizaje Competitivo y Cooperativo
  • 2. Aprendizaje Autosupervisado
  • 3. Antecedentes Históricos
    • 1973 Christopher Von der Malsburg introdujo el aprendizaje autorganizativo. Red para la clasificación de entradas; las neuronas vecinas responden a entradas similares. Red inspirada en la corteza visual de los gatos (David Hubel and Turten Wiesel)
    Finales 60´s y principios de los 70´s Stephen Grossberg introdujo las redes competitivas con conexiones laterales.
  • 4. Aprendizaje Competitivo
    • Una forma de aprendizaje Autosupervisado.
    • Las neuronas “compiten” basadas en la proximidad a un patrón de entrada.
    • La neurona mas próxima al patrón (La “ganadora”) ajusta su peso para hacerse mas próxima.
  • 5. Las Redes Competitivas
    • Esta clase de redes se han usado para explicar la formación de mapas topológicos que ocurren en muchos sistemas sensoriales humanos, incluidos la visión, audición, tacto y olfato.
  • 6. Arquitecturas Simples Red para el calculo de la distancia de Hamming. MAXNET: Red competitiva simple
  • 7. Red Competitiva Capa de entrada Salida: 1 si es el nodo ganador. 0 de otra forma Capa de salida con conexiones inhibitorias
  • 8. La Red competitiva
    • Es similar a la red feedforward de una capa, excepto que posee conexiones negativas entre los nodos de salida.
    • Debido a la conexiones anteriores, los nodos de salida tienden a competir para representar el patrón de entrada actual.
  • 9. Aprendizaje Competitivo
    • Como su nombre indica, las neuronas de salida de una red neuronal compiten entre ellas para activarse.
    • A diferencia del aprendizaje asociativo en el que varias neuronas de salida pueden estar activas simultáneamente.
    • En el aprendizaje competitivo solo una neurona permanecerá activa a la vez.
  • 10. Redes Competitivas y Cooperativas .
    • Red de Hamming
    • LVQ: Learning Vector Quantization (Kohonen).
    • SOM (Kohonen).
    • ART (Carpenter y Grossberg)
    • Cognitrón y Neocognitrón (Fukushima ).
  • 11. “ Clustering” Tres formas distintas de agrupar el mismo conjunto de puntos de entrada .
  • 12. Clustering & Cuantifican de Vectores 3 clases en un espacio de 2 dimensiones Diagrama de Voronoi
  • 13. Elementos del Aprendizaje Competitivo
    • Un conjunto de neuronas que son todas iguales excepto por una distribución aleatoria de pesos sinápticos, que por lo tanto responden de forma distinta dado un conjunto de patrones de entrada.
    • Se establece un limite en la ponderación de de cada neurona.
  • 14. Elementos del Aprendizaje Competitivo
    • Un mecanismo que permita a las neuronas competir para una respuesta correcta dado un subconjunto de entradas, tal que una neurona de salida o únicamente una neurona de un grupo sea activa a la vez. A la neurona que gana la competencia se le llama: “Winner Take all” “neurona, ganadora toma todo”
  • 15. 2 formas de competencia 0 10 0 10 La “ganadora” Patrón de entrada presentado Neuronas Input presentation carries the assumption that the network is supposed to “learn” the input.
  • 16. 2 formas de competencia La ganadora se parece mas a la entrada Patron de entrada presentado Neuronas Input presentation carries the assumption that the network is supposed to “learn” the input. La perdedora se queda como esta .
  • 17. ¿Porque no hacer a la ganadora exactamente como la entrada?
    • Pudiera haber muchos mas patrones de entrada distintos que neuronas.
    • Por el promedio de su comportamiento, una neurona puede poner un gran numero distinto de entradas, pero similares entre si, en una misma categoría.
  • 18. Medición de similaridades o proximidad (opposite: distance)
    • Supongase que x es un vector de entrada y w i el vector de pesos de la i th neurona.
    • Una medida de la distancia es la Distancia Euclideana :
  • 19. Ejemplo: Distancia Euclidea
    • Suponga x = [1 1 -1 1], w = [1 -1 -1 -1]
    • la Distancia Euclidiana =
    • sqrt (0 2 + 2 2 + 0 2 + 2 2 ) = 2.83...
  • 20. Distancia “ Manhattan
    • Otra medida de la distancia, usada cunado los valores son enteros, es la Distancia “ Manhattan ” o “ city-block ” :
  • 21. Ejemplo: “Manhattan” o “city-block”
    • Suponga x = [1 1 -1 1], w = [1 -1 -1 -1]
    • Distance Manhattan = 0 + 2 + 0 + 2 = 4
  • 22. Distancia de Hamming
    • Otra medida de la distancia, usada cuando los valores son binarios ( 2-valores ), es la “Distancia de Hamming”:
    0 cuando los valores son iguales. 1 de otra forma
  • 23. Ejemplo: Distancia de Hamming
    • Suponga x = [1 1 -1 1], w = [1 -1 -1 -1]
    • Distance de Hamming =
    • 0 + 1 + 0 + 1 = 2
  • 24. El producto punto (medida de similaridad)
    • El producto punto (inner) x w i
    • es mas grande cuando x esta mas proximo a w i .
    Usualmente esto es mejor si x y w i estan normalizados antes de usar esta medida, esto es
  • 25. El producto punto como Coseno
    • El producto punto (inner) normalizado es el coseno del angulo entre los vectores x y wi.
    x w i
  • 26. Ejemplo: Producto Punto
    • Suponga x = [1 1 -1 1], w = [1 -1 -1 -1]
    • Producto punto =
    • [1 1 -1 1] [1 -1 -1 -1] T = 0
  • 27. Determinación del Ganador
    • La ganadora es la neurona con el peso ya sea
      • Con la mas pequeña distancia a la entrada
      • El producto punto mas grande con la entrada.
    • Si se utiliza el producto punto, es mejor normalizar los pesos y la entrada primero o usar valores normalizados únicamente.
  • 28. Dudas ???
  • 29. Hasta la próxima !!!
  • 30. Richard Hamming (1915-1998)