REDES NEURONALES Aprendizaje Asociativo

15,162 views

Published on

Published in: Education, Technology
0 Comments
2 Likes
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total views
15,162
On SlideShare
0
From Embeds
0
Number of Embeds
2,531
Actions
Shares
0
Downloads
295
Comments
0
Likes
2
Embeds 0
No embeds

No notes for slide

REDES NEURONALES Aprendizaje Asociativo

  1. 1. Aprendizaje Asociativo
  2. 2. ¿Qué es una Asociación? <ul><li>Es cualquier relación entre la entrada de un sistema y su salida de tal forma que cuando el patrón A se presenta al sistema este responderá con un patrón B. </li></ul>
  3. 3. Estimulo / Respuesta <ul><li>Cuando dos patrones son relacionados por una asociación, el patrón de entrada es conocido como estimulo y el patrón de salida referido como respuesta. </li></ul>
  4. 4. Estímulo <ul><li>Los pensamientos son activados por estimulación externa </li></ul><ul><li>El mismo pensamiento es estimulado por un infinito numero de factores </li></ul><ul><li>Si existe suficiente estimulación se piensa en un concepto </li></ul>
  5. 5. Estímulos / Respuesta Just Do it... Soy totalmente Palacio... A que no puedes comer solo una ... En su cuenta se va dar cuenta... Duermes o descansas... Con toda confianza es ...
  6. 6. Estímulos/ Respuesta
  7. 7. Los Pensamientos <ul><li>Los pensamientos permanecen aun después de que la estimulación se ha ido... </li></ul><ul><li>El factor olvido comienza a operar... </li></ul>
  8. 8. Condicionamiento Clásico <ul><li>Ivan Petrovich Pavlov (1849-1936) </li></ul><ul><li>Fisiología, Psicopatología animal, </li></ul><ul><li>Reflejos condicionados. </li></ul><ul><li>Premio novel en fisiología (1904) </li></ul>                                            
  9. 9. Aprendizaje Asociativo Pavloviano/clasico <ul><li>Condicionamiento </li></ul><ul><ul><li>comida ( E. No Condicionado ) </li></ul></ul><ul><ul><li>Salivación a la comida (Respuesta) </li></ul></ul><ul><ul><li>campana ( E. Condicionado ) </li></ul></ul><ul><ul><li>Salivación al oír la campana (Respuesta) </li></ul></ul>
  10. 10. Condicionamiento <ul><li>C. Observacional : copiar acciones de otros, “lo que el mono vee, es lo que hace” </li></ul><ul><li>C. Operacional : Involucra una acción y una respuesta. “aprieta el boton y obten comida”. </li></ul><ul><li>C. Clasico : Involucra un estímulo y una respuesta (I. Pavlov) </li></ul>
  11. 11. Reglas del Aprendizaje Asociativo <ul><li>Regla de Hebb </li></ul><ul><ul><li>Regla de Hebb con degradación </li></ul></ul><ul><li>Regla de la Red INSTAR </li></ul><ul><li>Regla de la red OUTSTAR </li></ul><ul><li>Regla de Kohonen </li></ul>
  12. 12. Aprendizaje Hebbiano <ul><li>Donald O. Hebb (1904-1985) </li></ul><ul><li>Padre de Psicobiologia Cognoscitiva </li></ul><ul><li>The Organization of Behaviour (1942) </li></ul>
  13. 13. Postulado de Hebb <ul><li>“ Cuando un axón de una neurona A esta suficientemente cerca para excitar a una neurona B, y toma parte en su activación repetidamente o persistentemente, ocurre un crecimiento o cambio metabólico en una o en ambas celdas, de tal forma que la celda A se vuelve mas eficiente al disparar B” </li></ul>The Organization of Behavior (1949)
  14. 14. Lo que se traduce en ... <ul><li>Si dos neuronas en ambos lados de una sinapsis (conexión) son activadas simultáneamente, entonces la fuerza de la sipnasis es selectivamente incrementada (el peso w aumenta). </li></ul><ul><li>Si dos neuronas en ambos lados de una sinapsis son activadas asincronamente, entonces la sinapsis es selectivamente debilitada o eliminada. </li></ul>
  15. 15. <ul><ul><li>Hebb propuso la primera regla de aprendizaje neuronal en 1943. Su idea fue que dos neuronas cuya salida fuere alta al mismo tiempo deberían desarrollar una fuerte conexión entre ellas. </li></ul></ul><ul><li>Limitaciones </li></ul><ul><ul><li>Esta regla no tiene un mecanismo para decrementar los pesos o hacerlos estables. El resultado es que los pesos crecen indefinidamente. </li></ul></ul>Descripción
  16. 16. Regla de Hebb No supervisada <ul><li>Incrementa justamente el peso Wij entre la entrada de la neurona Pj y la salida ai en proporción a su producto. </li></ul>Donde:  Es la razón de aprendizaje
  17. 17. Red Asociativa Simple
  18. 18. Asociador de Frutas (Bananas) Estimulo No condicionado Estimulo Condicionado
  19. 19. Regla de Hebb Autosupervisada Forma Vectorial : Secuencia de entrenamiento:
  20. 20. Ejemplo 1: Reconocimiento de Frutas Pesos Iniciales : Secuencia de Entrenamiento :  = 1
  21. 21. Limitantes en la Regla de Hebb <ul><li>Los pesos crecen arbitrariamente grandes </li></ul><ul><li>No tiene algún mecanismo para disminuirlo. </li></ul>
  22. 22. <ul><ul><li>La regla de Hebb pura permite construir asociaciones. Sin embargo, esta no proporciona algún mecanismo para olvidar o para limitar el tamaño de los pesos. </li></ul></ul><ul><ul><li>Al agregar la razón de degradación a la regla de Hebb ambos efectos son logrados. </li></ul></ul>Regla de Hebb con degradación
  23. 23. <ul><ul><li>La degradación se implementa agregando un termino extra en la ecuación de la actualización de pesos. </li></ul></ul><ul><ul><li>El termino es negativo y proporcional a los actuales pesos sinapticos. </li></ul></ul><ul><ul><li>Este parámetro toma valores entre cero y uno. </li></ul></ul>Regla de Hebb con degradación
  24. 24. Regla de Hebb con Degradación <ul><li>Esta regla mejora a la anterior al degradar W. </li></ul><ul><li>Donde:  es la razón de degradación; constante positiva con valores entre 0 y 1. Esta constante evita que W crezca sin limite. </li></ul>
  25. 25. Razón de Degradación  <ul><li>Si  tiende a 1; La ley de aprendizaje olvida rápidamente las entradas anteriores y recuerda los patrones más recientes </li></ul><ul><li>El valor máximo de la matriz de pesos es: </li></ul>Se requiere que el estimulo sea repetido o la asociación se ira perdiendo Esta impide que la matriz de pesos crezca sin limite
  26. 26. Regla de Hebb con Degradación
  27. 27. Ejemplo 2: Asociador de Bananas Primera Iteración (falla la señal):  = 0.1  = 1 No responde :(
  28. 28. Ejemplo 2: Asociador de Bananas <ul><li>Segunda Iteración (señal activa): </li></ul>Responde :) Banana
  29. 29. El Problema de la regla de Hebb con degradación Si a i = 0, entonces Si  = 0, se transforma La asociación se anulara si el estimulo nos se presenta ocasionalmente Por lo tanto el el peso decae en 10% en cada iteración cuando no hay estimulo
  30. 30. Regla INSTAR
  31. 31. Red INSTAR <ul><li>Reconocimiento de patrones </li></ul><ul><li>Similar arquitectura al perceptrón </li></ul><ul><li>Realiza distintas funciones con diferente análisis </li></ul>
  32. 32. Regla INSTAR <ul><li>Un problema con la regla de Hebb con degradación es que requiere que el estimulo se repita o la asociación se ira perdiendo. </li></ul><ul><li>La regla INSTAR minimiza el olvido </li></ul><ul><li>Proporciona vectores de pesos normalizados si los vectores de entrada están normalizados </li></ul>In this configuration the to neuron responds to a pattern of the from neuron
  33. 33. <ul><li>La regla INSTAR permite a una neurona aprender un nuevo vector mediante el ajuste de sus pesos equivalente a la entrada actual con una razón proporcional a la salida de la neurona. </li></ul><ul><li>Asi, cualquier circunstancia que cause que una INSTAR tenga un alto resultado de salida en el aprendizaje de la INSTAR del vector actual en sus entradas. </li></ul>Descripción
  34. 34. <ul><li>Posteriormente, la presentación de la misma entrada causara que la instar tenga una salida significativa. Notese que esto causara que el aprendizaje se incremente de nuevo pero que los pesos serán re entrenados al mismo vector de entrada. </li></ul><ul><li>De esta manera el aprendizaje es estable. </li></ul>
  35. 35. Regla INSTAR <ul><li>La regla solo modifica W cuando la neurona esta activa </li></ul><ul><li>Si a i(q) = 1 </li></ul>Se considera 
  36. 36. Representación Gráfica de la Regla INSTAR <ul><li>Cuando la INSTAR esta activa el vector de pesos se mueve hacia el vector de entrada. </li></ul><ul><li>La distancia en que se mueve el vector de pesos depende de  </li></ul>
  37. 37. Representación Gráfica de la Regla INSTAR <ul><li>Si  = 0 ; el nuevo vector de pesos es igual al anterior (no se mueve) </li></ul><ul><li>si  = 1 ; el nuevo vector de pesos es igual al vector de entrada (máximo movimiento) </li></ul>
  38. 38. Representación Gráfica de la Regla INSTAR <ul><li>Si  = 0.5 el vector de pesos se encuentra al mitad entre el vector anterior de pesos y el vector de entrada. </li></ul>
  39. 39. Ejemplo 1: INSTAR Clasificador de Frutas
  40. 40. Diagrama de la red
  41. 41. Regla de KOHONEN
  42. 42. Regla de Kohonen <ul><ul><li>La regla de Kohonen permite a una neurona almacenar los vectores de entrada de tal forma que este pueda ser reconocido después. </li></ul></ul><ul><ul><li>Mediante el ajuste de los pesos de una neurona equivalente a su vector de entrada actual. </li></ul></ul>
  43. 43. <ul><ul><li>Note que para una capa de neuronas con salidas restringidas a uno o cero, el aplicar la regla INSTAR es equivalente a aplicar la regla de Kohonen a neuronas con salida uno. En estos casos, la regla de Kohonen es mas eficiente . </li></ul></ul>
  44. 44. Regla OUTSTAR
  45. 45. RED OUTSTAR In this configuration the from neuron activates a pattern of the to neurons
  46. 46. Regla OUTSTAR <ul><li>Regla OUTSTAR </li></ul>
  47. 47. <ul><li>Los pesos de una capa OUTSTAR se pueden pensar como una memoria a largo plazo de tantos vectores como entradas tenga la capa . A menudo las capas OUTSTAR son lineales. Si Este es el caso, el ajuste de una sola entrada de la capa OUTSTAR a uno resulta en que la entrada a la red (y por lo tanto la salida) de la capa se haga equivalente a los pesos de la entrada activada. </li></ul>Descripción
  48. 48. <ul><li>Así, el vector almacenado en los pesos de entrada puede ser regresado al activar esa entrada. La regla de aprendizaje de la OUTSTAR permite a los pesos de entrada aprender el vector en la capa lineal de salida, cada vez que la entrada tome un valor grande. </li></ul>
  49. 49. Ejemplo 1: OUTSTAR
  50. 50. Red OUTSTAR del ejemplo
  51. 51. Funciones del Aprendizaje Asociativo MATLAB / NEURAL NETWORK TOOLBOX
  52. 52. Regla de Aprendizaje Hebbiana <ul><li>dW = learnh (p, a, lr); </li></ul><ul><li>W = W + dW; </li></ul><ul><li>donde: </li></ul><ul><li>lr es la razón de aprendizaje (  ) </li></ul>
  53. 53. Regla de Aprendizaje Hebbiana con Degradación <ul><li>dW = learnhd (W, p, a, lr, dr); </li></ul><ul><li>W = W + dW; </li></ul><ul><li>donde: </li></ul><ul><li>lr es la razón de aprendizaje (  ) </li></ul><ul><li>dr es la razón de degradación (  ) </li></ul>
  54. 54. Regla de Aprendizaje INSTAR <ul><li>dW = learnis (W, p, a, lr); </li></ul><ul><li>W = W + dW; </li></ul><ul><li>donde: </li></ul><ul><li>lr es la razón de aprendizaje </li></ul>
  55. 55. Regla de Aprendizaje de KOHONEN <ul><li>a = comp (-dist (W,p)); </li></ul><ul><li>dW = learnk (W, p, a, lr); </li></ul><ul><li>W = W + dW ; </li></ul><ul><li>donde: </li></ul><ul><li>lr es la razón de aprendizaje </li></ul>
  56. 56. Regla de Aprendizaje OUTSTAR <ul><li>a = purelin (w*p); </li></ul><ul><li>dW = learnos (W, a, p, lr); </li></ul><ul><li>W = W + dW; </li></ul><ul><li>donde: </li></ul><ul><li>lr es la razón de aprendizaje </li></ul>
  57. 57. Dudas ???
  58. 58. Hasta la próxima !!!

×