Redes de propagación hacia delante y aprendizaje supervisado

3,341 views
3,152 views

Published on

Redes NEURONALES de propagación hacia delante y aprendizaje supervisado

Published in: Education, Technology
1 Comment
1 Like
Statistics
Notes
No Downloads
Views
Total views
3,341
On SlideShare
0
From Embeds
0
Number of Embeds
2
Actions
Shares
0
Downloads
124
Comments
1
Likes
1
Embeds 0
No embeds

No notes for slide

Redes de propagación hacia delante y aprendizaje supervisado

  1. 1. UNIDAD VI Redes de propagación hacia delante y aprendizaje supervisado
  2. 2. 6.1 Red Perceptron <ul><li>1943 </li></ul><ul><li>Warren Mc Culloch/Walter Pitts.- Originaron el primer modelo de operación neuronal, el cual fue mejorado en sus aspectos biológicos por Donald Hebb en 1948. </li></ul>
  3. 3. Características <ul><li>La característica principal del modelo neuronal de Warren es que la suma ponderada de las señales de entrada es comparada con un umbral para determinar la salida de la neurona. Cuando la suma es mayor o igual al umbral, la salida es igual a 1. Cuando la suma es menor que el umbral, la salida es 0. </li></ul>
  4. 4. Rosenblatt <ul><li>1950. </li></ul><ul><li>Frank Rosenblatt.- presentó el Perceptron, el cual es similar a las neuronas de Mc Culloch & Pitts. </li></ul><ul><li>Su contribución fue: Una regla de aprendizaje para entrenar el perceptrón en la solución de problemas de reconocimiento. </li></ul>
  5. 5. Características <ul><li>La regla de aprendizaje simple convergirá a los pesos correctos de la red si es que existen los pesos que solucionan dicho problema. La regla de aprendizaje es simple y automáticamente la red aprende de sus errores. </li></ul>
  6. 6. Perceptron Multicapa <ul><li>1980. </li></ul><ul><li>Se presenta el perceptrón multicapa.- Esta red aprendía aun cuando sé inicializaba con valores aleatorios. </li></ul>
  7. 7. Regla De Aprendizaje O Algoritmo De Entrenamiento .- <ul><li>Se entiende por regla de aprendizaje al procedimiento para modificar los pesos y umbrales de polarización de una red. </li></ul><ul><li>El propósito de la regla de aprendizaje es entrenar a la red para ejecutar alguna tarea. </li></ul>
  8. 8. <ul><li>Las categorías en las cuales caen todas las reglas de aprendizaje para redes neuronales son: Aprendizaje supervisado, Aprendizaje por refuerzo, Aprendizaje no supervisado . </li></ul>Regla De Aprendizaje O Algoritmo De Entrenamiento .-
  9. 9. <ul><li>La salida de la red se calcula mediante: </li></ul>6.1.1 Modelo y Arquitectura de un Perceptrón
  10. 10. <ul><li>Fig. 6.1 Red Perceptron </li></ul>
  11. 11. La matriz de pesos de la red es:
  12. 12. <ul><li>Se definirá un vector compuesto de los elementos de la i th fila de W : </li></ul>
  13. 13. <ul><li>Ahora se puede particionar la matriz de pesos: </li></ul>
  14. 14. <ul><li>Esto permitirá escribir el i th elemento del vector de salida de la red como: </li></ul>
  15. 15. Recordando que la función de transferencia hardlim se define como: a n=Wp+b n
  16. 16. Conclusión <ul><li>Por lo tanto, si el producto punto de la i th fila de la matriz de pesos con el vector de entradas es más grande que o igual a -b, la salida será 1, de otro modo la salida será 0. </li></ul><ul><li>De lo anterior se deduce que cada neurona en la red divide el espacio de entrada en dos regiones. </li></ul>
  17. 17. Perceptrón Simple <ul><li>Considerando un perceptrón de dos entradas con una neurona: </li></ul><ul><li>Fig. 6.2 Perceptrón de dos entradas / una salida </li></ul>p 1 p 2 w 1,1 w 1,2 n a  b 1
  18. 18. <ul><li>La salida es determinada por: </li></ul>
  19. 19. <ul><li>La frontera de decisión se determina por los vectores de entrada para los cuales el conjunto de entradas n es cero: </li></ul>
  20. 20. Por ejemplo: La frontera de decisión es entonces: Esto define una línea en el espacio de entrada. En un lado de la linea la salida de la red será 0; en la línea y en el otro lado será 1.
  21. 21. <ul><li>Para dibujar la línea, se pueden encontrar los puntos donde se interceptan los ejes p 1 y p 2 . Para encontrar la interceptación p 2 el conjunto p 1 = 0: </li></ul>
  22. 22. <ul><li>Para encontrar la intercepción p 1 , el conjunto p 2 = 0: </li></ul>
  23. 23. <ul><li>La frontera de decisión resultante se ilustra a continuación: </li></ul>Fig. 6.3 Frontera de decisión para un Perceptron de dos entradas p 2 a=0 a=1 p 1 1 W T p+b=0
  24. 24. <ul><li>La salida de la red será 1 para la región arriba y a la derecha de la frontera de decisión. </li></ul><ul><li>Examinando un punto, tomaremos en cuenta la entrada p= [2 0] T , la salida de la red será: </li></ul>
  25. 25. Frontera de Decisión Gráficamente <ul><li>También se puede encontrar la frontera de decisión gráficamente. </li></ul><ul><li>Para realizar esto ultimo el Primer paso es hacer notar que la frontera siempre es ortogonal a 1 w, como se ilustra en las siguientes figuras: </li></ul>
  26. 26. <ul><li>Para todos los puntos en la frontera, el producto punto del vector de entrada con el vector de pesos es el mismo. </li></ul>La frontera se define por: Frontera de Decisión Gráficamente
  27. 27. <ul><li>Lo cual implica que estos vectores de entrada tengan todos la misma proyección en el vector de pesos, así es que deberán caer sobre la línea ortogonal para el vector de pesos. Además, cualquier vector en la región sombreada tendrá un producto punto más grande que –b: </li></ul>Frontera de Decisión Gráficamente
  28. 28. Frontera de Decisión Gráficamente <ul><li>Por lo tanto el vector de pesos 1 w siempre apuntará hacia la región donde la salida de la neurona sea igual a 1. </li></ul><ul><li>Después de haber seleccionado un vector de pesos con la orientación angular correcta, el valor de umbral (polarización) puede ser calculado al seleccionar un punto en la frontera y satisfacer la ecuación: </li></ul>
  29. 29. Tarea 6_3: Ejemplo - OR
  30. 30. <ul><li>Usando un Perceptron simple solucione el problema de clasificación de la compuerta or. </li></ul><ul><ul><li>a).- Encontrar el valor de la matriz de pesos w. </li></ul></ul><ul><ul><li>b).- Encontrar el valor del umbral de activación. </li></ul></ul><ul><ul><li>c).- Con los valores obtenidos comprobar el funcionamiento de la red al aplicar los pares de entrada. </li></ul></ul><ul><ul><li>d).- Verificar el funcionamiento del Perceptron mediante el simulador. </li></ul></ul>
  31. 31. Solución a la OR: El vector de pesos debería ser ortogonal a la frontera de decisión. Se tomará un punto sobre la frontera de decisión para encontrar el umbral.
  32. 32. Problema 2: <ul><li>Diseño de una red Perceptron para implementar una función lógica simple: </li></ul><ul><li>La Compuerta AND. </li></ul><ul><li>x 1 x 2 S </li></ul><ul><li>0 0 0 </li></ul><ul><li>0 1 0 </li></ul><ul><li>1 0 0 </li></ul><ul><li>1 1 1 </li></ul>
  33. 33. Continuación: Problema 2 <ul><li>Las parejas entrada/objetivo son: </li></ul>
  34. 34. Perceptrón Multineuronas <ul><li>La frontera de decisión para una neurona i se define por: </li></ul>Un perceptrón de una neurona puede clasificar vectores de entrada en dos categorías, ya que su salida puede ser 0 o 1.
  35. 35. <ul><li>Un perceptrón de múltiples neuronas puede clasificar entradas en muchas categorías. Cada categoría se representa por un vector de salida diferente. </li></ul><ul><li>Ya que cada elemento del vector de salida puede ser 0 o 1, hay un total de 2 S categorías posibles, donde S es el número neuronas. </li></ul>
  36. 36. 6.1.2 Regla de Aprendizaje del Perceptrón y entrenamiento de la red <ul><li>La regla de aprendizaje es un ejemplo del entrenamiento supervisado, en el cual la regla de aprendizaje es probada con un conjunto de ejemplos propios del comportamiento de la red: </li></ul>Donde p q es una entrada a la red y t q es el objetivo de salida correspondiente.
  37. 37. <ul><li>Con cada entrada aplicada a la red, la salida de la red se compara con el objetivo. </li></ul><ul><li>La regla de aprendizaje entonces ajusta los pesos y las polarizaciones de la red en orden a mover la salida de la red hacia el objetivo. </li></ul>
  38. 38. Ejercicio: <ul><li>La siguiente figura, muestra 3 vectores representados por círculos vacíos y llenos. </li></ul>Fig. 6.4 Vectores entrada/objetivo
  39. 39. <ul><li>Las entradas y las salidas a considerar en este problema son: </li></ul>En la figura anterior se representan los dos vectores cuyo objetivo es CERO (circulo blanco), y el vector cuyo objetivo es 1 se representa con un circulo negro.
  40. 40. <ul><li>Del ejercicio anterior soluciona el problema de clasificación mediante un perceptrón y determine: </li></ul><ul><ul><li>1.- La estructura de la red indicando el número de entradas y salidas. </li></ul></ul><ul><ul><li>2.- Partiendo de valores iniciales de sus parámetros de la red use la regla de aprendizaje del perceptrón para ajustar el valor de los pesos y umbral que den solución al problema. </li></ul></ul>
  41. 41. RESULTADOS <ul><li>1.- Analizando las entradas al sistema p q , t q ; se concluye que, para el problema la red debe tener 2 entradas y un salida. </li></ul>Fig.. 6.5 Red del ejercicio
  42. 42. <ul><li>2.- Regla de Aprendizaje </li></ul><ul><ul><li>a).- El entrenamiento se inicia asignando valores iniciales pequeños a los parámetros de la red. </li></ul></ul><ul><ul><ul><li>Se propone: </li></ul></ul></ul>No existe un umbral de polarización la frontera de decisión pasará por el origen. b=0
  43. 43. <ul><ul><li>b).- Presentar los vectores de entrada a la red; iniciando con p 1 . </li></ul></ul>Como n< 0 la salida a = 0, pero t 1 =1 por lo que a debería ser 1; por lo tanto: La clasificación es incorrecta
  44. 44. <ul><ul><li>c).- Se suma p 1 a w y se obtiene el nuevo valor para w: </li></ul></ul><ul><ul><ul><li>Una regla tentativa. </li></ul></ul></ul>
  45. 45. <ul><ul><li>Se gráfica la frontera de decisión y el vector de pesos. </li></ul></ul>
  46. 46. <ul><ul><li>d).- Se utiliza el siguiente vector de entrada en la función de salida: </li></ul></ul>Como n  0 la salida a = 1, pero t 2 = 0 por lo que a debería ser 0; por lo tanto: La clasificación es incorrecta
  47. 47. <ul><ul><li>e).- El resultado de a debería ser cero, por lo tanto: </li></ul></ul><ul><ul><ul><li>Se modifica la regla: </li></ul></ul></ul>
  48. 48. <ul><ul><li>Se gráfica la frontera de decisión y el vector de pesos. </li></ul></ul>
  49. 49. <ul><ul><li>f ).- Usando el tercer vector de entrada: </li></ul></ul>a = hardlim (0.8) = 1 Como n  0 la salida a = 1, pero t 3 = 0 por lo que a debería ser 0; por lo tanto: La clasificación es incorrecta
  50. 50. <ul><ul><li>g).- Así es que : </li></ul></ul>También, puede llegar a presentarse que la salida a sea igual a el objetivo t , con lo que se tendría la tercer regla para la actualización de los pesos:
  51. 51. Y se gráfica la frontera de decisión y el vector de pesos. Por ultimo se verifican las entradas y salidas
  52. 52. Unificación de la regla de aprendizaje
  53. 53. El umbral es un peso con una entrada de 1.
  54. 54. Perceptron de Múltiples-Neuronas Para actualizar la ith fila de la matriz de pesos: En forma de Matriz:
  55. 55. Capacidad de la regla de aprendizaje del Perceptron La regla del Perceptron siempre convergirá a los pesos que cumplan con la clasificación deseada, asumiendo que tales pesos existan. NOTA: Recordar que la longitud del vector de pesos no es importante, lo único importante es su dirección.
  56. 56. Limitaciones del Perceptron Frontera de decisión lineal Problemas linealmente No separables
  57. 57. Tarea 6_4: <ul><li>Resolver el problema de clasificación de naranjas y manzanas tomando los siguientes conjuntos de entrenamiento*: </li></ul>Considerar a p 1 = naranjas y p 2 = manzanas, así como:
  58. 58. Solución al clasificador de naranjas/manzanas: Pesos Iniciales Primera Iteración e t 1 a – 1 0 – 1 = = =
  59. 59. Segunda Iteración
  60. 60. Comprobación
  61. 61. Problemas Propuestos <ul><li>1.- Clasifique los siguientes problemas usando la regla de aprendizaje del Perceptron mediante código en Matlab. </li></ul><ul><ul><li>Grafique los puntos de cada problema. </li></ul></ul><ul><ul><li>Obtenga el código necesario para simular cada problema. </li></ul></ul><ul><ul><li>Simule el código obtenido y observe sus resultados. </li></ul></ul>
  62. 62. <ul><li>2.- </li></ul>
  63. 63. <ul><li>3.- </li></ul>
  64. 64. Tarea 6_1: Reglas de Aprendizaje • Supervised Learning Network is provided with a set of examples of proper network behavior (inputs/targets) • Reinforcement Learning Network is only provided with a grade, or score, which indicates network performance • Unsupervised Learning Only network inputs are available to the learning algorithm. Network learns to categorize (cluster) the inputs.

×