Sistemas Inteligentes y Redes Neuronales       (SI01)  Sesión: 4 y 5  Red Perceptron Ing. José C. Benítez P.
Sesión 4 y 5. Red Perceptron                Presentación                Introducción                Ubicación en el contex...
Presentación               Nombre                  :   Redes Perceptron               Año                     :   1950    ...
PresentaciónMonocapa (SLP)                      MLP: 3 capas                                                              ...
Introducción     En 1957, Frank Rosenblatt publicó el mayor trabajo de     investigación en computación neuronal realizado...
Introducción      Además presentaba la característica de ser flexible y      comportarse correctamente después de que algu...
Introducción  Si las células  presentan un valor  de entrada superior  a un umbral  predeterminado  entonces el  elemento ...
Ubicación Una primera clasificación de las RNA en función del patrón de conexiones (topología) que presenta, define dos ti...
Arquitectura     La arquitectura del Perceptron, llamada mapeo de     patrones (pattern-mapping), aprende a clasificar    ...
Arquitectura   La Figura muestra la UP básica del Perceptron.   Las entradas ai llegan por la parte izquierda, y cada cone...
Arquitectura  Un aspecto común en muchas de las ANN es la entrada  especial llamada bias representada en la parte superior...
Arquitectura                                              La salida xj es transmitida a lo                                ...
Arquitectura  Las redes Perceptron de una capa, representadas en la Figura  tienen una capa de entrada y una capa de unida...
Arquitectura  Las topologías con tres o más capas se caracterizan porque la  regla de aprendizaje del perceptron sólo adap...
Arquitectura  La figura muestra una Perceptron de tres capas donde la regla  de aprendizaje del Perceptron adaptará los pe...
Estructura   La única neurona de salida del Perceptron realiza la suma   ponderada de las entradas, resta el umbral y pasa...
Estructura  La red tipo Perceptron emplea principalmente dos funciones  de transferencia, hardlim con salidas 1, 0 o hardl...
Estructura  Una técnica utilizada para analizar el comportamiento de redes  como el Perceptron es presentar en un mapa las...
Estructura  Para ilustrar el proceso  computacional del Perceptron  consideremos la matriz de pesos  en forma general.  Lo...
Estructura    • El Perceptron, al constar de una sola capa de entrada y      otra de salida con una única neurona, tiene u...
Entrenamiento    El entrenamiento del Perceptron consiste en presentar a    la red todos los elementos del conjunto de    ...
Entrenamiento   Una de las reglas más simples de aprendizaje del Perceptron   se indica en la ecuación :   wjinuevo = wjiv...
Entrenamiento     Esta convergencia tiene dos posibilidades:        Consiste en que la red haya aprendido        correctam...
Algoritmo de Aprendizaje   El Perceptron es un tipo de red de aprendizaje supervisado,   es decir necesita conocer los val...
Ejemplo de red Perceptron  Como ejemplo de funcionamiento de una red neuronal tipo  Perceptron, se solucionará el problema...
Ejemplo de red Perceptron  Para este caso las entradas a la red serán  valores binarios, la salida de la red esta  determi...
Ejemplo de red Perceptron     En la etapa de aprendizaje se irán variando los valores     de los pesos obteniendo distinta...
Ejemplo de red Perceptron                   Concretamente para la función OR se deben                   separar los valore...
Ejemplo de red Perceptron Se aplicará este método para resolver también el problema de la función AND, mostrado en la figu...
Ejemplo de red Perceptron     Ahora la salida de la neurona esta dada por:     Las soluciones obtenidas para las funciones...
Algoritmo de entrenamientoEl algoritmo de entrenamiento del Perceptron:1. Se inicializa la matriz de pesos y el valor de l...
Algoritmo de entrenamiento4. Cuando la red no retorna la salida correcta, es necesario   alterar el valor de los pesos, tr...
Proceso de entrenamiento   El proceso de aprendizaje del Perceptron puede definirse   en tres reglas, las cuales cubren la...
Proceso de entrenamiento     Por lo tanto:     En una sola expresión la ley puede resumirse así:     Y extendiendo la ley ...
Proceso de entrenamiento   Clasificar los patrones:   p1=[2; 1] t1=1 p2=[0; -1] t2=1 p3=[-2; 1] t3=-1 p4=[0; 2] t1=-1    o...
Proceso de entrenamiento Para decidir si una Perceptron puede aplicarse al problema, se debe comprobar si el problema es l...
Proceso de entrenamiento   El siguiente paso es asumir arbitrariamente los valores   para los pesos y ganancias iniciales ...
Proceso de entrenamientoIteración 0   La red clasificará los PE según la   característica de decisión mostrada en la   fig...
Proceso de entrenamientoIteración 1  De la iteración 0 p2 estaba mal  clasificado, la actualización de pesos  permite que ...
Proceso de entrenamiento La iteración 1 lleva a la característica de decisión de la figura. Interceptos con los ejes se mu...
Proceso de entrenamientoIteración 2   Se presenta p2 a la red, y es clasificado correctamente,   como se observo gráficame...
Proceso de entrenamientoIteración 3   Se presenta p3 a la red y es clasificado correctamente,   como se observó gráficamen...
Proceso de entrenamientoIteración 4  Se presenta a la red p4  La red ha clasificado incorrectamente este patrón y por lo t...
Proceso de entrenamiento En esta iteración la red se comportara de acuerdo a la característica de decisión de la figura. I...
Proceso de entrenamiento En este caso los patrones de entrada se encuentran en dos dimensiones y por lo tanto es fácil det...
Limitaciones     El mayor inconveniente del Perceptron, a pesar del     éxito que ha tenido en muchas aplicaciones de     ...
Limitaciones   La Figura ilustra el concepto   general de Separabilidad Lineal,   es decir, las clases de patrones   que p...
Limitaciones   Minsky y Papert centraron las críticas al Perceptron en su   publicación Perceptrons (1969).   El libro inc...
RNA de una capa y multicapa   La capacidad de cálculo y potencia de la computación neuronal   proviene de las múltiples co...
RNA de una capa y multicapa  En la práctica existen conexiones eliminadas e incluso  conexiones entre las salidas y entrad...
RNA de una capa y multicapa Las redes multicapa se forman con un grupo de capas simples en cascada. La salida de una capa ...
RNA de una capa y multicapa  Conviene destacar que la mejora de las redes multicapa estriba  en la función de activación n...
Sesión 4 y 5. Trabajo de Investigación 41. Ejercicio de entrenamiento desde la Iteracion 0 de la red   mostrada en la piza...
Presentación     Todas las fuentes y tareas deben presentarse en     formato digital (USB), dentro de una carpeta que     ...
Sesión 4 y 5. El Perceptron                     Blog del curso:                  utpsirn.blogspot.com            Sistemas ...
Upcoming SlideShare
Loading in …5
×

Utp sirn_cap4_5_red perceptron

3,833 views

Published on

0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total views
3,833
On SlideShare
0
From Embeds
0
Number of Embeds
2,475
Actions
Shares
0
Downloads
147
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

Utp sirn_cap4_5_red perceptron

  1. 1. Sistemas Inteligentes y Redes Neuronales (SI01) Sesión: 4 y 5 Red Perceptron Ing. José C. Benítez P.
  2. 2. Sesión 4 y 5. Red Perceptron Presentación Introducción Ubicación en el contexto Representación Arquitectura Estructura Entrenamiento Algoritmo de aprendizaje Ejemplo de red Perceptron Algoritmo de entrenamiento Proceso de entrenamiento Limitaciones RNA de una capa y multicapa. Sistemas Inteligentes y Redes Neuronales - Prof. Ing. Jose C. Benitez P. 2
  3. 3. Presentación Nombre : Redes Perceptron Año : 1950 Tipo : Predicción Diseñador : Rosenblatt Características : Primer modelo de ANN Sistemas Inteligentes y Redes Neuronales - Prof. Ing. Jose C. Benitez P. 3
  4. 4. PresentaciónMonocapa (SLP) MLP: 3 capas MLP: 3 capas Sistemas Inteligentes y Redes Neuronales - Prof. Ing. Jose C. Benitez P. 4
  5. 5. Introducción En 1957, Frank Rosenblatt publicó el mayor trabajo de investigación en computación neuronal realizado hasta esa fecha. Su trabajo consistía en el desarrollo de un elemento llamado "Perceptron". El Perceptron es un sistema clasificador de patrones que puede identificar patrones geométricos y abstractos. El primer Perceptron era capaz de aprender algo y era robusto, de forma que su comportamiento variaba sólo si resultaban dañados los componentes del sistema. Sistemas Inteligentes y Redes Neuronales - Prof. Ing. Jose C. Benitez P. 5
  6. 6. Introducción Además presentaba la característica de ser flexible y comportarse correctamente después de que algunas celdas fueran destruidas. El Perceptron fue originalmente diseñado para el reconocimiento óptico de patrones. Una rejilla de 400 fotocélulas, correspondientes a las neuronas de la retina sensibles a la luz, recibe el estímulo óptico. Estas fotocélulas están conectadas a elementos asociativos que recogen los impulsos eléctricos emitidos desde las fotocélulas. Las conexiones entre los elementos asociativos y las fotocélulas se realizan de forma aleatoria. Sistemas Inteligentes y Redes Neuronales - Prof. Ing. Jose C. Benitez P. 6
  7. 7. Introducción Si las células presentan un valor de entrada superior a un umbral predeterminado entonces el elemento asociativo produce una salida. Sistemas Inteligentes y Redes Neuronales - Prof. Ing. Jose C. Benitez P. 7
  8. 8. Ubicación Una primera clasificación de las RNA en función del patrón de conexiones (topología) que presenta, define dos tipos básicos de redes: • Monocapa. Ejemplos: Las redes de propagación • Perceptron, hacia delante • Adaline. Las redes recurrentes. • Multicapa. Ejemplos: Ejemplos: • Elman, • Perceptron multicapa • Hopfield, • máquina de Boltzmann. Sistemas Inteligentes y Redes Neuronales - Prof. Ing. Jose C. Benitez P. 8
  9. 9. Arquitectura La arquitectura del Perceptron, llamada mapeo de patrones (pattern-mapping), aprende a clasificar modelos mediante un aprendizaje supervisado. Los modelos que clasifica suelen ser generalmente vectores con valores binarios (0,1) y las categorías de la clasificación se expresan mediante vectores binarios. El Perceptron presenta dos capas y sólo una de ellas presenta la capacidad de adaptar o modificar los pesos de las conexiones. La arquitectura del Perceptron admite capas adicionales pero éstas no disponen la capacidad de modificar sus propias conexiones. Sistemas Inteligentes y Redes Neuronales - Prof. Ing. Jose C. Benitez P. 9
  10. 10. Arquitectura La Figura muestra la UP básica del Perceptron. Las entradas ai llegan por la parte izquierda, y cada conexión con la neurona j tiene asignada un peso de valor wji. La unidad procesadora del Perceptron realiza la suma ponderada de las entradas según la ecuación: Sj = Σ ai wji Sistemas Inteligentes y Redes Neuronales - Prof. Ing. Jose C. Benitez P. 10
  11. 11. Arquitectura Un aspecto común en muchas de las ANN es la entrada especial llamada bias representada en la parte superior izquierda de la figura (entrada a0). Esta entrada siempre presenta un valor fijo(peso), +1 y funciona como una masa en un circuito eléctrico donde no varía de valor (se puede utilizar como un valor constante de referencia). El Perceptron comprueba si la suma de las entradas ponderadas es mayor o menor que un cierto valor umbral (0) y genera la salida " xj" según la ecuación; si Sj > 0 entonces xj = 1 si Sj <= 0 entonces xj = 0 Sistemas Inteligentes y Redes Neuronales - Prof. Ing. Jose C. Benitez P. 11
  12. 12. Arquitectura La salida xj es transmitida a lo largo de la línea de salida y constituye uno de los componentes del vector de salida de la red. Sistemas Inteligentes y Redes Neuronales - Prof. Ing. Jose C. Benitez P. 12
  13. 13. Arquitectura Las redes Perceptron de una capa, representadas en la Figura tienen una capa de entrada y una capa de unidades procesadoras que constituyen la capa de salida. A lo largo de los años 50 y 60 se desarrollaron muchos tipos de topologías de redes basadas en la arquitectura del Perceptron. Sistemas Inteligentes y Redes Neuronales - Prof. Ing. Jose C. Benitez P. 13
  14. 14. Arquitectura Las topologías con tres o más capas se caracterizan porque la regla de aprendizaje del perceptron sólo adapta los pesos o valores de las conexiones de una capa. Una aplicación típica de un sistema de dos capas es la que muestra la Figura donde la entrada es la imagen de la letra E y la salida es la categorización de la entrada en dos clases. Sistemas Inteligentes y Redes Neuronales - Prof. Ing. Jose C. Benitez P. 14
  15. 15. Arquitectura La figura muestra una Perceptron de tres capas donde la regla de aprendizaje del Perceptron adaptará los pesos o valores de las conexiones de una capa. Sistemas Inteligentes y Redes Neuronales - Prof. Ing. Jose C. Benitez P. 15
  16. 16. Estructura La única neurona de salida del Perceptron realiza la suma ponderada de las entradas, resta el umbral y pasa el resultado a una función de transferencia de tipo escalón. La regla de decisión es responder +1 si el patrón presentado pertenece a la clase A, o –1 si el patrón pertenece a la clase B (Ver figura), la salida depende de la entrada neta (n = suma de las entradas pi ponderadas). Sistemas Inteligentes y Redes Neuronales - Prof. Ing. Jose C. Benitez P. 16
  17. 17. Estructura La red tipo Perceptron emplea principalmente dos funciones de transferencia, hardlim con salidas 1, 0 o hardlims con salidas 1, -1. Su uso depende del valor de salida que se espera para la red, es decir si la salida de la red es unipolar o bipolar. Sin embargo la función hardlims es preferida sobre la hardlim, ya que el tener un cero multiplicando algunas de los valores resultantes del producto de las entradas por el vector de pesos, ocasiona que estos no se actualicen y que el aprendizaje sea más lento. Sistemas Inteligentes y Redes Neuronales - Prof. Ing. Jose C. Benitez P. 17
  18. 18. Estructura Una técnica utilizada para analizar el comportamiento de redes como el Perceptron es presentar en un mapa las regiones de decisión creadas en el espacio multidimensional de entradas de la red, en estas regiones se visualiza qué patrones pertenecen a una clase y cuáles a otra. El Perceptron separa las regiones por un hiperplano cuya ecuación queda determinada por los pesos de las conexiones y el valor umbral de la función de activación de la neurona, en este caso los valores de los pesos pueden fijarse o adaptarse empleando diferentes algoritmos de entrenamiento. Sistemas Inteligentes y Redes Neuronales - Prof. Ing. Jose C. Benitez P. 18
  19. 19. Estructura Para ilustrar el proceso computacional del Perceptron consideremos la matriz de pesos en forma general. Los pesos para una neurona están representados por un vector compuesto de los elementos de la i-ésima fila de W De esta forma y empleando la función de transferencia hardlim la salida de la neurona i de la capa de salida es: Sistemas Inteligentes y Redes Neuronales - Prof. Ing. Jose C. Benitez P. 19
  20. 20. Estructura • El Perceptron, al constar de una sola capa de entrada y otra de salida con una única neurona, tiene una capacidad de representación bastante limitada. • El Perceptron, sólo es capaz de discriminar patrones muy sencillos, patrones linealmente separables. • El caso más conocido es la imposibilidad del Perceptron de representar la función OR EXCLUSIVA Sistemas Inteligentes y Redes Neuronales - Prof. Ing. Jose C. Benitez P. 20
  21. 21. Entrenamiento El entrenamiento del Perceptron consiste en presentar a la red todos los elementos del conjunto de entrenamiento constituido por parejas de vectores (entrada y salida deseada) de forma secuencial. El objetivo del entrenamiento es llegar a un conjunto de valores de los pesos de la red de forma que responda correctamente a todo el conjunto de entrenamiento. Después del entrenamiento los pesos no son modificados y la red está lista de responder adecuadamente a las entradas que se le presenten. La adaptación de los pesos se puede realizar mediante diferentes reglas o algoritmos. Sistemas Inteligentes y Redes Neuronales - Prof. Ing. Jose C. Benitez P. 21
  22. 22. Entrenamiento Una de las reglas más simples de aprendizaje del Perceptron se indica en la ecuación : wjinuevo = wjiviejo + C (dj - yj) xi Siendo: dj el valor de la salida deseada, yj el valor de salida producida por la unidad procesadora xi el valor de la entrada i C el coeficiente de aprendizaje. En todo proceso de entrenamiento el comportamiento de la red inicialmente va mejorando hasta que llega a un punto en el que se estabiliza y se dice que la red ha convergido. Sistemas Inteligentes y Redes Neuronales - Prof. Ing. Jose C. Benitez P. 22
  23. 23. Entrenamiento Esta convergencia tiene dos posibilidades: Consiste en que la red haya aprendido correctamente el conjunto de entrenamiento o Se trata de que la red no ha aprendido todas las respuestas correctas. Sistemas Inteligentes y Redes Neuronales - Prof. Ing. Jose C. Benitez P. 23
  24. 24. Algoritmo de Aprendizaje El Perceptron es un tipo de red de aprendizaje supervisado, es decir necesita conocer los valores esperados para cada una de las entradas presentadas; su comportamiento está definido por pares de esta forma: Cuando la entrada p es aplicado a la red, la salida de la red es comparada con el valor esperado t, y la salida de la red esta determinada por: Los valores de los pesos determinan el funcionamiento de la red, estos valores se pueden fijar o adoptar utilizando diferentes algoritmos de entrenamiento de la red. Sistemas Inteligentes y Redes Neuronales - Prof. Ing. Jose C. Benitez P. 24
  25. 25. Ejemplo de red Perceptron Como ejemplo de funcionamiento de una red neuronal tipo Perceptron, se solucionará el problema de la función OR. Para esta función la red debe ser capaz de devolver a partir de los cuatro patrones de entrada, a qué clase pertenece cada uno; es decir para el patrón 00 debe devolver la clase cero y para los restantes la clase 1, como se indica en la grafica: Sistemas Inteligentes y Redes Neuronales - Prof. Ing. Jose C. Benitez P. 25
  26. 26. Ejemplo de red Perceptron Para este caso las entradas a la red serán valores binarios, la salida de la red esta determinada por: Si w1p1+w2p2 es mayor que 0 la salida será 1, en caso contrario la salida será 0 (función escalón unitario). Como puede verse la sumatoria que se le pasa a cada parámetro (entrada total) a la función hardlim (función de salida o de transferencia) es la expresión matemática de una recta, donde w1 y w2 son variables y p1 y p2 son constantes. Sistemas Inteligentes y Redes Neuronales - Prof. Ing. Jose C. Benitez P. 26
  27. 27. Ejemplo de red Perceptron En la etapa de aprendizaje se irán variando los valores de los pesos obteniendo distintas rectas, lo que se pretende al modificar los pesos de las conexiones es encontrar una recta que divida el plano en dos espacios de las dos clases de valores de entrada.. Sistemas Inteligentes y Redes Neuronales - Prof. Ing. Jose C. Benitez P. 27
  28. 28. Ejemplo de red Perceptron Concretamente para la función OR se deben separar los valores 01, 10, y 11 del valor 00; la red Perceptron que realiza esta tarea y la gráfica característica pueden observarse en la figura. Puede verse como las posibles rectas pasarán por el origen de coordenadas, por lo que la entrada 00 quedará sobre la propia recta. Sistemas Inteligentes y Redes Neuronales - Prof. Ing. Jose C. Benitez P. 28
  29. 29. Ejemplo de red Perceptron Se aplicará este método para resolver también el problema de la función AND, mostrado en la figura: Analizando el comportamiento de la AND se llega a la conclusión de que es imposible que una recta que pase por el origen, separe los valores 00, 01 y 10 del valor 11, por lo que se hace necesario introducir un término independiente llamado ganancia (b) para realizar esta tarea (por lo general b=1 y se ajusta durante la etapa de aprendizaje de la red); b permite desplazar la recta del origen de coordenadas dando una solución para el caso de la función AND y ampliando el número de soluciones de la función OR. Sistemas Inteligentes y Redes Neuronales - Prof. Ing. Jose C. Benitez P. 29
  30. 30. Ejemplo de red Perceptron Ahora la salida de la neurona esta dada por: Las soluciones obtenidas para las funciones AND y OR se observan en la figura:En el proceso de entrenamiento elPerceptron se presenta a unconjunto de patrones de entrada ylos pesos de la red son ajustados deforma que al final de entrenamientose obtengan las salidas esperadaspara cada unos de esos patrones deentrada. Sistemas Inteligentes y Redes Neuronales - Prof. Ing. Jose C. Benitez P. 30
  31. 31. Algoritmo de entrenamientoEl algoritmo de entrenamiento del Perceptron:1. Se inicializa la matriz de pesos y el valor de la ganancia, por lo general se asignan valores aleatorios a cada uno de los pesos wi y al valor b.2. Se presenta el primer patrón a la red, junto con la salida esperada en forma de pares entrada/salida {p1, d1}, {p2, d2}, {p3, d3} …3. Se calcula la salida de la red por medio de: donde f puede ser la función hardlim o hardlims Sistemas Inteligentes y Redes Neuronales - Prof. Ing. Jose C. Benitez P. 31
  32. 32. Algoritmo de entrenamiento4. Cuando la red no retorna la salida correcta, es necesario alterar el valor de los pesos, tratando de llevarlo hasta p y así aumentar las posibilidades de que la clasificación sea correcta, una posibilidad es adicionar p a w haciendo que el vector w apunte en la dirección de p, y de esta forma después de repetidas presentaciones de p a la red, w se aproximará asintóticamente a p; este es el procedimiento adoptado para la regla de aprendizaje del Perceptron. Sistemas Inteligentes y Redes Neuronales - Prof. Ing. Jose C. Benitez P. 32
  33. 33. Proceso de entrenamiento El proceso de aprendizaje del Perceptron puede definirse en tres reglas, las cuales cubren la totalidad de combinaciones de salidas y sus correspondientes valores esperados. Estas reglas utilizando la función de transferencia hardlim:: Las tres condiciones anteriores pueden ser escritas en forma compacta y generalizarse para la utilización de las funciones de transferencia hardlim o hardlims, generalización que es posible introduciendo el error en las reglas de aprendizaje del Perceptron: e = t - a Sistemas Inteligentes y Redes Neuronales - Prof. Ing. Jose C. Benitez P. 33
  34. 34. Proceso de entrenamiento Por lo tanto: En una sola expresión la ley puede resumirse así: Y extendiendo la ley a las ganancias Sistemas Inteligentes y Redes Neuronales - Prof. Ing. Jose C. Benitez P. 34
  35. 35. Proceso de entrenamiento Clasificar los patrones: p1=[2; 1] t1=1 p2=[0; -1] t2=1 p3=[-2; 1] t3=-1 p4=[0; 2] t1=-1 o también: x1=[2 0 -2 0] x2=[1 -1 1 2] s=[1 1 -1 -1] En este caso las salidas toman valores bipolares de 1 o –1, por lo tanto se utilizará hardlims. Según la dimensiones de los patrones de entrenamiento la red debe contener dos entradas y una salida. Perceptron que resolverá el problema de clasificación de patrones descrito. Sistemas Inteligentes y Redes Neuronales - Prof. Ing. Jose C. Benitez P. 35
  36. 36. Proceso de entrenamiento Para decidir si una Perceptron puede aplicarse al problema, se debe comprobar si el problema es linealmente separable, esto puede determinarse gráficamente de la figura, en donde se observa que existe un gran número de líneas rectas que pueden separar los patrones de una categoría de los patrones de la otra. Sistemas Inteligentes y Redes Neuronales - Prof. Ing. Jose C. Benitez P. 36
  37. 37. Proceso de entrenamiento El siguiente paso es asumir arbitrariamente los valores para los pesos y ganancias iniciales de entrada a la red; el proceso terminará cuando se hayan obtenido los pesos y ganancias finales que permitan a la red clasificar correctamente todos los patrones presentados. Los valores iniciales asignados aleatoriamente a los parámetros de la red son: W=[-0.7 0.2] Sistemas Inteligentes y Redes Neuronales - Prof. Ing. Jose C. Benitez P. 37
  38. 38. Proceso de entrenamientoIteración 0 La red clasificará los PE según la característica de decisión mostrada en la figura, la cual depende de los valores de los pesos y ganancias iniciales. Interceptos con los ejes: La característica de decisión es ortogonal al vector de pesos W. La red clasifica incorrectamente los patrones; en esta iteración. Sistemas Inteligentes y Redes Neuronales - Prof. Ing. Jose C. Benitez P. 38
  39. 39. Proceso de entrenamientoIteración 1 De la iteración 0 p2 estaba mal clasificado, la actualización de pesos permite que este patrón sea clasificado correctamente Sistemas Inteligentes y Redes Neuronales - Prof. Ing. Jose C. Benitez P. 39
  40. 40. Proceso de entrenamiento La iteración 1 lleva a la característica de decisión de la figura. Interceptos con los ejes se muestra en la figura. Como se observa el patrón de entrenamiento p1 ha sido clasificado correctamente, y casualmente los patrones p2 y p3 fueron correctamente ubicados, pues aun no han sido presentados a la red. Sistemas Inteligentes y Redes Neuronales - Prof. Ing. Jose C. Benitez P. 40
  41. 41. Proceso de entrenamientoIteración 2 Se presenta p2 a la red, y es clasificado correctamente, como se observo gráficamente Este patrón ha sido clasificado correctamente y por lo tanto no hay actualización del set de entrenamiento Sistemas Inteligentes y Redes Neuronales - Prof. Ing. Jose C. Benitez P. 41
  42. 42. Proceso de entrenamientoIteración 3 Se presenta p3 a la red y es clasificado correctamente, como se observó gráficamente Como se esperaba, no hubo error en la clasificación de este patrón, y esto lleva a que no haya actualización de los pesos de la red Sistemas Inteligentes y Redes Neuronales - Prof. Ing. Jose C. Benitez P. 42
  43. 43. Proceso de entrenamientoIteración 4 Se presenta a la red p4 La red ha clasificado incorrectamente este patrón y por lo tanto deben modificarse pesos y ganancias Sistemas Inteligentes y Redes Neuronales - Prof. Ing. Jose C. Benitez P. 43
  44. 44. Proceso de entrenamiento En esta iteración la red se comportara de acuerdo a la característica de decisión de la figura. Interceptos con los ejes: Se observa que la red ha clasificado correctamente los patrones de entrenamiento, después de entrenada la red con los pesos y ganancias finales, cualquier otro valor de entrada será clasificado según la característica de decisión mostrada. Sistemas Inteligentes y Redes Neuronales - Prof. Ing. Jose C. Benitez P. 44
  45. 45. Proceso de entrenamiento En este caso los patrones de entrada se encuentran en dos dimensiones y por lo tanto es fácil determinar gráficamente cuando han sido clasificados correctamente. En el caso que los PE se encuentren en tres dimensiones esta visualización se dificulta y en el caso de que los patrones sean de orden superior la visualización resulta imposible; para estos casos se debe comprobar matemáticamente que el error correspondiente a cada patrón de entrenamiento para los pesos finales es nulo. Sistemas Inteligentes y Redes Neuronales - Prof. Ing. Jose C. Benitez P. 45
  46. 46. Limitaciones El mayor inconveniente del Perceptron, a pesar del éxito que ha tenido en muchas aplicaciones de clasificación de patrones es la imposibilidad de adaptar los pesos de todas las capas. En los años en los que se realizó el Perceptron, los investigadores no fueron capaces de diseñar un algoritmo que propagara las correcciones de los pesos a través de redes multicapa. La principal limitación funcional del Perceptron es que una unidad de salida sólo puede clasificar patrones linealmente separables. Sistemas Inteligentes y Redes Neuronales - Prof. Ing. Jose C. Benitez P. 46
  47. 47. Limitaciones La Figura ilustra el concepto general de Separabilidad Lineal, es decir, las clases de patrones que pueden separarse en dos clases mediante una línea. Este concepto se puede extender a tres o más dimensiones simplemente separando dos clases mediante planos e hiperplanos. Sistemas Inteligentes y Redes Neuronales - Prof. Ing. Jose C. Benitez P. 47
  48. 48. Limitaciones Minsky y Papert centraron las críticas al Perceptron en su publicación Perceptrons (1969). El libro incluía opiniones negativas sobre la posibilidad de extender el Perceptron en una herramienta útil en la computación neuronal; por ejemplo para pequeños problemas de clasificación de patrones como el OR exclusivo, el Perceptron es incapaz de resolverlo con éxito. Afortunadamente para la computación neuronal surgieron nuevas reglas de aprendizaje para redes multicapa y nuevas arquitecturas, entre ellas la más popular Backpropagation, que resolvieron entre otros los problemas de clasificación de patrones no separables linealmente. Sistemas Inteligentes y Redes Neuronales - Prof. Ing. Jose C. Benitez P. 48
  49. 49. RNA de una capa y multicapa La capacidad de cálculo y potencia de la computación neuronal proviene de las múltiples conexiones de las neuronas artificiales que constituyen las ANN. La ANN más simple es un grupo de neuronas ordenadas en una capa como se muestra en la Figura. Los nodos circulares sólo son distribuidores de lasentradas y no se consideranconstituyentes de una capa. Sistemas Inteligentes y Redes Neuronales - Prof. Ing. Jose C. Benitez P. 49
  50. 50. RNA de una capa y multicapa En la práctica existen conexiones eliminadas e incluso conexiones entre las salidas y entradas de las neuronas de una capa. No obstante la figura muestra una conectividad total por razones de generalización. Normalmente las redes más complejas y más grandes ofrecen mejores prestaciones en el cálculo computacional que las redes simples. Las configuraciones de las redes construidas presentan aspectos muy diferentes pero tienen un aspecto común, el ordenamiento de las neuronas en capas o niveles imitando la estructura de capas que presenta el cerebro en algunas partes. Sistemas Inteligentes y Redes Neuronales - Prof. Ing. Jose C. Benitez P. 50
  51. 51. RNA de una capa y multicapa Las redes multicapa se forman con un grupo de capas simples en cascada. La salida de una capa es la entrada de la siguiente capa. Se ha demostrado que las redes multicapa presentan cualidades y aspectos por encima de las redes de una capa simple. La Figura muestra una red de dos capas. Sistemas Inteligentes y Redes Neuronales - Prof. Ing. Jose C. Benitez P. 51
  52. 52. RNA de una capa y multicapa Conviene destacar que la mejora de las redes multicapa estriba en la función de activación no lineal entre capas, pudiéndose llegar al caso de diseñar una red de una capa simple equivalente a una red multicapa si no se utiliza la función no lineal de activación entre capas. Sistemas Inteligentes y Redes Neuronales - Prof. Ing. Jose C. Benitez P. 52
  53. 53. Sesión 4 y 5. Trabajo de Investigación 41. Ejercicio de entrenamiento desde la Iteracion 0 de la red mostrada en la pizarra.2. ¿Qué es una Red Lineal?3. ¿Qué es la Red Adaline?. Describirla detalladamente.4. ¿Qué es el Perceptron Multicapa?. Describirla detalladamente5. ¿Cuáles con las características del Perceptron Multicapa?Presentación:• Resumen escrito y en USB.• Adjuntar fuentes (03 PDF, 03 PPT, 01 video.) en USB.• Las fuentes deben conservar el nombre original y agregar _tema. Sistemas Inteligentes y Redes Neuronales - Prof. Ing. Jose C. Benitez P. 53
  54. 54. Presentación Todas las fuentes y tareas deben presentarse en formato digital (USB), dentro de una carpeta que lleve las iniciales del curso, sus Apellidos, guion bajo y luego el numero de la tarea. Ejemplo: SIRN_BenitezPalacios_T4 La fuente debe conservar el nombre original y agregar _tema. Las Tareas que no cumplan las indicaciones no serán recepcionados por el profesor. Sistemas Inteligentes y Redes Neuronales - Prof. Ing. Jose C. Benitez P. 54
  55. 55. Sesión 4 y 5. El Perceptron Blog del curso: utpsirn.blogspot.com Sistemas Inteligentes y Redes Neuronales - Prof. Ing. Jose C. Benitez P. 55

×