INTRODUCCIÓN A LAS REDES NEURONALES ARTIFICIALES

6,109 views

Published on

INTRODUCCIÓN A LAS REDES NEURONALES ARTIFICIALES

Published in: Education, Technology
0 Comments
1 Like
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total views
6,109
On SlideShare
0
From Embeds
0
Number of Embeds
34
Actions
Shares
0
Downloads
348
Comments
0
Likes
1
Embeds 0
No embeds

No notes for slide

INTRODUCCIÓN A LAS REDES NEURONALES ARTIFICIALES

  1. 1. UNIDAD 5 INTRODUCCIÓN A LAS REDES NEURONALES ARTIFICIALES
  2. 2. 5.2 Notación y modelo de una neurona <ul><li>La representación de una neurona artificial, así como las funciones de transferencia que se visualizarán en este objetivo son tomadas del modelo de simulación de RNA presentado en el programa de MATLAB. </li></ul>
  3. 3. 5 .2.1 Neurona de una entrada y Funciones de transferencia <ul><li>Entrada neurona con umbral </li></ul><ul><ul><ul><ul><li>w n a </li></ul></ul></ul></ul><ul><li>p </li></ul><ul><li>b = 1 </li></ul>
  4. 4. Funciones de transferencia Esta función se utiliza en el Perceptron para crear neuronas las cuales toman decisiones de clasificación. Cuando este tipo de función ( hardlim ) toma en cuenta un cierto umbral su salida se incrementará de 0 a 1 cuando p exceda un valor dado por -b/w .
  5. 5. Funciones de transferencia <ul><li>Este tipo de funciones se usan como aproximadores lineales ( Neural Linear ). </li></ul>
  6. 6. Funciones de transferencia <ul><li>Comúnmente esta función se utiliza en las redes Perceptrón multicapa que utilizan el algoritmo de aprendizaje de retropropagación. El umbral puede ser constante o puede cambiar como en el caso de la ponderación con una regla apropiada de aprendizaje. El umbral se puede ajustar durante el entrenamiento. </li></ul>
  7. 7. 5 .2.2 Neurona de Múltiples Entradas
  8. 8. Notación usada en diagramas de múltiples entradas <ul><li>En la figura se presenta un diagrama de una neurona con R entradas </li></ul>
  9. 9. 5 .3 ARQUITECTURAS DE RNA <ul><li>5.3.1 Red neuronal con una Capa de neuronas </li></ul>Dos o más neuronas pueden ser combinadas en una capa. Una red puede contener una o más capas. A continuación se presenta una red con una capa que contiene R entradas y S neuronas:
  10. 10. <ul><li>Cada elemento del vector de entrada p esta conectado a cada neurona a través de la matriz de ponderaciones W. (R  S). </li></ul>
  11. 11. <ul><li>Los elementos del vector de entrada entran a la red a través de la matriz de ponderaciones W como se expresa a continuación: </li></ul>
  12. 12. <ul><li>p es un vector de entrada de longitud R , W es una matriz SxR y, a y b son vectores de longitud S . </li></ul>Una capa neuronal incluye la matriz de ponderaciones, las operaciones de multiplicación, el vector de umbral b, el sumador, y la función de transferencia.
  13. 13. Arquitectura De Las Redes Neuronales <ul><li>Los parámetros fundamentales de la red son: </li></ul><ul><ul><li>Número de capas </li></ul></ul><ul><ul><li>Número de neuronas por capa </li></ul></ul><ul><ul><li>Grado de conectividad </li></ul></ul><ul><ul><li>Tipo de conexiones entre neuronas </li></ul></ul>
  14. 14. 5.3.2 Red neuronal de Múltiples Capas
  15. 15. Red neuronal con varias capa de neuronas (forma condensada)
  16. 16. Redes Monocapa: l 1 l n l 2 Las redes monocapa se utilizan típicamente en en tareas relacionadas en lo que se conoce como autoasociación: por ejemplo, para regenerar informaciones de entrada que se presentan a la red incompletas o distorsionadas . P/ejemplo Hopfield, BSB, Learnig Matrix
  17. 17. Redes Multicapa: Redes con conexiones hacia delante (feedforward) Este tipo de redes son especialmente útiles en aplicaciones de reconocimiento o clasificación de patrones. En este tipo de redes, todas las señales neuronales se propagan hacia adelante a través de las capas de la red. No existen conexiones hacia atrás y normal- mente tampoco autorrecurrentes, ni laterales.
  18. 18. Redes con conexiones hacia adelante y hacia atrás (feedforward / feedback): En este tipo de redes circula información tanto hacia adelante como hacia atrás durante el funcionamiento de la red. Para que esto sea posible, existen conexiones feedforward y conexiones feedback entre las neuronas. P/ ejemplo: ART, BAM, CABAM.
  19. 19. Redes Con Conexiones Hacia Adelante Y Hacia Atrás (feedforward / Feedback) También existen algunas que tienen conexiones laterales entre neuronas de la misma capa. Estas conexiones se diseñan como excitadores (con peso positivo) o inhibidoras (con peso negativo), estableciendose una competencia entre las neuronas correspondientes.
  20. 20. Topologías de redes neuronales.
  21. 21. Redes de una sola capa Feedforward
  22. 22. Redes De Una Sola Capa Feedforward <ul><li>Las unidades de entrada son fijadas y entonces la activación es propagada a través de la red hasta que los valores de las unidades de salida son determinadas. </li></ul><ul><li>La red actúa como un vector de un a función valuada tomando un vector en la entrada y regresando otro vector en la salida. </li></ul><ul><li>Por ejemplo, las entradas pudieran representar las características de un miembro de un grupo y la salida pudiera ser la predicción de el grupo al cual pertenece dicha persona. </li></ul>
  23. 23. Redes Multicapa Feedforward
  24. 24. Redes Multicapa Feedforward <ul><li>Algunos problemas no se pueden solucionar con una red de una capa, entonces una capa extra debe agregarse. </li></ul><ul><li>La capa oculta permite a la red crear su propia representación de las entradas. </li></ul><ul><li>Dadas suficientes unidades ocultas de la clase correcta es posible aproximar arbitraria mente casi cualquiera entrada . (Universal Approximation Theorem). </li></ul>
  25. 25. Redes Competitivas
  26. 26. Redes Competitivas <ul><li>Las redes competitivas son similares a las feedforward simples, excepto que las competitivas tienen conexiones usualmente negativas entre los nodos de salida. </li></ul><ul><li>Debido a las conexiones anteriores laterales en los nodos de salida, estas tienden a competir para representar el patrón de entrada actual. </li></ul><ul><li>Las redes de esta clase ha sido usada para explicar la formación de mapas topológicos que ocurren en muchos sistemas sensoriales humanos incluidos la visión, audición, tacto y gusto y olfato. </li></ul>
  27. 27. Red completamente Recurrente
  28. 28. Red completamente Recurrente <ul><li>Un conjunto de patrones es presentado simultáneamente en las unidades una a la vez. Con forme cada patrón es presentado los pesos son modificados. </li></ul><ul><li>Una versión degradada de uno de los patrones se presenta en la red y esta intentar reconstruir el patrón. </li></ul>
  29. 29. Otra Red Recurrente
  30. 30. La Otra Red Recurrente <ul><li>Debido a que el procesamiento en redes recurrentes depende del estado de la red en el último paso que tuvo lugar para responder a la entrada actual en diferentes formas, se dependerá de las entradas antes presentadas. </li></ul><ul><li>Por ejemplo Simple Recurrent Network (Elman) and the Jordan Network </li></ul>
  31. 31. Red Recurrente Simple
  32. 32. 5 .3.3 Regla de aprendizaje <ul><li>“ L a modificación del comportamiento inducido por la interacción con el entorno y como resultado de experiencias conduce al establecimiento de nuevos modelos de respuesta a estímulos externos ”. </li></ul><ul><li>(D. Hebb) . </li></ul>
  33. 33. <ul><li>En las redes neuronales artificiales el conocimiento se encuentra representado en los pesos ( w ) de las conexiones entre neuronas. </li></ul><ul><li>Por lo que puede decirse que una red neuronal aprende al modificar los valores de los pesos de la red . </li></ul>
  34. 34. <ul><li>Una red depende del número de neuronas de las que disponga y como estén conectadas entre sí. </li></ul><ul><li>Así mismo, cada modelo de red dispone de su o sus propias técnicas de aprendizaje. </li></ul>
  35. 35. 5.4 MECANISMOS DE APRENDIZAJE (ajuste de pesos de interconexión) <ul><li>En los modelos de RNA, la creación de una nueva conexión implica que el peso de la misma pasa a tener un valor distinto de cero. </li></ul><ul><li>De la misma forma, una conexión se destruye cuando su peso pasa a ser cero. </li></ul>
  36. 36. ¿Qué son las reglas de aprendizaje en RNA? <ul><li>La regla de aprendizaje de una red son criterios que se siguen para cambiar el valor asignado a las conexiones (o sea cómo se modifican los valores de los pesos). Existen dos tipos de reglas de aprendizaje: </li></ul><ul><ul><li>1) El aprendizaje supervisado, y </li></ul></ul><ul><ul><li>2) El aprendizaje no supervisado. </li></ul></ul>
  37. 37. Clasificación de RNA según el aprendizaje que observan <ul><li>Redes neuronales que utilizan OFF LINE .- (desconexión de la red) Cuando el aprendizaje es OFF LINE se distingue entre una fase de aprendizaje y una fase de operación , existiendo un conjunto de datos de entrenamiento y un conjunto de datos de prueba que serán utilizados en la correspondiente fase. </li></ul>
  38. 38. ... <ul><ul><li>En las redes con aprendizaje OFF LINE, los PESOS de las conexiones permanecen fijos después de que termina la etapa de entrenamiento de la red. </li></ul></ul><ul><li>Debido a que las redes de tipo OFF LINE presentan un carácter estático, estos sistemas no presentan problemas de estabilidad en su funcionamiento. </li></ul>
  39. 39. ... <ul><li>Redes con aprendizaje ON LINE .- en estas redes no se distingue entre la fase de entrenamiento y de operación, de tal forma que los PESOS varían dinámicamente siempre que se presente una nueva información al sistema . </li></ul><ul><li>En las redes ON LINE debido al carácter dinámico de la misma, es importante el estudio de la estabilidad de la red. </li></ul>
  40. 40. 5.4.1 Redes con aprendizaje supervisado <ul><li>Tipos de aprendizajes supervisados: </li></ul><ul><ul><li>Aprendizaje por corrección de error. </li></ul></ul><ul><ul><li>Aprendizaje por refuerzo. </li></ul></ul><ul><ul><li>Aprendizaje estocástico. </li></ul></ul>
  41. 41. El Aprendizaje Por Corrección De Error <ul><li>Este aprendizaje consiste en ajustar los pesos de las conexiones de la red en función de la diferencia entre los valores deseados y los obtenidos en la salida de la red. </li></ul><ul><ul><li>Ejemplos: La regla de aprendizaje del Perceptron; regla delta o regla del mínimo error cuadrado o regla de Widrow-Hoff, ADALINE y MADALINE. </li></ul></ul>
  42. 42. Aprendizaje Por Reforzamiento
  43. 43. Aprendizaje por Reforzamiento Se basa en la idea de no disponer de un ejemplo completo del comportamiento deseado, es decir, la función del supervisor se reduce a indicar mediante una señal de refuerzo si la salida de la red se ajusta a la deseada (éxito=1, fracaso=-1) y en función de ello se ajustan los pesos basándose en un mecanismo de probabilidades.
  44. 44. Algoritmos de Aprendizaje por Refuerzo <ul><li>Algoritmo Lineal con Recompensa y penalización (Linear Reward - Penalty), Narendra /Thathacher. </li></ul><ul><li>Algoritmo Asociativo con recompensa y penalización (Barto / Anandan). </li></ul><ul><li>Adaptive Heuristic Critic (Barto, Sutton, Anderson). </li></ul>
  45. 45. El aprendizaje estocástico <ul><li>Consiste básicamente en realizar cambios aleatorios en los valores de los pesos de las conexiones de la red y evaluar su efecto a partir del objetivo deseado y de las distribuciones de probabilidad </li></ul><ul><ul><li>Ejemplo: la red Maquina de Cauchy </li></ul></ul>
  46. 46. Ejemplos de algoritmos de Aprendizaje Estocástico <ul><li>Maquina de Boltzmann (Hinton, Ackley, Sejnowky). </li></ul><ul><li>Temple Simulado (Simulated Anneling). </li></ul><ul><li>Maquina de Cauchy (Szu) </li></ul>
  47. 47. 5.4.2 Redes con aprendizaje no supervisado <ul><li>Tipos de algoritmos de aprendizaje no supervisado: </li></ul><ul><ul><li>Aprendizaje Hebbiano. </li></ul></ul><ul><ul><li>Aprendizaje competitivo y cooperativo. </li></ul></ul>
  48. 48. El aprendizaje Hebbiano <ul><li>Se basa en el siguiente postulado: </li></ul><ul><li>&quot;Cuando un axón de una celda A está suficientemente cerca como para conseguir excitar una celda B y repetida o persistentemente toma parte en su activación, algún proceso de crecimiento o cambio metabólico tiene lugar en una o ambas celdas, de tal forma que la eficiencia de A , cuando la celda a activar es B , aumenta”. </li></ul>
  49. 49. ... <ul><li>Ejemplos: </li></ul><ul><li>Red de Hopfield; </li></ul><ul><li>Red Additive Grossberg; </li></ul><ul><li>Red Shunting Grossberg; </li></ul><ul><li>Red feedforward/feedback de 2 capas = Bidirectional Associative memory, BAM </li></ul>
  50. 50. Aprendizaje competitivo y cooperativo <ul><li>En este aprendizaje las neuronas compiten ( y cooperan ) unas con otras con el fin de llevar a cabo una tarea dada. </li></ul><ul><li>El objetivo de este aprendizaje es categorizar (agrupar) los datos que se introducen en la red. </li></ul>
  51. 51. ... <ul><li>Ejemplo: </li></ul><ul><li>Cuantización del Vector de Aprendizaje o LVQ, </li></ul><ul><li>Aplicado a redes feedforward de dos capas. </li></ul>
  52. 52. ... <ul><li>Dentro del aprendizaje competitivo existe la teoría de la resonancia adaptativa, utilizada en la red feedforward/feedback de dos capas conocida como ART (1 trabaja con información binaria y 2 trabaja con información analógica). </li></ul>
  53. 53. Ejemplos De Redes Con Aprendizaje Competitivo Y Cooperativo . <ul><li>LVQ (Learning vector quantization) Kohonen. </li></ul><ul><li>Cognitron y Neocognitron (Fukushima). </li></ul><ul><li>SOM (Kohonen). </li></ul><ul><li>ART (Carpenter y Grossberg). </li></ul>
  54. 54. Ejemplos de Redes con Aprendizaje Competitivo y Cooperativo LVQ ART
  55. 55. 5.5 ESTRUCTURA DE UNA RED NEURONAL ARTIFICIAL <ul><li>Componentes más importantes de una red neuronal: </li></ul><ul><ul><li>Unidades de procesamiento. </li></ul></ul><ul><ul><li>Estado de activación de cada neurona. </li></ul></ul><ul><ul><li>Patrón de conectividad entre neuronas. </li></ul></ul><ul><ul><li>Propagación de información. </li></ul></ul><ul><ul><li>Función de transferencia. </li></ul></ul><ul><ul><li>Regla de aprendizaje. </li></ul></ul>
  56. 56. Niveles o capas de neuronas <ul><li>Una red estará totalmente conectada si todas las salidas desde un nivel llegan a todos y cada uno de los nodos del nivel siguiente. </li></ul>
  57. 57. Forma de conexión entre neuronas <ul><li>La señal de salida de un nodo puede ser una entrada de otro elemento de proceso, o incluso ser una entrada de sí mismo (conexión autorrecurrente). </li></ul><ul><li>Red de propagación hacia delante. </li></ul><ul><li>Red de propagación hacia atrás. </li></ul>
  58. 58. Red neuronal de tipo feedforward .
  59. 59. Red neuronal de tipo feedforward .
  60. 60. Conexiones con propagación hacia atrás en RNA
  61. 61. Red neuronal de tipo recurrente
  62. 62. ... <ul><li>La retroalimentación de la salida a la entrada le permite a la red recurrente exhibir un comportamiento temporal. </li></ul><ul><li>Por lo anterior, la salida de la red recurrente puede presentar un comportamiento oscilatorio o converger. </li></ul>
  63. 63. ... <ul><li>Comúnmente, la red recurrente sé alimenta con un vector de entrada inicial. Y una vez inicializada, en cada ciclo, las salidas de la red son usadas como entradas. </li></ul><ul><li>Ejemplos de este tipo de red son: las redes Elman y las redes de Hopfield. </li></ul>

×