• Like
Teoría de Resonancia Adaptativa ART
Upcoming SlideShare
Loading in...5
×

Thanks for flagging this SlideShare!

Oops! An error has occurred.

Teoría de Resonancia Adaptativa ART

  • 3,906 views
Published

 

Published in Education , Technology
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Be the first to comment
    Be the first to like this
No Downloads

Views

Total Views
3,906
On SlideShare
0
From Embeds
0
Number of Embeds
0

Actions

Shares
Downloads
193
Comments
0
Likes
0

Embeds 0

No embeds

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
    No notes for slide

Transcript

  • 1. Teoría de Resonancia Adaptativa *** ART ***
  • 2. Introducción
    • Fue propuesta por Grossman en un articulo en 1976 sobre aprendizaje cognoscitivo de patrones.
    • Dilema en Redes neuronales: Estabilidad-Plasticidad.
    • Las redes feedforward tienen el problema que ante nuevos datos tienden a eliminar los anteriores “perdida de memoria”
  • 3.
    • Plasticidad del aprendizaje : Cómo una red podría aprender nuevos patrones.
    • Estabilidad del aprendizaje : Cómo una red podría retener los patrones previamente aprendidos.
    Esta teoría se aplica a sistemas competitivos (redes de aprendizaje competitivo). DILEMAS DE S. GROSSBERG Introducción
  • 4. Términos
    • Plasticidad: La habilidad para cambiar o deformar.
    • Estabilidad: La habilidad para recordar lo aprendido anteriormente.
    • Resonancia: aplicación repetida de una señal (vector, patrón de entrada). Esto refleja la comunicación continua de dos neuronas.
    • Adaptación : cambio formulado como resultado de la resonancia
  • 5. Antecedentes
    • ART1 Desarrollada por G. Carpenter y S. Grossberg en 1986. Maneja información binaria.
    • ART2 Maneja información de entrada en valores analógicos (escala de grises) 1987.
    • ART3 maneja entradas analógicas, es mas compleja, fue desarrollada en 1989, usa transmisores químicos.
  • 6. Stephen Grossberg He is one of the principal founders of the fields of computational neuroscience, connectionist cognitive science, and artificial neural network research. He is Wang Professor of Cognitive and Neural Systems and Professor of Mathematics, Psychology, and Biomedical Engineering at Boston University. He is Co-Editor-in-Chief of the journal Neural Networks , which is the official journal of the three major neural modeling societies in the world.
  • 7. Gail A. Carpenter
      • Professor of Cognitive and Neural Systems and Mathematics Director of Graduate Studies, Department of Cognitive and Neural Systems PhD, Mathematics, University of Wisconsin, Madison Learning and memory, synaptic processes, pattern recognition, remote sensing, medical database analysis, machine learning, differential equations .
    Department of Cognitive and Neural Systems Boston University 677 Beacon Street, Boston, Massachusetts 02215 USA E-mail: [email_address]
  • 8. Características de ART
  • 9.
    • La teoría de la resonancia adaptativa se basa en la idea de hacer resonar la información de entrada con los representantes o prototipos de las categorías que reconoce la red.
  • 10.
    • Si entra en resonancia con alguno, y es suficientemente similar
    • La red considera que pertenece a dicha categoría y únicamente realiza una pequeña adaptación del prototipo almacenado
    • Incorpora algunas características del dato presentado en la entrada.
  • 11.
    • Cuando no resuena con ninguno, esto es, cuando no se parece a ningún representante de alguna categoría (recordados por la red hasta ese momento),
    • Crea una nueva categoría con el dato de entrada como prototipo.
  • 12. Características de la ART
    • Aprendizaje No supervisado y ON LINE.
    • Aprendizaje Competitivo (the winner-take-all)
    • Soluciona el dilema de la estabilidad y la plasticidad.
    • Estas redes usan un mecanismo especial de realimentación entre las neuronas de la capa de salida (las competitivas) y las de la capa de entrada.
  • 13. Propiedades
  • 14. Propiedades de la ART1
    • Aprende constantemente información significativa.
    • Un conocimiento nuevo no destruye la información anterior.
    • Recuerda rápidamente un patrón de entrada si este ya se ha aprendido.
    • Funciona como una memoria asociativa autónoma.
  • 15. Propiedades de la ART1 (2)
    • Modificando el parámetro de vigilancia (  ) la red puede aprender mas detalles que sean necesarios.
    • Reconoce sus categorías asociadas
    • Teóricamente tener una capacidad de almacenamiento ilimitada.
    • Trabaja únicamente con patrones binarios
    • Posee habilidad para crear nuevas categorías
  • 16. Arquitectura
  • 17. Arquitectura de ART1
    • Compuesta de 2 capas
      • Una capa de entrada con N neuronas
      • Una capa de salida con M neuronas
    • Conexiones feedforward (Wij) y feedback (Vji) entre ambas capas.
    • Conexiones laterales en la capa de salida (W= -  ). -  < (1 /M)
    • La capa de salida con conexiones autorrecurrentes (W=1).
  • 18.  
  • 19. La ART cuenta con:
    • Conexiones hacia delante (feedforward)
    • Conexiones hacia atrás (feedback)
    • Los pesos se inicializan con:
  • 20. Red ART1
  • 21. Arquitectura de la Red ART
  • 22. Funcionalidad de la Red ART
  • 23. Funcionamiento de ART1
  • 24. Subsistema de atención
    • Sirve para el reconocimiento y clasificación del patrón de entrada
    • Se localiza en la memoria a largo plazo
        • Memoria a largo plazo (LTM) Wij, Vji
        • Memoria acorto plazo (STM) en las neuronas de entrada y salida de la red neuronal.
  • 25.
    • Detecta si la información pertenece a una categoría conocida por la red
    • Calcula el % de semejanza entre la entrada y el prototipo almacenado, en base al parámetro de vigilancia 
    • Resetea la neurona ganadora y prueba con otra, sino crea una nueva clase.
    • Actúa sobre el sistema de atención creando nuevas clases.
    Subsistema de orientación
  • 26.  
  • 27. Funcionamiento
  • 28. FUNCIONAMIENTO
    • Se presenta un patrón de entrada en forma de vector
    • Cada una de las neuronas de entrada recibe un componente del vector y pasa esta información a todas las capas de salida
    • Las neuronas de la capa de salida compiten hasta que exista una vencedora con peso de 1 y las demás con peso de 0
  • 29.
    • La neurona vencedora envía su salida a la capa de entrada a través de las conexiones feedback, así el valor que llegará a cada una de las neuronas de la capa de entrada será el valor del peso de la conexión entre cada una de ellas y la vencedora.
  • 30.
    • En la capa de entrada se comparan el vector de entrada y el vector formado por los pesos de las conexiones feedback. Este ultimo es el prototipo de la categoría representada por la neurona que resulto vencedora. La comparación se hace mediante la siguiente relación de semejanza:
    • Relación de semejanza =
  • 31.
    • La relación de semejanza se compara con el parámetro de vigilancia (  ) que debe de ser definido por el usuario y que podrá tener valor entre 0 y 1
    • Las redes ART1 pueden almacenar tantas categorías como neuronas tenga en su capa de salida M
  • 32. Aplicaciones
  • 33.
    • ART, Redes para un aprendizaje rápido, estable y con predicción se ha aplicado a una gran variedad de areas.
    • Las aplicaciones incluyen: diseño y manufacturacion de aeroplanos, reconocimiento automatico de objetivos, prediccion financiera, monitoreo de maquinas herramientas, diseño de circuitos digitales,analisis químicos, y visión de robots.
  • 34. En General se aplican en
    • Reconocimiento de imágenes.
    • Reconocimiento de señales analógicas.
    • Reconocimiento de olores (Prototipo desarrollado por Paul E. Keller, Lars J.Kangas, Lars H. Liden).
    • Detección de sustancias toxicas.
    • Diagnostico de enfermedades.
    • Inspección de calidad en alimentos.
  • 35. Reconocimiento de caracteres (  =0.9)
  • 36. Reconocimiento de Caracteres (  =0.8)
  • 37. Algoritmo de Aprendizaje de ART1
  • 38. Aprendizaje Aprendizaje lento : Ocurre cuando una información de entrada es asociada a una de las categorías existentes. Aprendizaje rápido : Se da cuando se establece una nueva categoría .
  • 39. Algoritmo ART1 (Rápido aprendizaje)
    • Inicialización
    • Se inicializa la matriz Vij ajustado todos con 1.
    • Cada elemento inicial de la matriz Wij se ajusta con:
  • 40.
    • 1. Presentamos un patrón de entrada a la red. Puesto que la capa 2 no esta activa al inicio (por ejemplo, cada )
    • la capa de salida 1 es:
    • 2. Calculamos la entrada a la capa 2
    • Y se activa la neurona en la capa 2 con la entrada más grande:
  • 41.
      • En algunos casos la neurona con el índice mas bajo se declara como neurona ganadora.
    • 3. Calculamos el valor esperado de la capa 2 a la capa 1 (se asume que la neurona j de la capa 2 esta activada)
  • 42.
    • 4. Ahora que la capa 2 es activa, ajustamos la salida de la capa 1 para incluir el valor esperado de la capa 2 a la 1:
    • 5. El subsistema de orientación determina el grado de comparación entre el valor esperado y el patrón de entrada.
  • 43.
    • 6. Si entonces ajustamos
    • inhibiendo ésta, hasta que ocurra una adecuada comparación (resonancia), y regresar al paso 1.
    • Si , continuamos con el paso 7.
    • 7. La resonancia ha ocurrido, por lo tanto actualizamos la fila i de Wij es;
  • 44.
    • 8. Ahora se actualiza la columna j de Vij
    • 9. Removemos el patrón de entrada actual, restablecemos todas las neuronas inhibidas en la capa 2, regresamos al paso 1 con un nuevo patrón de entrada.
  • 45. Arquitectura Básica de ART
  • 46. Leyes de Aprendizaje : L1-L2 y L2-L1 La red ART1 tiene dos leyes de aprendizaje separadas: una para las conexiones L1-L2 (instars) y otra para las conexiones L2-L1 (outstars). Ambos conjuntos de conexiones son actualizadas al mismo tiempo - cuando la entrada y el valor esperado tienen un adecuado grado de comparación.
  • 47.
    • El proceso de comparación y la adaptación subsecuente es referido como resonancia.
  • 48. Ejemplo 1 ART1
    • Entrene una red ART1 con los siguientes patrones de entrada:
    • Use los parámetros:
  • 49.
    • Los pesos iniciales son:
  • 50. Solución
    • Los pesos finales son:
  • 51. Limitaciones de la ART
    • Dependencia del tipo y orden de los patrones aprendidos.
    • Influencia del parámetro de vigilancia (  ) en el numero de categorías creadas.
    • Una pequeña variación en (  ) genera un gran numero de categorías .
  • 52. Limitaciones de la ART1
    • Es muy sensible al ruido o la distorsión
    • Ineficiencia de almacenamiento
    • 2*N para representar cada categoría de N bits.
    • Trabaja solo con entradas binarias.
  • 53. Variantes de ART
  • 54. Grandes ramas de redes ART :
    • Las ART1 que trabajan con vectores de informacion binaria.
    • Las ART2 , que procesan informacion analógica
    • ART-2A Es una version mas rápida del algoritmo de redes ART2
      • .  
    • ART-3
      • Extensión de red ART que incorpora transmisores químicos para controlar el proceso de busqueda de categorias dentro de la red.
  • 55. Tipos de redes ART
    • ARTMAP  
      • Es una version supervisada de de ART que puede aprender mapas de patrones binarios.  
    • Fuzzy ART
      • Sintesis de lógica difusa y redes ART.
    • Fuzzy ARTMAP  
      • Es una red Fuzzy ART supervisada.
  • 56. Adaptaciones de red ART:
    • ARTMAP-IC  
      • Sistema ARTMAP con la adicion de predicción distribuida y conteo de instancia de categoria.  
    • Gaussian ARTMAP  
      • Una red ART con aprendizaje supervisado que emplea campos receptivos (Gauss).  
    • Modelos ART jerarquicos (modulares):
      • Estas redes modulare basadas en ART aprenden categorias jerarquicas de secuencias arbirarias de patrones de entrada:
  • 57. Adaptaciones de redes ART:
    • arboART  
      • En esa red los prototipos de cada capa se emplean como entradas de la capa siguiente.
    • Cascade Fuzzy ART
      • Como su nombre lo indica, es una serie de redes FuzzyART. Se ha aplicado en el reconocimiento de objetos tridimensionales.
  • 58. Simulación de ART en Matlab / NNT
  • 59. Codificación Matlab/NNT 63
  • 60. Demo nnd16a1
  • 61. Simulación en Matlab / NNT
  • 62. Funciones de ART1*
    • initart para inicializar
    • simuart para simular
    • trainart para entrenar la red
    • Desarrolladas por los alumnos de 8o. Semestre de ESCOM
      • Israel Martínez Hernández
      • Adriana I. Hernández Abundis
  • 63.
    • Initart:
    • Regresa los pesos iniciales de la matriz Wij y Vji calculando los valores iniciales con las formulas.
  • 64. Sintaxis de initart
    • [W, V] = initart (P);
    • donde:
    • P es el vector de entradas
    • T es el vector objetivo
    • S1 es el numero de neuronas en la capa
    • oculta.
  • 65.
    • trainart
    • Esta función regresa matrices de pesos nuevos para una red ART de dos capas competitivas (W y V) y después de entrenar los pesos originales en los vectores de entrada P usando parámetros de entrenamiento tp.
    • Tp(1) actualización de display = 25
    • Tp(2) No. Max. de presentaciones = 100
    • Tp(3) Razón de aprendizaje = 25
    • Nota: NaN, se utiliza para los valores que tiene por omisión
  • 66. Sintaxis trainart
    • [W, V] = trainart(W,V,P,rho);
    • donde:
    • W es la matriz de pesos de la capa hacia delante competitiva
    • V es la matriz de pesos de la capa hacia atrás competitiva
    • P es el vector de entradas
    • rho es el parámetro de vigilancia (0-1)
  • 67.
    • simuart
    • La función anterior toma un matriz de vectores de entrada P, la matriz de vectores W y un vector de umbral b de una capa lineal y regresa la salidas de la capa.
  • 68. Sintaxis de simuart
    • a = simuart (W,V, P);
    • donde:
    • W es la matriz de pesos de la capa competitiva hacia delante.
    • V es la matriz de pesos de la capa competitiva hacia delante.
    • P es el vector de entradas.
  • 69. Código para el Ejemplo1
    • echo on; clc;
    • P=[1 0 1 ;
    • 1 0 1 ;
    • 0 1 1 ;
    • 0 1 0 ];
    • [W,V]=initart(P);
    • [W,V]=trainart(W,V,P,0.9);
    • a=simuart(W,V,P);
    • echo off
  • 70. Conclusiones
  • 71. CONCLUSIONES
    • El modelo ART es uno de los más poderosos debido a su capacidad de autoorganización, aprendizaje no supervisado y ONLINE.
    • También es una de las mas complejas, pues aparte de las capas normales que se pueden encontrar en cualquier red neuronal, podemos clasificar internamente la red en otras estructuras que no se presentan en otras redes. .
  • 72. CONCLUSIONES
    • Por sus características, el modelo ART es uno de los que más se acerca al funcionamiento del cerebro humano
  • 73. Bibliografía
    • G. A. Carpenter and S. Grossberg, “A massively parallel architecture for self-organizing neural pattern recognition machine”, Computer Vision, Graphics, and Image Processing, vol. 37, pp. 54-115, 1987.
  • 74.
    • G. A. Carpenter and S. Grossberg, “ART2: Self-Organization of stable category recognition codes for analog input patterns”, Applied Optics, vol. 26, no. 23, pp. 4919-4930, 1987.
    • G. A. Carpenter and S. Grossberg, “ART3: Hierarchical search using chemical transmitters in Self-Organizing pattern recognition architectures”, Neural Networks, vol. 3, no. 23, pp. 129-152, 1990.
    Bibliografía
  • 75. Dudas ???
  • 76. Hasta la próxima !!!