Counterpropagation
Robert Hecht-Nielsen <ul><li>Co-fundador y Cientifico en jefe, de HNC Software, y profesor adjunto en el departamento de I...
Antecedentes
<ul><li>Al utilizar una combinación del aprendizaje no supervisado con el supervisado, se puede reducir el tiempo total de...
<ul><li>La Counterpropagation se clasifica en: </li></ul><ul><li>Counterpropagation en un solo sentido (Forward only) </li...
Counterpropagation en un solo sentido   (Forward only)
Características
<ul><li>La red Counterpropagation es una red competitiva, diseñada para funcionar como una tabla de busqueda auto-programa...
<ul><li>Utiliza el modelo de Kohonen para acelerar el proceso de aprendizaje. </li></ul><ul><li>Se le conoce también como:...
<ul><li>Combina el aprendizaje no supervisado (Competitivo) y supervisado (Regla delta). </li></ul><ul><li>Tiene un aprend...
Arquitectura
<ul><li>Esta constituida por 3 capas: entrada, oculta y salida; las cuales están completamente conectadas </li></ul><ul><l...
Red de Kohonen “ Winner-Take-all”
Arquitectura de CPP
 
Algoritmo de aprendizaje
Entrenamiento <ul><li>Consiste de 2 fases, con una razón de aprendizaje separada variante en el tiempo. </li></ul><ul><li>...
<ul><li>Usa un aprendizaje competitivo simple, con una razón de aprendizaje que se reduce conforme se estabiliza la red. <...
<ul><li>Segunda Fase:  La tarea principal es ajustar los pesos de las conexiones de los nodos ocultos a los de salida; usa...
<ul><li>Con la cual todos los pesos salientes de un nodo ganador en la capa competitiva son modificados simultáneamente. <...
Una vez entrenada la Counterpropagation <ul><li>Se proporciona un vector de entrada. </li></ul><ul><li>La red encuentra el...
<ul><li>Este método es como una tabla de búsqueda. </li></ul><ul><li>La diferencia con una tabla de búsqueda es que los ve...
Aplicaciones
<ul><li>Procesamiento de imágenes </li></ul><ul><li>Clasificación de patrones </li></ul><ul><li>Reconocimiento de Voz </li...
Conclusiones
<ul><li>El modelo Counterpropagation permite acelerar el proceso de aprendizaje del orden de 10  a 100 veces respecto al a...
<ul><li>Solo se deberá utilizar cuando se trabaje con pocos patrones de entrenamiento; menor o igual al numero de neuronas...
Counterpropagation completa (Full Counterpropagation)
Características <ul><li>Tanto counterpropagation completa y en un solo sentido funcionan similarmente en  encontrar un nod...
<ul><li>Full counterpropagation se diseña para trabajar en ambas direcciones. </li></ul><ul><li>1.- Para predecir Ti dado ...
Funcionamiento <ul><li>La red consiste de un conjunto de entrenamiento con muchos patrones; la red se entrena en 2 fases: ...
<ul><li>Primera fase: ajusta los pesos W1 y W2, asociados con las conexiones conducidas hacia los nodos ocultos. </li></ul...
<ul><li>La segunda fase tiene el propósito principal de ajustar los pesos V1 y V2, asociado con las conexiones conducidas ...
Arquitectura Full CPP Patrón de Salida Predicho Patrón de Entrada Predicho Capa oculta con Conex inhibit.
Red counterpropagation
Full counterpropagation
Feeforward  counterpropagation
Bibliografía
Bibliografía <ul><li>Hecht-Nielsen Robert. Counterpropagation Networks. Applied Optics, 26(23): 4979-4984, diciembre de 19...
Bibliografía (2) <ul><li>Hecht-Nielsen Robert. Applications  of Counterpropagation Networks. Neural Networks, 1(2): 131-13...
Simulación  en Matlab / NNT
<ul><li>El Modelo para Counterpropagation no esta disponible actualmente. </li></ul>
Dudas ???
Hasta la próxima !!!
Ejercicios
Ejemplo
 
Upcoming SlideShare
Loading in...5
×

Counterpropagation

2,341

Published on

Published in: Education, Technology
0 Comments
1 Like
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total Views
2,341
On Slideshare
0
From Embeds
0
Number of Embeds
2
Actions
Shares
0
Downloads
93
Comments
0
Likes
1
Embeds 0
No embeds

No notes for slide

Counterpropagation

  1. 1. Counterpropagation
  2. 2. Robert Hecht-Nielsen <ul><li>Co-fundador y Cientifico en jefe, de HNC Software, y profesor adjunto en el departamento de Ingenieria electrica y en computacion en la universidad de San Diego, California. </li></ul>
  3. 3. Antecedentes
  4. 4. <ul><li>Al utilizar una combinación del aprendizaje no supervisado con el supervisado, se puede reducir el tiempo total de aprendizaje, en redes con mas de una capa oculta. </li></ul><ul><li>Counterpropagation fue desarrollada por Robert Hecht Nielsen en 1987. </li></ul><ul><li>Fue estudiada por Huang y Lippman en 1988. </li></ul>
  5. 5. <ul><li>La Counterpropagation se clasifica en: </li></ul><ul><li>Counterpropagation en un solo sentido (Forward only) </li></ul><ul><li>Pi ti </li></ul><ul><li>Counterpropagation Completa (Full) </li></ul><ul><li>Pi ti </li></ul>
  6. 6. Counterpropagation en un solo sentido (Forward only)
  7. 7. Características
  8. 8. <ul><li>La red Counterpropagation es una red competitiva, diseñada para funcionar como una tabla de busqueda auto-programada con la habilidad adicional para interpolar entre entradas. </li></ul>
  9. 9. <ul><li>Utiliza el modelo de Kohonen para acelerar el proceso de aprendizaje. </li></ul><ul><li>Se le conoce también como: “Clasificador Jerárquico de Mapas de Características”. </li></ul><ul><li>La red Global se le puede imaginar como una Tabla de Búsqueda. </li></ul>
  10. 10. <ul><li>Combina el aprendizaje no supervisado (Competitivo) y supervisado (Regla delta). </li></ul><ul><li>Tiene un aprendizaje OFF LINE. </li></ul><ul><li>Se utilizan valores numéricos reales. </li></ul><ul><li>Su entrenamiento ocurre mas rápido que la Backpropagation </li></ul>
  11. 11. Arquitectura
  12. 12. <ul><li>Esta constituida por 3 capas: entrada, oculta y salida; las cuales están completamente conectadas </li></ul><ul><li>Es una red compuesta de dos subredes: </li></ul><ul><ul><li>Red de Kohonen (Winner-Take-all):Esta formada por la capa de entrada y la intermedia u oculta. La capa oculta tiene un aprendizaje competivo. </li></ul></ul><ul><ul><li>OUTSTAR: Capas oculta y de salida, la capa de salida no tiene conexiones laterales. </li></ul></ul>
  13. 13. Red de Kohonen “ Winner-Take-all”
  14. 14. Arquitectura de CPP
  15. 16. Algoritmo de aprendizaje
  16. 17. Entrenamiento <ul><li>Consiste de 2 fases, con una razón de aprendizaje separada variante en el tiempo. </li></ul><ul><li>Primera Fase: Los nodos de la capa oculta se utilizan para dividir el conjunto de entrenamiento en “Clusters” con patrones similares. </li></ul>
  17. 18. <ul><li>Usa un aprendizaje competitivo simple, con una razón de aprendizaje que se reduce conforme se estabiliza la red. </li></ul><ul><li>Los pesos cambian muy poco en las ultimas fases del entrenamiento. </li></ul><ul><li>Al final cada nodo oculto representa un centroide de un cluster o vector correspondiente a una región de Voronoi en el espacio de entrada. </li></ul>
  18. 19. <ul><li>Segunda Fase: La tarea principal es ajustar los pesos de las conexiones de los nodos ocultos a los de salida; usando la regla de gradiente descendente y disminuyendo su razón de aprendizaje. </li></ul><ul><li>Se lleva acabo usando una variante de la regla delta : La regla de aprendizaje OUTSTAR. </li></ul>
  19. 20. <ul><li>Con la cual todos los pesos salientes de un nodo ganador en la capa competitiva son modificados simultáneamente. </li></ul><ul><li>El cambio en cada peso es proporcional a la diferencia entre la salida deseada y el peso en el nodo. </li></ul><ul><ul><li>Donde j* es el nodo oculto ganador </li></ul></ul>
  20. 21. Una vez entrenada la Counterpropagation <ul><li>Se proporciona un vector de entrada. </li></ul><ul><li>La red encuentra el nodo oculto cuyo vector de pesos se “iguale” mejor con el de entrada. </li></ul><ul><li>El patrón de salida generado por la red es idéntico al vector de pesos conducido por el nodo culto ganador. </li></ul>
  21. 22. <ul><li>Este método es como una tabla de búsqueda. </li></ul><ul><li>La diferencia con una tabla de búsqueda es que los vectores de pesos son obtenidos por el algoritmo de entrenamiento en vez de manera “ad hoc”. </li></ul>
  22. 23. Aplicaciones
  23. 24. <ul><li>Procesamiento de imágenes </li></ul><ul><li>Clasificación de patrones </li></ul><ul><li>Reconocimiento de Voz </li></ul><ul><li>Codificación y compresión de datos </li></ul><ul><li>Aproximación de funciones matemáticas </li></ul><ul><li>Análisis estadístico. </li></ul><ul><li>Visión Determinación del Angulo de Rotación </li></ul>
  24. 25. Conclusiones
  25. 26. <ul><li>El modelo Counterpropagation permite acelerar el proceso de aprendizaje del orden de 10 a 100 veces respecto al algoritmo de Backpropagation en redes multicapa. </li></ul><ul><li>No es un algoritmo optimo. </li></ul>
  26. 27. <ul><li>Solo se deberá utilizar cuando se trabaje con pocos patrones de entrenamiento; menor o igual al numero de neuronas ocultas, o con un numero mayor si los mas parecidos generan salidas también parecidas. </li></ul>
  27. 28. Counterpropagation completa (Full Counterpropagation)
  28. 29. Características <ul><li>Tanto counterpropagation completa y en un solo sentido funcionan similarmente en encontrar un nodo ganador “cluster” de la capa oculta. </li></ul><ul><li>La diferencia principal entre las dos variantes, es que, Full counterpropagation trata a Pi y ti indistintamente. </li></ul>
  29. 30. <ul><li>Full counterpropagation se diseña para trabajar en ambas direcciones. </li></ul><ul><li>1.- Para predecir Ti dado Pi. </li></ul><ul><li>2.- Para predecir Pi dado Ti. </li></ul>
  30. 31. Funcionamiento <ul><li>La red consiste de un conjunto de entrenamiento con muchos patrones; la red se entrena en 2 fases: </li></ul><ul><li>Se inicializan los cuatro conjuntos de pesos con valores aleatorios comprendidos entre cero y uno. </li></ul>
  31. 32. <ul><li>Primera fase: ajusta los pesos W1 y W2, asociados con las conexiones conducidas hacia los nodos ocultos. </li></ul><ul><li>Esta parte es similar a la primera fase del algoritmo Forward-only , excepto que Pi y Ti son usados ambos en este proceso. </li></ul>
  32. 33. <ul><li>La segunda fase tiene el propósito principal de ajustar los pesos V1 y V2, asociado con las conexiones conducidas afuera de los nodos ocultos. </li></ul><ul><li>Cuando se completa el entrenamiento, la red puede ser usada en cualquier dirección para predecir Pi a partir de Ti, o Ti a partir de Pi. </li></ul>
  33. 34. Arquitectura Full CPP Patrón de Salida Predicho Patrón de Entrada Predicho Capa oculta con Conex inhibit.
  34. 35. Red counterpropagation
  35. 36. Full counterpropagation
  36. 37. Feeforward counterpropagation
  37. 38. Bibliografía
  38. 39. Bibliografía <ul><li>Hecht-Nielsen Robert. Counterpropagation Networks. Applied Optics, 26(23): 4979-4984, diciembre de 1987. </li></ul><ul><li>Hecht-Nielsen Robert. Counterpropagation Networks Proceedings of the IEEE International Conference on Neural Networks, II, IEEE Press, New York, NY, pp. 19-32, 1987 </li></ul>
  39. 40. Bibliografía (2) <ul><li>Hecht-Nielsen Robert. Applications of Counterpropagation Networks. Neural Networks, 1(2): 131-139,1988. </li></ul><ul><li>Hecht-Nielsen Robert. Neurocomputing. Addison Wesley, Reading MA. 1990 </li></ul>
  40. 41. Simulación en Matlab / NNT
  41. 42. <ul><li>El Modelo para Counterpropagation no esta disponible actualmente. </li></ul>
  42. 43. Dudas ???
  43. 44. Hasta la próxima !!!
  44. 45. Ejercicios
  45. 46. Ejemplo
  1. A particular slide catching your eye?

    Clipping is a handy way to collect important slides you want to go back to later.

×