Self-organizing neural networks endeavour to preserve the topology of an input space by means of competitive learning. This capacity is used for the representation of objects and their motion. In addition, these applications usually have real-time constraints imposed on them. This paper describes several variants of a Growing Neural Gas self-organizing network that accelerate the learning process. However, in some cases this acceleration causes a loss in topology preservation and, therefore, in the quality of the representation. Our study quantifies topology preservation using different measures to establish the most suitable learning parameters, depending on the size of the network and on the time available for adaptation.

1. ©2000-2002porPacoMaciá
Study of the quality
of the representation of
bidimensional objects
with Growing Neural Gas
depending on the learning
parameters
Francisco Flórez Revuelta
Juan Manuel García Chamizo
José García Rodriguez
Antonio Hernández Sáez

2. introducción
Growing
Neural Gas
aceleración
del aprendizaje
medidas
de preservación
de la topología
estudio
comparativo
conclusiones
Contenido

3. introducción
Growing
Neural Gas
aceleración
del aprendizaje
medidas
de preservación
de la topología
estudio
comparativo
conclusiones
Contenido
introducción
Representación de los objetos y de su
movimiento mediante una red neuronal
auto-organizativa
Estas aplicaciones están sujetas a
restricciones temporales o a posibles
interrupciones
Modificando los parámetros de
aprendizaje se puede completar la
adaptación en el tiempo disponible
Diferente calidad en la respuesta
motivación
introducción

4. introducción
Growing
Neural Gas
aceleración
del aprendizaje
medidas
de preservación
de la topología
estudio
comparativo
conclusiones
Contenido
Growing Neural Gas
Características:
 Topología de unión entre neuronas no
preestablecida
 A partir de un número inicial de neuronas,
se crean y eliminan hasta cumplir una
condición de finalización
Adaptación mediante función de
energía
Convergencia rápida
Resultado: Triangulación de Delaunay
inducida por el espacio de entrada
introducción
Growing
Neural Gas

5. introducción
Growing
Neural Gas
aceleración
del aprendizaje
medidas
de preservación
de la topología
estudio
comparativo
conclusiones
Contenido
Growing Neural Gas
Iniciar creando dos neuronas
Iterar hasta cumplir una condición de
finalización (e.g. número de neuronas):
 Hasta λ iteraciones:
 Introducir un patrón
 Obtener 1ª y 2ª neurona ganadora
 Establecer arista con edad 0
 Actualizar error neurona ganadora
 Adaptar ponderadamente pesos de
ganadora y sus vecinas
 Incrementar edades de las aristas de
la neurona ganadora
algoritmo de aprendizaje
Growing
Neural Gas

6. introducción
Growing
Neural Gas
aceleración
del aprendizaje
medidas
de preservación
de la topología
estudio
comparativo
conclusiones
Contenido
Growing Neural Gas
Iniciar creando dos neuronas
Iterar hasta cumplir una condición de
finalización (e.g. número de neuronas):
 Hasta λ iteraciones:
 Introducir un patrón
 Obtener 1ª y 2ª neurona ganadora
 Establecer arista con edad 0
 Actualizar error neurona ganadora
 Adaptar ponderadamente pesos de
ganadora y sus vecinas
 Incrementar edades de las aristas de
la neurona ganadora
 Eliminar aristas de edad mayor que
un umbral
 Eliminar neuronas con error 0
 Insertar neurona
algoritmo de aprendizaje
Growing
Neural Gas

7. introducción
Growing
Neural Gas
aceleración
del aprendizaje
medidas
de preservación
de la topología
estudio
comparativo
conclusiones
Contenido
Growing Neural Gas
Insertar neurona:
 Localizar neurona de mayor
error
 Localizar vecina de anterior con
mayor error
 Decrecer ponderadamente el
error de ambas
 Suprimir arista entre ellas
 Insertar neurona entre
anteriores y establecer aristas
con ellas
 Interpolar error para neurona
nueva
algoritmo de aprendizaje
Growing
Neural Gas

8. introducción
Growing
Neural Gas
aceleración
del aprendizaje
medidas
de preservación
de la topología
estudio
comparativo
conclusiones
Contenido
Growing Neural Gas
algoritmo de aprendizaje
Crear
mapa
Obtener
patrón
Calcular
distancia
Comparar
distancias
Modificar
pesos
Actualizar
error de la
neurona
ganadora
Crear
aristas
Actualizar
edades de
las aristas
Eliminar
neuronas
Eliminar
aristas
Insertar
neurona
Hasta completar iteraciones
Hasta cumplir condición de finalización (número de neuronas, tiempo límite,…)
Inicializar
errores
Crear
mapa
Obtener
patrón
Calcular
distancia
Comparar
distancias
Modificar
pesos
Actualizar
error de la
neurona
ganadora
Crear
aristas
Actualizar
edades de
las aristas
Eliminar
neuronas
Eliminar
aristas
Insertar
neurona
Hasta completarλ iteraciones
Inicializar
errores

9. introducción
Growing
Neural Gas
aceleración
del aprendizaje
medidas
de preservación
de la topología
estudio
comparativo
conclusiones
Contenido
aceleración del aprendizaje
El factor tiempo como condición de
finalización provoca adaptaciones
incorrectas
Se deben modificar parámetros de
aprendizaje para completar la red:
 número λ de señales de entrada por
iteración
 número de neuronas insertadas por
iteración
La calidad de la adaptación se ve
afectada
aceleración
del aprendizaje
Crear
mapa
Obtener
patrón
Calcular
distancia
Comparar
distancias
Modificar
pesos
Actualizar
error de la
neurona
ganadora
Crear
aristas
Actualizar
edades de
las aristas
Eliminar
neuronas
Eliminar
aristas
Insertar
neurona
Hasta completar iteraciones
Hasta cumplir condición de finalización (número de neuronas, tiempo límite,…)
Inicializar
errores
Crear
mapa
Obtener
patrón
Calcular
distancia
Comparar
distancias
Modificar
pesos
Actualizar
error de la
neurona
ganadora
Crear
aristas
Actualizar
edades de
las aristas
Eliminar
neuronas
Eliminar
aristas
Insertar
neurona
Hasta completarλ iteraciones
Inicializar
errores
1 neurona 2 neuronas
5 neuronas 10 neuronas

10. introducción
Growing
Neural Gas
aceleración
del aprendizaje
medidas
de preservación
de la topología
estudio
comparativo
conclusiones
Contenido
medidas de preservación
de la topología
La calidad de la adaptación de las redes
se suele realizar desde dos aspectos:
 resolución
 preservación de la topología del espacio de
entrada
medidas
de preservación
de la topología

11. introducción
Growing
Neural Gas
aceleración
del aprendizaje
medidas
de preservación
de la topología
estudio
comparativo
conclusiones
Contenido
medidas de preservación
de la topología
Error de cuantización:
medidas
de preservación
de la topología
medida de resolución
( )ξ
ξ
ξ ξ
∀ ∈
= −∑ g
d
sE w p
R

12. introducción
Growing
Neural Gas
aceleración
del aprendizaje
medidas
de preservación
de la topología
estudio
comparativo
conclusiones
Contenido
medidas de preservación
de la topología
Producto topográfico geodésico:
Función topográfica: compara la red
resultante con la triangulación de
Delaunay inducida por el espacio de
entrada
medidas
de preservación
de la topología
medidas de preservación de topología
( )( )
( )( )
( )( )
( )( )
−
= = =
  
 ÷ ÷= × ÷ ÷−  ÷ ÷ ÷  
∑∑ ∏
1
2
1
1 1 1
, ,1
log
( 1 ) ,,
A
l
V
l
kV A AkN N j n j l
A VV
j k l lj n j
d w w d j n j
P
N N d j n jd w w

13. introducción
Growing
Neural Gas
aceleración
del aprendizaje
medidas
de preservación
de la topología
estudio
comparativo
conclusiones
Contenido
medidas de preservación
de la topología
Medida C de bondad de la red (Kaski y
Lagus):
 Combina el error de cuantización con un indice
de la adecuación entre el espacio de entrada y el
mapeado obtenido
medidas
de preservación
de la topología
medidas conjuntas
||||||||)( )1(
1
0
)()(
),('
+
−
=
−+−= ∑ kI
K
k
kI
i
xc i
ixc
i
mmnimmxxd
[ ])(xdEC =

14. introducción
Growing
Neural Gas
aceleración
del aprendizaje
medidas
de preservación
de la topología
estudio
comparativo
conclusiones
Contenido
estudio comparativo
Se han adaptado GNGs a diversos
espacios de entrada bidimensionales
Se han fijado algunos de los
parámetros de aprendizaje (ε1=0.1,
ε2=0.01, α=0.5, β=0.0005, amax=250)
Se han modificado el número de
señales de entrada y las neuronas
insertadas por iteración
estudio
comparativo
datos del estudio
0.12
0.17
0.24
0.56
0.13
0.30
0.57
1
Tiempo (s.)Variante
10000
1GNG
5000
1GNG
2500
1GNG
1000
1GNG
10000
2GNG
10000
5GNG
10000
7GNG
10000
10GNG 100
79
62
30
93
51
30
18
Neuronas (a
los 0.12s)
Variante
10000
1GNG
5000
1GNG
2500
1GNG
1000
1GNG
10000
2GNG
10000
5GNG
10000
7GNG
10000
10GNG

15. introducción
Growing
Neural Gas
aceleración
del aprendizaje
medidas
de preservación
de la topología
estudio
comparativo
conclusiones
Contenido
estudio comparativo
De interés en el caso de que no existan
restricciones temporales, pero sí exista
un tamaño máximo de la red
estudio
comparativo
en función del número de neuronas

16. introducción
Growing
Neural Gas
aceleración
del aprendizaje
medidas
de preservación
de la topología
estudio
comparativo
conclusiones
Contenido
estudio comparativo
De interés en el caso de que no existan
restricciones espaciales, pero sí puedan
existir restricciones temporales o
interrupciones
estudio
comparativo
en función del tiempo de aprendizaje

17. introducción
Growing
Neural Gas
aceleración
del aprendizaje
medidas
de preservación
de la topología
estudio
comparativo
conclusiones
Contenido
conclusiones
La preservación de la topología se ve
afectada por los parámetros y el tiempo
de aprendizaje
Los métodos más rápidos mejoran la
resolución pero pueden afectar
negativamente a la preservación de la
topología
En muchos casos, será más interesante
conseguir redes pequeñas con menor
resolución y mejor preservación
topológica
conclusiones

18. introducción
Growing
Neural Gas
aceleración
del aprendizaje
medidas
de preservación
de la topología
estudio
comparativo
conclusiones
Contenido
conclusiones
Se están realizando estudios similares
con otros modelos (Neural Gas, GWR)
Se pretende extraer cuáles son las
características de cada red que
permiten una representación adecuada
Desarrollo de nuevas redes auto-
organizativas a partir de estos estudios
conclusiones
línea de trabajo

19. ©2000-2002porPacoMaciá
Study of the quality
of the representation of
bidimensional objects
with Growing Neural Gas
depending on the learning
parameters
Francisco Flórez Revuelta
Juan Manuel García Chamizo
José García Rodriguez
Antonio Hernández Sáez