Construccion , Diseño y Entrenamiento de Redes Neuronales Artificiales

Diseño y Entrenamiento de Redes Neuronales Artificiales (Parte 2) “ Construcción de una Red”

Introducción
Construir una red neuronal tiene una inherente calidad de experimentación.
Cada formula para el diseño de redes no es mas que una ayuda para su estimación.
En el diseño de redes neuronales no se puede evitar una cierta cantidad de Prueba y Error .

Tamaño de la capa oculta
Existe un compromiso entre la precisión y la capacidad de generalización de una red neuronal; el cual dependerá del numero de neuronas en la capa oculta.
El número de neuronas debe ser suficiente para la realización correcta de la tarea, pero lo suficientemente bajo para permitir la generalización.

Entre mas complejo sea el problema, se requiere un mayor número de neuronas en la capa oculta.
Cualquier problema que requiera una compresión de datos presenta una capa oculta con un menor número de neuronas que en la capa de entrada.
Por ejemplo compresión de imagenes

En redes recurrentes la capa oculta es copiada regresando a la de entrada a través de otras unidades de entrada; por lo que fuerza a que la capa de entrada sea igual al numero de unidades de entrada mas el numero de neuronas en la capa oculta

De acuerdo con Hecht-Neilson basado en el teorema de Kolmogorov, “El numero de neuronas en la capa oculta no requieren ser mas grande que dos veces el numero de entradas”.

De manera que la red neuronal pueda generalizar se requiere que las funciones de transferencia sean suaves. P/ej. Funciones sigmoidales.
El numero de parámetros requeridos para codificar P patrones binarios es

De acuerdo con Widrow & lehr, en una red el numero de patrones de entrenamiento a aprender es reflejado en el numero de salidas en la red.

De acuerdo con Baum and Haussler; el numero de ejemplos de entrenamiento requeridos es aproximadamente igual al numero de pesos en la red multiplicado por el inverso del error.

Un pequeño error logrado por una red con overfitting no constituye una sesión de entrenamiento exitosa.
Si se desea usar una mayor cantidad de pesos respecto a al conjunto de datos, se debe ajustar un mayor error de entrenamiento con objeto de conservar la capacidad de generalización.

Es necesario sacrificar precisión en aras de obtener una mayor capacidad de generalización.
Para una red con una capa oculta, el numero de neuronas en la capa oculta estará dado por:

Conclusiones: Numero de Neuronas Ocultas (h)
Nunca escoja el numero de neuronas ocultas mayor a dos veces el numero de unidades de entrada
Puede cargar P patrones de i elementos en numero de neuronas ocultas dado por:

Nunca use mas. Si quiere una buena característica de generalización use considerablemente menos.
Asegurese de tener al menos 1/  veces ejemplos de entrenamiento como tenga pesos en su red.

Donde:
P es el numero de patrones de entrenamiento necesarios.
W es el numero de pesos en la capa oculta.
 es el error mínimo propuesto para la red.

El numero de unidades ocultas requeridas para tareas de clasificación se incrementa conforme al número de clases en la tarea.
Existe un compromiso entre la generalización (menos neuronas ocultas) y la precisión (mas neuronas ocultas) lo cual será de aplicación especifica.

Entre mas grande sea la red neuronal mayor será el tiempo de entrenamiento que se requiera.

Algoritmos Constructivos
Se recomienda iniciar el entrenamiento con una unidad menos de la calculada en el limite inferior y entrenar hasta que el error se mantenga constante.
Después agregar otra neurona oculta, con valores de pesos pequeños y se repite el proceso.

Si el error de entrenamiento es bajo y el error de la prueba es alto, entonces se tienen muchos pesos.
Si tanto el error de entrenamiento y el de prueba es alto, se tienen muy pocos pesos.
Si los pesos son todos muy grandes entonces se tienen muy pocos pesos.

El agregar pesos no es una panacea, puede haber otras causas de error tales como un conjunto insuficiente de datos, o datos que no sean aprendibles.
Muy importante: los pesos iniciales de una red deben ser valores aleatorios en un pequeño intervalo (por ejemplo, +-1)

Kurkova: Cualquier función puede ser aproximada cuando mucho por una red de cuatro capas.
Hecht-Neilson: Solo se requieren tres capas pero el uso de una capa extra reducirá el numero total de neuronas en las capas ocultas.
De acuerdo a los resultados publicados los problemas deben ser resultos aplicando una capa oculta o máximo dos.

Funciones de Activación
Funciones Sigmoidales:
Función logística: su salida esta acotada entre 0 y 1.
Fácil implementaron en Hardware

Función Tangente hiperbólica: Su salida esta acotada entre -1 y 1.
Nota: Aprendizaje más rápido, tiempos de entrenamiento menores

Lineal: Su salida no esta acotada.

Mediciones del Error

Mediciones de error
La meta del entrenamiento de una red neuronal es minimizar el error en cada unidad de salida para el conjunto completo de datos de entrenamiento.
El error puede ser positivo o negativo, nuestro interés esta en la magnitud.

El error mas común es la diferencia simple:
El error total en la capa de salida: La Raíz del Error Cuadrático (RSE)

El error medio cuadrático (MSE)
Para una sola presentación (Patrón)
Donde: n es el numero de neuronas en la capa de salida. t es el valor objetivo. a es la salida de la neurona O bien

El error medio cuadrático (MSE)
Para una Epoca
Donde: E p es error medio cuadratico por cada presentación. m es el numero de presentaciones (patrones)en la Epoca.

Ajuste de la Razón de Aprendizaje y el Momento
Un valor alto de   (0.75) producirá un aprendizaje mas rápido, pero incrementa el riesgo de que sobre impulso la solución provocando la oscilación.
Un valor bajo de   (0.1) evita el problema anterior pero hace lento el entrenamiento.

Un valor alto de   reducirá el riesgo de que la red sea atrapada en un mínimo local pero también puede provocar sobre impulso de la solución, tal como un valor alto de  .
Valores característicos:

Directrices de Entrenamiento
Si la razón del error disminuye lentamente pero estable: se puede incrementar  y  .
Si la razón de error esta oscilando sobre un punto: Reduzca  (ayudará a que la red converja hacia un punto), incremente  (evitará el sobre impulso de la salida).

Si la razón del error no cambia: Probablemente haya convergido a una solución.
Siempre guarde una copia de los pesos

Entrenamiento de Redes Neuronales
Se requiere una dosis de prueba y error.
Construir una red neuronal para solucionar aun el mas trivial de los problemas, Requiere:
Construir varias redes con diferente complejidad.

Detener el entrenamiento en diferentes puntos.
Iniciar con diferentes configuraciones aleatorias de pesos.
Cada red debe ser guardada, probada, analizada y la más apropiada finalmente seleccionada.

Formas de Entrenamiento

Modos de entrenamiento: Patrón o Lote (Batch)
Patrón: los pesos son actualizados después de que cada patrón individual es presentado.
Lote: Cada vez que se concluye una época un solo error promedio se calcula y los parámetros de la red se actualizan en base a ese error.

Características del entrenamiento por Lotes
Requiere un menor numero de actualizaciones: Es mas rápido.
Proporciona una medida mas precisa del cambio de pesos necesario.

Este modo se refiere únicamente al ajuste de los pesos. Los errores deben se retropropagados para cada patrón.
Este modo tiene mayor probabilidad de ser atrapada su solución en un mínimo local.

Un proyecto con redes neuronales requiere que se entrenen varias redes con el mismo conjunto de entrenamiento hasta encontrar la mejor solución

Cuando detener el entrenamiento
El error promedio de entrenamiento ha alcanzado un valor objetivo predeterminado.
El error promedio de entrenamiento no disminuye mas, o cae en una cantidad insignificante.
El error promedio del conjunto de prueba independiente comienza incrementarse ( overfitting )

Algoritmos de entrenamiento
Backpropagation simple.
Backpropagation con Momento (  ) y razón de aprendizaje (  ) variable.

Algoritmo Backpropagation Estándar
1) Construir la red con el numero seleccionado de unidades de entrada, ocultas, y de salidas.
2) Inicializar todos los pesos a valores aleatorios pequeños.
Repetir:
3) Escoger un par de entrenamiento aleatorio

4) copiar el patrón de entrada en la capa de entrada.
5) Genere un ciclo en la red de tal forma que la activación de las entradas genere la activación de la capa oculta y la de salida.
6) Calcule el error derivado entre la activación de la salida y la salida objetivo

7) Retropropague el el producto sumado de de los pesos y los errores en la capa de salida de tal forma que calcule el error en la capa oculta.
8) Actualice los pesos en cada unidad de acuerdo al error en la unidad bajo los parámetros de entrenamiento.
Hasta: El error sea suficientemente bajo de acuerdo al valor prefijado.

Bibliografía:
Applying Neural Networks, A Practical Guide; Kevin Swingler ; Editorial Morgan Kaufmann.

Dudas ???

Hasta la próxima !!!

Construccion , Diseño y Entrenamiento de Redes Neuronales Artificiales

by ESCOM

Accessibility

Categories

Upload Details

Usage Rights

2 Embeds 9

Statistics