Diseño y Entrenamiento de Redes Neuronales Artificiales

  • 4,955 views
Uploaded on

 

More in: Education , Technology
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Be the first to comment
No Downloads

Views

Total Views
4,955
On Slideshare
0
From Embeds
0
Number of Embeds
0

Actions

Shares
Downloads
173
Comments
0
Likes
3

Embeds 0

No embeds

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
    No notes for slide

Transcript

  • 1. Diseño y Entrenamiento de Redes Neuronales Artificiales (Parte 3)
  • 2. El numero de neuronas ocultas dependerá de:
    • El numero de unidades de entrada y de salida.
    • El numero de caso de entrenamiento.
    • La cantidad de ruido en los valores objetivos.
    • La complejidad de la función o clasificación que será aprendida.
  • 3.
    • La arquitectura.
    • El tipo de la función de activación en las unidades ocultas.
    • El algoritmo de entrenamiento.
  • 4.
    • No hay forma de determinar el numero optimo de neuronas en la capa oculta sin antes entrenar varias redes y estimar el error de generalización.
  • 5.
    • Muy pocas neuronas en la capa oculta conducirían a un alto error de entrenamiento y también a un alto error de generalización debido al underfitting.
    • Si se tienen muchas neuronas en la capa oculta se podría obtener un bajo error de entrenamiento pero todavía tener un alto error de generalización debido al overfitting.
  • 6.
    • Existen ciertas reglas llamadas “rules of thumb” para escoger la arquitectura. P/ej.
    • “ para calcular el numero de neuronas ocultas se utiliza la regla general:”
    • h= (2/3) *(n+m)
    • “ El numero de neuronas en la capa oculta nunca requerirá ser más de dos veces el numero de entradas”.
    • H < 2n
  • 7.
    • El numero de pesos no debe ser mas de 1/30 el numero de casos de entrenamiento.
    • En variables objetivo libres de ruido, puede ser mas que suficiente el doble de casos de entrenamiento respecto al numero de pesos.
  • 8.
    • Una solucion inteligente para obtener el numero de neuronas optimo en la capa oculta es entrenar varias redes con diferente numero de unidades ocultas, estimar el error de generalización en cada red y tomar la red ,con el mínimo error estimado.
  • 9.
    • Al incrementar el numero de pesos hace mas fácil para Backpropagation estándar encontrar un mínimo local optimo, también al usar redes mas grandes puede reducir el error de entrenamiento y el error de generalización.
  • 10. Aspectos Prácticos del uso de Redes Neuronales
  • 11. Donde aplicar las Redes Neuronales
    • Donde la tecnologia computacional es inadecuada.
    • En problemas que requieran de un razonamiento cualitativo o cuantitativo complejo.
    • El fenomeno involucrado dependa de multiples parametros interactuando.
  • 12.
    • Gran cantidad de datos multivariados y con ruido o con errores.
    • Algunos de los datos pueden ser erroneos o faltantes.
    • En general: Reconocimiento de patrones, mapeo estadistico, o modelizacion.
  • 13. Selección del Tipo de Aprendizaje
    • Dependerá de los datos disponibles
    • Aprendizaje Supervisado: Requiere de patrones de entrada con la salida correcta.
    • Tiene mayor potencialidad.
    • Tiempos de entrenamiento relativamente largos.
    • Usadas para predicción, evaluacion o generalizacion
  • 14.
    • Aprendizaje Autosupervisado : Clasifica patrones internamente y no requiere de resultados esperados.
    • Su capacidad es significativamente menor
    • Usos: clasificacion o reconocimiento
  • 15. Selección de la salida
    • Estará determinada por la naturaleza del problema.
    • Pueden ser:
      • Salidas binarias o
      • Escala de grises (valores continuos)
  • 16. Función de activación de la neurona
    • La funcion de Activacion mas comun es la funcion Logistica: (sigmoidal exponencial “logsig”)
    • El algoritmo de retropropagacion reqwuiere que la derivada de la funcion sea continua. Las funciones recomendadas son la sigmoidal y la continua.
  • 17. Numero de capas
    • La red de retropropagacion usa generalmente tres capas.
    • Se pueden usar cuatro capas .
    • Es mejor usar dos capas ocultas pequeñas que una sola muy grande.
  • 18. Funcion de la Capa Oculta
    • Actua como Sintetizador.
    • Extractor de caracteristicas de entrada.
    • Un numero grande de neuronas en la capa oculta aumenta la potencia de la red pero aumenta el tiempo de procesamiento y requiere de muchos ejemplos de entrenamiento.
  • 19. Numero de neuronas
    • El numero adecuado de neuronas ocultas se determina a través de la experimentacion.
    • Muy pocas neuronas ocultas impide el correcto mapeo de la entrada a la salida
    • Muchas neuronas ocultas conduce a la memorización de los datos sin extraer las características para la generalizacion.
  • 20.
    • Para una sola capa oculta se recomienda el numero de neuronas ocultas como 2/3 de numero de entradas.
    • Cuando se usan dos capas ocultas el numero de neuronas es significativamente menor en cada capa
  • 21.
    • Las redes neuronales con mayor numero de entradas respecto al numero de salidas trabajan mejor.
    • Un numero mayor de salidas hacen mas duro el entrenamiento.
  • 22. Normalizacion de Datos
    • Los datos numéricos deben ser normalizados o escalados
    • Consiste en dividir todos valores del conjunto de entrada en un valor de referencia; usualmente el valor mas grande.
  • 23. Dudas ???
  • 24. Hasta la próxima !!!