• Share
  • Email
  • Embed
  • Like
  • Save
  • Private Content
Machine Learning : comparing neural network methods
 

Machine Learning : comparing neural network methods

on

  • 709 views

In this presentation, we compare different machine learning methods, on two functions (SIN and a decrementing EXP).

In this presentation, we compare different machine learning methods, on two functions (SIN and a decrementing EXP).

Statistics

Views

Total Views
709
Views on SlideShare
709
Embed Views
0

Actions

Likes
0
Downloads
5
Comments
0

0 Embeds 0

No embeds

Accessibility

Categories

Upload Details

Uploaded via as Microsoft PowerPoint

Usage Rights

© All Rights Reserved

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Processing…
Post Comment
Edit your comment

    Machine Learning : comparing neural network methods Machine Learning : comparing neural network methods Presentation Transcript

    • Intelligence Artificielle - mai 2012 Comparaison de différentes méthodes utilisant des réseaux de neurones Objet d’application : des fonctions bruitéesKostiantyn KLEKOTANicholas CHARRIERE
    • Présentation (1/2) Objectif : Comparer différentes méthodes de prédiction de fonction Paramètres : Nous avons testé sur les 2 fonctions suivantes : X(t)=sin(4πt)+ε Y(t)=exp(-t/2)+εOù ε est un bruit distribué normalement avec une dispersion de 0.05 100 points de données pour l’entraînement, et 100 pour la vérification (sauf pour ANFIS  400/400)
    • Présentation (2/2) Pour l’input, on utilise 5 points pour prévoir le 6ème: [f(t-1), f(t-2), f(t-3), f(t-4), f(t-5)] → f(t) On a comparé les méthodes suivantes :  Cascade forward backpropagation network  Elman backpropagation network  Feed forward backpropagation network  Layered recurrent network  ANFIS (Adaptive-Network-Based Fuzzy Inference System ) On utilise la méthode du RMSE (root mean sqared error) pour comparer
    • Paramètres de chaque méthode Méthode Paramètres Cascade forward BPN 3 couches de 5 neurones chacune + un neurone en output Elman BPN 2 couches de 5 neurones chacune + un neurone en output Feed forward BPN 1 couche de 5 neurones + un neurone en outputLayered recurrent network 1 couche de 10 neurones + 1 neurone en output Généré automatiquement, avec : Nombre de noeuds: 92 Nombre de paramètres linéaires: 192 Nombre de paramètres non linéaires: 30 Nombre total de paramètres: 222 ANFIS Nombre de paires de data d’apprentissage: 400 Nombre de paire de data de vérif.: 100 Nombre de loies floues: 32 Nombre max d’Epochs: 25
    • Cascade forward BPN Réseau avec une “auto-organisation” Pendant l’entraînement, des neurones sont séléctionnés d’un lot de candidats et ajoutés à la couche cachée Architecture en cascade L’algorithme d’apprentissage maximise l’amplitude de la corrélation entre l’output du nouveau neurone et l’erreur résiduelle du réseau qu’on essaye de minimiser
    • Elman BPN Réseau récurrent simple (RNN) A 3 couches : input, output, et une couche cachée Ressemble au feedforward BPN, mais possède une couche de “contexte” Elle est remplie, sans pondération, de l’output de la couche cachée Puis le réseau Elman s’en rappelle et les output sur la prochaine étape Enfin ces valeurs sont renvoyées, en utilisant une connection qui utilise un apprentissage pour pondérer, dans la couche cachée
    • Feed forward BPN Différent des méthodes récurrentes ou semi- récurrentes (cascade) Réseau artificiel dans lequel les connections ne forment pas un cycle Premier et peut-être plus simple des réseaux, l’information circule dans un seul sens
    • Layered recurrent network Dans celui-ci on a des cycles Permet d’exhiber un comportement temporel dynamique Leur mémoire leur permet de gérer des séquences aléatoires d’inputs Pratique pour des taches comme de la reconnaissance d’écriture En général on y utilise la méthode du gradient descent.
    • ANFIS (Adaptive-Network-Based Fuzzy Inference System ) Réseau adaptatif basé sur le système d’interférence floue de Takagi-Sugeno Une des premieres versions de réseaux de neurones combinés à la logique floue Permet donc d’avoir les qualités de ces deux-dernières dans un même framework Permet de bien approximer des fonctions non-linéaires
    • ANFIS (Adaptive-Network-Based Fuzzy Inference System ) La première couche prend les inputs (transcrit des variables verbales en valeurs numériques grâce aux fonctions d’appartenance (membership functions) La seconde couche multiplie les signaux et renvoie le produit La troisieme couche normalise avec les règles La quatrième sert à pondérer en appliquant de nouvelles règles La cinquième aggrège les résultats
    • Conclusion Notre but était de comparer les performances Pour cela, on a utilisé le RMSE (root of mean squared error) Les résultats montrent que les productivités sont très proches Meilleure méthode pour SIN : Feedforward BPN Meilleure méthode pour EXP : ANFIS