Redes Neurais Artificiais - Modelos e suas implementações

6,220 views

Published on

Published in: Technology
0 Comments
2 Likes
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total views
6,220
On SlideShare
0
From Embeds
0
Number of Embeds
3
Actions
Shares
0
Downloads
312
Comments
0
Likes
2
Embeds 0
No embeds

No notes for slide

  • Entender “redes neurais” como “redes neurais artificiais”.
















  • O modelo original proposto por Hopfield utiliza sinais de entrada bipolar
  • O modelo original proposto por Hopfield utiliza sinais de entrada bipolar








  • Durante essa fase de aprendizagem, os nós que estão topograficamente próximos no array (bidimensional) até uma certa distância geométrica irão se ativar para aprender algo da mesma entrada apresentada. Isso resultará numa relaxação local, ou efeito suavizante, nos pesos dos neurônios nessa vizinhança que tende a levar a uma ordenação (orderingXXX) global.


  • N_{iter} é o número máximo de iterações planejada, Kohonen descreve que 1000 é uma quantidade boa para treinamento.

    Exemplo da região eu chutei baseado na fórmula para aprendizado do exemplo do Kohonen.
    R pode ser o tamanho de uma linha na representação bidimensional.
  • N_{iter} é o número máximo de iterações planejada, Kohonen descreve que 1000 é uma quantidade boa para treinamento.

    Exemplo da região eu chutei baseado na fórmula para aprendizado do exemplo do Kohonen.
    R pode ser o tamanho de uma linha na representação bidimensional.
  • N_{iter} é o número máximo de iterações planejada, Kohonen descreve que 1000 é uma quantidade boa para treinamento.

    Exemplo da região eu chutei baseado na fórmula para aprendizado do exemplo do Kohonen.
    R pode ser o tamanho de uma linha na representação bidimensional.
  • N_{iter} é o número máximo de iterações planejada, Kohonen descreve que 1000 é uma quantidade boa para treinamento.

    Exemplo da região eu chutei baseado na fórmula para aprendizado do exemplo do Kohonen.
    R pode ser o tamanho de uma linha na representação bidimensional.
  • N_{iter} é o número máximo de iterações planejada, Kohonen descreve que 1000 é uma quantidade boa para treinamento.

    Exemplo da região eu chutei baseado na fórmula para aprendizado do exemplo do Kohonen.
    R pode ser o tamanho de uma linha na representação bidimensional.
  • N_{iter} é o número máximo de iterações planejada, Kohonen descreve que 1000 é uma quantidade boa para treinamento.

    Exemplo da região eu chutei baseado na fórmula para aprendizado do exemplo do Kohonen.
    R pode ser o tamanho de uma linha na representação bidimensional.
  • N_{iter} é o número máximo de iterações planejada, Kohonen descreve que 1000 é uma quantidade boa para treinamento.

    Exemplo da região eu chutei baseado na fórmula para aprendizado do exemplo do Kohonen.
    R pode ser o tamanho de uma linha na representação bidimensional.
  • N_{iter} é o número máximo de iterações planejada, Kohonen descreve que 1000 é uma quantidade boa para treinamento.

    Exemplo da região eu chutei baseado na fórmula para aprendizado do exemplo do Kohonen.
    R pode ser o tamanho de uma linha na representação bidimensional.
  • N_{iter} é o número máximo de iterações planejada, Kohonen descreve que 1000 é uma quantidade boa para treinamento.

    Exemplo da região eu chutei baseado na fórmula para aprendizado do exemplo do Kohonen.
    R pode ser o tamanho de uma linha na representação bidimensional.
  • N_{iter} é o número máximo de iterações planejada, Kohonen descreve que 1000 é uma quantidade boa para treinamento.

    Exemplo da região eu chutei baseado na fórmula para aprendizado do exemplo do Kohonen.
    R pode ser o tamanho de uma linha na representação bidimensional.
  • N_{iter} é o número máximo de iterações planejada, Kohonen descreve que 1000 é uma quantidade boa para treinamento.

    Exemplo da região eu chutei baseado na fórmula para aprendizado do exemplo do Kohonen.
    R pode ser o tamanho de uma linha na representação bidimensional.





















  • Redes Neurais Artificiais - Modelos e suas implementações

    1. 1. 1 Redes Neurais Artificiais Modelos e suas implementações Guilherme Polo
    2. 2. 2 Sumário • Introdução a Redes Neurais Artificiais • Neurônio artificial • Redes de Hopfield • Mapas Auto Organizáveis de Kohonen • Vantagens e desvantagens dos modelos • Bibliografia
    3. 3. 3 Introdução a Redes Neurais Artificiais • Abstração das redes neurais biológicas • Características: • Processamento paralelo • Tolerância a falhas • Aprendizagem e Generalização a partir de experiências
    4. 4. 4                                  Ilustração neurônio biológico Mariana Ruiz Villarreal
    5. 5. 5 Neurônio artificial Dendritos Núcleo Axônio e0 p0 ... ! f saída .. en pn n sa´ = f ıda (ei pi ) i=0
    6. 6. 6 Neurônio artificial Dendritos Núcleo Axônio e0 p0 ... ! f saída .. en pn Exemplos para f (x): n x , sin(x) , cos(x), sa´ = f ıda (ei pi ) tanh(x), sgn(x) , i=0 (x−b)2 , 1 ae 2c2 1 + e−kx
    7. 7. 7 Redes de Hopfield • Desenvolvido em 1982 por .. • Ligação com a biologia: Memória Auto-associativa • Característica principais: • Recorrência • Simetria John J. Hopfield • Não faz uso de camadas escondidas
    8. 8. 8 Redes de Hopfield • Usos principais: • Reconstrução de padrões • Segmentação de imagens
    9. 9. 9 Redes de Hopfield • Usos principais: • Reconstrução de padrões • Segmentação de imagens
    10. 10. 10 Redes de Hopfield • Usos principais: • Reconstrução de padrões • Segmentação de imagens
    11. 11. 11 Redes de Hopfield • Usos principais: • Reconstrução de padrões • Segmentação de imagens
    12. 12. 12 Redes de Hopfield • Usos principais: • Reconstrução de padrões • Segmentação de imagens
    13. 13. 13 Redes de Hopfield • Funcionamento: • Síncrono: Todos neurônios avaliam suas entradas e produzem saídas ao mesmo tempo • Assíncrono: Um neurônio é selecionado aleatoriamente, avalia sua entrada e produz uma saída • Convergência: • Simetria + Funcionamento Assíncrono - Laços
    14. 14. 14 Redes de Hopfield • Representação com 3 neurônios: Saída após convergência B Neurônios A C Entradas
    15. 15. 15 Redes de Hopfield • Implementação para caso discreto e bipolar: • Sinais de entrada: -1 ou 1 • Função de ativação: sgn(x) • Aprendizagem :)  p  1 κv κv i j se i = j wij = N v=1  0 se i = j
    16. 16. 16 Redes de Hopfield • Implementação para caso discreto e bipolar: • Sinais de entrada: -1 ou 1 • Função de ativação: sgn(x) • Aprendizagem • Execução: repeat i = RANDOM(N ) N saida i = sgn wij × saidaj j=0,j=i until sistema estabilizar
    17. 17. 17 Mapas Auto Organizáveis de Kohonen • Desenvolvido em 1982 por .. • Segue princípio da formação de mapas topográficos • Exemplos de uso: • Visualização de dados n-dimensionais • Pré-processamento de padrões Teuvo Kohonen para reconhecimento • Mineração de dados
    18. 18. 18 Mapas Auto Organizáveis de Kohonen • Características principais: • Treinamento por aprendizagem competitiva • Comumente realiza classificação não supervisionada • Não faz uso de camadas escondidas
    19. 19. 19 Mapas Auto Organizáveis de Kohonen • Formando um mapa auto organizável: 1. Inicializar pesos sinápticos 2. Realizar processo de competição 3. Determinar vizinhança topológica 4. Aplicar processo adaptativo 5. Voltar para o passo 2 se ainda estiver treinando
    20. 20. 20 Mapas Auto Organizáveis de Kohonen • Formando um mapa auto organizável: Ex.: Um peso em (0, 0, 0), demais em (1, 1, 1) 1. Inicializar pesos sinápticos 2. Realizar processo de competição 3. Determinar vizinhança topológica 4. Aplicar processo adaptativo 5. Voltar para o passo 2 se ainda estiver treinando
    21. 21. 21 Mapas Auto Organizáveis de Kohonen • Formando um mapa auto organizável: Ex.: Padrão de entrada (0, 0, 0) 1. Inicializar pesos sinápticos 2. Realizar processo de competição • Apresentar entrada à rede Entrada 3. Determinar vizinhança topológica 4. Aplicar processo adaptativo 5. Voltar para o passo 2 se ainda estiver treinando
    22. 22. 22 Mapas Auto Organizáveis de Kohonen • Formando um mapa auto organizável: w = argmin entrada − pi (t) , i = 0 . . . n 1. Inicializar pesos sinápticos i 2. Realizar processo de competição • Determinar neurônio vencedor (w) Entrada 3. Determinar vizinhança topológica 4. Aplicar processo adaptativo 5. Voltar para o passo 2 se ainda estiver treinando
    23. 23. 23 Mapas Auto Organizáveis de Kohonen • Formando um mapa auto organizável: 1. Inicializar pesos sinápticos 2. Realizar processo de competição Vencedor 3. Determinar vizinhança topológica Entrada 4. Aplicar processo adaptativo 5. Voltar para o passo 2 se ainda estiver treinando
    24. 24. 24 Mapas Auto Organizáveis de Kohonen • Formando um mapa auto organizável: 1. Inicializar pesos sinápticos 2. Realizar processo de competição Vencedor 3. Determinar vizinhança topológica Entrada 4. Aplicar processo adaptativo 5. Voltar para o passo 2 se ainda estiver treinando
    25. 25. 25 Mapas Auto Organizáveis de Kohonen • Formando um mapa auto organizável: 1. Inicializar pesos sinápticos 2. Realizar processo de competição 3. Determinar vizinhança topológica Entrada 4. Aplicar processo adaptativo 5. Voltar para o passo 2 se ainda estiver treinando
    26. 26. 26 Mapas Auto Organizáveis de Kohonen • Formando um mapa auto organizável: 1. Inicializar pesos sinápticos 2. Realizar processo de competição 3. Determinar vizinhança topológica 4. Aplicar processo adaptativo 5. Voltar para o passo 2 se ainda estiver treinando
    27. 27. 27 Mapas Auto Organizáveis de Kohonen • Determinação de vizinhança • Função comumente utilizada para escolha de vizinhança: lw −li 2 − 2σ 2 (t) hwi (t) = α(t)e
    28. 28. 27 Mapas Auto Organizáveis de Kohonen • Determinação de vizinhança • Função comumente utilizada para escolha de vizinhança: lw −li 2 − 2σ 2 (t) tempo discreto hwi (t) = α(t)e
    29. 29. 27 Mapas Auto Organizáveis de Kohonen • Determinação de vizinhança • Função comumente utilizada para escolha de vizinhança: lw −li 2 − 2σ 2 (t) tempo discreto hwi (t) = α(t)e taxa de aprendizagem (0, 1)
    30. 30. 27 Mapas Auto Organizáveis de Kohonen • Determinação de vizinhança • Função comumente utilizada para escolha de vizinhança: lw −li 2 − 2σ 2 (t) tempo discreto hwi (t) = α(t)e taxa de aprendizagem (0, 1) t α(t) = 0.9 1 − , t < Niter Niter
    31. 31. 27 Mapas Auto Organizáveis de Kohonen • Determinação de vizinhança • Função comumente utilizada para escolha de vizinhança: lw −li 2 − 2σ 2 (t) tempo discreto hwi (t) = α(t)e raio da região taxa de aprendizagem (0, 1) t α(t) = 0.9 1 − , t < Niter Niter
    32. 32. 27 Mapas Auto Organizáveis de Kohonen • Determinação de vizinhança • Função comumente utilizada para escolha de vizinhança: lw −li 2 − 2σ 2 (t) tempo discreto hwi (t) = α(t)e raio da região taxa de aprendizagem (0, 1) t σ(t) = R 1 − + 1 , t < Niter t Niter α(t) = 0.9 1 − , t < Niter Niter
    33. 33. 27 Mapas Auto Organizáveis de Kohonen • Determinação de vizinhança • Função comumente utilizada para escolha de vizinhança: lw −li 2 − 2σ 2 (t) tempo discreto hwi (t) = α(t)e posição do nó raio da região taxa de aprendizagem (0, 1) t σ(t) = R 1 − + 1 , t < Niter t Niter α(t) = 0.9 1 − , t < Niter Niter
    34. 34. 28 Mapas Auto Organizáveis de Kohonen • Ajustando pesos no processo adaptativo pi (t + 1) = pi (t) + hwi (t)(entrada − pi (t)) • Quando parar de treinar ? • Teuvo Kohonen (por volta de): • 1000 iterações para ordenar • Para acurácia estatística, pelo menos 500n
    35. 35. 29 Mapas Auto Organizáveis de Kohonen • Exemplo: • Treinar para reconhecer os padrões
    36. 36. 29 Mapas Auto Organizáveis de Kohonen • Exemplo: • Treinar para reconhecer os padrões
    37. 37. 30 Mapas Auto Organizáveis de Kohonen • Exemplo: • Treinar para reconhecer os padrões
    38. 38. 31 Kohonen SOM - Matlab
    39. 39. 32 Kohonen SOM - Matlab
    40. 40. 33 Kohonen SOM - Matlab
    41. 41. 34 Vantagens e Desvantagens dos modelos • Redes de Hopfield: Simples de implementar Capacidade de armazenamento baixo: N Pmax ≈ 2 ln N
    42. 42. 35 Vantagens e Desvantagens dos modelos • Mapas auto organizáveis: Podem ser treinadas rapidamente Treinamento é computacionalmente leve (Kohonen) Requer informações a nível global
    43. 43. 36 Referências • de Wilde, P. (1997). Neural Network Models. Springer. • Haykin, S. (2000). Redes Neurais – Princípios e Práticas. Bookman. • Hopfield, J. J. (1982). Neural networks and physical systems with emergent collective computational abilities. Proceedings of the National Academy of Sciences of the United States of America. • Kohonen, T. (1982). Self-organized formation of topologically correct feature maps. Biological Cybernetics. • Kohonen, T. (2000). Self-Organizing Maps. Springer. • Priddy, K. L. and Keller, P. E. (2005). Artificial neural networks: an introduction. SPIE Publications. • Zupan, J. and Gasteiger, J. (1999). Neural Networks in Chemistry and Drug Design. Wiley-VCH.

    ×