• Share
  • Email
  • Embed
  • Like
  • Save
  • Private Content
Redes Neurais Aplicacoes
 

Redes Neurais Aplicacoes

on

  • 5,228 views

 

Statistics

Views

Total Views
5,228
Views on SlideShare
5,198
Embed Views
30

Actions

Likes
6
Downloads
0
Comments
0

3 Embeds 30

http://www.unisinos.br 14
http://www.slideshare.net 14
http://maia.unisinos.br 2

Accessibility

Categories

Upload Details

Uploaded via as Microsoft PowerPoint

Usage Rights

© All Rights Reserved

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Processing…
Post Comment
Edit your comment

Redes Neurais Aplicacoes Redes Neurais Aplicacoes Presentation Transcript

    • Prof. Dr. Adelmo Luis Cechin
    • e-mail: cechin@exatas.unisinos.br
    • http://www.inf.unisinos.br/~cechin
    • UNISINOS - Centro 6
    Redes Neurais e Aplicações
  • Conteúdo
    • Histórico
    • Princípios
    • Aplicações
  • Histórico
    • Neurônios biológicos
    Célula de Purkinge no Córtex Cerebral Dendritos Corpo celular 1906 : Ramón y Cajal (Espanha, Santiago) Axônio Sinais de outros neurônios
  • Outros neurônios biológicos Neurônio piramidal CA1 de rato Neurônio espinhoso neostriatal de rato Interneurônio sem axônio do gafanhoto
  • Sinapses (conexões entre neurônios)
    • Quanto maior a sinapse e mais próximo do corpo celular,
    • maior a influência de um neurônio no outro.
    • Aprendizado ocorre pela alteração das sinapses
    • Sinapses exitatórias +
    • Sinapses inibitórias -
  • »Modelo
    • Codificação dos sinais em freqüência
      • quanto maior a freqüência dos pulsos de entrada, maior o sinal.
    • Sinapses : representam fatores multiplicativos.
    • Corpo celular : soma dos sinais de vários neurônios.
    • Limite : somente a partir de uma certa soma dos sinais (depolarização da membrana) o neurônio emite pulsos.
  • Histórico
    • 1943 : McCulloch & Pitts (neurônio booleano)
    • 1949 : Donald Hebb (modelo da sinapse)
    • 1958 : Rosenblatt ( Perceptron )
    • 1972 : Kohonen (modelo do córtex motor)
    Minsky 1969 » vácuo dos anos 70
    • 1982 : Hopfield (modelo dos núcleos)
    • 1986 : Rumelhart (modelo de camadas e Backpropagation ?)
    $ » Inteligência Artificial Simbólica
  • Perceptron w 1 w 2 w 3 e 3 e 2 e 1 sinapses Freqüência dos pulsos Soma dos pulsos s = e 1 w 1 +e 2 w 2 +e 3 w 3 Limite se s>t entao r = 1 senao r = 0 e 1 e 2 1 0 Classificação de padrões 1 1 1 1 0 0 0
  • Aprendizado Supervisionado
    • Regra de Hebb
    w i ´= w i + (r desejado -r atual )e i w 3 ´= w 3 + ( levantar - ficar parado) mamadeira
    • Problema: alguém precisa ensinar a criança (supervisionar) a levantar .
    r e 1 w 1 w 2 w 3 e 3 e 2 =1
  • Minsky e a crítica ao Perceptron
    • Problema: XOR
    e 2 0 1 1 0 e 1 Xor e 1 e 2
    • Algoritmo para duas camadas ???
  • Aplicações
    • Reconhecimento de padrões
      • Som : Reconhecimento e Síntese de voz, Eliminação de ruídos.
      • Imagens : Textos, Assinaturas, Impressões digitais, imagens de satélite, fotos, peças mecânicas, “zip code”.
    • Controle
      • Estimativa de variáveis em processos químicos, Controle de Qualidade, Controle de processos, robótica estacionária e móvel.
    • Modelamento, Classificação e Previsão
      • Mercado financeiro, medicina, toxicologia, botânica, meteorologia, propriedades químicas.
  • Mapa de Kohonen Cortex
  • Estrutura Básica
    • A primeira camada é a camada de entrada.
    • A segunda é a camada competitiva e é organizada como uma grade bi-dimensional.
  • Mapa de Kohonen
    • Aprendizado não supervisionado
    Cada neurônio especializa-se em determinados padrões, respondendo somente a estes. (w 1 ,w 2 ) w 1 w 2
  • Reconhecimento de Voz tempo 10mS Sinal no tempo Sinal em freqüência Mapa de Kohonen Fonema /i/ Fonema /o/
  • Reconhecimento de Voz
    • Mapa de Kohonen
  • Proteína estudada: CAP (Catabolic Activator Protein)
    • Age quando a interação RNA-polimerase com o DNA não é suficiente para o início da transcrição.
    • A ligação da CAP a uma região upstream dos sítios –35 e –10, por uma mudança conformacional da molécula de DNA, torna a transcrição possível e em níveis satisfatórios.
  • Dados
    • A superfície mapeada (604 átomos positivos e 400 átomos negativos, pela carga dos resíduos):
    Visão 1 Visão 2 Visão 3
  • Resultados: Matriz U, (x,y,z), Resíduos
  • Superfície da Proteína => Superfície no Mapa de Kohonen
  • Sistema Neural de Visão
  • Camadas de neurônios no cortex
  • Rumelhart
    • Aprendizado supervisionado em um modelo neural multicamadas:
        • Algoritmo Backpropagation
    • BackPropagation (Multi-Layer Perceptron)
    Erro quadrático: Ajuste dos Pesos: Ex.: Derivação da regra de reajuste dos pesos (Camada intermediária da rede = Hidden Layer)
  • Exemplo
    • Dados : composto de 150 instâncias e 5 atributos.
      • Possui a medida da largura e do comprimento das sépalas, a medida da largura e do comprimento das pétalas (em centímetros) e a espécie (classe) de 150 flores de íris.
      • A classificação das classes assume três possíveis valores:
    Iris-Setosa Iris-Virginica Iris-Versicolor
  • Ajuda ao diagnóstico médico
    • Diagnóstico de comas tóxicas
    • Atributos considerados : 13
      • sexo, temperatura, urina, aspecto do paciente, olhar, reflexos, pressão arterial, freq. cardíaca, etc.
    • Absorção ou não de um elemento tóxico (ou uma combinação) dentre 7 classes
      • álcool, ADT, morphina, barbitúricos, carbamate, fenotiazinas, benzodiazepinas
    • Referência: Projeto Esprit MIX
  • Reconhecimento de Imagens
    • Localização de padrões em imagens
    • Atributos considerados :
      • valores preto/branco (ou RGB) em janelas deslisantes
    • Imagem reconhecida ou não (percentagem)
    0 1 janela deslizante 0 1
  • Reconhecimento de Imagens
    • Localização de padrões em imagens
  • Separação de enantiômeros
    • Fatores que determinam a separação de enantiômeros através da cromatografia
  • Separação de enantiômeros
    • Fatores que determinam a separação de enantiômeros através da cromatografia
    • Atributos considerados
      • codificação da estrutura molecular das substâncias
    • Coeficiente de separação 
  • Separação de enantiômeros  Treinamento = pesos adaptados 0.25 0.95 0.05 0.40 0.35
  • Estrutura secundária de proteinas
    • Determinação dos mecanismos de funcionamento de enzimas (proteinas)
  • Os Dados Arquivo: 1 run.pdb Que características estudar? As cargas elétricas dos aminoácidos, como possível indicação de características de interação protéica.
  • Estrutura secundária de proteinas
    • Atributos considerados
      • cadeia de aminoácidos
    • Estrutura secundária: hélice , folha , volta
  • Estrutura secundária de proteinas
  • Simulação Dinâmica => Rede Neural?
  • Toxicidade aquática
    • Efeito de poluentes sobre espécies aquáticas em rios, lagos, estuários e águas costeiras.
    • Atributos considerados : 3
      • coeficiente de partição entre n-octanol e
      • água (hidrofobicidade)
      • refratividade molar (polarizabilidade)
      • presença de oxigênio na fórmula química
    • LC 50 Concentração Letal
      • Concentração na qual 50% dos animais morrem após 96 horas.
  • Correção de cores
    • Melhoramento da qualidade das cores em imagens obtidas através de “scanner”
    • Atributos considerados
      • componentes RGB de cada pixel das fotos
    • Obtido
      • componentes RGB de cada pixel corrigido
    scanner impressora
  • Aprendizado R G B R G B scanner
  • Aplicação R G B R G B
  • Simulação e Controle Equações diferenciais dv dt F m = dx dt v = Massa m Força F Atrito a Velocidade v distância x v (t+  t) = v(t) +  t F m x (t+  t) = x(t) + v  t
  • Modelo do Pêndulo triplo                         (t) (t+  t) Modelo passivo  (t) (t+  t) Modelo ativo u f 
  • Centro de massa Massa 23 pontos de massa = 69 coordenadas (x,y,z) + 69 coordenadas de velocidade (vx,vy,vz)= 138 variáveis de estado ou 138 equações!! Modelo do Golfinho
  • Simulação e Controle (Vídeo) Golfinho: 6 músculos (Objetivo: bola vermelha) Pêndulo triplo: atrito, forças externas, torque nas juntas objetivo Carro: atrito, tração traseira, direção dianteira objetivo Nave espacial: Propulsor principal, 3 propulsores de direção. objetivo
  • Controle (BPTT) (t) (t+  t) u f (t+2  t) u f (t+3  t) u f  Objetivo: estado final Estado atual  u Valores a serem aplicados ao processo para que este chegue no estado final. u u
  • Seqüências de Vídeo: Emulador
    • Pêndulo triplo
        • sistema passivo (2 seqüências)
        • sistema ativo (2 seqüências): inclui torque
        • sistema ativo + forças externas
    • Nave (2 seqüências de 8000 passos)
    • Carro (2 seq.)
    • Golfinho (2 seq.)
  • Seqüências de Vídeo: Controle
    • Pêndulo triplo
        • emulador + aprendizado do controlador
        • modelo físico + controlador
    • Nave
        • objetivo: também velocidade zero
    • Carro
    • Golfinho
        • objetivo: mover na direção da comida
  • Seqüências de Vídeo: Emulador
    • Pêndulo triplo
        • sistema passivo (2 seqüências)
        • sistema ativo (2 seqüências): inclui torque
        • sistema ativo + forças externas
    • Nave (2 seqüências de 8000 passos)
    • Carro (2 seq.)
    • Golfinho (2 seq.)
  • Seqüências de Vídeo: Controle
    • Pêndulo triplo
        • emulador + aprendizado do controlador
        • modelo físico + controlador
    • Nave
        • objetivo: também velocidade zero
    • Carro
    • Golfinho
        • objetivo: mover na direção da comida
  • Comparação entre as Redes Neurais Temporais Memória P Processamento temporal usando atrasos no tempo Saída ( t ) Entrada ( t ) Variáveis de estado ( t+1 ) Variáveis de estado ( t ) P Memória P Modelo Geral Saída ( t ) Entrada ( t ) Variáveis de estado ( t+1 ) Variáveis de estado ( t ) Variáveis de estado ( t ) Memória P NARX Saída ( t ) Entrada ( t ) Variáveis de estado ( t+1 ) Variáveis de estado ( t ) Saída ( t ) P Memória P Rede de Elman Saída ( t ) Entrada ( t ) Variáveis de estado ( t+1 ) Variáveis de estado ( t ) Variáveis de estado ( t ) P Memória Rede de Jordan Entrada ( t ) Variáveis de estado ( t+1 ) Variáveis de estado ( t ) Variáveis de estado ( t ) Variáveis de estado ( t+1 )
  • Sistema de Lorenz Marchuk, G.I. et all.: Numerical Simulation of a Large-Scale Atmospheric and Oceanic Circulation. In Problems of Computational Mathematics and Mathematical Modelling. Eds.: G.I.Marchuk e V.P.Dymnikov. MIR Publishers. P. 124-166. 1985. Edward Lorenz MIT 1960 Royal MacBee Project
  • Sistema de Lorenz
    • O sistema é descrito pelas equações diferenciais não-lineares:
    • d x /d t = -  x +  y
    • d y /d t = - x z + r x + y
    • d z /d t = x y – b z
    • A solução numérica das equações com valores de parâmetros  =10, r =28 e b =8/3 conduz a um atrator que pode ser visualizado em um espaço 3D com coordenadas x , y e z .
      •  : número de Prandtl (viscosidade/condutividade térmica)
      • r: diferença de temperatura entre a parte superior e inferior da célula
      • b: relação entre o diâmetro e a altura da célula
    • O sistema é caótico, e portanto, imprevisível, mas ao mesmo tempo converge para um atrator determinado.
  • Experimentos – Sistema de Lorenz
    • Dados para Treinamento da Rede Neural:
      • Análise da curva de autocorrelação
        •  t = 0.06 – 2.000 padrões
        •  t = 0.03 – 4.000 padrões
      • Dados Originais : - 20.000 pontos identificados seqüencialmente dentro do espaço do atrator
      • - 1.000 séries temporais geradas a partir de pontos transientes, com 20 passos em cada
  • Experimentos – Sistema de Lorenz Arquitetura da Rede Neural Recorrente Z -1 Variáveis de estado ( t+1 ) x ( t ) y ( t ) z ( t )
  • Experimentos – Sistema de Lorenz Treinamento das Redes Neurais S 0.22 0.16 3-20-3 S 0.2 0.18 3-19-3 S 0.31 0.29 3-18-3 S 0.48 0.35 3-17-3 S 0.35 0.25 3-16-3 S 0.29 0.24 3-15-3 S 0.48 0.36 3-14-3 S 0.46 0.43 3-13-3 S 0.36 0.34 3-12-3 S 0.45 0.49 3-11-3 N 0.95 0.99 3-10-3 N 11.1 12.07 3-3-3 Simulação 3D MSE Teste MSE Treinamento Topologia  t = 0.03 (20.000 épocas/4.000 padrões) S 2.98 2.94 3-20-3 N 3.28 4.15 3-19-3 S 7.82 6.02 3-18-3 S 4.94 5.2 3-17-3 S 13.33 5.88 3-16-3 N 5.98 5.78 3-15-3 N 5.56 6.24 3-14-3 N 16.77 12.4 3-13-3 N 23.65 14.12 3-12-3 N 26.85 17.71 3-11-3 N 36.69 38.68 3-10-3 N 89.26 92.33 3-3-3 Simulação 3D MSE Teste MSE Treinamento Topologia  t = 0.06 (20.000 épocas/2.000 padrões)
    • Validação – Simulações utilizando a Rede Neural (  t = 0.03)
    Dados Originais Rede com 11 neurônios na camada oculta
  • Lorenz - Self Organizing MAP
  • Como avaliar um imóvel utilizando Redes Neurais Artificiais .
    • aluguel: R$
    • venda: R$
  • Banco de dados no.1
      • Venda: 1576 imóveis ofertados para venda (92-94).
      • Entrada: - coordenada horizontal do imóvel;
      • - coordenada vertical do imóvel;
      • (prefeitura = (0;0))
      • - área do imóvel;
      • - renda do bairro (IBGE);
      • - ano de construção (habite-se);
      • - área da garagem.
      • Saída: - estimativa do valor do imóvel.
      • Validação:- avaliação da prefeitura (IGP).
  • Banco de dados no.2
    • Aluguel: 460 imóveis ofertados para aluguel (92-94).
      • Entrada: - coordenada horizontal do imóvel;
      • - coordenada vertical do imóvel;
      • (prefeitura = (0;0))
      • - área do imóvel;
      • - número de quartos;
      • - ano de construção (habite-se);
      • - área do terreno.
      • Saída: - estimativa do valor do aluguel.
      • Validação:- preço ofertado, convertido ao dólar do dia da oferta.
  • Treinando uma rede (6-24-24-1)
  • Resultados
  • Aluguel
  • Aluguel
  • Venda
  • Venda
  • Aplicação no Mercado Financeiro: Importação
    • Saídas:
      • Quantum de importações totais
      • Quantum de importações de bens Intermediários
      • Quantum de importação de materiais elétricos
    • Entradas:
      • PIB trimestral
      • IGP
        • IGP-DI Total
        • IGP-DI Bens Intermediários
        • IGP-OG Material Elétrico
      • Utilização da Capacidade Produtiva
  • Rede Neural utilizada
  • Resultados da Rede
    • Em vermelho , dados reais; em azul , os dados estimados.
  • Robótica Industrial Cinemática Inversa
  • Classificação
  • Robix
  • Posição do Manipulador => Comandos x y z  1  2  3  4 Camada de Entrada Camada de Saída Camada Oculta
  • Robótica autônoma
    • Evitar obstáculos; seguir muros » mapa do ambiente
  • Porosidade em Rochas
    • Objetivo: indicações de água/petróleo
  • Futuro ?
    • Sistemas Híbridos:
      • Sistemas Neurais e Sistemas Simbólicos
      • Sistemas Neurais e Sistemas Probabilísticos
      • Sistemas Neurais e Simulação