Apresentação final de dissertação para obtenção do título de mestre em métodos de apoio a decisão com ênfase em métodos estatísticos e inteligência computacional.
QUARTA - 1EM SOCIOLOGIA - Aprender a pesquisar.pptx
Algoritmos Genéticos com Inspiração Quântica e Representação Mista Aplicados à Neuroevolução
1. 1
Rio de Janeiro, 1 de Outubro de 2010.
Algoritmos Genéticos com Inspiração Quântica e Representação Mista
Aplicados à Neuroevolução
Anderson Guimarães de Pinho
2. 2
1) Contextualização
2) Algoritmo AEIQ-BR
3) Algoritmo NEIQ-BR
4) Resultados
5) Conclusões
Algoritmos Genéticos com Inspiração Quântica e Representação Mista
Aplicados à Neuroevolução
3. 3
1) Contextualização
2) Algoritmo AEIQ-BR
3) Algoritmo NEIQ-BR
4) Resultados
5) Conclusões
Algoritmos Genéticos com Inspiração Quântica e Representação Mista
Aplicados à Neuroevolução
5. 5
Contextualização
• Ambiente de Estudo
Mineração de dados com algoritmos evolutivos (AE)
Algoritmos
Genéticos
Programação
Genética
Evolução
Diferencial Algoritmos
Culturais
Programação
Evolutiva
AE com Inspiração
na física Quântica
6. 6
Contextualização
• Ambiente de Estudo
Mineração de dados com algoritmos evolutivos (AE)
AE com Inspiração
na física Quântica
Kim et al
Jang et al
Abs da Cruz
Han et al
Li et al
Talbi et al
Mahdabi et al
Han e Kin
Arpaia et al
7. 7
Contextualização
• Inspiração
“... mais recentes avanços na área de computação evolutiva
[6]. AEIQ são baseados em princípios da física quântica
como conceito de q-bit e superposição de estados [11]. O
principal objetivo em se buscar inspiração na física
quântica é utilizar conceitos de múltiplos universos para
melhoria do desempenho dos algoritmos genéticos (AG)
tradicionais.”
11. 11
Contextualização
• Ambiente de Estudo
Mineração de dados com algoritmos evolutivos (AE)
AE com Inspiração
na física Quântica
Kim et al
Jang et al
Abs da Cruz
Han et al
Li et al
Talbi et al
Mahdabi et al
Han e Kin
Arpaia et al
12. 12
• Características do AEIQ-B e AEIQ-R
Contextualização
Representação
Binária
Problemas
Combinatórios
Estado de um
Q-Bit
Motivação em
relação à AG
tradicionais
Excelente
otimizador
global
Representação
Real
Problemas
Numéricos
Estado de um
Q-Real
Motivação em
relação ao
AEIQ-B
Maior
velocidade e
precisão
AEIQ-B de
Han et al
AEIQ-R de
Abs da Cruz
14. 14
Evolução
Diferencial
Contextualização
• Ambiente de Estudo
Mineração de dados com algoritmos evolutivos (AE)
Algoritmos
Genéticos
Programação
Genética
Algoritmos
Culturais
Programação
Evolutiva
AE com Inspiração
na física Quântica
15. 15
Contextualização
• O que se encontra:
Otimização da topologia das camadas escondidas e de entrada;
Seleção dos padrões de entrada;
Obtenção dos pesos dos neurônios;
Seleção de funções de avaliação;
Na ativação do neurônio, selecionando funções e otimizando parâmetros;
No aprendizado da rede, otimizando regras e parâmetros.
AE em Redes
Neurais Artificiais
16. 16
• Ambiente de Estudo
AE com Inspiração
na física Quântica
AE em Redes
Neurais Artificiais
Kim et al
Jang et al
Abs da Cruz
Han et al
Li et al
Talbi et al
Mahdabi et al
Han e Kin
Arpaia et al
Lacerda et al
Zhan et al
Pedrajas et al
Abraham Gomez et al
Blanco et al
Delgado e Pegalajar
Paz e Kamath
Abs
da Cruz
Capi e Doya
Kim e Cho
Pedrajas e Boyer
Contextualização
Mineração de dados com algoritmos evolutivos (AE)
Abs da
Cruz
18. 18
Contextualização
• O que se propõe é:
AEIQ-BR
=+
NEIQ-BR
AEIQ-B de
Han et al
AEIQ-R de
Abs da Cruz
NEIQ-R de
Abs da Cruz
(1) (2)
19. 19
Contextualização
• Além disso ...
... resultados serão orientados por:
Teste em casos benchmark e reais com
diferentes níveis de dificuldade.
Avaliação dos resultados em termos de acurácia
e área sob a curva ROC.
Separação do banco de dados entre grupo de
teste e treinamento.
Comparação com resultados obtidos por outros
pesquisadores.
Apresentação de testes estatísticos para
evidenciar eficácia de um modelo.
20. 20
1) Contextualização
2) Algoritmo AEIQ-BR
3) Algoritmo NEIQ-BR
4) Resultados
5) Conclusões
Algoritmos Genéticos com Inspiração Quântica e Representação Mista
Aplicados à Neuroevolução
23. 23
Algoritmo AEIQ-BR
• Inicializa População Quântica Q(t)
1 2 3( ) , , , ..., .t t t t
NQ t q q q q
.t t t
i i i
b r
q q q
1 2
1 2
1 2
, ..., .
t t t
i i iMt t t t
i i i iMt t tb
i i iM
b
q g g g
1 1 1 2 2 2 3 3 3( ), ( ), ( ),...,, ( ) .t t t t t t t t t t t t t
i i i i i i i i i i iG iG iG
r r
q g p x g p x g p x g p x
24. 24
Algoritmo AEIQ-BR
• Inicializa População Quântica Q(t)
1 1 1 2 2 2 3 3 3( ), ( ), ( ),...,, ( ) .t t t t t t t t t t t t t
i i i i i i i i i i iG iG iG
r r
q g p x g p x g p x g p x
1
,
( ) ( ; ; ) .
0,
t t t
ij ij ijt tt t t t t
ij ijij ij ij ij ij
se a x b
b ap x f x a b
caso contrário
25. 25
Algoritmo AEIQ-BR
• Inicializa População Quântica Q(t)
1
,
( ) ( ; ; ) .
0,
t t t
ij ij ijt tt t t t t
ij ijij ij ij ij ij
se a x b
b ap x f x a b
caso contrário
.
2
t t
ij ijt t
ij ij
a b
E x
.t t t
ij ij ijb a Seja
1
, ( ) ( )
( ) ( ; ; ) ,2 2
0 ,
t t
ij ijt t t
ij ij ijt t t t t t
ij ij ij ij ij ij
se x
p x f x
caso contrário
Temos então que
1 2 3
1 1 2 2 3 3
1 2 3
( ), ( ), ( ),...,, ( ) ... .ij
t t t t
i i i iGt t t t t t t t t t t t t
i i i i i ij i i ij iG iG ij t t t tr r
i i i iG r
q g p x g p x g p x g p x
Sendo assim
e
26. 26
• Inicializa População Quântica Q(t)
Algoritmo AEIQ-BR
1 2 3
1 1 2 2 3 3
1 2 3
( ), ( ), ( ),...,, ( ) ... .ij
t t t t
i i i iGt t t t t t t t t t t t t
i i i i i ij i i ij iG iG ij t t t tr r
i i i iG r
q g p x g p x g p x g p x
1 2 3( ) , , , ..., .t t t t
NQ t q q q q
.t t t
i i i
b r
q q q
1 2
1 2
1 2
, ..., .
t t t
i i iMt t t t
i i i iMt t tb
i i iM
b
q g g g
27. 27
Algoritmo AEIQ-BR
• Ou da forma mais simples:
1 2 3( ) , , , ..., .t t t t
NQ t q q q q
1 2 1 2 3
1 2 1 2 3
... ... .
t t t t t t t
i i iM i i i iGt t t
i i i t t t t t t tb r
i i iM i i i iGb r
q q q
29. 29
Algoritmo AEIQ-BR
• Observa População Quântica
0 1
(t
ij)2
(t
ij)2
Gerar um Número Aleatório
Atribui-se 0
ao gene
clássico
Atribui-se 1
ao gene
clássico
1/2
1 2 3( ) , , , ..., .t t t t
NQ t q q q q
1 2 1 2 3
1 2 1 2 3
... ... .
t t t t t t t
i i iM i i i iGt t t
i i i t t t t t t tb r
i i iM i i i iGb r
q q q
Para cada gene quântico binário:
30. 30
Algoritmo AEIQ-BR
• Observa População Quântica
1 2 3( ) , , , ..., .t t t t
NQ t q q q q
1 2 1 2 3
1 2 1 2 3
... ... .
t t t t t t t
i i iM i i i iGt t t
i i i t t t t t t tb r
i i iM i i i iGb r
q q q
Para cada gene quântico real:
1
, ( ) ( )
( ) ( ; ; ) ,2 2
0 ,
t t
ij ijt t t
ij ij ijt t t t t t
ij ij ij ij ij ij
se x
p x f x
caso contrário
31. 31
Algoritmo AEIQ-BR
• Observa População Quântica
1 2 3( ) , , , ..., .t t t t
NQ t q q q q
1 2 1 2 3
1 2 1 2 3
... ... .
t t t t t t t
i i iM i i i iGt t t
i i i t t t t t t tb r
i i iM i i i iGb r
q q q
Para cada gene quântico real:
0 , ( )
2
1
( ) ( ; ; ) , ( ) ( ) .
2 2 2
1 , ( )
2
ij
ij ij
t
ijt t
ij ij
t t t t
ij ij ij ijt t t t t t t t
ij ij ij ij ij ij ij ijt
ij
t
t t
se x
x
P x F x se x
se x
t
ijy
32. 32
Algoritmo AEIQ-BR
• Observa População Quântica
1 2 3( ) , , , ..., .t t t t
NQ t q q q q
1 2 1 2 3
1 2 1 2 3
... ... .
t t t t t t t
i i iM i i i iGt t t
i i i t t t t t t tb r
i i iM i i i iGb r
q q q
Para cada gene quântico real:
1 1
0 , 0
1
( ) ( ; ; ) ( ) , 0 1 .
2
1 , 1
t
ij
tt t t t t t t t t
ij ij ij ij ij ij ij ij ij ij
r
t
ij
se y
x P y F y y se y
se y
0 1
(t
ij)2
(t
ij)2
Gerar um Número Aleatório
Atribui-se 0
ao gene
clássico
Atribui-se 1
ao gene
clássico
1/2
35. 35
Algoritmo AEIQ-BR
• Recombinação Clássica de P(t) com B(t-1)
1 2 3( ) , , , ..., .t t t t
NC t c c c c
1 2 3 1 2 3, , , ..., , , , ..., .t t t t t t t t t t t
i i i i i i iM i i i iG
b r b r
c c c x x x x x x x x
Indivíduo Clássico Qualquer
Dois indivíduos selecionados para cruzamento
1 2 3 1 2 3, , , ..., , , , ..., .t t t t t t t t t t t
i i i i i i iM i i i iG
b r b r
c c c x x x x x x x x
1 2 3 1 2 3, , , ..., , , , ..., .t t t t t t t t t t t
i i i i i i iM i i i iG
b r b r
c c c x x x x x x x x
36. 36
• Recombinação Clássica de P(t) com B(t-1)
Algoritmo AEIQ-BR
1 2 3 1 2 3, , , ..., , , , ..., .t t t t t t t t t t t
i i i i i i iM i i i iG
b r b r
c c c x x x x x x x x
1 2 3 1 2 3, , , ..., , , , ..., .t t t t t t t t t t t
i i i i i i iM i i i iG
b r b r
c c c x x x x x x x x
C. UNIFORME
, 0
,
,
t
ij cb
bPt
ij
tbF
ij
bB
x se aleatório entre e C
x
x caso contrário
37. 37
Algoritmo AEIQ-BR
• Recombinação Clássica de P(t) com B(t-1)
1 2 3 1 2 3, , , ..., , , , ..., .t t t t t t t t t t t
i i i i i i iM i i i iG
b r b r
c c c x x x x x x x x
1 2 3 1 2 3, , , ..., , , , ..., .t t t t t t t t t t t
i i i i i i iM i i i iG
b r b r
c c c x x x x x x x x
C. ARITIMÉTICO
, 0
,
,
t t t t
ij ij ij cr
rB rP rBt
ij
rF t
ij
rB
x x x se aleatório entre e C
x
x caso contrário
39. 39
Algoritmo AEIQ-BR
• Atualiza População Q(t) com B(t)
1 2 3( ) , , , ..., .t t t t
NC t c c c c
1 2 3 1 2 3, , , ..., , , , ..., .t t t t t t t t t t t
i i i i i i iM i i i iG
b r b r
c c c x x x x x x x x
1 2 3( ) , , , ..., .t t t t
NQ t q q q q
1 2 1 2 3
1 2 1 2 3
... ... .
t t t t t t t
i i iM i i i iGt t t
i i i t t t t t t tb r
i i iM i i i iGb r
q q q
OPERADORES PARTE BINÁRIA
1
t+1
ij 1
cos( ) ( )
, ( ) 0
( ) cos( )
g = ,
cos( ) ( )
, ( ) 1
( ) cos( )
b
b
t
ij t
ij btt
ijij
t t
ij ij t
ij bt
ij
seno
se x
seno
seno
se x
seno
40. 40
Algoritmo AEIQ-BR
• Atualiza População Q(t) com B(t)
1 2 3( ) , , , ..., .t t t t
NC t c c c c
1 2 3 1 2 3, , , ..., , , , ..., .t t t t t t t t t t t
i i i i i i iM i i i iG
b r b r
c c c x x x x x x x x
1 2 3( ) , , , ..., .t t t t
NQ t q q q q
1 2 1 2 3
1 2 1 2 3
... ... .
t t t t t t t
i i iM i i i iGt t t
i i i t t t t t t tb r
i i iM i i i iGb r
q q q
OPERADORES PARTE REAL
1
(( ) ),t t t t t
ij ij ij r ijx
1
((max(( ) ) min(( ) )) );t t t t t t
ij ij ij r ij r ijx x
Único de B(t)
Todos de B(t)
43. 43
Algoritmo AEIQ-BR
• Nosso controle atuará em:
– NQ, número de indivíduos quânticos;
– NC, número de indivíduos clássicos;
– CQ, probabilidade de crossover quântico;
– CCb, probabilidade de crossover clássico binário;
– CCr, probabilidade de crossover clássico real;
– T, número de gerações ou evoluções;
– E , ângulo de rotação para velocidade de atualização dos genes clássicos
binários.
44. 44
1) Contextualização
2) Algoritmo AEIQ-BR
3) Algoritmo NEIQ-BR
4) Resultados
5) Conclusões
Algoritmos Genéticos com Inspiração Quântica e Representação Mista
Aplicados à Neuroevolução
45. 45
Algoritmo NEIQ-BR
• Porque?
“Esta utilidade em se aplicar AEIQ-BR para evoluir uma
RNA recebe o nome de algoritmo NEIQ-BR, numa extensão ao
modelo de Vargas [6], o NEIQ-R, cuja representação da
solução considerava somente características numéricas. A sigla
NEIQ-BR vem de “NeuroEvolução Inspirada na física
Quântica com representação mista Binária e Real””
48. 48
Algoritmo NEIQ-BR
• Codificação no Cromossoma
– Quântico
1 1 1 1 1 1 *
1 1 1 1 1 1 *
;...; ; ;...;
.
;...; ; ;...;
t t t t
i i TE TI i TE TI i TE TI TI TO
t
i t t t tr
i i TE TI i TE TI i TE TI TI TO
r
q
,t t t
i i i
b r
q q q
1 1 1 2. 2. 1 2.
1 1 1 2. 2. 1 2.
;...; ; ;...; ; ;...; ; ;...;
;...; ; ;...; ; ;...; ; ;...;
t t t t t t t t
i iTE i TE i TE TI i TE TI i TE TI i TE TI i TE TI TOt
i t t t t t t t tb
i iTE i TE i TE TI i TE TI i TE TI i TE TI i TE TI TO
b
q
49. 49
Algoritmo NEIQ-BR
• Codificação no Cromossoma
– Clássico
,t t t
h h h
b r
c c c
1 1 1 2. 2. 1 2.;...; ; ;...; ; ;...; ; ;...;t t t t t t t t t
h h hTE h TE h TE TI h TE TI h TE TI h TE TI h TE TI TOb b
c x x x x x x x x
1 1 1 1 1 1 *
;...; ; ;...;t t t t t
h h h TE TI h TE TI h TE TI TI TOr r
c x x x x
50. 50
Algoritmo NEIQ-BR
• Parâmetros de Controle Adicionais
– minT, o número mínimo de gerações que um neurônio permanecerá ativo.
– updateT, o intervalo entre gerações para execução de operadores quânticos.
– TI, máximo de neurônios permitidos na camada intermediária.
52. 52
Algoritmo NEIQ-BR
• Funções de Avaliação
1
%
1 1
n
ij
i jt
h
acerto total n n
ij
i j
a
f c
a
1/
1
%
1/
1 1
.
.
n
ij c ci
i jt
h
acerto total ponderado n n
ij c ci
i j
a r
f c
a r
1
1
1 (1 ) ,
2
n
i
i
Área FVP FFP FVP FFP
(1)
(2)
(3)
53. 53
1) Contextualização
2) Algoritmo AEIQ-BR
3) Algoritmo NEIQ-BR
4) Resultados
5) Conclusões
Algoritmos Genéticos com Inspiração Quântica e Representação Mista
Aplicados à Neuroevolução
54. 54
Resultados Modelo NEIQ-BR
• Cases para Avaliação
Australian
Credit
German
Credit
Iris Data
Wisconsin
Diagnostic
Breast Cancer
Wisconsin
Prognostic
Breast Cancer
Wine Data
Empréstimos
Financeiros
Crédito de
Limite
Especial
55. 55
• Préprocessamento
Resultados Modelo NEIQ-BR
NORMALIZAÇÃO
• Faixa Dinâmica
• Normalização
Padrão
TRANSFORMAÇÃO
• Codificação
binária em
categóricas com 2
classes.
• Codificação 1 de
N em categóricas
com mais de 2
classes.
TRATAMENTO
• Observações
faltantes foram
substituídas por:
• Moda em
variáveis
nominais.
• Média em
variáveis
numéricas.
( )
( ) ( )
ij inormalizado
ij
i i
x mínimo x
x
máximo x mínimo x
ijnormalizado
ij
X
x X
x
56. 56
Resultados Modelo NEIQ-BR
• Banco de Dados
Base de Dados Amostras
Variáveis
Binárias
Variáveis
Contínuas
Número
Classes
Australian Credit Approval 690 32 6 2
German Credit 1.000 52 7 2
Iris Data 150 - 4 3
Diagnostic Breast Cancer 569 - 30 2
Prognostic Breast Cancer 198 - 33 2
Wine Data 178 - 13 3
Empréstimos Financeiros 2.619 19 13 2
Crédito de Limite Especial 1.844 16 13 2
58. 58
Resultados Modelo NEIQ-BR
• Cases para Avaliação
Australian
Credit
German
Credit
Iris Data
Wisconsin
Diagnostic
Breast Cancer
Wisconsin
Prognostic
Breast Cancer
Wine Data
Empréstimos
Financeiros
Crédito de
Limite
Especial
3-FOLD-CROSS-VALIDATION
59. 59
Resultados Modelo NEIQ-BR
• Ambiente Computacional
8 BANCO DE DADOS
X
12 ESTRATÉGIAS
X
3 VALIDAÇÕES
=
288 EXPERIMENTOS
71. 71
Conclusões
• Conclusões
Otimizador Global
Representação Probabilística do Espaço de Soluções
Alta Capacidade de Exploração e Aproveitamento
Maior Rápido Computacionalmente
Robusto o Suficiente na Variação dos Parâmetros
Estatísticamente Superior em 44% dos casos
AEIQ-BR
NEIQ-BR
(1) (2)
72. 72
Conclusões
• Conclusões
Teste em casos benchmark e reais com
diferentes níveis de dificuldade.
Avaliação dos resultados em termos de acurácia
e área sob a curva ROC.
Separação do banco de dados entre grupo de
teste e treinamento.
Comparação com resultados obtidos por outros
pesquisadores.
Apresentação de testes estatísticos para
evidenciar eficácia de um modelo.
73. 73
Conclusões
• Trabalhos Futuros
Tempo de Processamento, ou Custo Computacional.
Parametrização de como velocidade de atualização
quântica real de e .
Classificação vs. Previsão, Controle, Otimização.
Casos benchmark na barreira de 3.000 registros. No
curto prazo: particionamento e codificação de padrões.
Testes estatísticos e dependência conjunta e
impactância nos resultados de variação de parâmetros.