Presentación de soporte de la tesis doctoral "Reliability of Performance Measures in Tree-Based Genetic Programming: A Study on Koza's Computational Effort". Contiene todas las figuras y tablas de dicha tesis.

1. TESIS DOCTORAL
Reliability of Performance Measures in Tree-Based
Genetic Programming
MATERIAL DE SOPORTE
David Fernández Barrero
Directores:
Dra. María D. R-Moreno
Dr. David Camacho
Departamento de Automática
Universidad de Alcalá
Diciembre 2011

2. Capítulos 1 y 2
Capítulo 3
Capítulo 4
Capítulo 5
Capítulo 6
Summary
1 Capítulos 1 y 2
Figuras
Tablas
2 Capítulo 3
Figuras
Tablas
Algoritmos
3 Capítulo 4
Figuras
Tablas
4 Capítulo 5
Figuras
Tablas
5 Capítulo 6
Figuras
Tablas
2 / 68

3. Capítulos 1 y 2
Capítulo 3
Figuras
Capítulo 4
Tablas
Capítulo 5
Capítulo 6
Capítulo 1
Figura 1.1: Curvas de Koza
Koza’s performance curves
1e+06
0.6
P(M,i)
I(M,i,z)
0.5
8e+05
0.4
6e+05
I(M,i,z)
P(M,i)
0.3
4e+05
0.2
2e+05
0.1
13: 117000
0e+00
0.0
0 10 20 30 40 50
Generation 3 / 68

4. Capítulos 1 y 2
Capítulo 3
Figuras
Capítulo 4
Tablas
Capítulo 5
Capítulo 6
Capítulo 2
Figura 2.1: Marco de descripción experimental
4 / 68

5. Capítulos 1 y 2
Capítulo 3
Figuras
Capítulo 4
Tablas
Capítulo 5
Capítulo 6
Capítulo 2
Figura 2.2: Clasificación Metaheurísticas
5 / 68

6. Capítulos 1 y 2
Capítulo 3
Figuras
Capítulo 4
Tablas
Capítulo 5
Capítulo 6
Capítulo 2
Figura 2.3: Funciones de De Jong
Sphere Step
y y
x2 x1 x2 x1
Quartic function with noise Rosenbrock
y y
x2 x1 x2 x1
6 / 68

7. Capítulos 1 y 2
Capítulo 3
Figuras
Capítulo 4
Tablas
Capítulo 5
Capítulo 6
Capítulo 2
Figura 2.4: Camino de Santa Fe
7 / 68

8. Capítulos 1 y 2
Capítulo 3
Figuras
Capítulo 4
Tablas
Capítulo 5
Capítulo 6
Capítulo 2
Figura 2.5: Clasificación de medidas
8 / 68

9. Capítulos 1 y 2
Capítulo 3
Figuras
Capítulo 4
Tablas
Capítulo 5
Capítulo 6
Capítulo 2
Figura 2.6: Eficacia vs. Eficiencia
0.5
0.4
Function value
0.3
0.2
Efficiency
0.1
Effectivity
0 1 2 3 4 5 6
Function evaluations
9 / 68

10. Capítulos 1 y 2
Capítulo 3
Figuras
Capítulo 4
Tablas
Capítulo 5
Capítulo 6
Tabla 2.1
Tabla 2.1: Clasificación de diseños experimentales
Author Publication Adjectives
C.C. McGeoch [?] Dependency study
Robustness study
Proving study
A. E. Eiben [?] Design
Repetitive
Control (particular case of repetitive)
J. Derrac [?] Single problem analysis
Multiprogram problem analysis
M. Chiarandini [?] Univariable
Multivariable
R. L. Rardin [?] Scientifical/development
Design/planning/control
Sequential/factorial
P. R. Cohen [?] Exploratory / confirmatory
Manipulation / observation
Several [?, ?, ?] Pilot or exploratory
10 / 68

11. Capítulos 1 y 2
Capítulo 3
Figuras
Capítulo 4
Tablas
Capítulo 5
Capítulo 6
Capítulo 2
Tabla 2.2: Clasificación de problemas
Author Publication Classes of problem
A. E. Eiben [?] Useless
Natural
Artificial
R. L. Rardin [?] Real world datasets
Random variants of real datasets
Published libraries
Randomly generated instances
T. Bartz-Beielstein [?] Test functions
Real-world problems
Randomly generated test problems
11 / 68

12. Capítulos 1 y 2
Capítulo 3
Figuras
Capítulo 4
Tablas
Capítulo 5
Capítulo 6
Capítulo 2
Tabla 2.3: Funciones de De Jong
Function Expression Domain Minimum
Pn
Sphere f1 (x) = x2 | xi |≤ 5,12 f (0, . . . , 0) = 0
Pi=1 i
n−1 2 2 2
Rosenbrock f2 (x) = i=1P − xi ) + 100(xi+1 − xi ) )
((1 | xi |≤ 2,048 f (1, . . . , 1) = 0
Step f3 (x) = 25 + n i=1 xi | xi |≤ 5,12 f (([−5,12, −5), . . . ,
[−512, −5))) = 0
Pn 4
Quartic f4 (x) = i=1 (ixi ) + N(0, 1) | xi |≤ 1,28 f (0, . . . , 0) = 0
Sheckel (2D) f (x1 , x2 ) = 1 | xi |≤ 65,536 f (−32, −32) = 1
0,02+
P25 1
j=1 j+P2 (xi −aji )6
i=1
Quartic w/n [?] Solution quality
12 / 68

13. Capítulos 1 y 2
Capítulo 3 Figuras
Capítulo 4 Tablas
Capítulo 5 Algoritmos
Capítulo 6
Capítulo 3
Figura 3.1: Arquitectura de Searchy
13 / 68

14. Capítulos 1 y 2
Capítulo 3 Figuras
Capítulo 4 Tablas
Capítulo 5 Algoritmos
Capítulo 6
Capítulo 3
Figura 3.2: Ejemplo de integración
14 / 68

15. Capítulos 1 y 2
Capítulo 3 Figuras
Capítulo 4 Tablas
Capítulo 5 Algoritmos
Capítulo 6
Capítulo 3
Figura 3.2: Ejemplo de despliegue
15 / 68

16. Capítulos 1 y 2
Capítulo 3 Figuras
Capítulo 4 Tablas
Capítulo 5 Algoritmos
Capítulo 6
Capítulo 3
Figura 3.3: Ejemplo de codificación
16 / 68

17. Capítulos 1 y 2
Capítulo 3 Figuras
Capítulo 4 Tablas
Capítulo 5 Algoritmos
Capítulo 6
Capítulo 3
Figura 3.3: Evolución del valor de fitness y tamaño
1 24
0.9 22
Avg. chromosome length
0.8 20
0.7
18
0.6
Fitness
16
0.5
14
0.4
12
0.3
0.2 10
Email URL
0.1 Phone 8 Email
URL Phone
0 6
0 10 20 30 40 50 60 70 0 10 20 30 40 50 60 70
Generations Generations
17 / 68

18. Capítulos 1 y 2
Capítulo 3 Figuras
Capítulo 4 Tablas
Capítulo 5 Algoritmos
Capítulo 6
Capítulo 3
Figura 3.3: Probabilidad de éxito
90
80
70
Success rate (%)
60
50
40
30
20
Email
10 Phone
URL
0
0 10 20 30 40 50 60 70
Generations
18 / 68

19. Capítulos 1 y 2
Capítulo 3 Figuras
Capítulo 4 Tablas
Capítulo 5 Algoritmos
Capítulo 6
Capítulo 3
Tabla 3.1: Parámetros del Algoritmo Genético para la evolución de regex
Parameter Value
Population 50
Mutation probability 0.003
Crossover probability 1
Tournament size 2
Elitism 1
Initial chromosome length 4 - 40
19 / 68

20. Capítulos 1 y 2
Capítulo 3 Figuras
Capítulo 4 Tablas
Capítulo 5 Algoritmos
Capítulo 6
Capítulo 3
Tabla 3.2: Capacidad de extracción
Phone regex URL regex Email regex
Ph. URL Email F P R F P R F P R
Set 1 99 0 0 1 1 1 - - - - - -
Set 2 0 51 0 - - - 0.24 0.14 0.84 - - -
Set 3 0 0 862 - - - - - - 0.79 0.51 0.62
Set 4 20 77 0 1 1 1 0.27 0.16 1 - - -
Set 5 37 686 0 1 1 1 0.20 0.11 0.97 - - -
Set 6 24 241 0 1 1 1 0.02 0.01 0.37 - - -
Set 7 83 0 88 0.92 1 0.96 - - - 0.92 1 0.96
Set 8 0 51 0 - - - 0.63 0.47 0.96 - - -
Avg. - - - 0.98 1 0.99 0.27 0.18 0.83 0.85 0.79 0.79
20 / 68

21. Capítulos 1 y 2
Capítulo 3 Figuras
Capítulo 4 Tablas
Capítulo 5 Algoritmos
Capítulo 6
Capítulo 3
Tabla 3.3: Ejemplos de expresiones regulares evolucionadas
Evolved regex (Phone) Fitness
w+ 0
(d+) 0.33
(d+)d+ 0.58
(d+)d+-d+ 1
Evolved regex (URL) Fitness
http://-http://http:// 0
/w+. 0.55
http://w+.w+ 0.8
http://w+.w+.com 1
Evolved regex (Email) Fitness
w+. 0.31
w+.w+ 0.49
w+@w+.com 1
21 / 68

22. Capítulos 1 y 2
Capítulo 3 Figuras
Capítulo 4 Tablas
Capítulo 5 Algoritmos
Capítulo 6
Capítulo 3
Tabla 3.4: Comparación de Searchy con otras herramientas de integración de información
Platform Agent support Semantic Web Web Services Interdomain
support
InfoSleuth Yes No No Yes
SIMS Yes No No Yes
Building Finder No Yes No No
SODIA No Yes Yes Yes
Knowledge Sifter Yes Yes Yes Limited
Searchy Yes Yes Yes Yes
22 / 68

23. Capítulos 1 y 2
Capítulo 3 Figuras
Capítulo 4 Tablas
Capítulo 5 Algoritmos
Capítulo 6
Capítulo 3
Algoritmo 3.1: Algoritmo de selección de alfabeto
1 .- P := Set of positive examples
2 .- S := Set of candidate delimiters
3 .- D := T := { }
4 .-
5 .- for each p in P
6 .- for each s in S
7 .- tokens := split p using s
8 .- numberTokens := number of tokens
9 .-
10.- for each token in tokens
11.- occurrence(token) := occurrence(token) + 1
12.- endfor
13.-
14.- if (numberTokens > 0) add s to D
15.- endfor
16.- endfor
17.-
18.- sort occurrence
19.- add n first elements of occurrence to T
23 / 68

24. Capítulos 1 y 2
Capítulo 3
Figuras
Capítulo 4
Tablas
Capítulo 5
Capítulo 6
Capítulo 4
Figura 4.1: Histograma de probabilidad de éxito
Regression Regression Regression Regression Regression Regression
n=30 n=50 n=100 n=250 n=500 n=1000
0.00 0.05 0.10 0.15
0.00 0.04 0.08
0.00 0.02 0.04
0.02
0.10
0.000 0.015
0.00
0.00
5 10 15 5 10 15 20 25 15 20 25 30 35 40 45 50 60 70 80 90 100 120 140 160 180 260 280 300 320 340
6−Multiplexer 6−Multiplexer 6−Multiplexer 6−Multiplexer 6−Multiplexer 6−Multiplexer
n=30 n=50 n=100 n=250 n=500 n=1000
0.00 0.04 0.08
0.0 0.2 0.4 0.6
0.00 0.10 0.20
0.0 0.1 0.2 0.3
0.10
0.04
0.00
0.00
Density
24 26 28 30 42 44 46 48 50 90 95 100 225 230 235 240 245 465 475 485 940 950 960 970 980
5−Parity 5−Parity 5−Parity 5−Parity 5−Parity 5−Parity
n=30 n=50 n=100 n=250 n=500 n=1000
0.00 0.05 0.10 0.15
0.20
0.000.020.040.06
0.4
0.0 0.1 0.2 0.3
0.04
0.10
0.2
0.00
0.00
0.0
0 2 4 6 0 2 4 6 8 10 0 5 10 5 10 15 20 25 20 30 40 50 40 50 60 70 80
Artificial ant Artificial ant Artificial ant Artificial ant Artificial ant Artificial ant
n=30 n=50 n=100 n=250 n=500 n=1000
0.00 0.10 0.20 0.30
0.08
0.00 0.02 0.04
0.00 0.05 0.10
0.10
0.02
0.04
0.00
0.00
0.00
0 2 4 6 8 10 0 5 10 15 5 10 15 20 25 20 30 40 50 40 50 60 70 80 90 100 120 140 160
Number of successes (k)
24 / 68

25. Capítulos 1 y 2
Capítulo 3
Figuras
Capítulo 4
Tablas
Capítulo 5
Capítulo 6
Capítulo 4
Figura 4.2: Diagrama QQ binomialidad
Santa Fe trail Q−Q Plot 6−multiplexer Q−Q Plot
1940
300
Sample Quantiles
Sample Quantiles
260
1910
220
1880
220 240 260 280 300 1880 1900 1920 1940
Theoretical Quantiles Theoretical Quantiles
5−parity Q−Q Plot Regression Q−Q Plot
660
160
Sample Quantiles
Sample Quantiles
140
620
120
580
100
540
100 120 140 540 580 620 660
Theoretical Quantiles Theoretical Quantiles
25 / 68

26. Capítulos 1 y 2
Capítulo 3
Figuras
Capítulo 4
Tablas
Capítulo 5
Capítulo 6
Capítulo 4
Figura 4.3: Ejemplo 3D de CP y CIW
0.6
0.8
0.6
CIW
0.4
CP
0.4 0.0 0.0
0.2 0.2 0.2
0.2
(p)
(p)
0.4 0.4
ility
ility
20 20
bab
bab
0.6 0.6
Nu40 Nu40
Pro
Pro
mb mb
er 60 0.8 er 60 0.8
of of
tria tria
ls 80 ls 80
(n) (n)
1001.0 1001.0
26 / 68

27. Capítulos 1 y 2
Capítulo 3
Figuras
Capítulo 4
Tablas
Capítulo 5
Capítulo 6
Capítulo 4
Figura 4.4: CP
27 / 68

28. Capítulos 1 y 2
Capítulo 3
Figuras
Capítulo 4
Tablas
Capítulo 5
Capítulo 6
Capítulo 4
Figura 4.5: Comparación de métodos de intervalos binomiales
n= 20 n= 50 n= 100 n= 500
1.00
Wilson CP
0.95
0.90
1.000.85
"Exact" CP
0.95
0.90
1.000.85
Standard CP
0.95
0.90
1.000.85
Agresti−Coull CP
0.95
0.90
0.85
0.0 0.2 0.4 0.6 0.8 1.0 0.0 0.2 0.4 0.6 0.8 1.0 0.0 0.2 0.4 0.6 0.8 1.0 0.0 0.2 0.4 0.6 0.8 1.0
p p p p
28 / 68

29. Capítulos 1 y 2
Capítulo 3
Figuras
Capítulo 4
Tablas
Capítulo 5
Capítulo 6
Capítulo 4
Figura 4.6: CP de intervalos de ejecuciones de GP simulados
Wilson "Exact"
0.95
0.95
CP
CP
0.85
0.85
0.0 0.2 0.4 0.6 0.8 1.0 0.0 0.2 0.4 0.6 0.8 1.0
p p
Standard Agresti−Coull
0.95
0.95
CP
CP
0.85
0.85
0.0 0.2 0.4 0.6 0.8 1.0 0.0 0.2 0.4 0.6 0.8 1.0
p p
29 / 68

30. Capítulos 1 y 2
Capítulo 3
Figuras
Capítulo 4
Tablas
Capítulo 5
Capítulo 6
Capítulo 4
Figuras 4.7 y 4.8: Valores medios de CP y CIW
0.80 0.85 0.90 0.95 1.00
0.6
Wilson
Exact
Standard
Average CIW
A−C
Average CP
0.2 0.4
Wilson
Exact
Standard
A−C
0.0
0 20 40 60 80 100 0 20 40 60 80 100
Number of runs (n) Number of runs (n)
0.5 0.6 0.7 0.8 0.9 1.0
0.1 0.2 0.3 0.4
Average CIW
Average CP
0.0
0.0 0.2 0.4 0.6 0.8 1.0 0.0 0.2 0.4 0.6 0.8 1.0
Success probability (p) Success probability (p)
30 / 68

31. Capítulos 1 y 2
Capítulo 3
Figuras
Capítulo 4
Tablas
Capítulo 5
Capítulo 6
Capítulo 4
Figuras 4.9 y 4.10: CP de ejecuciones GP
Artificial ant 6−multiplexer 4−parity Regression
1.00
1.00
1.00
1.00
0.95
0.95
0.95
0.95
0.90
0.90
0.90
0.90
CP
CP
CP
CP
0.85
0.85
0.85
0.85
0.80
0.80
0.80
0.80
5 15 27 39 51 63 75 87 99 5 15 27 39 51 63 75 87 99 5 15 27 39 51 63 75 87 99 5 15 27 39 51 63 75 87 99
Number of runs (n) Number of runs (n) Number of runs (n) Number of runs (n)
p=0.13168 p=0.95629 p=0.061 p=0.29462
1.00
1.00
1.00
1.00
0.95
0.95
0.95
0.95
0.90
0.90
0.90
0.90
CP
CP
CP
CP
0.85
0.85
0.85
0.85
0.80
0.80
0.80
0.80
20 40 60 80 100 20 40 60 80 100 20 40 60 80 100 20 40 60 80 100
Number of runs (n) Number of runs (n) Number of runs (n) Number of runs (n)
Artificial ant 6−multiplexer 4−parity Regression
0.05 0.10 0.15 0.20 0.25 0.30
0.05 0.10 0.15 0.20 0.25 0.30
0.05 0.10 0.15 0.20 0.25 0.30
0.05 0.10 0.15 0.20 0.25 0.30
CIW
CIW
CIW
CIW
Wilson
"Exact"
Standard
Agresti
5 15 27 39 51 63 75 87 99 5 15 27 39 51 63 75 87 99 5 15 27 39 51 63 75 87 99 5 15 27 39 51 63 75 87 99
Number of runs (n) Number of runs (n) Number of runs (n) Number of runs (n)
p=0.13168 p=0.95629 p=0.061 p=0.29462
0.05 0.10 0.15 0.20 0.25 0.30
0.05 0.10 0.15 0.20 0.25 0.30
0.05 0.10 0.15 0.20 0.25 0.30
0.05 0.10 0.15 0.20 0.25 0.30
CIW
CIW
CIW
CIW
20 40 60 80 100 20 40 60 80 100 20 40 60 80 100 20 40 60 80 100
Number of runs (n) Number of runs (n) Number of runs (n) Number of runs (n)
31 / 68

32. Capítulos 1 y 2
Capítulo 3
Figuras
Capítulo 4
Tablas
Capítulo 5
Capítulo 6
Capítulo 4
Figura 4.11: Tamaño de la muestra para error dado
10000
100
Standard
Agresti−Coull
Wilson
80
1000
Number of samples (n)
60
100
40
10
20
0
1
0.01 0.125 0.25 0.375 0.5 0.01 0.125 0.25 0.375 0.5
Anticipated success probability (p0) Half interval width (ε)
32 / 68

33. Capítulos 1 y 2
Capítulo 3
Figuras
Capítulo 4
Tablas
Capítulo 5
Capítulo 6
Capítulo 4
Tabla 4.1: Simulación del lanzamiento de una moneda
Experiment Successes pi
ˆ
1 483 0.483
2 531 0.531
3 594 0.594
4 521 0.521
5 513 0.513
2642
Total 2642 5000 = 0,5284
33 / 68

34. Capítulos 1 y 2
Capítulo 3
Figuras
Capítulo 4
Tablas
Capítulo 5
Capítulo 6
Capítulo 4
Tabla 4.2: Configuración de los casos de estudio de la estimación estática
Parameter Artificial ant 6-multiplexer 5-parity Regression
Population 500 500 4,000 500
Generations 50 50 50 50
Terminal Set Left, Right, Move, If- A0, A1, A2, D0, D1, D2, D0, D1, D2, D3, D4 X
FoodAhead D3, D4, D5
Function set Progn2, Progn3, And, Or, Not, If And, Or, Nand, Nor Add, Mul, Sub, Div,
Progn4 Sin, Cos, Exp, Log
Success predicate fitness = 0 fitness = 0 fitness = 0 fitness ≤ 0,001
Initial depth 5 5 5 5
Max. depth 17 17 17 17
Selection Tournament (size=7) Tournament (size=7) Tournament (size=7) Tournament (size=7)
Crossover 0.9 0.9 0.9 0.9
Reproduction 0.1 0.1 0.1 0.1
Elitism size 0 0 0 0
Terminals 0.1 0.1 0.1 0.1
Non terminals 0.9 0.9 0.9 0.9
Observations Timesteps=600 Even parity No ERC
y = x4 + x3 + x2 + x
x ∈ [−1, 1]
34 / 68

35. Capítulos 1 y 2
Capítulo 3
Figuras
Capítulo 4
Tablas
Capítulo 5
Capítulo 6
Capítulo 4
Tabla 4.3: Mejor estimación de la probabilidad de éxito
Artificial ant 6-multiplexer 5-parity Regression
ˆ
pbest 0.13168 0.95629 0.061 0.29462
k 13,168 95,629 305 29,462
n 100,000 100,000 5,000 100,000
CI Stdα=0,05 [0.1295842, 0.1337758] [0.9550228, 0.9575572] [0.05436622, 0.06763378] [0.2917945, 0.2974
CI Stdα=0,01 [0.12892566, 0.1344343] [0.9546247, 0.9579553] [0.05228174, 0.06971826] [0.2909067, 0.2983
CI ACα=0,05 [0.1295983, 0.1337900] [0.9550051, 0.9575399] [0.05468869, 0.06798535] [0.2918025, 0.2974
CI ACα=0,01 [0.12894997, 0.1344589] [0.9545939, 0.9579256] [0.05283056, 0.07033299] [0.2909204, 0.2983
CI Wilα=0,05 [0.1295984, 0.1337899] [0.9550052, 0.9575397] [0.05469723, 0.06797681] [0.2918025, 0.2974
CI Wilα=0,01 [0.12895008, 0.1344588] [0.9545942, 0.9579253] [0.05284989, 0.07031365] [0.2909204, 0.2983
35 / 68

36. Capítulos 1 y 2
Capítulo 3
Figuras
Capítulo 4
Tablas
Capítulo 5
Capítulo 6
Capítulo 4
Tabla 4.4: Prueba χ2 de la binomialidad
Santa Fe 6-Multiplexer 5-Parity
N p − val sd diff p − val sd diff p − val sd diff p − val
15 0.2275 0.0032 0.2243 0.2206 0.0789 0.1417 0.2211 0.0042 0.2169 0.2331
30 0.2303 0.0243 0.206 0.2242 0.0060 0.2182 0.2279 0.0041 0.2238 0.2425
50 0.2374 0.0197 0.2177 0.2293 0.0053 0.224 0.2327 0.0048 0.2279 0.2453
100 0.2355 0.0535 0.182 0.2342 0.0285 0.2057 0.2383 0.0125 0.2258 0.2316
250 0.2397 0.1155 0.1242 0.2420 0.0249 0.2171 0.2300 0.0631 0.1669 0.2132
500 0.1885 0.1479 0.0406 0.2326 0.0756 0.157 0.2348 0.1044 0.1304 0.1303
1000 0.1279 0.1813 -0.0534 0.2109 0.1301 0.0808 0.2041 0.1006 0.1035 0.0407
36 / 68

37. Capítulos 1 y 2
Capítulo 3
Figuras
Capítulo 4
Tablas
Capítulo 5
Capítulo 6
Capítulo 5
Figura 5.1: Histograma de la generación de éxito
Artificial ant Regression
0.04
0.08
Density
Density
0.02
0.04
0.00
0.00
0 10 20 30 40 50 0 10 20 30 40 50
Generation−to−success Generation−to−success
4−Parity 5−Parity
0.006
0.08
0.004
Density
Density
0.04
0.002 0.000
0.00
0 10 20 30 40 50 0 200 400 600 800
Generation−to−success Generation−to−success
6−Multiplexer 11−Multiplexer
Normal
0.003
Lognormal
0.00 0.02 0.04 0.06 0.08
Weibull
Logistic
0.002
Density
Density
0.001
0.000
0 10 20 30 40 50 0 200 400 600 800
Generation−to−success Generation−to−success
37 / 68

38. Capítulos 1 y 2
Capítulo 3
Figuras
Capítulo 4
Tablas
Capítulo 5
Capítulo 6
Capítulo 5
Figura 5.2: Diagrama QQ del logaritmo de la generación de éxito vs. lognormal
−3 −2 −1 0 1 2 3
Artificial ant 4−Parity 6−Multiplexer
6
5
4
log(generation−to−success)
3
2
1
Regression 5−Parity 11−Multiplexer
6
5
4
3
2
1
−3 −2 −1 0 1 2 3 −3 −2 −1 0 1 2 3
Normal
38 / 68

39. Capítulos 1 y 2
Capítulo 3
Figuras
Capítulo 4
Tablas
Capítulo 5
Capítulo 6
Capítulo 5
Figura 5.3: Histograma con la fase inicial eliminada
Artificial ant 4−Parity 6−Multiplexer
40
40
30
30
30
20
20
20
10
10
10
0
0
0
Exponential
0 10 20 30 40 0 10 20 30 0 10 20 30 40
Regression 5−Parity 11−Multiplexer
800
40
600
600
30
400
400
20
200
200
10
0
0
0
0 10 20 30 40 0 200 400 600 800 0 200 400 600
Generation−to−success
39 / 68

40. Capítulos 1 y 2
Capítulo 3
Figuras
Capítulo 4
Tablas
Capítulo 5
Capítulo 6
Capítulo 5
Figura 5.4: Diagrama QQ con fase inicial eliminada contra exponencial
Artificial ant 4−Parity 6−Multiplexer
0.00 0.02 0.04 0.06 0.08 0.10 0.12
0.00 0.01 0.02 0.03 0.04 0.05
0.00 0.02 0.04 0.06 0.08
Density
0 10 20 30 40 50 10 20 30 40 50 0 10 20 30 40 50
Regression 5−Parity 11−Multiplexer
0.00 0.02 0.04 0.06 0.08 0.10 0.12
0.003
0.000 0.001 0.002 0.003 0.004
0.002
0.001
0.000
0 10 20 30 40 50 0 200 400 600 800 1000 0 200 400 600 800
Generation−to−success
40 / 68

41. Capítulos 1 y 2
Capítulo 3
Figuras
Capítulo 4
Tablas
Capítulo 5
Capítulo 6
Capítulo 5
Figura 5.5: Tamaño medio del árbol
AverageNodes
1000
800
600
400
AverageDepth + AverageNodes
200
11−Multiplexer
0
4−Parity
5−Parity
0 100 200 300 400 6−Multiplexer
AverageDepth Artificial ant
Regression
15
10
5
0 100 200 300 400
generation
41 / 68

42. Capítulos 1 y 2
Capítulo 3
Figuras
Capítulo 4
Tablas
Capítulo 5
Capítulo 6
Capítulo 5
Figura 5.6: Histograma de la generación de éxito sin presión selectiva
Artificial ant
0.0030
1000
800
0.0020
600
Density
Weibull
400
0.0010
200
0.0000
0
0 200 400 600 800 1000 0 200 400 600 800 1000
Generation−to−success Generation−to−success
Regression
0.0030
1000
Normal
Lognormal
Weibull
Logistic 800
0.0020
600
Density
Weibull
400
0.0010
200
0.0000
0
0 200 400 600 800 1000 0 200 400 600 800 1000
Generation−to−success Generation−to−success
42 / 68

43. Capítulos 1 y 2
Capítulo 3
Figuras
Capítulo 4
Tablas
Capítulo 5
Capítulo 6
Capítulo 5
Figura 5.7: Modelo de Markov
43 / 68

44. Capítulos 1 y 2
Capítulo 3
Figuras
Capítulo 4
Tablas
Capítulo 5
Capítulo 6
Capítulo 5
Figura 5.8: Comparación de P(M, i) y P (M, i)
Artificial ant 4−Parity
0.20
Standard
Success probability
Success probability
Lognormal
0.08
0.10
0.04
0.00
0.00
0 10 20 30 40 50 0 10 20 30 40 50
Generation Generation
6−Multiplexer Regression
0.4
Success probability
Success probability
0.8
0.3
0.2
0.4
0.1
0.0
0.0
0 10 20 30 40 50 0 10 20 30 40 50
Generation Generation
44 / 68

45. Capítulos 1 y 2
Capítulo 3
Figuras
Capítulo 4
Tablas
Capítulo 5
Capítulo 6
Capítulo 5
Figura 5.9: Comparación de P(M, i) y P (M, i) variando n
n= 25 n= 50 n= 100 n= 200
Best est.
0.2 0.4
Artificial ant
Standard
Lognormal
0.0
6−Multiplexer
0.0 0.4 0.8
4−Parity
0.4 0.00 0.06
Regression
0.2 0.0
0 20 40 0 20 40 0 20 40 0 20 40
Generation Generation Generation Generation
45 / 68

46. Capítulos 1 y 2
Capítulo 3
Figuras
Capítulo 4
Tablas
Capítulo 5
Capítulo 6
Capítulo 5
Tabla 5.1: Configuración de los problemas bajo estudio
Parameter Artificial ant 6/11-multiplexer 4/5-parity Regression
Population 500 500 4,000 500
Generations 50 50 800 50
Terminal Set Left, Right, Move, If- A0, A1, A2, D0, D1, D0, D1, D2, D3, D4 X
FoodAhead D2, D3, D4, D5
Function set Progn2, Progn3, And, Or, Not, If And, Or, Nand, Nor Add, Mul, Sub, Div,
Progn4 Sin, Cos, Exp, Log
Success predicate fitness = 0 fitness = 0 fitness = 0 fitness ≤ 0,001
Initial depth 5 5 5 5
Max. depth 17 17 17 17
Selection Tour. (size=7) Tour. (size=7) Tour. (size=7) Tour. (size=7)
Crossover 0.9 0.9 0.9 0.9
Reproduction 0.1 0.1 0.1 0.1
Elitism size 0 0 0 0
Terminals 0.1 0.1 0.1 0.1
Non terminals 0.9 0.9 0.9 0.9
Observations Timesteps=600 Even parity No ERC
Santa Fe trail y = x4 + x3 + x2 + x
x ∈ [−1, 1]
46 / 68

47. Capítulos 1 y 2
Capítulo 3
Figuras
Capítulo 4
Tablas
Capítulo 5
Capítulo 6
Capítulo 5
Tabla 5.2: Probabilidad de éxito
Artificial ant 6-Multiplexer 11-Multiplexer 4-Parity 5-Parity Regression
n 100,000 100,000 1,000 400 5,000 100,000
k 13,168 95,629 333 299 305 29,462
ˆ
p 0.132 0.956 0.333 0.747 0.061 0.295
Lp 0.1296 0.9550 0.3045 0.7027 0.0547 0.2918
Up 0.1338 0.9575 0.3628 0.7876 0.0680 0.2975
47 / 68

48. Capítulos 1 y 2
Capítulo 3
Figuras
Capítulo 4
Tablas
Capítulo 5
Capítulo 6
Capítulo 5
Tabla 5.3: Estimaciones de los parámetros de la lognormal y exponencial
µ
ˆ σ
ˆ ˆ
λ t0
Artificial ant 2.73 0.595 0.085 9
Regression 2.289 0.44 0.150 5
4-Parity 3.03 0.284 0.146 17
5-Parity 5.004 0.8 0.005 7
6-Multiplexer 2.464 0.425 0.149 7
11-Multiplexer 5.367 0.797 0.004 60
48 / 68

49. Capítulos 1 y 2
Capítulo 3
Figuras
Capítulo 4
Tablas
Capítulo 5
Capítulo 6
Capítulo 6
Figura 6.1: Variación de I (M, i, z)
Sante Fe Trail 6−Multiplexer
8e+05
8e+05
I(M,i,z)
I(M,i,z)
4e+05
4e+05
0e+00
0e+00
0 10 20 30 40 50 0 10 20 30 40 50
Generation Generation
5−Parity Regression
8e+07
8e+05
I(M,i,z)
I(M,i,z)
4e+07
4e+05
0e+00
0e+00
0 10 20 30 40 50 0 10 20 30 40 50
Generation Generation
49 / 68

50. Capítulos 1 y 2
Capítulo 3
Figuras
Capítulo 4
Tablas
Capítulo 5
Capítulo 6
Capítulo 6
Figura 6.2: Histograma del esfuerzo computacional
n=500 n=500 n=500 n=500
Artificial ant 6−Multiplexer 5−Parity Regression
200 400 600 800 1000
200 400 600 800 1000
200 400 600 800 1000
200 400 600 800 1000
0
0
0
0
400000 600000 800000 1000000 20000 22000 24000 26000 28000 1.0e+07 2.0e+07 3.0e+07 80000 100000 120000 140000 160000
n=200 n=200 n=200 n=200
Artificial ant 6−Multiplexer 5−Parity Regression
200 400 600 800 1000
500 1000 1500 2000
1500
1000
Frequency
1000
500
500
0
0
0
0
200000 600000 1000000 0 10000 20000 30000 2e+07 4e+07 6e+07 8e+07 100000 150000 200000
n=50 n=50 n=50 n=50
Artificial ant 6−Multiplexer 5−Parity Regression
500 1000 1500 2000
800
500 1000 1500 2000
1000
600
400
500
200
0
0
0
0
0e+00 1e+06 2e+06 3e+06 4e+06 0 10000 20000 30000 40000 1e+07 2e+07 3e+07 4e+07 1e+05 3e+05 5e+05
Computational effort 50 / 68

51. Capítulos 1 y 2
Capítulo 3
Figuras
Capítulo 4
Tablas
Capítulo 5
Capítulo 6
Capítulo 6
Figura 6.3: Error máximo de redondeo como función de ε y comparación de R y Rc
Maximum relative ceiling error Comparison of R with and without ceiling
30
150
ε=1−z=0.05 R (with ceiling)
ε=1−z=0.01 Rc (without ceiling)
ε=1−z=0.001
25
Relative ceiling error (%)
20
100
P(M,i)=0.95
15
R
10
50
5
R=1
0
0
0.0 0.2 0.4 0.6 0.8 1.0 0.0 0.2 0.4 0.6 0.8 1.0
Success probability Success probability
51 / 68

52. Capítulos 1 y 2
Capítulo 3
Figuras
Capítulo 4
Tablas
Capítulo 5
Capítulo 6
Capítulo 6
Figura 6.4: Error de redondeo máximo
500000
0
εIest
−500000
1.0
−1000000
0.5
1.0
0.0
0.8 εest
0.6
−0.5
0.4
P
0.2
0.0 −1.0
52 / 68

53. Capítulos 1 y 2
Capítulo 3
Figuras
Capítulo 4
Tablas
Capítulo 5
Capítulo 6
Capítulo 6
Figura 6.5: Error de estimacion relativo
Estimation error and I(M,i,z)
100
0
Relative estimation error (εest)(%)
−100
I
−200
−300
−400
P = 0.1
P = 0.25
P = 0.5
−500
P = 0.75
P = 0.9
−600
−0.6 −0.4 −0.2 0.0 0.2 0.4 0.6
Estimation error (εest)
53 / 68

54. Capítulos 1 y 2
Capítulo 3
Figuras
Capítulo 4
Tablas
Capítulo 5
Capítulo 6
Capítulo 6
Figura 6.6: Máximo error de estimación de P(M, io )
Maximum estimation error (εα )
est
120
100
Number of runs (n)
80
60
40
20
0.0 0.2 0.4 0.6 0.8 1.0
Success probability (P)
54 / 68

55. Capítulos 1 y 2
Capítulo 3
Figuras
Capítulo 4
Tablas
Capítulo 5
Capítulo 6
Capítulo 6
Figura 6.7: Máximo error relativo de I (M, i, z) con CIs
Maximum I(M,i,z) estimation error, max(εIest(%))
140
120
Number of runs (n)
100
80
60
40
20
0.2 0.4 0.6 0.8
Success probability (P)
55 / 68

56. Capítulos 1 y 2
Capítulo 3
Figuras
Capítulo 4
Tablas
Capítulo 5
Capítulo 6
Capítulo 6
Figura 6.8: Representación de E
M=1000 M=500
5e+05 5e+05
4e+05 4e+05
E 3e+05 E 3e+05
2e+05 2e+05
1e+05 1e+05
1.0 4 1.0 4
0.8 3 0.8 3
0.6 2 0.6 2
σ 0.4
1 µ σ 0.4
1 µ
0.2 0.2
56 / 68

57. Capítulos 1 y 2
Capítulo 3
Figuras
Capítulo 4
Tablas
Capítulo 5
Capítulo 6
Capítulo 6
Figura 6.9: Error de medida de E
6−multiplexer Artificial ant 5−Parity
0.2
8000
0.5
Standard Mean E
Lognormal Mean E*
0.0
(E−E*)/Ebest
(E−E*)/Ebest
0.0
−0.6 −0.4 −0.2
−0.5
6000
−1.0
Error of computational effort
100 200 300 400 500 100 200 300 400 500
Number of runs Number of runs
4000
6−Multiplexer Regression
0.2
0.2
2000
0.1
(E−E*)/Ebest
(E−E*)/Ebest
0.0
0.0
−0.2
−0.1
0
−0.4
−0.2
50 100 200 300 400 500
100 200 300 400 500 100 200 300 400 500
Number of runs Number of runs Number of runs
57 / 68

58. Capítulos 1 y 2
Capítulo 3
Figuras
Capítulo 4
Tablas
Capítulo 5
Capítulo 6
Capítulo 6
Figura 6.10: Caracterización del error de E
30 50
0.5 0.5
0.4 0.4
ε 0.3 ε 0.3
0.2 0.2
0.1 0.1
1.0 4 1.0 4
0.8 3 0.8 3
0.6 2 0.6 2
σ 0.4 1 µ σ 0.4 1 µ
0.2 0.2
100 500
0.5 0.5
0.4 0.4
ε 0.3 ε 0.3
0.2 0.2
0.1 0.1
1.0 4 1.0 4
0.8 3 0.8 3
0.6 2 0.6 2
σ 0.4 1 µ σ 0.4 1 µ
0.2 0.2
58 / 68

59. Capítulos 1 y 2
Capítulo 3
Figuras
Capítulo 4
Tablas
Capítulo 5
Capítulo 6
Capítulo 6
Figura 6.11: Error de redondeo experimental
Artificial ant 6−Multiplexer
1e+05
With ceiling
9e+05
Number of individuals
Number of individuals
Without ceiling
6e+04
7e+05
5e+05
2e+04
0 10 20 30 40 50 0 10 20 30 40 50
Generations Generations
5−Parity Regression
5e+05
8e+07
Number of individuals
Number of individuals
3e+05
4e+07
0e+00
1e+05
0 10 20 30 40 50 0 10 20 30 40 50
Generations Generations
59 / 68

60. Capítulos 1 y 2
Capítulo 3
Figuras
Capítulo 4
Tablas
Capítulo 5
Capítulo 6
Capítulo 6
Figura 6.12: Comparación error de reondeo teórico y experimental
Artificial ant 6−Multiplexer Artificial ant 6−Multiplexer
70
3.0
Maximum error Maximum error
60
Relative ceiling error(εIceil)(%)
Relative ceiling error(εIceil)(%)
20000
20000
Measured error
2.5
Absolute ceiling error(εIceil)
Absolute ceiling error(εIceil)
Measured error
50
2.0
40
1.5
30
5000 10000
5000 10000
1.0
20
0.5
10
0.0
0
0
0
0 10 20 30 40 50 0 10 20 30 40 50 0 10 20 30 40 50 0 10 20 30 40 50
Generations Generations Generations Generations
5−Parity Regression 5−Parity Regression
100000 150000 200000
1.4
1.2
Relative ceiling error(εIceil)(%)
Relative ceiling error(εIceil)(%)
20000
Absolute ceiling error(εIceil)
Absolute ceiling error(εIceil)
6
1.0
0.8
4
0.6
5000 10000
0.4
50000
2
0.2
0.0
0
0
0
0 10 20 30 40 50 0 10 20 30 40 50 0 10 20 30 40 50 0 10 20 30 40 50
Generations Generations Generations Generations
60 / 68

61. Capítulos 1 y 2
Capítulo 3
Figuras
Capítulo 4
Tablas
Capítulo 5
Capítulo 6
Capítulo 6
Figura 6.13: Error experimental absoluto de I (Mi, z)
Artificial ant 6−Multiplexer
39500000 41000000 42500000
5.0e+06 1.5e+07 2.5e+07
Absolute estimation error
Absolute estimation error
50 200 400 50 200 400
Number of runs (n) Number of runs (n)
Regression
1e+08
Absolute estimation error
8e+07
6e+07
50 200 400
Number of runs (n)
61 / 68

62. Capítulos 1 y 2
Capítulo 3
Figuras
Capítulo 4
Tablas
Capítulo 5
Capítulo 6
Capítulo 6
Figura 6.13: Error experimenta relativo de I (M, i, z)
Artificial Ant 6−Multiplexer
Relative estimation error (%)
Relative estimation error (%)
100
100
0
0
−200 −100
−200
0.00 0.05 0.10 0.15 0.20 0.0 0.2 0.4 0.6 0.8 1.0
Success probability (p) Success probability (p)
5−Parity Regression
Relative estimation error (%)
Relative estimation error (%)
100
50
0
−50 0
−200
−150
0.00 0.04 0.08 0.12 0.0 0.1 0.2 0.3 0.4
Success probability (p) Success probability (p)
62 / 68

63. Capítulos 1 y 2
Capítulo 3
Figuras
Capítulo 4
Tablas
Capítulo 5
Capítulo 6
Capítulo 6
Figura 6.14: Error experimental absoluto de redondeo
Artificial ant 6−Multiplexer
15000
6000
E−Ec
E−Ec
5000
0 2000
0
50 200 400 50 200 400
Number of runs Number of runs
5−Parity Regression
150000
6000
E−Ec
E−Ec
0 50000
2000
0
50 200 400 50 200 400
Number of runs Number of runs
63 / 68

64. Capítulos 1 y 2
Capítulo 3
Figuras
Capítulo 4
Tablas
Capítulo 5
Capítulo 6
Capítulo 6
Figura 6.15: Error experimental relativo de E
Artificial ant 6−Multiplexer
Estimation error of E (%)
Estimation error of E (%)
0 20
−200
−600
−40
With ceiling
−1000
Without ceiling
−80
50 200 400 50 200 400
Number of runs Number of runs
5−Parity Regression
Estimation error of E (%)
Estimation error of E (%)
50
−100
0
−300
−100
−500
50 200 400 50 200 400
Number of runs Number of runs
64 / 68

65. Capítulos 1 y 2
Capítulo 3
Figuras
Capítulo 4
Tablas
Capítulo 5
Capítulo 6
Capítulo 6
Tabla 6.1: Mejores estimaciones
Artificial ant 6-Multiplexer 5-Parity Regression
n 100,000 100,000 5,000 100,000
k 13,168 95,629 305 29,462
ˆ best (M, G )
P 0.13168 0.95629 0.061 0.29462
ˆ
E best 490,000 24,000 14,800,000 117,000
ˆ
Ecbest 487,276 22,805 14,633,571 116,468
Difference 2,724 (0.5 %) 1,195 (4.98 %) 166,429 (1.13 %) 536 (0.49 %)
65 / 68

66. Capítulos 1 y 2
Capítulo 3
Figuras
Capítulo 4
Tablas
Capítulo 5
Capítulo 6
Capítulo 6
Tabla 6.2: Diferencia de E y E
|Ebest − E | sd|Ebest − E | |Ebest − E | sd|Ebest − E |
50 3627.9770 2562.9722 3482.4215 2910.1751
100 2585.3189 1961.6505 2416.7762 1900.6281
200 1634.6052 1264.5999 1572.8789 1204.3831
300 1368.5800 1013.5731 1300.1529 991.7907
400 1158.0780 888.1902 1118.1963 860.9419
500 1073.2470 790.5500 1012.5622 766.0491
66 / 68

67. Capítulos 1 y 2
Capítulo 3
Figuras
Capítulo 4
Tablas
Capítulo 5
Capítulo 6
Capítulo 6
Tabla 6.3: ANOVA de la diferencia Ec − E
Problem df Sum. sq. Mean sq. F-value p-value
Artificial ant 5 2445 489.03 0.9689 0.437
6-Multiplexer 5 5145 1029 5.1462 0.0001529*
5-Parity 5 236380 47276 4.9595 0.0002247*
Regression 5 4349 869.79 2.9602 0.01266
67 / 68

68. Capítulos 1 y 2
Capítulo 3
Figuras
Capítulo 4
Tablas
Capítulo 5
Capítulo 6
Capítulo 6
Tabla 6.3: ANOVA del error de estimación
Problem df Sum sq Mean sq F value p-value
Artificial Ant 5 126.44 25.2874 12.579 1.035e-10
6-Multiplexer 5 95.09 19.0180 14.654 3.272e-12
5-Parity 5 98.72 19.7441 8.4623 4.308e-07*
Regression 5 106.12 21.2248 12.264 3.414e-10
68 / 68