Computational Intelligence and Energy Systems: intelligent solutions for complex problems 31/05/2011 (in Italian)

1. Computational Intelligence
and Energy Systems: intelligent solutions for
complex problems
Matteo De Felice
Unità Modellistica Energetica Ambientale
UTMEA - ENEA
Tuesday, May 31, 2011 1

2. Sommario
Cos’è la Computational
Intelligence (CI)?
Quali sono le applicazioni della
CI ai sistemi complessi?
Tuesday, May 31, 2011 2

3. CI: paradigmi
Soft
NN Computing
EC FS
IA?
SI AIS
Computational Intelligence
Tuesday, May 31, 2011 3

4. Visione d’insieme
Temi
NN principali
EC FS
SI AIS
Tuesday, May 31, 2011 4

5. CI e letteratura
3
x 10
5
Evolutionary Computation
Swarm Intelligence
4 Artificial Neural Networks
3
2
1
0
1994 1996 1998 2000 2002 2004 2006 2008 2010
year
Dati dalla Thomson Reuters ISI considerando Computer Science &
Technology (Gennaio 2010)
Due journals sulla CI nei primi 10 in CS (IF 2009)
Tuesday, May 31, 2011 5

6. La diffusione della CI
Problemi sempre più complessi
Più potenza di calcolo
disponibile
Tuesday, May 31, 2011 6

7. ma...
Assenza di una teoria
consolidata
Frammentazione degli algoritmi
Approccio poco sistematico e
confronti poco “robusti”
PSO APSO CPSO DPSO EPSO FPSO GPSO HPSO IPSO
LPSO MPSO NPSO OPSO PPSO QPSO RPSO SPSO TPSO
UPSO VPSO WPSO GA AGA BGA CGA DGA EGA FGA
HGA IGA KGA LGA MGA OGA PGA QGA RGA SGA
VGA ...
Tuesday, May 31, 2011 7

8. Applicazioni Principali
Reti Neurali
& Logica Fuzzy
1) Modellazione & Forecasting
2) Ottimizzazione
Calcolo
Evolutivo
Tuesday, May 31, 2011 8

9. Quadro generale
Reti neurali evolutive con topologia a rete complessa
Evolving predictive neural models for complex processes
Evolving Complex Neural Networks
2008
Reti Neurali Evolutive
Ensemble
Artificial Neural Networks and Support Vector
Machines ensembling: a comparison
Tuesday, May 31, 2011 9

10. 2009
Ambient temperature modelling with soft computing techniques
Modellazione
temperature con NN
Combining Back-Propagation and Genetic
Algorithms to Train Neural Networks for Ambient
Temperature Modeling in Italy
2010
Ottimizzazione dello start-up
centrale a ciclo combinato
Combining Back-Propagation and Genetic
Algorithms to Train Neural Networks for Ambient
Temperature Modeling in Italy
Tuesday, May 31, 2011 10

11. Reti Neurali e Load Forecast
2011
Short-Term Load Forecasting with Neural
Network Ensembles: a Comparative Study
Climate Variables in Energy Modeling
Tuesday, May 31, 2011 11

12. Altri Progetti
Identificazione Reti Neurali Algoritmi Evolutivi Ottimizzazione
Structural System Evolutive e Spazialmente traiettorie missioni
in Ing. Sismica Applicazioni alla Strutturati interplanetarie
Finanza
Tuesday, May 31, 2011 12

13. Ottimizzazione
Tuesday, May 31, 2011 13

14. Process Optimization
Process
Parameters Process Environment
(X)
Measurement
Come migliorare la
‘performance’ di un processo
tramite i suoi parametri?
Tuesday, May 31, 2011 14

15. Ottimizzazione tradizionale
Metodi Line-search and trust-
region (serve l’Hessiano!)
Metodi Quasi-newton (Hessiano
approssimato)
Metodi Derivative-free
Tuesday, May 31, 2011 15

16. ...ma il real-world è:
1) ‘Rumoroso’
2) Dinamico
3) Difficile da esaminare
Tuesday, May 31, 2011 16

17. Evolutionary Computation (EC)
Ottimizzazione Black-box
Singolo e Multi-Obiettivo
Anche funzioni discontinue e non
differenziabili
Meta-euristica Population-based
Tuesday, May 31, 2011 17

18. Metaeuristica
Ottimizzazione Stocastica
Algoritmi usati per trovare
soluzioni a problemi “difficili”
Esempio: Hill-Climbing, Tabu
Search, Simulated-Annealing
Tuesday, May 31, 2011 18

19. Real-World problems
Tuesday, May 31, 2011 19

20. Metodi di ottimizzazione
DIRECT Algorithm
Applications
Taxonomy of Methods
Yves Brise Lipschitzian Optimization, DIRECT Algorithm, and Applications
Tuesday, May 31, 2011 20

21. Applicazione
Ottimizzazione dello startup di una centrale a
ciclo combinato (CCPP)
Minimizzazione del tempo di avvio, consumi,
emissioni e stress termico
Massimizzazione della produzione di energia
M. De Felice, I. Bertini, A. Pannicelli, and S. Pizzuti, "Soft Computing based
optimisation of combined cycled power plant start-up operation with fitness
approximation methods," Applied Soft Computing, 2011.
I. Bertini, M. De Felice, F. Moretti, and S. Pizzuti, "Start-Up Optimisation of a
Combined Cycle Power Plant with Multiobjective Evolutionary Algorithms," in
Applications of Evolutionary Computation, 2010, pp. 151-160.
Tuesday, May 31, 2011 21

22. Procedura
1. Definizione di un indice di
performance
2. Impostazione simulatore sw
3. Algoritmo EC tramite simulatore
Tuesday, May 31, 2011 22

23. Indice Performance
F1
1
Informazioni
0.5
0
0 0.5 1 1.5 2 2.5 3
4
x 10
dagli esperti di
F2
1
0.5
processo 0
0 0.5 1 1.5
F3
2 2.5
5
x 10
3
1
Knowledge
0.5
0
0 5 10 15
9
x 10
modeling con
F4
1
0.5
funzioni fuzzy
0
0 5 10 15 20 25 30
F5
1
0.5
0
0 50 100 150 200 250 300
Tuesday, May 31, 2011 23

24. Singolo-obiettivo
Algoritmo Genetico
operazione di mutazione
Gaussiano
Funzione di fitness approssimata
per velocizzare l’ottimizzazione
(da 2070 a 36 ore/CPU)
Tuesday, May 31, 2011 24

25. Risultati
Tempo Prod. Stress
Consumi Emissioni
avvio Energia Termico
Esperti 21070 143557 2.5•109 25 10
GA 16569 115070 1.86•109 18.8 78.4
Var.
-25% -16% -16% -30% 2%
Norm.
Tuesday, May 31, 2011 25

26. Multi-obiettivo
12.65
12.6
12.55
Emissions (mg s / N m3)
12.5
12.45
12.4
12.35
12.3 Real
NSGA 2
12.25 WSGA
RAND
12.2
3.9 4 4.1 4.2 4.3 4.4 4.5 4.6
Energy Production (KJ) 9
x 10
Tuesday, May 31, 2011 26

27. Modellazione & Forecasting
Tuesday, May 31, 2011 27

28. Modellazione con NNs
||F (x) − f (x)|| < , ∀x
1.2
0.6
Y Axis
0
0 1 2 3 4 5 6 6.5
-0.6
-1.2
X Axis
y = sin(x)
NN(x)
Tuesday, May 31, 2011 28

29. Modellazione con NNs
Disturbances
Input u(k) Output y(k)
System
Neural
Network
Errore (MSE)
Metodi empirici per decidere la
topologia della rete
Tuesday, May 31, 2011 29

30. Regressione con NN
Si una una NN per fare
regressione non-lineare
Tuesday, May 31, 2011 30

31. Time Series Forecasting
Possiamo fare una previsione dei
dati futuri usando quelli osservati
Altre informazioni utili
(!)
Tuesday, May 31, 2011 31

32. Approcci per le NN
y(t+1)
Input at Neural y(t+2)
... Direct Method
time t Network
y(t+N)
Input at
output t+1
time t Neural
Network
output t
Iterative Method
delay
Tuesday, May 31, 2011 32

33. Short-Term Load Forecasting
60
40
kW
20
0
0 200 400 600 800 1000 1200 1400 1600 1800 2000
hours
Dati Orari
Obiettivo: predizione del carico
fino a 24 ore
Tuesday, May 31, 2011 33

34. Modelli Seasonal
1
0.5
0
0.5
0 10 20 30 40 50
Implementazione in R
ΦP (B s )φ(B)∇D ∇d xt = α + ΘQ (B s )θ(B)et
s
Tuesday, May 31, 2011 34

35. Modello NN
Campioni
passati
Rete
Previsione
Neurale
Informazioni
aggiuntive
Tuesday, May 31, 2011 35

36. Rete Neurale
Funzioni di attivazione f
differenziabili
Pesi w i
Pesi w o
Tuesday, May 31, 2011 36

37. Backpropagation
[Werbos, 1974]
Forward phase: il segnale si
propaga “in avanti”
Backward phase: si calcola
l’errore e lo si propaga
“all’indietro”, modificando i pesi
Tuesday, May 31, 2011 37

38. Modello NN
36
30
y(k-1)
25 y(k)
Y Axis
20
y(k+1)
15
10
0 2 4 6 8 10 12 14 16 18 20 22 24
X Axis
Come scegliere i
lags?
Tuesday, May 31, 2011 38

39. Data Analysis
1. ACF
1
0.5
2. Distribution 0
0.5
0 10 20 30 40 50
3. Multivariate
analysis 50
45
40
0.25
35 0.2
60 30
kW
25 0.15
50 20
0.1
15
40
10 0.05
load (kW)
5
30
0
1 5 9 13 17 21 24
hour
20
10
y = 0.0013*x2 + 0.26*x + 12
0
0 20 40 60 80 100
occupancy
Tuesday, May 31, 2011 39

40. Domanda...
Come ridurre la varianza delle
reti neurali?
Tuesday, May 31, 2011 40

41. Ensembling
Tuesday, May 31, 2011 41

42. Ensembling
1. Calibrazione del modello usando
sottoinsiemi dei dati (Bagging)
2. Uso dei dati pesato per importanza
(Adaboosting)
3. Interazione e cooperazione tra gli
stimatori
Tuesday, May 31, 2011 42

43. Ensembling
[Hansen Salomon, 1990]
Majority voting (classificazione)
Combinazione lineare
(regressione) N
1
F (x, D) = Fi (x, D)
N i=1
Tuesday, May 31, 2011 43

44. Ensembling
Media
Tuesday, May 31, 2011 44

45. Applicazioni
STLF dell’edificio ENEA Casaccia
(C59)
Presentato al IEEE Symposium on
CI Applications in Smart Grid
M. De Felice and X. Yao, Neural Networks Ensembles for Short-Term Load
Forecasting, in IEEE Symposium Series in Computational Intelligence 2011 (SSCI
2011), 2011
Tuesday, May 31, 2011 45

46. Tecniche
Predittore naive:
modello SARIMA (Seasonal
ARIMA):
ΦP (B s )φ(B)∇D ∇d xt = α + ΘQ (B s )θ(B)et
s
Reti Neurali (NN)
NN Ensembles
Tuesday, May 31, 2011 46

47. Metodologia
40
24 hours
35
30
kW
25 training part
20
15
10
2010 2013 2016 2019 2022 2025 2028 2031 2034 2037 2040 2043 2046 2049 2052 2055 2058
hours
Dati misurati da Settembre a
Novembre 2009
Training (13 settimane) e testing
(una settimana divisa in T1 e T2)
Tuesday, May 31, 2011 47

48. Misure d’errore
Errore Assoluto (MAE e MSE)
Error Percentuale (MAPE)
Scaled Error (MASE)
Tuesday, May 31, 2011 48

49. Negative Correlation Learning
[Liu Yao, 1999]
Modifica alla funzione di
backpropagation
Penalty term λ
M
ei = (Fi (xn ) − yn )2 + λpi
n=1
Tuesday, May 31, 2011 49

50. Regularized NCL
[Chen Yao, 2009]
NCL con Regolarizzazione
M M
1 2 1
ei = (Fi (xn ) − yn ) − (Fi (x) − F (xn ))2 +
N n=1 N n=1
T
+αi wi wi
Tuesday, May 31, 2011 50

51. Errori
MAE MSE
2.34 (0.79) 10.9 (17.88)
NN (Media)
2.49 (1.47) 21.67 (59.29)
1.38 2.95
NN Ensemble
1.09 2.4
1.47 3.34
RNCL
1.07 2.82
2.11 7.61
Naive
2.28 6.4
1.89 5.52
SARIMA
1.24 2.17
Tuesday, May 31, 2011 51

52. Dati Aggiuntivi
Informazioni aggiuntive:
occupanti edificio, ora del
giorno, giorno della settimana,
giorni lavorativi.
NN: input aggiuntivi
SARIMA: termine lineare
addizionale
Tuesday, May 31, 2011 52

53. Dati Aggiuntivi
4
MLP Ensemble external data SARIMA external data
4
MLP Ensemble SARIMA
3
Absolute error
3
absolute error
absolute
2
2
1
1
0
0
0
0 20
20 40 60 80 100 120 140
140
forecast window
forecast window
Forecasting window
Tuesday, May 31, 2011 53

54. Errori – dati aggiuntivi
MAE MSE
2.46 (0.83) 12.13 (16.80)
NN (Media)
2.34 (1.00) 11.61 (10.61)
1.42 3.30
NN Ensemble
0.75 1.27
1.33 2.7
RNCL
0.92 1.62
2.11 7.61
Naive
2.28 6.4
1.91 5.61
SARIMA
1.20 2.07
Tuesday, May 31, 2011 54

55. Errori giornalieri
(d) SARIMA T2 (e) M
Fig. 6. Univariate approach: 24-hours ahead forecasting absolute er
8
140 140
7
120 120
6
100 100
5
80 80
4
60 60
3
40 2 40
20 1 20
1 5 9 13 17 21 24 1 5
hour of the day
(a) SARIMA (b
Tuesday, May 31, 2011 Fig. 7. Absolute errors (in kW) made during testing parts T1 and55T

56. Errori giornalieri
(e) MLP Ensembling T2
hours ahead forecasting absolute errors on both T1 and T2. In light grey the area betw
8 8
140 140
7 7
120 120
6 6
100 100
5 5
80 80
4 4
60 60
3 3
2 40 2 40
1 20 1 20
21 24 1 5 9 13 17 21 24 1 5
hour of the day
(b) MLP Ensembling
Tuesday, May 31, 2011 56

57. Ensemble: altro esempio
100
80
kW
60
40
20
60 80 100 120 140 160 180 200 220
testing hours
Tuesday, May 31, 2011 57

58. TO-DO
Ensemble: usare tutte le stime
per creare una pdf
Ibridizzazione con metodi
statistici classici: analisi
multivariate, modelli stagionali,
Holt-Winters
Tuesday, May 31, 2011 58

59. The Big View
Forecasting
Modeling
Tuesday, May 31, 2011 59

60. Passi principali
1. Definizione target (short-term,
medium-term, seasonal)
2. Raccolta dati e analisi
Statistical Analysys
High-dimensionality
Data Mining
3. Definizione e comparazione
tecniche
Time Series Methods
NNs
Hybrid Methods
4. Valutazione Cost Analysis
Performance Measures
5. Simulazione
Software Simulator
Multi-Agent Systems
Tuesday, May 31, 2011 60

61. PPSN 2012
12th International Conference on “Parallel Problem
Solving From Nature”, Taormina
Paper submission: 15 Marzo 2012 (Proceedings
Springer)
http://www.dmi.unict.it/ppsn2012/
Tuesday, May 31, 2011 61

62. http://matteodefelice.name/research
Tuesday, May 31, 2011 62