Successfully reported this slideshow.
Computational Intelligence           and Energy Systems: intelligent solutions for                                    comp...
Sommario                        Cos’è la Computational                        Intelligence (CI)?                        Qu...
CI: paradigmi                                                      Soft                                    NN             ...
Visione d’insieme                                                      Temi                                    NN         ...
CI e letteratura                                   3                            x 10                        5             ...
La diffusione della CI                        Problemi sempre più complessi                        Più potenza di calcolo ...
ma...                        Assenza di una teoria                        consolidata                        Frammentazion...
Applicazioni Principali                                            Reti Neurali                                           ...
Quadro generale                                              Reti neurali evolutive con topologia a rete complessa        ...
2009                          Ambient temperature modelling with soft computing techniques                                ...
Reti Neurali e Load Forecast                        2011                         Short-Term Load Forecasting with Neural  ...
Altri Progetti       Identificazione      Reti Neurali      Algoritmi Evolutivi     Ottimizzazione      Structural System ...
OttimizzazioneTuesday, May 31, 2011                    13
Process Optimization                            Process                           Parameters     Process     Environment  ...
Ottimizzazione tradizionale                        Metodi Line-search and trust-                        region (serve l’He...
...ma il real-world è:                        1) ‘Rumoroso’                        2) Dinamico                        3) D...
Evolutionary Computation (EC)                        Ottimizzazione Black-box                        Singolo e Multi-Obiet...
Metaeuristica                        Ottimizzazione Stocastica                        Algoritmi usati per trovare         ...
Real-World problemsTuesday, May 31, 2011                         19
Metodi di ottimizzazione                        DIRECT Algorithm                             Applications Taxonomy of Meth...
Applicazione                        Ottimizzazione dello startup di una centrale a                        ciclo combinato ...
Procedura                    1. Definizione di un indice di                       performance                    2. Impost...
Indice Performance                                                      F1                                     1          ...
Singolo-obiettivo                        Algoritmo Genetico                        operazione di mutazione                ...
Risultati                        Tempo               Prod.                 Stress                                 Consumi ...
Multi-obiettivo                                                  12.65                                                   1...
Modellazione & ForecastingTuesday, May 31, 2011                         27
Modellazione con NNs                                                ||F (x) − f (x)|| < , ∀x                              ...
Modellazione con NNs                          Disturbances             Input u(k)                  Output y(k)            ...
Regressione con NN                        Si una una NN per fare                        regressione non-lineareTuesday, Ma...
Time Series Forecasting                        Possiamo fare una previsione dei                        dati futuri usando ...
Approcci per le NN                                                       y(t+1)                        Input at      Neura...
Short-Term Load Forecasting              60              40         kW              20              0               0     ...
Modelli Seasonal                           1                          0.5                           0                     ...
Modello NN                   Campioni                    passati                                Rete                      ...
Rete Neurale                                             Funzioni di attivazione f                                        ...
Backpropagation                        [Werbos, 1974]                        Forward phase: il segnale si                 ...
Modello NN                                 36                                 30                                          ...
Data Analysis             1. ACF                                                                        1                 ...
Domanda...                        Come ridurre la varianza delle                        reti neurali?Tuesday, May 31, 2011...
EnsemblingTuesday, May 31, 2011                41
Ensembling                1. Calibrazione del modello usando                   sottoinsiemi dei dati (Bagging)            ...
Ensembling                        [Hansen  Salomon, 1990]                        Majority voting (classificazione)        ...
Ensembling                                     MediaTuesday, May 31, 2011                        44
Applicazioni                        STLF dell’edificio ENEA Casaccia                        (C59)                        P...
Tecniche                        Predittore naive:                        modello SARIMA (Seasonal                        A...
Metodologia                             40                                                                          24 hou...
Misure d’errore                        Errore Assoluto (MAE e MSE)                        Error Percentuale (MAPE)        ...
Negative Correlation Learning                        [Liu  Yao, 1999]                        Modifica alla funzione di    ...
Regularized NCL                          [Chen  Yao, 2009]                          NCL con Regolarizzazione              ...
Errori                                         MAE            MSE                                      2.34 (0.79)    10.9...
Dati Aggiuntivi                        Informazioni aggiuntive:                        occupanti edificio, ora del        ...
Dati Aggiuntivi                                  4                                       MLP Ensemble   external data     ...
Errori – dati aggiuntivi                                         MAE            MSE                                      2...
Errori giornalieri                                              (d) SARIMA T2                                  (e) M      ...
Errori giornalieri                                (e) MLP Ensembling T2hours ahead forecasting absolute errors on both T1 ...
Ensemble: altro esempio                     100                        80                kW                        60     ...
TO-DO                        Ensemble: usare tutte le stime                        per creare una pdf                     ...
The Big View                            Forecasting                               ModelingTuesday, May 31, 2011           ...
Passi principali        1. Definizione target (short-term,           medium-term, seasonal)        2. Raccolta dati e anal...
PPSN 2012                12th International Conference on “Parallel Problem                Solving From Nature”, Taormina ...
http://matteodefelice.name/researchTuesday, May 31, 2011                                         62
Upcoming SlideShare
Loading in …5
×

[Italian] ENEA Seminar - Computational Intelligence and Energy Systems: intelligent solutions for complex problems

737 views

Published on

Computational Intelligence and Energy Systems: intelligent solutions for complex problems
31/05/2011 (in Italian)

Published in: Technology
  • Be the first to comment

  • Be the first to like this

[Italian] ENEA Seminar - Computational Intelligence and Energy Systems: intelligent solutions for complex problems

  1. 1. Computational Intelligence and Energy Systems: intelligent solutions for complex problems Matteo De Felice Unità Modellistica Energetica Ambientale UTMEA - ENEATuesday, May 31, 2011 1
  2. 2. Sommario Cos’è la Computational Intelligence (CI)? Quali sono le applicazioni della CI ai sistemi complessi?Tuesday, May 31, 2011 2
  3. 3. CI: paradigmi Soft NN Computing EC FS IA? SI AIS Computational IntelligenceTuesday, May 31, 2011 3
  4. 4. Visione d’insieme Temi NN principali EC FS SI AISTuesday, May 31, 2011 4
  5. 5. CI e letteratura 3 x 10 5 Evolutionary Computation Swarm Intelligence 4 Artificial Neural Networks 3 2 1 0 1994 1996 1998 2000 2002 2004 2006 2008 2010 year Dati dalla Thomson Reuters ISI considerando Computer Science & Technology (Gennaio 2010) Due journals sulla CI nei primi 10 in CS (IF 2009)Tuesday, May 31, 2011 5
  6. 6. La diffusione della CI Problemi sempre più complessi Più potenza di calcolo disponibileTuesday, May 31, 2011 6
  7. 7. ma... Assenza di una teoria consolidata Frammentazione degli algoritmi Approccio poco sistematico e confronti poco “robusti” PSO APSO CPSO DPSO EPSO FPSO GPSO HPSO IPSO LPSO MPSO NPSO OPSO PPSO QPSO RPSO SPSO TPSO UPSO VPSO WPSO GA AGA BGA CGA DGA EGA FGA HGA IGA KGA LGA MGA OGA PGA QGA RGA SGA VGA ...Tuesday, May 31, 2011 7
  8. 8. Applicazioni Principali Reti Neurali & Logica Fuzzy 1) Modellazione & Forecasting 2) Ottimizzazione Calcolo EvolutivoTuesday, May 31, 2011 8
  9. 9. Quadro generale Reti neurali evolutive con topologia a rete complessa Evolving predictive neural models for complex processes Evolving Complex Neural Networks 2008 Reti Neurali Evolutive Ensemble Artificial Neural Networks and Support Vector Machines ensembling: a comparisonTuesday, May 31, 2011 9
  10. 10. 2009 Ambient temperature modelling with soft computing techniques Modellazione temperature con NN Combining Back-Propagation and Genetic Algorithms to Train Neural Networks for Ambient Temperature Modeling in Italy 2010 Ottimizzazione dello start-up centrale a ciclo combinato Combining Back-Propagation and Genetic Algorithms to Train Neural Networks for Ambient Temperature Modeling in ItalyTuesday, May 31, 2011 10
  11. 11. Reti Neurali e Load Forecast 2011 Short-Term Load Forecasting with Neural Network Ensembles: a Comparative Study Climate Variables in Energy ModelingTuesday, May 31, 2011 11
  12. 12. Altri Progetti Identificazione Reti Neurali Algoritmi Evolutivi Ottimizzazione Structural System Evolutive e Spazialmente traiettorie missioni in Ing. Sismica Applicazioni alla Strutturati interplanetarie FinanzaTuesday, May 31, 2011 12
  13. 13. OttimizzazioneTuesday, May 31, 2011 13
  14. 14. Process Optimization Process Parameters Process Environment (X) Measurement Come migliorare la ‘performance’ di un processo tramite i suoi parametri?Tuesday, May 31, 2011 14
  15. 15. Ottimizzazione tradizionale Metodi Line-search and trust- region (serve l’Hessiano!) Metodi Quasi-newton (Hessiano approssimato) Metodi Derivative-freeTuesday, May 31, 2011 15
  16. 16. ...ma il real-world è: 1) ‘Rumoroso’ 2) Dinamico 3) Difficile da esaminareTuesday, May 31, 2011 16
  17. 17. Evolutionary Computation (EC) Ottimizzazione Black-box Singolo e Multi-Obiettivo Anche funzioni discontinue e non differenziabili Meta-euristica Population-basedTuesday, May 31, 2011 17
  18. 18. Metaeuristica Ottimizzazione Stocastica Algoritmi usati per trovare soluzioni a problemi “difficili” Esempio: Hill-Climbing, Tabu Search, Simulated-AnnealingTuesday, May 31, 2011 18
  19. 19. Real-World problemsTuesday, May 31, 2011 19
  20. 20. Metodi di ottimizzazione DIRECT Algorithm Applications Taxonomy of Methods Yves Brise Lipschitzian Optimization, DIRECT Algorithm, and ApplicationsTuesday, May 31, 2011 20
  21. 21. Applicazione Ottimizzazione dello startup di una centrale a ciclo combinato (CCPP) Minimizzazione del tempo di avvio, consumi, emissioni e stress termico Massimizzazione della produzione di energia M. De Felice, I. Bertini, A. Pannicelli, and S. Pizzuti, "Soft Computing based optimisation of combined cycled power plant start-up operation with fitness approximation methods," Applied Soft Computing, 2011. I. Bertini, M. De Felice, F. Moretti, and S. Pizzuti, "Start-Up Optimisation of a Combined Cycle Power Plant with Multiobjective Evolutionary Algorithms," in Applications of Evolutionary Computation, 2010, pp. 151-160.Tuesday, May 31, 2011 21
  22. 22. Procedura 1. Definizione di un indice di performance 2. Impostazione simulatore sw 3. Algoritmo EC tramite simulatoreTuesday, May 31, 2011 22
  23. 23. Indice Performance F1 1 Informazioni 0.5 0 0 0.5 1 1.5 2 2.5 3 4 x 10 dagli esperti di F2 1 0.5 processo 0 0 0.5 1 1.5 F3 2 2.5 5 x 10 3 1 Knowledge 0.5 0 0 5 10 15 9 x 10 modeling con F4 1 0.5 funzioni fuzzy 0 0 5 10 15 20 25 30 F5 1 0.5 0 0 50 100 150 200 250 300Tuesday, May 31, 2011 23
  24. 24. Singolo-obiettivo Algoritmo Genetico operazione di mutazione Gaussiano Funzione di fitness approssimata per velocizzare l’ottimizzazione (da 2070 a 36 ore/CPU)Tuesday, May 31, 2011 24
  25. 25. Risultati Tempo Prod. Stress Consumi Emissioni avvio Energia Termico Esperti 21070 143557 2.5•109 25 10 GA 16569 115070 1.86•109 18.8 78.4 Var. -25% -16% -16% -30% 2% Norm.Tuesday, May 31, 2011 25
  26. 26. Multi-obiettivo 12.65 12.6 12.55 Emissions (mg s / N m3) 12.5 12.45 12.4 12.35 12.3 Real NSGA 2 12.25 WSGA RAND 12.2 3.9 4 4.1 4.2 4.3 4.4 4.5 4.6 Energy Production (KJ) 9 x 10Tuesday, May 31, 2011 26
  27. 27. Modellazione & ForecastingTuesday, May 31, 2011 27
  28. 28. Modellazione con NNs ||F (x) − f (x)|| < , ∀x 1.2 0.6 Y Axis 0 0 1 2 3 4 5 6 6.5 -0.6 -1.2 X Axis y = sin(x) NN(x)Tuesday, May 31, 2011 28
  29. 29. Modellazione con NNs Disturbances Input u(k) Output y(k) System Neural Network Errore (MSE) Metodi empirici per decidere la topologia della reteTuesday, May 31, 2011 29
  30. 30. Regressione con NN Si una una NN per fare regressione non-lineareTuesday, May 31, 2011 30
  31. 31. Time Series Forecasting Possiamo fare una previsione dei dati futuri usando quelli osservati Altre informazioni utili (!)Tuesday, May 31, 2011 31
  32. 32. Approcci per le NN y(t+1) Input at Neural y(t+2) ... Direct Method time t Network y(t+N) Input at output t+1 time t Neural Network output t Iterative Method delayTuesday, May 31, 2011 32
  33. 33. Short-Term Load Forecasting 60 40 kW 20 0 0 200 400 600 800 1000 1200 1400 1600 1800 2000 hours Dati Orari Obiettivo: predizione del carico fino a 24 oreTuesday, May 31, 2011 33
  34. 34. Modelli Seasonal 1 0.5 0 0.5 0 10 20 30 40 50 Implementazione in R ΦP (B s )φ(B)∇D ∇d xt = α + ΘQ (B s )θ(B)et sTuesday, May 31, 2011 34
  35. 35. Modello NN Campioni passati Rete Previsione Neurale Informazioni aggiuntiveTuesday, May 31, 2011 35
  36. 36. Rete Neurale Funzioni di attivazione f differenziabili Pesi w i Pesi w oTuesday, May 31, 2011 36
  37. 37. Backpropagation [Werbos, 1974] Forward phase: il segnale si propaga “in avanti” Backward phase: si calcola l’errore e lo si propaga “all’indietro”, modificando i pesiTuesday, May 31, 2011 37
  38. 38. Modello NN 36 30 y(k-1) 25 y(k) Y Axis 20 y(k+1) 15 10 0 2 4 6 8 10 12 14 16 18 20 22 24 X Axis Come scegliere i lags?Tuesday, May 31, 2011 38
  39. 39. Data Analysis 1. ACF 1 0.5 2. Distribution 0 0.5 0 10 20 30 40 50 3. Multivariate analysis 50 45 40 0.25 35 0.2 60 30 kW 25 0.15 50 20 0.1 15 40 10 0.05 load (kW) 5 30 0 1 5 9 13 17 21 24 hour 20 10 y = 0.0013*x2 + 0.26*x + 12 0 0 20 40 60 80 100 occupancyTuesday, May 31, 2011 39
  40. 40. Domanda... Come ridurre la varianza delle reti neurali?Tuesday, May 31, 2011 40
  41. 41. EnsemblingTuesday, May 31, 2011 41
  42. 42. Ensembling 1. Calibrazione del modello usando sottoinsiemi dei dati (Bagging) 2. Uso dei dati pesato per importanza (Adaboosting) 3. Interazione e cooperazione tra gli stimatoriTuesday, May 31, 2011 42
  43. 43. Ensembling [Hansen Salomon, 1990] Majority voting (classificazione) Combinazione lineare (regressione) N 1 F (x, D) = Fi (x, D) N i=1Tuesday, May 31, 2011 43
  44. 44. Ensembling MediaTuesday, May 31, 2011 44
  45. 45. Applicazioni STLF dell’edificio ENEA Casaccia (C59) Presentato al IEEE Symposium on CI Applications in Smart Grid M. De Felice and X. Yao, Neural Networks Ensembles for Short-Term Load Forecasting, in IEEE Symposium Series in Computational Intelligence 2011 (SSCI 2011), 2011Tuesday, May 31, 2011 45
  46. 46. Tecniche Predittore naive: modello SARIMA (Seasonal ARIMA): ΦP (B s )φ(B)∇D ∇d xt = α + ΘQ (B s )θ(B)et s Reti Neurali (NN) NN EnsemblesTuesday, May 31, 2011 46
  47. 47. Metodologia 40 24 hours 35 30 kW 25 training part 20 15 10 2010 2013 2016 2019 2022 2025 2028 2031 2034 2037 2040 2043 2046 2049 2052 2055 2058 hours Dati misurati da Settembre a Novembre 2009 Training (13 settimane) e testing (una settimana divisa in T1 e T2)Tuesday, May 31, 2011 47
  48. 48. Misure d’errore Errore Assoluto (MAE e MSE) Error Percentuale (MAPE) Scaled Error (MASE)Tuesday, May 31, 2011 48
  49. 49. Negative Correlation Learning [Liu Yao, 1999] Modifica alla funzione di backpropagation Penalty term λ M ei = (Fi (xn ) − yn )2 + λpi n=1Tuesday, May 31, 2011 49
  50. 50. Regularized NCL [Chen Yao, 2009] NCL con Regolarizzazione M M 1 2 1 ei = (Fi (xn ) − yn ) − (Fi (x) − F (xn ))2 + N n=1 N n=1 T +αi wi wiTuesday, May 31, 2011 50
  51. 51. Errori MAE MSE 2.34 (0.79) 10.9 (17.88) NN (Media) 2.49 (1.47) 21.67 (59.29) 1.38 2.95 NN Ensemble 1.09 2.4 1.47 3.34 RNCL 1.07 2.82 2.11 7.61 Naive 2.28 6.4 1.89 5.52 SARIMA 1.24 2.17Tuesday, May 31, 2011 51
  52. 52. Dati Aggiuntivi Informazioni aggiuntive: occupanti edificio, ora del giorno, giorno della settimana, giorni lavorativi. NN: input aggiuntivi SARIMA: termine lineare addizionaleTuesday, May 31, 2011 52
  53. 53. Dati Aggiuntivi 4 MLP Ensemble external data SARIMA external data 4 MLP Ensemble SARIMA 3 Absolute error 3 absolute error absolute 2 2 1 1 0 0 0 0 20 20 40 60 80 100 120 140 140 forecast window forecast window Forecasting windowTuesday, May 31, 2011 53
  54. 54. Errori – dati aggiuntivi MAE MSE 2.46 (0.83) 12.13 (16.80) NN (Media) 2.34 (1.00) 11.61 (10.61) 1.42 3.30 NN Ensemble 0.75 1.27 1.33 2.7 RNCL 0.92 1.62 2.11 7.61 Naive 2.28 6.4 1.91 5.61 SARIMA 1.20 2.07Tuesday, May 31, 2011 54
  55. 55. Errori giornalieri (d) SARIMA T2 (e) M Fig. 6. Univariate approach: 24-hours ahead forecasting absolute er 8 140 140 7 120 120 6 100 100 5 80 80 4 60 60 3 40 2 40 20 1 20 1 5 9 13 17 21 24 1 5 hour of the day (a) SARIMA (bTuesday, May 31, 2011 Fig. 7. Absolute errors (in kW) made during testing parts T1 and55T
  56. 56. Errori giornalieri (e) MLP Ensembling T2hours ahead forecasting absolute errors on both T1 and T2. In light grey the area betw 8 8 140 140 7 7 120 120 6 6 100 100 5 5 80 80 4 4 60 60 3 3 2 40 2 40 1 20 1 20 21 24 1 5 9 13 17 21 24 1 5 hour of the day (b) MLP Ensembling Tuesday, May 31, 2011 56
  57. 57. Ensemble: altro esempio 100 80 kW 60 40 20 60 80 100 120 140 160 180 200 220 testing hoursTuesday, May 31, 2011 57
  58. 58. TO-DO Ensemble: usare tutte le stime per creare una pdf Ibridizzazione con metodi statistici classici: analisi multivariate, modelli stagionali, Holt-WintersTuesday, May 31, 2011 58
  59. 59. The Big View Forecasting ModelingTuesday, May 31, 2011 59
  60. 60. Passi principali 1. Definizione target (short-term, medium-term, seasonal) 2. Raccolta dati e analisi Statistical Analysys High-dimensionality Data Mining 3. Definizione e comparazione tecniche Time Series Methods NNs Hybrid Methods 4. Valutazione Cost Analysis Performance Measures 5. Simulazione Software Simulator Multi-Agent SystemsTuesday, May 31, 2011 60
  61. 61. PPSN 2012 12th International Conference on “Parallel Problem Solving From Nature”, Taormina Paper submission: 15 Marzo 2012 (Proceedings Springer) http://www.dmi.unict.it/ppsn2012/Tuesday, May 31, 2011 61
  62. 62. http://matteodefelice.name/researchTuesday, May 31, 2011 62

×