Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Usando Redes Neuronales LTSM para la Predicción de series Temporales

12 views

Published on

Análisis del consumo eléctrico en Sóller y Tenerife como casos de estudio

Published in: Engineering
  • Be the first to comment

  • Be the first to like this

Usando Redes Neuronales LTSM para la Predicción de series Temporales

  1. 1. Series temporales Algunos Modelos Previos Una Breve intro de una breve intro a las redes Neuronales Casos de Estudio Usando Redes Neuronales LTSM para la Predicci´on de series Temporales: An´alisis del consumo el´ectrico en S´oller y Tenerife como casos de estudio J. M. Tudur´ı, G. Rul·lan and J.C. Gonz´alez-Avella APSL S.L. September 1, 2017 J. M. Tudur´ı, G. Rul·lan and J.C. Gonz´alez-Avella Predicci´on de series con LSTM
  2. 2. Series temporales Algunos Modelos Previos Una Breve intro de una breve intro a las redes Neuronales Casos de Estudio Algunas cuestiones interesantes .... ! ! ! • ¿Qu´e es esto (LSTM)? • ¿Para qu´e es esto (LSTM)? • ¿Qu´e se hace con esto (LSTM)? • ¿Qu´e se obtiene de esto? J. M. Tudur´ı, G. Rul·lan and J.C. Gonz´alez-Avella Predicci´on de series con LSTM
  3. 3. Series temporales Algunos Modelos Previos Una Breve intro de una breve intro a las redes Neuronales Casos de Estudio Overview 1 Series temporales 2 Algunos Modelos Previos Modelos Auto-regresivos: Mirando su propia historia 3 Una Breve intro de una breve intro a las redes Neuronales Aspectos Generales de las Redes Neuronales 4 Casos de Estudio An´alisis y predicci´on del consumo el´ectrico en S´oller. J. M. Tudur´ı, G. Rul·lan and J.C. Gonz´alez-Avella Predicci´on de series con LSTM
  4. 4. Series temporales Algunos Modelos Previos Una Breve intro de una breve intro a las redes Neuronales Casos de Estudio Series temporales J. M. Tudur´ı, G. Rul·lan and J.C. Gonz´alez-Avella Predicci´on de series con LSTM
  5. 5. Series temporales Algunos Modelos Previos Una Breve intro de una breve intro a las redes Neuronales Casos de Estudio Series temporales • Qu´e es una serie sequencial ? J. M. Tudur´ı, G. Rul·lan and J.C. Gonz´alez-Avella Predicci´on de series con LSTM
  6. 6. Series temporales Algunos Modelos Previos Una Breve intro de una breve intro a las redes Neuronales Casos de Estudio Series temporales • Qu´e es una serie sequencial ? Definici´on conjunto de datos relacionados, dispuestos en un orden particular ´o en una secuencia de .. {..} J. M. Tudur´ı, G. Rul·lan and J.C. Gonz´alez-Avella Predicci´on de series con LSTM
  7. 7. Series temporales Algunos Modelos Previos Una Breve intro de una breve intro a las redes Neuronales Casos de Estudio Series temporales • Qu´e es una serie sequencial ? Definici´on conjunto de datos relacionados, dispuestos en un orden particular ´o en una secuencia de .. {..} ´o Es una lista ordenada de {..}; en esta lista ordenada los puntos son llamadas ”elementos“ o t´erminos de la secuencia. J. M. Tudur´ı, G. Rul·lan and J.C. Gonz´alez-Avella Predicci´on de series con LSTM
  8. 8. Series temporales Algunos Modelos Previos Una Breve intro de una breve intro a las redes Neuronales Casos de Estudio Series temporales • Qu´e es una serie sequencial ? Definici´on conjunto de datos relacionados, dispuestos en un orden particular ´o en una secuencia de .. {..} ´o Es una lista ordenada de {..}; en esta lista ordenada los puntos son llamadas ”elementos“ o t´erminos de la secuencia. Por ejemplo: DNA sequence, evolution prices of market, words of a specific sentence .. J. M. Tudur´ı, G. Rul·lan and J.C. Gonz´alez-Avella Predicci´on de series con LSTM
  9. 9. Series temporales Algunos Modelos Previos Una Breve intro de una breve intro a las redes Neuronales Casos de Estudio Series temporales • Qu´e es una serie sequencial ? Definici´on conjunto de datos relacionados, dispuestos en un orden particular ´o en una secuencia de .. {..} ´o Es una lista ordenada de {..}; en esta lista ordenada los puntos son llamadas ”elementos“ o t´erminos de la secuencia. Por ejemplo: DNA sequence, evolution prices of market, words of a specific sentence .. Serie Temporal Una serie de tiempo es una serie de puntos de datos indexados (o listados o representados gr´aficamente) en orden de tiempo. En general, una serie de tiempo es una secuencia de datos tomados en sucesivos puntos igualmente espaciados en el tiempo (no obligatorio). J. M. Tudur´ı, G. Rul·lan and J.C. Gonz´alez-Avella Predicci´on de series con LSTM
  10. 10. Series temporales Algunos Modelos Previos Una Breve intro de una breve intro a las redes Neuronales Casos de Estudio Modelos Auto-regresivos: Mirando su propia historia Algunas t´ecnicas para el an´alisis y predicci´on de series temporales J. M. Tudur´ı, G. Rul·lan and J.C. Gonz´alez-Avella Predicci´on de series con LSTM
  11. 11. Series temporales Algunos Modelos Previos Una Breve intro de una breve intro a las redes Neuronales Casos de Estudio Modelos Auto-regresivos: Mirando su propia historia Algunas t´ecnicas para el an´alisis y predicci´on de series temporales Modelos Auto-regresivos (enfoque tradicional): J. M. Tudur´ı, G. Rul·lan and J.C. Gonz´alez-Avella Predicci´on de series con LSTM
  12. 12. Series temporales Algunos Modelos Previos Una Breve intro de una breve intro a las redes Neuronales Casos de Estudio Modelos Auto-regresivos: Mirando su propia historia Algunas t´ecnicas para el an´alisis y predicci´on de series temporales Modelos Auto-regresivos (enfoque tradicional): AR(p) ARMA ARIMA SARIMA ARCH GARCH SV Vectorial ARMA (VAR(p), VMA(q), VARMA(p,q)) Markovian Proccesses J. M. Tudur´ı, G. Rul·lan and J.C. Gonz´alez-Avella Predicci´on de series con LSTM
  13. 13. Series temporales Algunos Modelos Previos Una Breve intro de una breve intro a las redes Neuronales Casos de Estudio Modelos Auto-regresivos: Mirando su propia historia Algunas t´ecnicas para el an´alisis y predicci´on de series temporales Modelos Auto-regresivos (enfoque tradicional): AR(p) ARMA ARIMA SARIMA ARCH GARCH SV Vectorial ARMA (VAR(p), VMA(q), VARMA(p,q)) Markovian Proccesses J. M. Tudur´ı, G. Rul·lan and J.C. Gonz´alez-Avella Predicci´on de series con LSTM
  14. 14. Series temporales Algunos Modelos Previos Una Breve intro de una breve intro a las redes Neuronales Casos de Estudio Modelos Auto-regresivos: Mirando su propia historia ¿Por qu´e se deben usar otros enfoques? Parece que va bien .... ¿No ? Figure: AR models (ARIMA) J. M. Tudur´ı, G. Rul·lan and J.C. Gonz´alez-Avella Predicci´on de series con LSTM
  15. 15. Series temporales Algunos Modelos Previos Una Breve intro de una breve intro a las redes Neuronales Casos de Estudio Modelos Auto-regresivos: Mirando su propia historia ¿Por qu´e se deben usar otros enfoques? “La vida es todo aquello que sucede mientras hacemos planes” ... (Jhon Lennon) J. M. Tudur´ı, G. Rul·lan and J.C. Gonz´alez-Avella Predicci´on de series con LSTM
  16. 16. Series temporales Algunos Modelos Previos Una Breve intro de una breve intro a las redes Neuronales Casos de Estudio Modelos Auto-regresivos: Mirando su propia historia Redes Neuronales Artificiales ¿Por qu´e Redes Neuronales Artificiales? Notas importantes Implem. Modelos AR • Algor´ıtmos muy complejos. • Requiere an´alisis de muchos correlogramas para ACF y ACPF • Decidir qu´e modelo emplear (tarea dif´ıcil) • Los m´etodos tradicionales no consideran influencias externas Algoritmos de los modelos autoregresivos J. M. Tudur´ı, G. Rul·lan and J.C. Gonz´alez-Avella Predicci´on de series con LSTM
  17. 17. Series temporales Algunos Modelos Previos Una Breve intro de una breve intro a las redes Neuronales Casos de Estudio Aspectos Generales de las Redes Neuronales J. M. Tudur´ı, G. Rul·lan and J.C. Gonz´alez-Avella Predicci´on de series con LSTM
  18. 18. Series temporales Algunos Modelos Previos Una Breve intro de una breve intro a las redes Neuronales Casos de Estudio Aspectos Generales de las Redes Neuronales El cerebro como Red Neuronal Resuelve problemas complejos. J. M. Tudur´ı, G. Rul·lan and J.C. Gonz´alez-Avella Predicci´on de series con LSTM
  19. 19. Series temporales Algunos Modelos Previos Una Breve intro de una breve intro a las redes Neuronales Casos de Estudio Aspectos Generales de las Redes Neuronales J. M. Tudur´ı, G. Rul·lan and J.C. Gonz´alez-Avella Predicci´on de series con LSTM
  20. 20. Series temporales Algunos Modelos Previos Una Breve intro de una breve intro a las redes Neuronales Casos de Estudio Aspectos Generales de las Redes Neuronales x1 x2 x3 ω1 ω2 ω3 Σ ωx Σ ωx Entradas Ponderadas Y ENTRADAS CONEXIONES FUNCION DE RED FUNCION DE ACTIVACION 1 1 − e Σ y = f( ) = J. M. Tudur´ı, G. Rul·lan and J.C. Gonz´alez-Avella Predicci´on de series con LSTM
  21. 21. Series temporales Algunos Modelos Previos Una Breve intro de una breve intro a las redes Neuronales Casos de Estudio Aspectos Generales de las Redes Neuronales x1 x2 x3 ω1 ω2 ω3 Y Σ back propagation Input Layer Hidden Layer Output Layer J. M. Tudur´ı, G. Rul·lan and J.C. Gonz´alez-Avella Predicci´on de series con LSTM
  22. 22. Series temporales Algunos Modelos Previos Una Breve intro de una breve intro a las redes Neuronales Casos de Estudio Aspectos Generales de las Redes Neuronales Redes Neuronales Recurrente Long Short-Term Memory Network (LSTM) • Redes Neuronales Recurrente de tipo Long Short-Term Memory Network (LSTM). J. M. Tudur´ı, G. Rul·lan and J.C. Gonz´alez-Avella Predicci´on de series con LSTM
  23. 23. Series temporales Algunos Modelos Previos Una Breve intro de una breve intro a las redes Neuronales Casos de Estudio Aspectos Generales de las Redes Neuronales Redes Neuronales Recurrente Long Short-Term Memory Network (LSTM) • Redes Neuronales Recurrente de tipo Long Short-Term Memory Network (LSTM). • Las neuronas en cada capa ahora son un tipo especial de neuronas ( celdas de memoria conectadas entre ellas a trav´es de capas ) J. M. Tudur´ı, G. Rul·lan and J.C. Gonz´alez-Avella Predicci´on de series con LSTM
  24. 24. Series temporales Algunos Modelos Previos Una Breve intro de una breve intro a las redes Neuronales Casos de Estudio Aspectos Generales de las Redes Neuronales Redes Neuronales Recurrente Long Short-Term Memory Network (LSTM) • Redes Neuronales Recurrente de tipo Long Short-Term Memory Network (LSTM). • Las neuronas en cada capa ahora son un tipo especial de neuronas ( celdas de memoria conectadas entre ellas a trav´es de capas ) • Estas celdas de memoria facilitan la tarea de recordar valores para largos o cortos periodos de tiempo. J. M. Tudur´ı, G. Rul·lan and J.C. Gonz´alez-Avella Predicci´on de series con LSTM
  25. 25. Series temporales Algunos Modelos Previos Una Breve intro de una breve intro a las redes Neuronales Casos de Estudio Aspectos Generales de las Redes Neuronales Redes Neuronales Recurrente Long Short-Term Memory Network (LSTM) • Redes Neuronales Recurrente de tipo Long Short-Term Memory Network (LSTM). • Las neuronas en cada capa ahora son un tipo especial de neuronas ( celdas de memoria conectadas entre ellas a trav´es de capas ) • Estas celdas de memoria facilitan la tarea de recordar valores para largos o cortos periodos de tiempo. • M´ultiples entradas (input layer), facilita considerar agentes externos. J. M. Tudur´ı, G. Rul·lan and J.C. Gonz´alez-Avella Predicci´on de series con LSTM
  26. 26. Series temporales Algunos Modelos Previos Una Breve intro de una breve intro a las redes Neuronales Casos de Estudio Aspectos Generales de las Redes Neuronales Algunos aspectos importantes de las Redes Neuronales Artificiales implementada J. M. Tudur´ı, G. Rul·lan and J.C. Gonz´alez-Avella Predicci´on de series con LSTM
  27. 27. Series temporales Algunos Modelos Previos Una Breve intro de una breve intro a las redes Neuronales Casos de Estudio Aspectos Generales de las Redes Neuronales Algunos aspectos importantes de las Redes Neuronales Artificiales implementada J. M. Tudur´ı, G. Rul·lan and J.C. Gonz´alez-Avella Predicci´on de series con LSTM
  28. 28. Series temporales Algunos Modelos Previos Una Breve intro de una breve intro a las redes Neuronales Casos de Estudio Aspectos Generales de las Redes Neuronales Algunos aspectos importantes de las Redes Neuronales Artificiales implementada J. M. Tudur´ı, G. Rul·lan and J.C. Gonz´alez-Avella Predicci´on de series con LSTM
  29. 29. Series temporales Algunos Modelos Previos Una Breve intro de una breve intro a las redes Neuronales Casos de Estudio Aspectos Generales de las Redes Neuronales Algunos aspectos importantes de las Redes Neuronales Artificiales implementada J. M. Tudur´ı, G. Rul·lan and J.C. Gonz´alez-Avella Predicci´on de series con LSTM
  30. 30. Series temporales Algunos Modelos Previos Una Breve intro de una breve intro a las redes Neuronales Casos de Estudio Aspectos Generales de las Redes Neuronales Redes Neuronales Recurrente Long Short-Term Memory Network (LSTM) J. M. Tudur´ı, G. Rul·lan and J.C. Gonz´alez-Avella Predicci´on de series con LSTM
  31. 31. Series temporales Algunos Modelos Previos Una Breve intro de una breve intro a las redes Neuronales Casos de Estudio Aspectos Generales de las Redes Neuronales Redes Neuronales Recurrente Long Short-Term Memory Network (LSTM) J. M. Tudur´ı, G. Rul·lan and J.C. Gonz´alez-Avella Predicci´on de series con LSTM
  32. 32. Series temporales Algunos Modelos Previos Una Breve intro de una breve intro a las redes Neuronales Casos de Estudio Aspectos Generales de las Redes Neuronales Redes Neuronales Recurrente Long Short-Term Memory Network (LSTM) J. M. Tudur´ı, G. Rul·lan and J.C. Gonz´alez-Avella Predicci´on de series con LSTM
  33. 33. Series temporales Algunos Modelos Previos Una Breve intro de una breve intro a las redes Neuronales Casos de Estudio Aspectos Generales de las Redes Neuronales Redes Neuronales Recurrente Long Short-Term Memory Network (LSTM) J. M. Tudur´ı, G. Rul·lan and J.C. Gonz´alez-Avella Predicci´on de series con LSTM
  34. 34. Series temporales Algunos Modelos Previos Una Breve intro de una breve intro a las redes Neuronales Casos de Estudio Aspectos Generales de las Redes Neuronales Redes Neuronales Recurrente Long Short-Term Memory Network (LSTM) J. M. Tudur´ı, G. Rul·lan and J.C. Gonz´alez-Avella Predicci´on de series con LSTM
  35. 35. Series temporales Algunos Modelos Previos Una Breve intro de una breve intro a las redes Neuronales Casos de Estudio Aspectos Generales de las Redes Neuronales Redes Neuronales Recurrente Long Short-Term Memory Network (LSTM) J. M. Tudur´ı, G. Rul·lan and J.C. Gonz´alez-Avella Predicci´on de series con LSTM
  36. 36. Series temporales Algunos Modelos Previos Una Breve intro de una breve intro a las redes Neuronales Casos de Estudio Aspectos Generales de las Redes Neuronales Redes Neuronales Recurrente Long Short-Term Memory Network (LSTM) J. M. Tudur´ı, G. Rul·lan and J.C. Gonz´alez-Avella Predicci´on de series con LSTM
  37. 37. Series temporales Algunos Modelos Previos Una Breve intro de una breve intro a las redes Neuronales Casos de Estudio Aspectos Generales de las Redes Neuronales Redes Neuronales Recurrente Long Short-Term Memory Network (LSTM) J. M. Tudur´ı, G. Rul·lan and J.C. Gonz´alez-Avella Predicci´on de series con LSTM
  38. 38. Series temporales Algunos Modelos Previos Una Breve intro de una breve intro a las redes Neuronales Casos de Estudio Aspectos Generales de las Redes Neuronales Redes Neuronales Recurrente Long Short-Term Memory Network (LSTM) J. M. Tudur´ı, G. Rul·lan and J.C. Gonz´alez-Avella Predicci´on de series con LSTM
  39. 39. Series temporales Algunos Modelos Previos Una Breve intro de una breve intro a las redes Neuronales Casos de Estudio Aspectos Generales de las Redes Neuronales Redes Neuronales Recurrente Long Short-Term Memory Network (LSTM) J. M. Tudur´ı, G. Rul·lan and J.C. Gonz´alez-Avella Predicci´on de series con LSTM
  40. 40. Series temporales Algunos Modelos Previos Una Breve intro de una breve intro a las redes Neuronales Casos de Estudio Aspectos Generales de las Redes Neuronales Redes Neuronales Recurrente Long Short-Term Memory Network (LSTM) J. M. Tudur´ı, G. Rul·lan and J.C. Gonz´alez-Avella Predicci´on de series con LSTM
  41. 41. Series temporales Algunos Modelos Previos Una Breve intro de una breve intro a las redes Neuronales Casos de Estudio Aspectos Generales de las Redes Neuronales Redes Neuronales Recurrente Long Short-Term Memory Network (LSTM) J. M. Tudur´ı, G. Rul·lan and J.C. Gonz´alez-Avella Predicci´on de series con LSTM
  42. 42. Series temporales Algunos Modelos Previos Una Breve intro de una breve intro a las redes Neuronales Casos de Estudio Aspectos Generales de las Redes Neuronales Redes Neuronales Recurrente Long Short-Term Memory Network (LSTM) J. M. Tudur´ı, G. Rul·lan and J.C. Gonz´alez-Avella Predicci´on de series con LSTM
  43. 43. Series temporales Algunos Modelos Previos Una Breve intro de una breve intro a las redes Neuronales Casos de Estudio Aspectos Generales de las Redes Neuronales Redes Neuronales Recurrente Long Short-Term Memory Network (LSTM) J. M. Tudur´ı, G. Rul·lan and J.C. Gonz´alez-Avella Predicci´on de series con LSTM
  44. 44. Series temporales Algunos Modelos Previos Una Breve intro de una breve intro a las redes Neuronales Casos de Estudio Aspectos Generales de las Redes Neuronales Redes Neuronales Recurrente Long Short-Term Memory Network (LSTM) J. M. Tudur´ı, G. Rul·lan and J.C. Gonz´alez-Avella Predicci´on de series con LSTM
  45. 45. Series temporales Algunos Modelos Previos Una Breve intro de una breve intro a las redes Neuronales Casos de Estudio Aspectos Generales de las Redes Neuronales Implementar esta red J. M. Tudur´ı, G. Rul·lan and J.C. Gonz´alez-Avella Predicci´on de series con LSTM
  46. 46. Series temporales Algunos Modelos Previos Una Breve intro de una breve intro a las redes Neuronales Casos de Estudio Aspectos Generales de las Redes Neuronales Implementar esta red J. M. Tudur´ı, G. Rul·lan and J.C. Gonz´alez-Avella Predicci´on de series con LSTM
  47. 47. Series temporales Algunos Modelos Previos Una Breve intro de una breve intro a las redes Neuronales Casos de Estudio An´alisis y predicci´on del consumo el´ectrico en S´oller. Serie temporal de cosumo el´ectrico • Serie temporal del consumo el´ectrico por hora en la poblaci´on de S´oller. • Periodo analizado: desde 02/11/2015 hasta 30/11/2016 (1 a˜no) • Serie Temporal del valor de la temepratura por hora en S´oller. (variable externa) 2000 3000 4000 5000 6000 7000 Kw/h Serie from 2015-11-02 to 2016-11-30 Electricity consumption 2015-12 2016-02 2016-04 2016-06 2016-08 2016-10 2016-12 date 0 5 10 15 20 25 30 35 oC Temperature J. M. Tudur´ı, G. Rul·lan and J.C. Gonz´alez-Avella Predicci´on de series con LSTM
  48. 48. Series temporales Algunos Modelos Previos Una Breve intro de una breve intro a las redes Neuronales Casos de Estudio An´alisis y predicci´on del consumo el´ectrico en S´oller. • Usando t´ecnicas de machin Learning para la implementaci´on de las LTSM. • Python y Keras (libreria para implementar redes neuronales) Resumen de las propiedades de la red LTSM Implementada. Layer (type) Output shape Params lstm1 (LSTM) (10, 24, 8) 352 lstm2 (LSTM) (10, 24, 8) 544 lstm3 (LSTM) (10, 24, 8) 544 lstm4 (LSTM) (10, 24, 8) 544 lstm5 (LSTM) (10, 24) 544 dense1 (DENSE) (10, 1) 9 Total params: 2537 Trainable params: 2537 J. M. Tudur´ı, G. Rul·lan and J.C. Gonz´alez-Avella Predicci´on de series con LSTM
  49. 49. Series temporales Algunos Modelos Previos Una Breve intro de una breve intro a las redes Neuronales Casos de Estudio An´alisis y predicci´on del consumo el´ectrico en S´oller. Resultados 2016-12-02 2016-12-04 2016-12-06 2016-12-08 2016-12-10 2016-12-12 2016-12-14 2000 3000 4000 5000 6000 kWh Serie from 2016-12-01 00:00:00 to 2016-12-14 23:00:00 Data Prediction J. M. Tudur´ı, G. Rul·lan and J.C. Gonz´alez-Avella Predicci´on de series con LSTM
  50. 50. Series temporales Algunos Modelos Previos Una Breve intro de una breve intro a las redes Neuronales Casos de Estudio An´alisis y predicci´on del consumo el´ectrico en S´oller. Resultados 12-02 02 12-02 14 12-03 02 12-03 14 12-04 02 12-04 14 12-05 02 2000 3000 4000 5000 6000 kWh Serie from 2016-12-02 00:00:00 to 2016-12-04 23:00:00 Data Prediction + - J. M. Tudur´ı, G. Rul·lan and J.C. Gonz´alez-Avella Predicci´on de series con LSTM
  51. 51. Series temporales Algunos Modelos Previos Una Breve intro de una breve intro a las redes Neuronales Casos de Estudio An´alisis y predicci´on del consumo el´ectrico en S´oller. Resultados: caso de Tenerife 250 300 350 400 450 500 550 Serie from 2013-01-01 00:00 to 2017-04-15 23:00 dem 0.2 0.4 0.6 0.8 1.0 humidity 0 5 10 15 20 wind_speed 2013-01 2013-07 2014-01 2014-07 2015-01 2015-07 2016-01 2016-07 2017-01 2017-07 date 5 10 15 20 25 30 35 temperature 01-02 11 01-02 23 01-03 11 01-03 23 01-04 11 01-04 23 time 250 300 350 400 450 500 550 600 Wh Electricity consumption Real Data Prediction + - J. M. Tudur´ı, G. Rul·lan and J.C. Gonz´alez-Avella Predicci´on de series con LSTM

×