Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Personalized Image classification of EEG Signals using Deep Learning

411 views

Published on

https://imatge.upc.edu/web/publications/personalized-image-classi-cation-eeg-signals-using-deep-learning

This thesis explores the semantic classi cation of images based processing of electroencephalogram (EEG) signals generated by the viewer's brain. The work extends an existing solution by exploring the gains obtained when the parameters of the classi er are adapted to the user. Firstly, we developed an universal end-to-end model based on deep learning that extracts features from the EEG raw signals predicts the semantic content of the image between 40 possible classes from the ImageNet dataset. Our main contribution aims at adapting this universal model to new users, in order to build a personalized model based on the minimum feedback from the new user. We explored di fferent deep learning architectures and hyperparameters to obtain a better accuracy than the baseline by Spampinato et al (CVPR 2017). We achieve a result of 89.03 % and 90.34 % of the universal and personalized model respectively.

Published in: Data & Analytics
  • Be the first to comment

  • Be the first to like this

Personalized Image classification of EEG Signals using Deep Learning

  1. 1. Personalized Image Classification from EEG Signals using Deep Learning Author: Alberto Bozal Advisor: Xavier Giró-i-Nieto
  2. 2. Índice 1. Introducción 2. Estado del Arte 3. Base de Datos 4. Metodología 5. Resultados 6. Conclusiones 2
  3. 3. Introducción: Motivación 3 Leer la actividad cerebral + Inteligencia Artificial (Deep Learning)
  4. 4. Introducción: Aplicaciones 4
  5. 5. Introducción: Crecimiento 5 15 feb. 201718 abr. 2017 30 dic. 2016 Selección del tema de la Tesis
  6. 6. Introducción: Trabajo de fin de grado 6 Dos enfoques diferentes: - Modelo Universal - Modelo Personalizado
  7. 7. Estado del arte: ERP P300 7 Cecotti, H., & Graser, A. (2011). Convolutional neural networks for P300 detection with application to brain-computer interfaces. IEEE transactions on pattern analysis and machine intelligence, 33(3), 433-445. Bashivan, P., Rish, I., Yeasin, M., & Codella, N. (2015). Learning representations from EEG with deep recurrent-convolutional neural networks. (CVPR)
  8. 8. Estado del arte: Clasificación de emociones 8 Zheng, W. L., Zhu, J. Y., Peng, Y., & Lu, B. L. (2014, July). EEG-based emotion classification using deep belief networks. In Multimedia and Expo (ICME), 2014 IEEE International Conference on (pp. 1-6). IEEE. Jirayucharoensak, S., Pan-Ngum, S., & Israsena, P. (2014). EEG-based emotion recognition using deep learning network with principal component based covariate shift adaptation. The Scientific World Journal, 2014.
  9. 9. Estado del arte: Trabajo de Spampinato 9 - Clasificador de EEG de Imágenes - Raw EEG - Alta tasa de aciertos - Reusar el espacio EEG para clasificar imágenes directamente Spampinato, C., Palazzo, S., Kavasidis, I., Giordano, D., Shah, M., & Souly, N. (2016). Deep Learning Human Mind for Automated Visual Classification. (CVPR 2017)
  10. 10. Base de Datos ● 4 Sujetos - 40x50=2000 Imágenes ○ + 2 Sujetos - 30x50=1500 Imágenes ● 128 Canales ● 500 muestras - 1 muestra/ms ● ImageNet Clases (dog, cat, butterfly, sorrel, capuchin, elephant, panda, fish, airliner, broom, canoe, phone, mug, convertible, computer, watch, guitar, locomotive, espresso, chair, golf, piano, iron, jack, mailbag, missile, mitten, bike, tent, pajama, parachute, pool, radio, camera, gun, shoe, banana, pizza, daisy and bolete (fungus)) 10
  11. 11. Metodología: 11 ● Seleccionar Framework de Deep Learning ● Generar Modelo Universal ● Mejorar/optimizar el Modelo ● Solventar problemas creando el Modelo Personalizado
  12. 12. Metodología: Arquitecturas Deep Learning 12 ● DENSE ● LSTM ● Dropout
  13. 13. Metodología: Arquitecturas Deep Learning 13 ● Capa DENSE (Fully-Connected neural network layer)
  14. 14. Metodología: Arquitecturas Deep Learning 14 ● Dropout
  15. 15. Metodología: Arquitecturas Deep Learning 15 ● LSTM (Long Short Term Memory)
  16. 16. Metodología: Modelo Universal 16 ● Modelo Inicial ○ Offset: 50 muestras ○ Ventana: 200 muestras *Offset: muestra inicial sobre las 500 muestras totales ● Tipos de entrenamiento: ○ Épocas y Batches ○ Optimizadores: Rmsprop y Adam
  17. 17. Metodología: Modelo Universal 17 ● Modelo Universal Final
  18. 18. Metodología: Modelo Universal vs Personalizado 18 ● Modelo Universal ○ Varios Sujetos ○ Diversidad en actividad cerebral ● Modelo Personalizado ○ Solución a problemas de diversidad ○ Modelo versátil ○ Modelo más preciso que el Universal
  19. 19. Metodología: Modelo Personalizado 19 ● Modelo Personalizado Final: Fine-Tune
  20. 20. Resultados: Training 20 ● Gráficas de “Loss” ○ Loss: Categorical Cross entropy
  21. 21. Resultados: Training 21 ● Distribución de Clases y “confusion matrix”
  22. 22. Resultados: Modelo Universal 22 ● Evaluando Modelo Universal
  23. 23. Resultados: Modelo Personalizado 23 ● Evaluando Fine-Tuning
  24. 24. Resultados: Modelo Personalizado 24 ● Entrenar modelos universales para personalizarlos
  25. 25. Resultados: Modelo Personalizado 25 ● Evaluar evolución del modelo personalizado Ar
  26. 26. Resultados: Modelo Personalizado 26 ● Evaluando resultados del Modelo Personalizado ● Un incremento de precisión respecto al Modelo Universal
  27. 27. Resultados: Significancia estadística 27 ● Evaluando resultados del Modelo Personalizado ○ Rechazar la hipótesis nula ○ Estadísticamente significativa p-valor < 0.05 ○ Usando una herramienta de Cálculo para Análisis de la Varianza (ANOVA) p-valor << 0.001
  28. 28. Conclusiones 28 ● El procesamiento de señales EEG tiene un gran potencial en futuras aplicaciones como el BCI. ● El modelo general resuelve la clasificación de señales EEG con una gran precisión, 89,03 %, superando a un paper CVPR 2017. ● El modelo personalizado aporta un nuevo enfoque resolviendo el problema en la diversidad de la base de datos, obteniendo mejores resultados, 90,34 %. ● Este trabajo ha logrado el objetivo de tratar de procesar señales EEG.
  29. 29. Preguntes? 29

×