Il lavoro di tesi presenta lo studio di un esperimento fMRI tramite tecniche di machine learning. I partecipanti dell'esperimento erano invitati a premere un pulsante con il dito indice o anulare, a seconda delle istruzioni visive che venivano fornite loro. La domanda a cui si vuole rispondere è la seguente: "esiste una differenza tra le risposte del cervello a queste due condizioni?". L'intero lavoro mostra come algoritmi di machine learning sono utilizzati per rispondere a questa domanda. In particolare sono state confrontate diverse tecniche per ridurre le dimensionalità dei dati (PCA, clustering, features selection). In seguito alla riduzione delle dimensionalità, sono state valutate le componenti selezionate rappresentando la risposta emodinamica (HRF - hemodynamic response function) e le mappe di attivazione. Infine, è stato addestrato un classificatore SVM (lineare e non lineare) tramite cross-validation per classificare i pattern.

1. Automatic fMRI Learning (AfL)
Simone Romano
Università degli Studi di Salerno
Tesi di Laurea Magistrale in Informatica
Relatori:
Prof. Roberto Tagliaferri
Prof. Fabrizio Esposito
Relatore esterno:
Dott. Giancarlo Valente
Simone Romano (Università degli Studi di Salerno) Automatic fMRI Learning - AfL 25/07/2016 1 / 38

2. Outline
1 Introduzione
2 AfL
Esperimento e dataset
Compressione dei dati
Valutazione dei cluster
Classificazione
3 Risultati
4 Conclusioni
Simone Romano (Università degli Studi di Salerno) Automatic fMRI Learning - AfL 25/07/2016 2 / 38

3. Introduzione
Outline
1 Introduzione
2 AfL
Esperimento e dataset
Compressione dei dati
Valutazione dei cluster
Classificazione
3 Risultati
4 Conclusioni
Simone Romano (Università degli Studi di Salerno) Automatic fMRI Learning - AfL 25/07/2016 3 / 38

4. Introduzione
Ambito
Neuroscienze
Insieme degli studi condotti dalla comunità scientifica sul
sistema nervoso.
Neuroimaging funzionale
Studio delle relazioni che intercorrono tra determinate
aree cerebrali e specifiche funzioni cerebrali
EEG: elettroencefalogramma
DTI: tensore di diffusione
fMRI: risonanza magnetica funzionale
...
Simone Romano (Università degli Studi di Salerno) Automatic fMRI Learning - AfL 25/07/2016 4 / 38

5. Introduzione
Risonanza magnetica funzionale
fMRI
Tecnica in grado di misurare la risposta emodinamica correlata all’attività
neuronale del cervello.
Simone Romano (Università degli Studi di Salerno) Automatic fMRI Learning - AfL 25/07/2016 5 / 38

6. Introduzione
Esecuzione dell’esame
Semplice modalità di
acquisizione
Differenti tipologie di task:
visivi
uditivi
motori
...
Durata dell’esperimento
compresa tra i 30 ed i 90
minuti
Simone Romano (Università degli Studi di Salerno) Automatic fMRI Learning - AfL 25/07/2016 6 / 38

7. Introduzione
Machine learning ed fMRI
Dati:
rappresentazione volumetrica del cervello
un valore di attivazione per ogni voxel nel tempo
Obiettivi dello studio di dati di fMRI:
in quale zona cerebrale è concentrata una certa informazione
com’è caratterizzata l’informazione
Tipologie di analisi:
Analisi univariate
Analisi multivariate
Simone Romano (Università degli Studi di Salerno) Automatic fMRI Learning - AfL 25/07/2016 7 / 38

8. Introduzione
Automatic fMRI Learning - AfL
INPUT OUTPUT
• fMRI data
• Labels
• Brain mask
• SVM trained model
• Generalization error
• Best features
Time series
compression
Voxels
clustering
Classification
Trained model
Automatic
fMRI
Learning
Simone Romano (Università degli Studi di Salerno) Automatic fMRI Learning - AfL 25/07/2016 8 / 38

9. AfL
Outline
1 Introduzione
2 AfL
Esperimento e dataset
Compressione dei dati
Valutazione dei cluster
Classificazione
3 Risultati
4 Conclusioni
Simone Romano (Università degli Studi di Salerno) Automatic fMRI Learning - AfL 25/07/2016 9 / 38

10. AfL Esperimento e dataset
1 Introduzione
2 AfL
Esperimento e dataset
Compressione dei dati
Valutazione dei cluster
Classificazione
3 Risultati
4 Conclusioni
Simone Romano (Università degli Studi di Salerno) Automatic fMRI Learning - AfL 25/07/2016 10 / 38

11. AfL Esperimento e dataset
Esperimento
Simone Romano (Università degli Studi di Salerno) Automatic fMRI Learning - AfL 25/07/2016 11 / 38

12. AfL Esperimento e dataset
Maschera
Aree cerebrali coinvolte
corteccia motoria
corteccia somatosensoriale
Riduzione del numero di voxels
da circa 50000 a circa 2000
Simone Romano (Università degli Studi di Salerno) Automatic fMRI Learning - AfL 25/07/2016 12 / 38

13. AfL Esperimento e dataset
Dati
Modalità acquisizione dati
In totale sono state registrate 96
risposte (48 per dito)
Un campione ogni 2 secondi
Struttura singola pressione
Matrice t × v:
t = tempo, 8 punti
v = voxel, dimensione di 103
Simone Romano (Università degli Studi di Salerno) Automatic fMRI Learning - AfL 25/07/2016 13 / 38

14. AfL Esperimento e dataset
Obiettivi
Gli scopi dell’analisi effettuata sono:
Studio della risposta emodinamica legata al particolare task
Classificazione delle due differenti condizioni sperimentali
Pipeline:
1 Compressione delle serie temporali
2 Raggruppamento dei voxel
3 Generazione delle mappe dei cluster
4 Stima della risposta emodinamica
5 Generazione modello SVM per la generalizzazione su nuovi dati
Simone Romano (Università degli Studi di Salerno) Automatic fMRI Learning - AfL 25/07/2016 14 / 38

15. AfL Compressione dei dati
1 Introduzione
2 AfL
Esperimento e dataset
Compressione dei dati
Valutazione dei cluster
Classificazione
3 Risultati
4 Conclusioni
Simone Romano (Università degli Studi di Salerno) Automatic fMRI Learning - AfL 25/07/2016 15 / 38

16. AfL Compressione dei dati
Compressione serie temporali
Media aritmetica
GLM su tre basi
PCA non lineare
Simone Romano (Università degli Studi di Salerno) Automatic fMRI Learning - AfL 25/07/2016 16 / 38

17. AfL Compressione dei dati
Compressione serie temporali - 1
Data
.
.
.
96 x
8
8
8
8
.
.
.
2*103
GLM
3 basis function
Nonlinear PCA
96 x
33
3
3
3
Data 2*103
96 x
33
3
3
3
Data 2*103
Mean
Data 2*103
96
Simone Romano (Università degli Studi di Salerno) Automatic fMRI Learning - AfL 25/07/2016 17 / 38

18. AfL Compressione dei dati
Clustering voxel
Obiettivo
Raggruppamento voxel - riduzione delle dimensionalità
Algoritmi di clustering utilizzati:
Partitioning Around Medoids
Clustering gerarchico
Metriche di distanza:
Correlazione di Pearson
Correlazione di Spearman
Valori di k:
k ∈ {5, 6, 7, 8, 9, 10, 20, 30, 40, 50}
Simone Romano (Università degli Studi di Salerno) Automatic fMRI Learning - AfL 25/07/2016 18 / 38

19. AfL Compressione dei dati
Clustering voxel - 1
96 x
33
3
3
3
Data 2*103
96 x
33
3
3
3
Data 2*103
Data 2*103
96x
Data 𝒌
96x
Data 𝒌
Data 𝒌
CLUSTERING
CLUSTERING
CLUSTERING
Linkage – Pam
Pearson - Spearman
Linkage – Pam
Pearson - Spearman
Linkage – Pam
Pearson - Spearman
Simone Romano (Università degli Studi di Salerno) Automatic fMRI Learning - AfL 25/07/2016 19 / 38

20. AfL Valutazione dei cluster
1 Introduzione
2 AfL
Esperimento e dataset
Compressione dei dati
Valutazione dei cluster
Classificazione
3 Risultati
4 Conclusioni
Simone Romano (Università degli Studi di Salerno) Automatic fMRI Learning - AfL 25/07/2016 20 / 38

21. AfL Valutazione dei cluster
Mappe dei voxel
Informazioni per ogni cluster:
1 Voxel appartenenti al cluster
2 Informazioni spaziali dei voxel
Simone Romano (Università degli Studi di Salerno) Automatic fMRI Learning - AfL 25/07/2016 21 / 38

22. AfL Valutazione dei cluster
Risposta emodinamica
Si parte dal dataset
iniziale
Si considerano i medoids
output del clustering
Si effettua la media dei
vari samples per ogni
medoids
Simone Romano (Università degli Studi di Salerno) Automatic fMRI Learning - AfL 25/07/2016 22 / 38

23. AfL Classificazione
1 Introduzione
2 AfL
Esperimento e dataset
Compressione dei dati
Valutazione dei cluster
Classificazione
3 Risultati
4 Conclusioni
Simone Romano (Università degli Studi di Salerno) Automatic fMRI Learning - AfL 25/07/2016 23 / 38

24. AfL Classificazione
Schema di classificazione
SVM - Support Vector Machines
Cross-validation con 6 fold
Stima parametri migliori
SVM
Features selection
Test delle permutazioni sulle
label
Output (per ogni fold):
cluster migliore
p-value del test delle permutazioni
Simone Romano (Università degli Studi di Salerno) Automatic fMRI Learning - AfL 25/07/2016 24 / 38

25. AfL Classificazione
Cross-validation
Simone Romano (Università degli Studi di Salerno) Automatic fMRI Learning - AfL 25/07/2016 25 / 38

26. AfL Classificazione
Cross-validation - Multi-pattern
Nota: compressione serie temporali con
1 GLM su tre basi
2 PCA non lineare (3 componenti)
Schema di classificazione a votazione:
Per ogni trial i
utilizzo del modello su ognuno dei 3 pattern del trial
il trial è assegnato alla classe vincente 2 volte su 3
Simone Romano (Università degli Studi di Salerno) Automatic fMRI Learning - AfL 25/07/2016 26 / 38

27. AfL Classificazione
Cross-validation - Multi-pattern - 1
Simone Romano (Università degli Studi di Salerno) Automatic fMRI Learning - AfL 25/07/2016 27 / 38

28. AfL Classificazione
Test delle permutazioni
Simone Romano (Università degli Studi di Salerno) Automatic fMRI Learning - AfL 25/07/2016 28 / 38

29. AfL Classificazione
Test delle permutazioni
Simone Romano (Università degli Studi di Salerno) Automatic fMRI Learning - AfL 25/07/2016 29 / 38

30. AfL Classificazione
Test delle permutazioni
Simone Romano (Università degli Studi di Salerno) Automatic fMRI Learning - AfL 25/07/2016 30 / 38

31. AfL Classificazione
Test delle permutazioni
Simone Romano (Università degli Studi di Salerno) Automatic fMRI Learning - AfL 25/07/2016 31 / 38

32. AfL Classificazione
Test delle permutazioni
Simone Romano (Università degli Studi di Salerno) Automatic fMRI Learning - AfL 25/07/2016 32 / 38

33. Risultati
Outline
1 Introduzione
2 AfL
Esperimento e dataset
Compressione dei dati
Valutazione dei cluster
Classificazione
3 Risultati
4 Conclusioni
Simone Romano (Università degli Studi di Salerno) Automatic fMRI Learning - AfL 25/07/2016 33 / 38

34. Risultati
Filtro risultati
Per ogni soggetto vengono generati risultati catalogati per:
metodologia di compressione serie temporali (media, PCA non
lineare, GLM su 3 basi)
algoritmo di clustering utilizzato (PAM, clustering gerarchico)
distanza usata per il clustering (Pearson, Spearman)
numero di cluster
tipologia svm (lineare/non lineare)
I risultati vengono filtrati automaticamente cercando:
media 6 one shot più bassa
almeno 4/6 p-value significativi
Simone Romano (Università degli Studi di Salerno) Automatic fMRI Learning - AfL 25/07/2016 34 / 38

35. Risultati
Media errori migliori one-shot
Subjects
AZ - AZ significant (4/6) GV - GV significant (5/6) JE - JE significant (4/6)
Error%
0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1
MEAN Linkage Spearman 5
SVM non linear
GLM Pam Spearman 5
SVM non linear
MEAN Linkage Spearman 9
SVM non linear
One shot results - mean
Simone Romano (Università degli Studi di Salerno) Automatic fMRI Learning - AfL 25/07/2016 35 / 38

36. Conclusioni
Outline
1 Introduzione
2 AfL
Esperimento e dataset
Compressione dei dati
Valutazione dei cluster
Classificazione
3 Risultati
4 Conclusioni
Simone Romano (Università degli Studi di Salerno) Automatic fMRI Learning - AfL 25/07/2016 36 / 38

37. Conclusioni
Discussioni
Pipeline generale per trattare dati fMRI
Compressione dei dati
Valutazione dei cluster
Modello per la classificazione
Punti di forza:
Miglioramenti soddisfacenti (rispetto a
lavori precedenti)
Riutilizzabile per altre tipologie di
dataset
Sviluppi futuri:
Utilizzo della pipeline su altri soggetti
per valutare le features selezionate
Simone Romano (Università degli Studi di Salerno) Automatic fMRI Learning - AfL 25/07/2016 37 / 38

38. Conclusioni
Grazie per l’attenzione
Simone Romano (Università degli Studi di Salerno) Automatic fMRI Learning - AfL 25/07/2016 38 / 38