1. Echo State Network per la
Classificazione di Interazioni
Sociali in Ambienti Domestici
Andrea Valenti
Unversità di Pisa – Dipartimento di Informatica
Corso di Laurea in Informatica

2. Contenuti
 Parte 1: Reti Neurali Ricorrenti.
 Parte 2: Alcuni Modelli.
 Parte 3: Studio di un Caso Reale.

3. Reti Neurali Ricorrenti

4. Reti Neurali Ricorrenti
 Definizione: «Le Reti Neurali Ricorrenti (RNN)
sono una classe di reti neurali in cui il grafo delle
connessioni tra i neuroni contiene almeno un
ciclo diretto».
 Sono in grado di tenere conto del contesto
temporale dell’input.
 Particolarmente adatte per processare tipi di dato
strutturati temporalmente.

5. Algoritmi di Apprendimento
Due principali modalità di addestramento:
 Addestramento per epoche.
 Addestramento continuo.
Algoritmi più utilizzati:
 Backpropagation Through Time.
 Real Time Recurrent Learning.

6. Problematiche
 Elevata complessità computazionale.
 Lenta convergenza.
 Funzione dell’errore generalmente non convessa.
 Problema del vanishing gradient.

7. Reservoir Computing
 Idea di base: separazione tra parte ricorrente
(reservoir) e parte non ricorrente (readout) della
rete.
 Il reservoir, dopo l’inizializzazione, non viene più
modificato.
 Molto efficiente, permette di evitare i problemi
degli algoritmi a discesa del gradiente.

8. Alcuni Modelli

9. Input Delay Neural Network (IDNN)

10. Simple Recurrent Network (SRN)

11. Nonlinear AutoRegressive with eXogenous Inputs Network
(NARX)

12. Echo State Network (ESN)

13. ESN: Iperparametri
 : raggio spettrale di .
condizione necessaria per garantire un
corretto funzionamento del reservoir (Echo State Property).
 : fattore di scaling di .
Determina il grado di nonlinearità del reservoir.
 : leaky parameter.
Controlla la veocità delle dinamiche del reservoir.

14. Studio di un Caso Reale

15.  È un progetto europeo atto a sviluppare soluzioni
per estendere la capacità funzionale e cognitiva
delle persone anziane attraverso il monitoraggio
non intrusivo ed il potenziamento delle loro
attività quotidiane.
 Il compito del team dell'Università di Pisa è quello
di sviluppare un sistema context-aware per
l'activity recognition.

16. Descrizione degli Esperimenti

17. Descrizione degli Esperimenti
Si sono indagati i seguenti aspetti:
 Variazione delle performance al variare degli
iperparametri, in particolare il numero dei
neuroni del reservoir.
 Variazione delle performance al variare del
numero e tipologia di sensori in input.

18. Risultati
RESn TR VAL TS
100 0,904±
(0,139)
0,899±
(0,139)
0,902±
(0,133)
500 0,917±
(0,118)
0,895±
(0,122)
0,903±
(0,117)
1000 0,926±
(0,100)
0,892±
(0,115)
0,901±
(0,113)
2000 0,935±
(0,085)
0,889±
(0,110)
0,897±
(0,113)
Task TR VAL TS
entering
(8 sensors)
0.917±(0.119) 0.895±(0.125) 0.902±(0.120)
leaving
(8 sensors)
0.911±(0.122) 0.889±(0.132) 0.890±(0.128)
entering
(5 sensors)
0.920±(0.111) 0.898±(0.122) 0.905±(0.119)
leaving
(5 sensors)
0.913±(0.121) 0.892±(0.133) 0.894±(0.131)
entering
(3 sensors)
0.916±(0.120) 0.900±(0.127) 0.908±(0.122)
leaving
(3 sensors)
0.908±(0.128) 0.891±(0.136) 0.891±(0.133)
Risultati ottenuti mediante double cross-fold validation
con 3 fold esterne, 3 fold interne.
 = 0.9, = 0.5, = 0.5

19. Risultati

20. Conclusioni
 È stata presentata la classe di modelli delle
RNN.
 Una ESN è stata studiata per
un’applicazione di activity recognition.
 Risultati migliorabili, ma promettenti.

21. Fine
Grazie per l’attenzione.