Preliminary study of the repeatability task for non-invasive prosthetic hands over large time spans. The signals analyzed were EMGs signals with STFT, MFC, MAV, and WL features extraction. SVMs were used to perform multiclass classification of 17 different class of movements. The full dissertation can be found at: https://arxiv.org/abs/1511.06004

1. Studying the control of non-invasive prosthetic
hands over large time spans
Relatore:
Barbara Caputo
Correlatore:
Umberto Nanni
Candidato:
Mara Graziani
1
29/10/15

2. Studying the control of non invasive prosthetic
hands over large time spans
Amputati: realtà e problematiche
Popolazione mondiale: circa 7,3 miliardi
# Amputati >11 milioni
3 milioni agli arti superiori
2Mara Graziani

3. Amputati: realtà e problematiche
2000 amputati Haiti
5% soldati Vietnam War
4% Iraq Operation Freedom
Studying the control of non invasive prosthetic
hands over large time spans
3Mara Graziani

4. Ricostruzione del movimento
invasive
non invasive
cosmetiche e uncini
Protesi
Mara Graziani
Studying the control of non invasive prosthetic
hands over large time spans
4

5. Protesi invasive
Studying the control of non invasive prosthetic
hands over large time spans
operazione chirurgica
Impianto di sensori
sulla fibra muscolare tramite
5Mara Graziani

6. Protesi non invasive
Si indossa come un guanto
sensori di superficie
(sEMG)
Studying the control of non invasive prosthetic
hands over large time spans
6Mara Graziani

7. Protesi cosmetiche e uncini
La maggioranza degli 11 milioni di amputati
adotta questa soluzione...
Perchè?
Studying the control of non invasive prosthetic
hands over large time spans
7Mara Graziani

8. Controindicazioni
Obiettivo
Possibilità di rigetto
Non sempre attuabile
£ 6.000.000 o più
Pochi movimenti
Allenamenti
faticosi
lunghi
0 DoF
nessun movimento
Studying the control of non invasive prosthetic
hands over large time spans
e molto
£ 500
8Mara Graziani

9. Machine Learning
si possono incrementare le performance
La protesi si può addestrare
a riconoscere l'intenzione di un movimento
Studying the control of non invasive prosthetic
hands over large time spans
9Mara Graziani

10. Si potrebbe arrivare persino a
Studying the control of non invasive prosthetic
hands over large time spans
ShadowHand
10Mara Graziani

11. Conceptual Question - Domanda concettuale
Il giorno dopo, indossa
nuovamente la protesi.
Il paziente indossa la protesi
ed effettua la calibrazione
per la prima volta.
Studying the control of non invasive prosthetic
hands over large time spans
11Mara Graziani

12. Conceptual Question - Domanda concettuale
Cosa succede se non
rieffettua la
calibrazione?
Studying the control of non invasive prosthetic
hands over large time spans
12Mara Graziani

13. lungo
periodo
Calibrazione
della protesi
Protesi ancora
funzionante?
• disconnessione notturna
• sfasamento elettrodi
• conduttività degli elettrodi
• cambiamenti fisiologici
Studying the control of non invasive prosthetic
hands over large time spans
Ci aspettiamo un calo delle performance…
13Mara Graziani

14. Fasi dello studio
Acquisizione
Processamento
Classificazione
Test
Studying the control of non invasive prosthetic
hands over large time spans
Ogni passaggio è stato eseguito attraverso MATLAB con Statistics and Machine Learning Toolbox e la libreria libSVM
14Mara Graziani

15. Fasi dello studio - Acquisizione
Acquisizione
Processamento
Classificazione
Test
Acquisizione di 17
movimenti e posture
della mano
17 movimenti x 10 ripetizioni x 3 volte al giorno x 4 giorni
Studying the control of non invasive prosthetic
hands over large time spans
soggetto intatto
10 sensori sEMG Ottobock
15Mara Graziani

16. Fasi dello studio - Processamento
Acquisizione
Processamento
Classificazione
Test
Sincronizzazione
Eliminazione delle transizioni dal
riposo alla postura(algoritmo di rietichettamento)
Filtraggio
Segmentazione (finestre 100 ms)
Estrazione features
Studying the control of non invasive prosthetic
hands over large time spans
Segnale grezzo
16Mara Graziani

17. Fasi dello studio - Processamento
Acquisizione
Processamento
Classificazione
Test
PATTERN
Studying the control of non invasive prosthetic
hands over large time spans 17
finestra
potenziale
Waveform Length Features filtrate e segmentate
Segnale grezzo
Sincronizzazione
Eliminazione delle transizioni dal
riposo alla postura(algoritmo di rietichettamento)
Filtraggio
Segmentazione (finestre 100 ms)
Estrazione features
17Mara Graziani

18. Fasi dello studio - Classificazione
Acquisizione
Processamento
Classificazione
Test
17 movimenti x 10 ripetizioni x 3 volte al giorno x 4 giorni = 2040
Durante la fase di training sono stati divisi in
17+1 classi
Studying the control of non invasive prosthetic
hands over large time spans 18
training set, validation set, testing set
Gaussian RBF SVM
splitting
18Mara Graziani

19. Acquisizione
Processamento
Classificazione
Test
I dati del Giorno 1
sono stati usati per
l'addestramento
dell'algoritmo.
E ripetuti in tre momenti
della giornata.
I test sono stati svolti
a distanza di:
1 giorno
2 giorni
3 giorni
Fasi dello studio - Test
Studying the control of non invasive prosthetic
hands over large time spans 19 19Mara Graziani

20. 20
Risultati
Cosa succede se non
rieffettua la
calibrazione?
migliore
in media
peggiore90%
67%
Studying the control of non invasive prosthetic
hands over large time spans
60%
20Mara Graziani

21. 21
Risultati
Considerando ogni movimento equiprobabile,
la probabilità di scegliere correttamente in
modo randomico la postura scelta è di:
1
17
cioè del 6%…
Studying the control of non invasive prosthetic
hands over large time spans
21Mara Graziani

22. 22
Conclusioni
Si ha un calo del 20% subito
dopo il primo giorno, che
tende a fermarsi nei giorni
successivi.
Complessivamente vengono
persi al massimo 5
movimenti, ovvero il 30% del
set completo.
Studying the control of non invasive prosthetic
hands over large time spans
Come studio futuro bisognerebbe estendere il numero di soggetti
22Mara Graziani

23. 23
emgrepeatability.wordpress.com
Studying the control of non invasive prosthetic
hands over large time spans
archive.org/details/prostheticHandsOverTime
23Mara Graziani

24. 24
sEMG
KERNEL SVM
repeatability
WL
STFT
datasets
windowing
splitting
smoothing
confmatric
Studying the control of non invasive prosthetic
hands over large time spans
24Mara Graziani

25. 25
Grazie
per il prezioso tempo e l’attenzione

26. 26
1. Dougherty, Paul J., et al. "Bilateral transfemoral/transtibial amputations due to battle injuries: a comparison of
Vietnam veterans with Iraq and Afghanistan servicemembers." Clinical Orthopaedics and Related Research®
472.10 (2014): 3010-3016.
2. http://nationalamputation.org
3. http://www.drtessier.com/ilac.aspx
4. http://www.amputee-coalition.org/
5. The Limb Loss Research and Statistics Program Johns Hopkins Bloomberg School of Public Health: People
with amputations speak out with the Amputee Coalition of America from amputee-coalition.org
6. Maurice LeBlanc, MSME, CP "Give Hope - Give a Hand" - The LN-4 Prosthetic Hand from https://
web.stanford.edu/class/engr110/2011/LeBlanc-03a.pdf
7. http://www.handicap-international.us/haiti_estimates_over_2_000_amputees
8. http://www.bbc.com/news/technology-34044453
9. http://www.theloop.com.au/DMartinez/portfolio/hand-cracking-an-egg-image/82385
10.http://www.discovery-zone.com/wp-content/uploads/2014/02/Amputee-Feels-with-Bionic-Hand.jpg
11.http://www.dailymail.co.uk/sciencetech/article-2313507/i-limb-ultra-revolution-The-16-year-old-boy-Britains-
app-controlled-bionic-hand.html
12.http://www.discovery-zone.com/technology-amputee-feels-real-time-bionic-hand/
13.http://sciencenordic.com/implanted-muscular-electrodes-improve-prosthetic-flexibility
14.http://www.theloop.com.au/DMartinez/portfolio/hand-cracking-an-egg-image/82385
15.http://www.nottecriminale.it/contents/2012/11/sicurezza-pin-300x201.jpg
16.http://sr.photos2.fotosearch.com/bthumb/UNY/UNY052/u28704454.jpg
17.http://www.rehab.research.va.gov/jour/2012/494/images/smit494f02lb.jpg
18.http://www.google.it/url?
sa=i&source=imgres&cd=&ved=0CAYQjBwwAGoVChMIpYeastq6yAIVSjgUCh3o4gaQ&url=http%3A%2F
%2Fimg.medicalexpo.com%2Fimages_me%2Fphoto-m%2Fbody-powered-hand-prosthesis-hook-clamp-
adult-74842-170709.jpg&psig=AFQjCNF7kS3Vnt4PreYaiZLz7QfeU_c9cw&ust=1444662785061896
19.http://www-3.unipv.it/scienzemotorie/public/901sEMG.pdf
20.flickr.com per tutte le immagini
Fonti
Studying the control of non invasive prosthetic
hands over large time spans
29/10/15 Mara Graziani

27. 27
sEMG - surface ElectroMyoGraphy
Elettromiografia di superficie
(sEMG):
• misura potenziale elettrico
nel muscolo
• indicazioni su
• momento
• durata
• entità dell’attivazione
back

28. 28
Gaussian RBF kernel SVM
back
Se i dati non sono
linearmente separabili si
può utilizzare una
funzione non lineare,
chiamata kernel, per
mappare i dati in uno
spazio differente
(aggiunta di una
dimensione).
Tramite un
iperparametro, gamma,
si può controllare la
capacità del sistema.

29. 29
Repeatability
Misura della
variazione compiuta
effettuando
un’operazione
ripetutamente sotto
specifiche condizioni.
Può aiutare i
ricercatori a scoprire
eventuali
malfunzionamenti e
ad indagarne le
cause.
back

30. 30
WL - Waveform Length
Rappresenta la lunghezza cumulativa della forma d’onda nel
periodo T. Si usa come misura dell’ampiezza del segnale.
Segnale Grezzo Waveform Length
Feature nel dominio del tempo.
back

31. 31
STFT - Short Time Fourier Transform
STFT è molto più dettagliata delle altre features nel dominio del
tempo. Tuttavia richiede un costo computazionale più elevato.
Feature nel dominio tempo-frequenza.
• M è il numero di intervalli
di frequenza considerati
• g è una funzione di
lunghezza R, che funge da
finestra
back

32. 32
Set sperimentali
back
Sono state adottate due configurazioni:
• PARTE 1: il training set includeva “suggerimenti dai dati futuri”
• PARTE 2: nessun suggerimento
TRAINING TESTING
DATASET 1 GIORNO 1
prima mattina
GIORNI 1,2,3,4
prima mattina
DATASET 2 GIORNO 1
tarda mattina
GIORNI 1,2,3,4
tarda mattina
DATASET 3 GIORNO 1
primo pomeriggio
GIORNI 1,2,3,4
primo pomeriggio

33. 33
Segmentazione
back
Il dato istantaneo riguardante l’attività
muscolare del muscolo non è sufficiente
per la corretta classificazione dei
movimenti.
Sono state considerate quindi delle
finestre lunghe N con sovrapposizione
N-10ms.
N=100ms

34. 34
Smoothing
Tecnica utilizzata per incrementare le performances del
classificatore. Lo scopo è di tracciare un’idea generale dei
cambiamenti relativamente lenti delle assegnazioni delle labels.
Per ottenere questo scopo è stata implementata una finestra
scorrevole, di ampiezza arbitraria, che cercasse, con una
metodologia di majority voting, la label più frequente.
back

35. 35
Misclassification
back