UNIVERSITA’ CAMPUS BIO-MEDICO DI ROMAFacoltà di ingegneriaCorso di laurea specialistica in ingegneria biomedicaRICONOSCIME...
IntroduzioneObiettiviSoftware implementatoApprendimento semi-supervisionatoRisultati sperimentaliConclusioni e sviluppi fu...
Sistema Esperto Interazionecrescentecon l’uomoImportanzainterfacce HMModello di interazionenaturale (uomo-uomo)Importanzar...
Sistema di riconoscimento espressioni facciali (FER)Estensione funzionalitàed usabilitàUtilizzoin situazioni realiSviluppo...
Barra deimenù
Zona “A”
Zona “B”
Zona “C”
Barra distato
Diagramma a blocchi: Video di esempio:Emoticon espressioni rilevate:
Protocollo XML-RPCComunicazione tra il software e il sistema di automazionedi edificio
TSVM: estensione semi-supervisionata della SVMSVM liiCi12b,, 21min ww ulliilii CCi112b,,21min ...
•TSVM implementata in MATLAB tramite SVMlin:  ujjliiul 1122212min wwryuullji  1ˆ1con•Database utilizz...
Prova Training set Test set1 CKetichettato MMI, 15 fold2 CKetichettato+MMIetichettato MMI, 15 fold3 MMIetichettato MMI, 15...
Prova Training set Test set1 CKetichettato MMI, 15 foldλ’=0.001 λ’=0.01 λ’=0.1 λ’=1 λ’=10λ=0.001 25.65% 25.65% 25.65% 25.6...
Prova Training set Test set2 CKetichettato+MMIetichettato MMI, 15 foldλ’=0.001 λ’=0.01 λ’=0.1 λ’=1 λ’=10λ=0.001 35.53% 35....
Prova Training set Test set3 MMIetichettato MMI, 15 foldλ’=0.001 λ’=0.01 λ’=0.1 λ’=1 λ’=10λ=0.001 29.51% 29.51% 29.51% 29....
Prova Training set Test set4 CKetichettato+MMInon etichettato MMI, 15 foldλ’=0.001 λ’=0.01 λ’=0.1 λ’=1 λ’=10λ=0.001 24.21%...
Prova Training set Test set5 CKetichettato+MMIparz.etichettato MMI, 15 fold•E’ generalizzazione della “4”•I parametri del ...
Prova Training set Test set9 MMIetichettato+CKnon etichettato MMI, 15 foldλ’=0.001 λ’=0.01 λ’=0.1 λ’=1 λ’=10λ=0.001 27.61%...
Prova Training set Test set Acc. max alvariare deiparametri1 CKetichettato MMI, 15 fold 29.24%2 CKetichettato+MMIetichetta...
Considerazioni:•CK e MMI poco correlati•L’aggiunta di campioni etichettatisimili a set di test produce semprerisultati mig...
Prova Training set Test set Acc. max alvariare deiparametri1 CKetichettato MMI, 15 fold 29.24%2 CKetichettato+MMIetichetta...
Considerazioni:•CK e MMI poco correlati•L’aggiunta di campioni etichettatisimili a set di test produce semprerisultati mig...
Prova Training set Test set Acc. max alvariare deiparametri1 CKetichettato MMI, 15 fold 29.24%2 CKetichettato+MMIetichetta...
Considerazioni:•CK e MMI poco correlati•L’aggiunta di campioni etichettatisimili a set di test produce semprerisultati mig...
Usabilità:•GUI con struttura modulare•Espansione funzioni•Multipiattaforma•Opzioni auto-esplicativeSviluppi:Multithreadin...
FACIAL EXPRESSIONS RECOGNITION: SEMI-SUPERVISED LEARNING AND DEVELOPMENT OF A GUI FOR BUILDING AUTOMATION
Upcoming SlideShare
Loading in …5
×

FACIAL EXPRESSIONS RECOGNITION: SEMI-SUPERVISED LEARNING AND DEVELOPMENT OF A GUI FOR BUILDING AUTOMATION

224 views

Published on

Nowadays, one of the mostly impelling problems is the development of
an automatic system performing a specic action depending on information
extracted from an unstructured environment. Applications of such systems
may range from detecting manufacturing faults in factories to video surveil-
lance. Spreading of expert systems in society is increasing exponentially for
the years to come, making the development of human-machine interfaces a
critical issue. In this background a machine ability to correctly understand
human feelings and emotions, partly communicated by facial expressions,
establishes a key-point. Therefore, a rst challenge in this scenario consists
in the implementation of a performing facial expressions recognition (FER)
system.
This work was mainly motivated by two purposes: (i) extend the func-
tionalities of a FER software system developed in a previous work; (ii) in-
crease its eectiveness in real scenarios, where it could face instances very
dierent from the ones on which it was trained. To this end, rstly, current
software usability was improved by developing a graphical interface which
can be customized according to user's needs; secondly, the software can
now communicate with a building automation system, so that is now able
to perform a specic task according to the detected facial expression. Lastly
we explored how semi-supervised learning may improve FER performance
in comparison to supervised learning methods.
Hence, we developed in C++ a software with a cross-platform graphical
user interface, following a modular approach and thus easily expandable.
It was successfully tested using XML-RPC protocol on University Cam-
pus Bio-medico building automation system. In this particular case, the
requested operation was to unlock remotely a door upon the detection of a
chosen facial expression. Studies and preliminary tests conducted in MAT-
LAB environment lead us to conclude that semi-supervised learning needs
to be inquired further.

Published in: Technology
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total views
224
On SlideShare
0
From Embeds
0
Number of Embeds
13
Actions
Shares
0
Downloads
2
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

FACIAL EXPRESSIONS RECOGNITION: SEMI-SUPERVISED LEARNING AND DEVELOPMENT OF A GUI FOR BUILDING AUTOMATION

  1. 1. UNIVERSITA’ CAMPUS BIO-MEDICO DI ROMAFacoltà di ingegneriaCorso di laurea specialistica in ingegneria biomedicaRICONOSCIMENTO ESPRESSIONI FACCIALI:APPRENDIMENTO SEMI-SUPERVISIONATO ESVILUPPO DI UNA GUI PER L’AUTOMAZIONE DIEDIFICIORelatore:Dott. Ing. Paolo SodaLaureando:Andrea LandiCorrelatore:Ing. Roberto D’AmbrosioA.A. 2010/2011
  2. 2. IntroduzioneObiettiviSoftware implementatoApprendimento semi-supervisionatoRisultati sperimentaliConclusioni e sviluppi futuri
  3. 3. Sistema Esperto Interazionecrescentecon l’uomoImportanzainterfacce HMModello di interazionenaturale (uomo-uomo)Importanzariconoscimentoespressioni facciali
  4. 4. Sistema di riconoscimento espressioni facciali (FER)Estensione funzionalitàed usabilitàUtilizzoin situazioni realiSviluppodiuna GUIInterfacciamentosistemaautomazionedi edificioApprendimentosemi-supervisionato
  5. 5. Barra deimenù
  6. 6. Zona “A”
  7. 7. Zona “B”
  8. 8. Zona “C”
  9. 9. Barra distato
  10. 10. Diagramma a blocchi: Video di esempio:Emoticon espressioni rilevate:
  11. 11. Protocollo XML-RPCComunicazione tra il software e il sistema di automazionedi edificio
  12. 12. TSVM: estensione semi-supervisionata della SVMSVM liiCi12b,, 21min ww ulliilii CCi112b,,21min wwTSVM liiullji ylyu 111ˆ1conLCampioni etichettati:   uliiU 11xEstensioneApprendimento supervisionato:Campioni non etichettati:ClassificatoreApprendimento semi-supervisionato:  liii yL 1,  xL U Classificatore+UL 
  13. 13. •TSVM implementata in MATLAB tramite SVMlin:  ujjliiul 1122212min wwryuullji  1ˆ1con•Database utilizzati:DBNumeroSoggettiNumeroCampioniRabbia Disgusto Paura Felicità Tristezza SorpresaCK 105 876 126 162 66 198 78 246MMI 15 180 30 30 30 30 30 30•Pairwise Coupling per la ricombinazione delle classi•Subject outSet-up sperimentale: parametro diregolarizzazione: parametro diregolarizzazione percampioni non etichettati
  14. 14. Prova Training set Test set1 CKetichettato MMI, 15 fold2 CKetichettato+MMIetichettato MMI, 15 fold3 MMIetichettato MMI, 15 fold4 CKetichettato+MMInon etichettato MMI, 15 fold5 CKetichettato+MMIparz. etichettato MMI, 15 fold6 MMIetichettato+CKnon etichettato CK, 105 fold7 MMIetichettato+CKparz.etichettato CK, 105 fold8 MMIetichettato+CKetichettato CK, 105 fold9 MMIetichettato+CKnon etichettato MMI, 15 fold
  15. 15. Prova Training set Test set1 CKetichettato MMI, 15 foldλ’=0.001 λ’=0.01 λ’=0.1 λ’=1 λ’=10λ=0.001 25.65% 25.65% 25.65% 25.65% 25.65%λ=0.01 27.37% 27.37% 27.37% 27.37% 27.37%λ=0.1 29.24% 29.24% 29.24% 29.24% 29.24%λ=1 29.24% 29.24% 29.24% 29.24% 29.24%λ=10 29.24% 29.24% 29.24% 29.24% 29.24%•Saturazione•Indipendenzada λ’•Bassaaccuratezza(scarsacorrelazione)
  16. 16. Prova Training set Test set2 CKetichettato+MMIetichettato MMI, 15 foldλ’=0.001 λ’=0.01 λ’=0.1 λ’=1 λ’=10λ=0.001 35.53% 35.53% 35.53% 35.53% 35.53%λ=0.01 35.53% 35.53% 35.53% 35.53% 35.53%λ=0.1 34.06% 34.06% 34.06% 34.06% 34.06%λ=1 33.36% 33.36% 33.36% 33.36% 33.36%λ=10 29.88% 29.88% 29.88% 29.88% 29.88%•Saturazione•Indipendenzada λ’•Rispetto a “1”aggiunta MMIaumentaaccuratezza
  17. 17. Prova Training set Test set3 MMIetichettato MMI, 15 foldλ’=0.001 λ’=0.01 λ’=0.1 λ’=1 λ’=10λ=0.001 29.51% 29.51% 29.51% 29.51% 29.51%λ=0.01 29.51% 29.51% 29.51% 29.51% 29.51%λ=0.1 29.51% 29.51% 29.51% 29.51% 29.51%λ=1 28.38% 28.38% 28.38% 28.38% 28.38%λ=10 28.38% 28.38% 28.38% 28.38% 28.38%•Saturazione•Indipendenzada λ’•Bassaaccuratezza,scarsacorrelazionesoggetti MMI
  18. 18. Prova Training set Test set4 CKetichettato+MMInon etichettato MMI, 15 foldλ’=0.001 λ’=0.01 λ’=0.1 λ’=1 λ’=10λ=0.001 24.21% 21.21% 22.19% 23.12% 24.23%λ=0.01 23.00% 22.26% 22.34% 30.75% 27.70%λ=0.1 18.57% 19.01% 26.37% 29.24% 31.53%λ=1 16.40% 16.96% 25.48% 30.30% 26.76%λ=10 11.21% 11.77% 12.51% 17.14% 12.40%•Al crescere diλ’ accuratezzacresce•i campionidellMMI nonetichettatiaggiungonocontenutoinformativosimile a set ditest (cfr “1”)
  19. 19. Prova Training set Test set5 CKetichettato+MMIparz.etichettato MMI, 15 fold•E’ generalizzazione della “4”•I parametri del massimo valoresono in accordo con la 4•Percentuale ottimale è 90%•Risultato inferiore a casocompletamente supervisionato(cfr. “2”)
  20. 20. Prova Training set Test set9 MMIetichettato+CKnon etichettato MMI, 15 foldλ’=0.001 λ’=0.01 λ’=0.1 λ’=1 λ’=10λ=0.001 27.61% 26.03% 22.92% 23.66% 22.47%λ=0.01 25.01% 20.51% 20.14% 21.25% 21.09%λ=0.1 19.36% 17.88% 17.04% 17.69% 15.21%λ=1 18.88% 18.88% 17.56% 13.67% 14.23%λ=10 13.82% 13.82% 13.82% 15.90% 15.95%•Massimaaccuratezzaper basso λ’•CK non ècorrelato conMMI epeggioraaccuratezza(cfr. “3”)
  21. 21. Prova Training set Test set Acc. max alvariare deiparametri1 CKetichettato MMI, 15 fold 29.24%2 CKetichettato+MMIetichettato MMI, 15 fold 35.53%3 MMIetichettato MMI, 15 fold 29.51%4 CKetichettato+MMInon etichettato MMI, 15 fold 31.53%5 CKetichettato+MMIparz.etichettato MMI, 15 fold 33.29%6 MMIetichettato+CKnon etichettato CK, 105 fold 26.49%7 MMIetichettato+CKparz.etichettato CK, 105 fold 59.96%8 MMIetichettato+CKetichettato CK, 105 fold 61.17%9 MMIetichettato+CKnon etichettato MMI, 15 fold 27.61%
  22. 22. Considerazioni:•CK e MMI poco correlati•L’aggiunta di campioni etichettatisimili a set di test produce semprerisultati migliori di non etichettati
  23. 23. Prova Training set Test set Acc. max alvariare deiparametri1 CKetichettato MMI, 15 fold 29.24%2 CKetichettato+MMIetichettato MMI, 15 fold 35.53%3 MMIetichettato MMI, 15 fold 29.51%4 CKetichettato+MMInon etichettato MMI, 15 fold 31.53%5 CKetichettato+MMIparz.etichettato MMI, 15 fold 33.29%6 MMIetichettato+CKnon etichettato CK, 105 fold 26.49%7 MMIetichettato+CKparz.etichettato CK, 105 fold 59.96%8 MMIetichettato+CKetichettato CK, 105 fold 61.17%9 MMIetichettato+CKnon etichettato MMI, 15 fold 27.61%
  24. 24. Considerazioni:•CK e MMI poco correlati•L’aggiunta di campioni etichettatisimili a set di test produce semprerisultati migliori di non etichettati•Laggiunta di campioni nonetichettati produce risultati migliorisolo quando rende set di training“simile” a set di test
  25. 25. Prova Training set Test set Acc. max alvariare deiparametri1 CKetichettato MMI, 15 fold 29.24%2 CKetichettato+MMIetichettato MMI, 15 fold 35.53%3 MMIetichettato MMI, 15 fold 29.51%4 CKetichettato+MMInon etichettato MMI, 15 fold 31.53%5 CKetichettato+MMIparz.etichettato MMI, 15 fold 33.29%6 MMIetichettato+CKnon etichettato CK, 105 fold 26.49%7 MMIetichettato+CKparz.etichettato CK, 105 fold 59.96%8 MMIetichettato+CKetichettato CK, 105 fold 61.17%9 MMIetichettato+CKnon etichettato MMI, 15 fold 27.61%
  26. 26. Considerazioni:•CK e MMI poco correlati•L’aggiunta di campioni etichettatisimili a set di test produce semprerisultati migliori di non etichettati•Laggiunta di campioni nonetichettati produce risultati migliorisolo quando rende set di training“simile” a set di test
  27. 27. Usabilità:•GUI con struttura modulare•Espansione funzioni•Multipiattaforma•Opzioni auto-esplicativeSviluppi:Multithreading e CUDA/OpenCL(GPGPU)Aggiunta ulteriori funzioniCreazione guida in lineaInterfacciamento consistema di automazionedi edificio:•Testato con successo inUCBMSviluppi:Aggiunta metodiDifferenti combinazionimetodi/espressioniApprendimentosemi-supervisionato:•Indagini compiute•Ipotesi propostaSviluppi:Ulteriori indagini

×