Algorytm do automatycznej
 klasyfikacji wyrazu twarzy



        Łukasz Wojciech Pełszyński


    Promotor: dr hab. inż. K...
Cel pracy




Celem pracy było zbadanie problemów napotykanych przy
projektowaniu i implementacji systemu, który może doko...
Emocje

➲   Procesy psychiczne,
    nadające wrażeniom
    subiektywne właściwości.
Emocje c.d.

➲   Procesy psychiczne,
    nadające wrażeniom
    subiektywne właściwości.
➲   38% treści komunikatu
    sta...
Automatyczna analiza
             wyrazów twarzy

➲   Zastosowania:
    ●    Nowoczesne interfejsy
            użytkownika...
Założenia

➲   Analiza twarzy widzianej
    z przodu.
➲   Twarz osoby o dowolnym
    pochodzeniu etnicznym.
➲   Dopuszczal...
Działanie aplikacji



           Znalezienie
Wykrycie
           położenia     Klasyfikacja
twarzy
           cech twarzy
Wykrycie twarzy

         ➲   Konwersja do skali
             szarości.
         ➲   Znalezienie twarzy w
             obr...
Znalezienie cech twarzy

             ➲   Algorytm bazujący na
                 rezprezentacjach obrazu
                 w...
Filtr Gabora




90 stopni      45 stopni   0 stopni
Znalezienie cech twarzy c.d.

➲   Skanowanie obrazu
    klasyfikatorem 17x17
    pikseli w obszarach zain-
    teresowania...
Znalezienie cech twarzy c.d.
Budowanie klasyfikatora

➲   Utworzenie mocnego
    klasyfikatora z prostych
    funkcji decyzyjnych.
➲   Algorytm GentleB...
Uczenie klasyfikatorów
Klasyfikacja

            ➲   Algorytm k-NN.
            ➲   Przestrzeń wzorców zbu-
                dowana na podstawie
 ...
Użyte technologie

➲   Języki programowania:
    ●   C++
    ●   Ruby
➲   Biblioteki:
    ●   OpenCV
    ●   RMagick
Wyniki




Etykieta       Gniew     Radość   Zaskoczenie

Wynik          Smutek    Radość   Smutek
klasyfikacji
Wyniki




Etykieta       Smutek    Strach   Obrzydzenie

Wynik          Smutek    Smutek   Smutek
klasyfikacji
Dziękuję za uwagę
Literatura

1. J. M. Rehg, M. Loughlin, K. Waters „Vision for a Smart Kiosk”, Czerwiec 1997,
Computer Vision and Pattern R...
Upcoming SlideShare
Loading in …5
×

Emotion recognition, BSc dissertation

1,179 views

Published on

Published in: Technology, News & Politics
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total views
1,179
On SlideShare
0
From Embeds
0
Number of Embeds
4
Actions
Shares
0
Downloads
10
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

Emotion recognition, BSc dissertation

  1. 1. Algorytm do automatycznej klasyfikacji wyrazu twarzy Łukasz Wojciech Pełszyński Promotor: dr hab. inż. Khalid Saeed, prof. AGH
  2. 2. Cel pracy Celem pracy było zbadanie problemów napotykanych przy projektowaniu i implementacji systemu, który może dokony- wać automatycznej klasyfikacji wyrazów twarzy.
  3. 3. Emocje ➲ Procesy psychiczne, nadające wrażeniom subiektywne właściwości.
  4. 4. Emocje c.d. ➲ Procesy psychiczne, nadające wrażeniom subiektywne właściwości. ➲ 38% treści komunikatu stanowi ton głosu, 55% mimika twarzy, gesty oraz postawa a jedynie 7% słowa.
  5. 5. Automatyczna analiza wyrazów twarzy ➲ Zastosowania: ● Nowoczesne interfejsy użytkownika ● Robotyka ● Badania behawioralne: ● Psychologia ● Marketing
  6. 6. Założenia ➲ Analiza twarzy widzianej z przodu. ➲ Twarz osoby o dowolnym pochodzeniu etnicznym. ➲ Dopuszczalne lekkie obroty i przesunięcia głowy.
  7. 7. Działanie aplikacji Znalezienie Wykrycie położenia Klasyfikacja twarzy cech twarzy
  8. 8. Wykrycie twarzy ➲ Konwersja do skali szarości. ➲ Znalezienie twarzy w obrazie: ● Viola-Jones Face Detector ➲ Wycięcie twarzy i przeskalowanie do rozmiaru 240x240 pikseli.
  9. 9. Znalezienie cech twarzy ➲ Algorytm bazujący na rezprezentacjach obrazu w przestrzeni Gabora. ➲ Reprezentacja piksela 49 wymiarowa: ● 48 reprezentacji Gabora, ● 1 w skali szarości.
  10. 10. Filtr Gabora 90 stopni 45 stopni 0 stopni
  11. 11. Znalezienie cech twarzy c.d. ➲ Skanowanie obrazu klasyfikatorem 17x17 pikseli w obszarach zain- teresowania. ➲ Szukana cecha znajduje się w miejscu o najwięk- szej wartości odpowiedzi klasyfikatora.
  12. 12. Znalezienie cech twarzy c.d.
  13. 13. Budowanie klasyfikatora ➲ Utworzenie mocnego klasyfikatora z prostych funkcji decyzyjnych. ➲ Algorytm GentleBoost: ● mniejsza czułość na ob- serwacje odstające i szum niż AdaBoost, ● większa niż w AdaBoost zdolność uogólniania.
  14. 14. Uczenie klasyfikatorów
  15. 15. Klasyfikacja ➲ Algorytm k-NN. ➲ Przestrzeń wzorców zbu- dowana na podstawie bazy JAFFE. ➲ Klasyfikacja do jednej z 6 k-NN podstawowych emocji: ● Strach ● Smutek ● Zaskoczenie ● Radość ● Gniew ● Obrzydzenie happiness
  16. 16. Użyte technologie ➲ Języki programowania: ● C++ ● Ruby ➲ Biblioteki: ● OpenCV ● RMagick
  17. 17. Wyniki Etykieta Gniew Radość Zaskoczenie Wynik Smutek Radość Smutek klasyfikacji
  18. 18. Wyniki Etykieta Smutek Strach Obrzydzenie Wynik Smutek Smutek Smutek klasyfikacji
  19. 19. Dziękuję za uwagę
  20. 20. Literatura 1. J. M. Rehg, M. Loughlin, K. Waters „Vision for a Smart Kiosk”, Czerwiec 1997, Computer Vision and Pattern Recognition, 690-696. 2. M. Pantic, L. J. M. Rothkrantz „Automatic Analysis of Facial Expressions: The State of the Art”, Grudzień 2000, IEEE Transactions on pattern analysis and machine intelligence, vol. 22, no. 12, 1424-1443. 3. „Emotions” [Online; dostęp 17-01-2010], Dostępny w Internecie: http://changingminds.org/explanations/emotions/emotions.htm 4. P. Viola, M. Jones „Rapid Object Detection using a Boosted Cascade of Simple Features ”, 2001, Conference on computer vision and pattern recognition. 5. K. Saeed, P. Charkiewicz „Experimental Criterion for Face Classification” [w:] Enhancement Methods in Computer Security – Biometric and Artificial Intelligence Systems, Springer Science + Business Media, New York, USA, 2004, 195-202 6. K. Saeed „Minimal-Eigenvalue-Based Face Feature Descriptor” [w:] Issues in Intelligent Systems Models and Techniques. Institute of System Research, Polish Academy of Sciences, Akademicka Oficyna Wydawnicza EXIT, Warsaw, Poland, 2005, 185-196 7. „Tutorial on Gabor filters” [Online; dostęp 17-01-2010], Dostępny w Internecie: http://mplab.ucsd.edu/tutorials/gabor.pdf 8. D. Vukadanovic, M. Pantic, „Fully Automatic Facial Feature Point Detection Using Gabor Feature Based Boosted Classifiers”, Październik 2005, IEEE International Conference on Systems, Man and Cybernetics 9. D. Hand, H. Mannila, P. Smyth “Eksploracja danych”, WNT, Warszawa 2005 10. „JAFFE Database” [Online; dostęp 17-01-2010], Dostępny w Internecie: http://kasrl.org/jaffe.html

×