Introduction to Visual Object Recognition Seminar  0368-3373-01  FACE RECOGNITION <ul><li>Eigenfaces -  Mathew A. Turk and...
Introduction to Visual Object Recognition Seminar  0368-3373-01  Introduction: לאנשים יש יכולת מעולה בזיהוי פנים .  אנו יכ...
Introduction to Visual Object Recognition Seminar  0368-3373-01  We would like to recognize  this face in REALTIME!!! Unde...
ניתן להשתמש במערכות בעלות יכולת זיהוי פנים בתחומים רבים ,  כגון : <ul><li>זיהוי פלילי . </li></ul><ul><li>מערכות אבטחה  ( ...
<ul><li>שינויים בזוויות ועוצמה של תאורה גורמים לשינוי מהותי במראה הפנים </li></ul><ul><li>הבעות פנים שונות מציגות מראה שונ...
השיטה מבוססת על תיאוריית  &quot; הפחתת המימד &quot;  Dimensionality reduction) )  אשר מייצגת את תמונת הפנים ע &quot; י קבו...
קבוצת תמונות הפנים <--  Training Set <--  קבוצת  Eigenfaces   אשר פורשת את מרחב הפנים Introduction to Visual Object Recogn...
רעיון מרכזי  Basic Idea <ul><li>הערכת הגיוון של תמונות פנים שונות . </li></ul><ul><li>חישוב וקטורים בסיסיים של מרחב התמונה...
דוגמא להפחתת מימד – מקרה אידיאלי Introduction to Visual Object Recognition Seminar  0368-3373-01  y 1 חד  -  מימדי Credit:...
דוגמא להפחתת מימד – איבוד מידע Credit: Taken from presentation at the technion website - webcourse . cs . technion . ac . ...
<ul><li>יתרון השיטה על שיטות אחרות בזיהוי פנים : </li></ul><ul><li>מהירות הביצועים </li></ul><ul><li>פשטות הביצועים </li><...
Background and Related Work <ul><li>חסרון הגישה : </li></ul><ul><li>קשה להרחיב לזוויות שונות   ( multiple view ). </li></u...
Credit: Taken from presentation at the technion website - webcourse . cs . technion . ac . il / 236875 / Spring2006/ho/WCF...
Credit: Taken from presentation at the technion website - webcourse . cs . technion . ac . il / 236875 / Spring2006/ho/WCF...
<ul><li>כל פנים ניתן  לקרב  ע &quot; י שימוש רק ב – ” best eigenfaces”  שהם בעלי הערכים העצמיים הגדולים ביותר ,  כלומר אחר...
Credit: Taken from presentation at the technion website - webcourse . cs . technion . ac . il / 236875 / Spring2006/ho/WCF...
<ul><li>מחשבים את הווקטורים העצמיים של  A   ואת הערכים העצמיים המתאימים  נסדר אותם בסדר יורד , </li></ul><ul><li>לכל  M , ...
<ul><li>תהיה  I (x,y)   תמונת פנים דו - ממדית . </li></ul><ul><li>ניתן לחשוב על תמונה כעל   מערך בגודל  NxN  או כעל וקטור ...
EIGENFACES Credit: Taken from presentation at the technion website - webcourse . cs . technion . ac . il / 236875 / Spring...
EIGENFACES Credit: Taken from presentation at the technion website - webcourse . cs . technion . ac . il / 236875 / Spring...
EIGENFACES Credit: Taken from presentation at the technion website - webcourse . cs . technion . ac . il / 236875 / Spring...
EIGENFACES Credit: Taken from presentation at the technion website - webcourse . cs . technion . ac . il / 236875 / Spring...
EIGENFACES Credit: Taken from presentation at the technion website - webcourse . cs . technion . ac . il / 236875 / Spring...
בצורה כזאת צמצמנו את המימד בו  מתבצעים החישובים מ N 2  -  ל – M   . באופן מעשי מספר של תמונות פנים במאגר יהיה  יחסית קטן N...
סיווג פנים בעזרת  -  Eigenfaces Credit: Taken from presentation at the technion website - webcourse . cs . technion . ac ....
סיווג פנים בעזרת  -  Eigenfaces Credit: Taken from presentation at the technion website - webcourse . cs . technion . ac ....
סיווג פנים בעזרת  -  Eigenfaces Credit: Taken from presentation at the technion website - webcourse . cs . technion . ac ....
דוגמאות של  Face class Introduction to Visual Object Recognition Seminar  0368-3373-01  Credit: Taken from presentation at...
Introduction to Visual Object Recognition Seminar  0368-3373-01  בעיה : הטלה למרחב התמונה מפחיתה מימד ,  לכן הרבה תמונות  ...
<ul><li>4  אפשרויות : </li></ul><ul><li>קרוב למרחב הפנים וקרוב ל face class -  . </li></ul><ul><li>קרוב למרחב הפנים אבל לא...
<ul><li>1. בחר קבוצה של תמונות הפנים .  עדיף שהקבוצה תכלול כמה תמונות של אותם פנים בהבעות שונות ובתאורה משתנה . </li></ul>...
<ul><li>6  . לכל תמונת פנים הנבדקת חשב : </li></ul><ul><li>וקטור  Ω  , ε k   לכל  class   ו –  ε. </li></ul><ul><li>בדוק :...
תוצאות לניסויים EXPERIMENTAL RESULTS Introduction to Visual Object Recognition Seminar  0368-3373-01  <ul><li>תיאור הניסוי...
Introduction to Visual Object Recognition Seminar  0368-3373-01  תוצאות לניסויים EXPERIMENTAL RESULTS תחילה  ,  מרחיבים את...
Introduction to Visual Object Recognition Seminar  0368-3373-01  תוצאות לניסויים EXPERIMENTAL RESULTS <ul><li>כעת, נוסיף א...
Introduction to Visual Object Recognition Seminar  0368-3373-01  מסקנות מהניסוי היינו רוצים למצוא אלגוריתם אשר רגיש פחות ל...
Fisherfaces <ul><li>*Developed in 1997 by P.Belhumeur et al. </li></ul><ul><li>*Based on Fisher’s LDA </li></ul><ul><li>*F...
<ul><li>LDA seeks directions that are efficient for discrimination between the data </li></ul>Fisherfaces Class A Class B ...
<ul><li>LDA maximizes the between-class scatter </li></ul><ul><li>LDA minimizes the within-class scatter </li></ul>Fisherf...
<ul><li>Lowering the dimension with PCA vs. LDA </li></ul>Fisherfaces Class A Class B Introduction to Visual Object Recogn...
Fisherfaces, the algorithm <ul><li>Assumptions </li></ul><ul><ul><li>Square images with W=H=N (NxN) </li></ul></ul><ul><ul...
Fisherfaces, the algorithm <ul><li>The database </li></ul>Introduction to Visual Object Recognition Seminar  0368-3373-01
Fisherfaces, the algorithm  <ul><li>We compute the average of all faces </li></ul>Introduction to Visual Object Recognitio...
Fisherfaces, the algorithm <ul><li>Compute the average face of each person </li></ul>Introduction to Visual Object Recogni...
Fisherfaces, the algorithm <ul><li>And subtract them from the training faces </li></ul>Introduction to Visual Object Recog...
Fisherfaces, the algorithm <ul><li>We build scatter matrices  S 1 ,  S 2 ,  S 3 ,  S 4 </li></ul><ul><li>And the within-cl...
Fisherfaces, the algorithm <ul><li>The between-class scatter matrix </li></ul><ul><li>We are seeking the matrix  W  maximi...
Fisherfaces, the algorithm <ul><li>If  S W  is nonsingular (  ): </li></ul><ul><li>Columns of  W  are eigenvectors of </li...
Fisherfaces, the algorithm <ul><li>If  S W  is nonsingular (  ): </li></ul><ul><li>Simpler: </li></ul><ul><ul><li>Columns ...
Fisherfaces, the algorithm <ul><li>If  S W  is singular (  ): </li></ul><ul><li>Apply PCA first </li></ul><ul><ul><li>Will...
Fisherfaces, the algorithm <ul><li>Project faces onto the LDA-space </li></ul><ul><li>To classify the face </li></ul><ul><...
Fisherfaces, the algorithm <ul><li>Problems </li></ul><ul><ul><li>Small databases  </li></ul></ul><ul><ul><li>The face to ...
Comparison <ul><li>FERET database </li></ul><ul><li>  best ID rate: eigenfaces 80.0%, fisherfaces 93.2% </li></ul>Introduc...
Comparison <ul><li>Eigenfaces </li></ul><ul><ul><li>project faces onto a lower dimensional sub-space </li></ul></ul><ul><u...
Comparison <ul><li>Fisherfaces </li></ul><ul><ul><li>find a sub-space which maximizes the ratio of inter-class and intra-c...
Summary <ul><li>Two algorithms have been introduced </li></ul><ul><ul><li>Eigenfaces </li></ul></ul><ul><ul><ul><li>Reduce...
Summary <ul><ul><li>Fisherfaces </li></ul></ul><ul><ul><ul><li>Reduce dimension of the data from  N 2   to  P-1 </li></ul>...
References <ul><li>[1] M. Turk, A. Pentland, “Face Recognition Using Eigenfaces” </li></ul><ul><li>[2] J. Ashbourn, Avanti...
End <ul><li>Thank you for your attention </li></ul>Introduction to Visual Object Recognition Seminar  0368-3373-01
Upcoming SlideShare
Loading in …5
×

Eigenfaces and Fisherfaces

2,867 views

Published on

Inbal Alterman's talk

Published in: Technology, News & Politics
0 Comments
1 Like
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total views
2,867
On SlideShare
0
From Embeds
0
Number of Embeds
66
Actions
Shares
0
Downloads
0
Comments
0
Likes
1
Embeds 0
No embeds

No notes for slide

Eigenfaces and Fisherfaces

  1. 1. Introduction to Visual Object Recognition Seminar 0368-3373-01 FACE RECOGNITION <ul><li>Eigenfaces - Mathew A. Turk and Alex P. Pentland (1991) </li></ul><ul><li>Eigenfaces vs.Fisherfaces – Peter N. Belhumeur, Joao P. Hespanha and David J. Kriegman(1997) </li></ul>Focusing on the face-recognition methods: Presenter: Inbal Alterman
  2. 2. Introduction to Visual Object Recognition Seminar 0368-3373-01 Introduction: לאנשים יש יכולת מעולה בזיהוי פנים . אנו יכולים לזהות פנים של אדם גם אחרי תקופה ארוכה בה לא התראנו . תכונה זו היא די חסינה , למרות שינויים כגון : גיל , משקפיים , תספורת , זקן וכ &quot; ו .   המטרה היא למצוא מודל חישובי לזיהוי פנים . Credit: Taken from presentation at the technion website - webcourse . cs . technion . ac . il / 236875 / Spring2006/ho/WCFiles/Tutorial4_2EIGENFACES.ppt
  3. 3. Introduction to Visual Object Recognition Seminar 0368-3373-01 We would like to recognize this face in REALTIME!!! Under ANY disguise!!
  4. 4. ניתן להשתמש במערכות בעלות יכולת זיהוי פנים בתחומים רבים , כגון : <ul><li>זיהוי פלילי . </li></ul><ul><li>מערכות אבטחה ( security systems ). </li></ul><ul><li>אינטרקציה בין אדם ומחשב . </li></ul>Introduction to Visual Object Recognition Seminar 0368-3373-01 Credit: Taken from presentation at the technion website - webcourse . cs . technion . ac . il / 236875 / Spring2006/ho/WCFiles/Tutorial4_2EIGENFACES.ppt / crime . about . com / od / famousdiduno / ig / mugshots_rap_hip_rb / rap_puffymugshot . htm
  5. 5. <ul><li>שינויים בזוויות ועוצמה של תאורה גורמים לשינוי מהותי במראה הפנים </li></ul><ul><li>הבעות פנים שונות מציגות מראה שונה לחלוטין . </li></ul><ul><li>מרחק הצילום משנה את גודלן של הפנים . </li></ul><ul><li>שינויים כגון תספורת , זקן , משקפיים , גיל וכו ' מקשות על משימת הזיהוי . </li></ul><ul><li>פנים הן &quot; אובייקטים טבעיים &quot; ולא ניתן להציגן באופן טבעי ע &quot; י גלי סינוס או מרכיבים אחרים שמשתמשים בהם בראייה ממוחשבת . </li></ul><ul><li>כותבי המאמר התמקדו בפיתוח יכולת זיהוי תבניות אשר לא דורשת מידע גיאומטרי מורכב או מידע תלת - ממדי . </li></ul>המטרה היא לפתח מודל חישובי לזיהוי פנים בגדלים שונים שיהיה מהיר , פשוט ומדויק בתנאי סביבה משתנים . Introduction to Visual Object Recognition Seminar 0368-3373-01 משימת הזיהוי והקשיים ביישומה <ul><li>בניית מודל של פנים זו משימה קשה ליישום , כיוון שפנים הן מורכבות ורב ממדיות . </li></ul>קשיים עיקריים במלאכת הזיהוי : Credit: Taken from presentation at the technion website - webcourse . cs . technion . ac . il / 236875 / Spring2006/ho/WCFiles/Tutorial4_2EIGENFACES.ppt
  6. 6. השיטה מבוססת על תיאוריית &quot; הפחתת המימד &quot; Dimensionality reduction) ) אשר מייצגת את תמונת הפנים ע &quot; י קבוצה קטנה של תמונות אופייניות הנקראות Eigenfaces &quot;. <ul><li>מהם ה – Eigenfaces : </li></ul><ul><li>ניתן לחשוב עליהם כעל רכיבים עיקריים של קבוצת תמונות הפנים . </li></ul><ul><li>וקטורים עצמיים של מטריצת covariance ( שונויות ) של קבוצת התמונות . </li></ul><ul><li>תמונות הפנים מקורבים ע &quot; י סכום ממושקל של אותם Eigenfaces . כלומר תמונת הפנים צרוף ליניארי של Eigenfaces שהם אברי בסיס של מרחב הפנים . </li></ul><ul><li>הם וקטורי יחידה אורתונורמליים . </li></ul><ul><li>מכילים את מקסימום המידע על תמונות הפנים . </li></ul>Introduction to Visual Object Recognition Seminar 0368-3373-01 EIGENFACES שיטה לזיהוי פנים באמצעות אלגוריתם להורדת מימד ( P C A- Principle Component Analysis ) Credit: Taken from presentation at the technion website - webcourse . cs . technion . ac . il / 236875 / Spring2006/ho/WCFiles/Tutorial4_2EIGENFACES.ppt
  7. 7. קבוצת תמונות הפנים <-- Training Set <-- קבוצת Eigenfaces אשר פורשת את מרחב הפנים Introduction to Visual Object Recognition Seminar 0368-3373-01 Credit: Taken from presentation at the technion website - webcourse . cs . technion . ac . il / 236875 / Spring2006/ho/WCFiles/Tutorial4_2EIGENFACES.ppt
  8. 8. רעיון מרכזי Basic Idea <ul><li>הערכת הגיוון של תמונות פנים שונות . </li></ul><ul><li>חישוב וקטורים בסיסיים של מרחב התמונה אשר בעזרתם ניתן להציג את הפנים בדרך הטובה ביותר במרחב עם מימד קטן יותר מבלי לאבד הרבה מידע . </li></ul>Introduction to Visual Object Recognition Seminar 0368-3373-01 Original Data Credit: Taken from presentation at the technion website - webcourse . cs . technion . ac . il / 236875 / Spring2006/ho/WCFiles/Tutorial4_2EIGENFACES.ppt Compact Data
  9. 9. דוגמא להפחתת מימד – מקרה אידיאלי Introduction to Visual Object Recognition Seminar 0368-3373-01 y 1 חד - מימדי Credit: Taken from presentation at the technion website - webcourse . cs . technion . ac . il / 236875 / Spring2006/ho/WCFiles/Tutorial4_2EIGENFACES.ppt x 2 x 1 דו - מימדי
  10. 10. דוגמא להפחתת מימד – איבוד מידע Credit: Taken from presentation at the technion website - webcourse . cs . technion . ac . il / 236875 / Spring2006/ho/WCFiles/Tutorial4_2EIGENFACES.ppt Introduction to Visual Object Recognition Seminar 0368-3373-01 חד - מימדי דו - מימדי y x דו - מימדי x y
  11. 11. <ul><li>יתרון השיטה על שיטות אחרות בזיהוי פנים : </li></ul><ul><li>מהירות הביצועים </li></ul><ul><li>פשטות הביצועים </li></ul><ul><li>יכולת למידה </li></ul><ul><li>אי רגישות לשינויים קטנים או הדרגתיים בפנים . </li></ul>Credit: Taken from presentation at the technion website - webcourse . cs . technion . ac . il / 236875 / Spring2006/ho/WCFiles/Tutorial4_2EIGENFACES.ppt Introduction to Visual Object Recognition Seminar 0368-3373-01 הרעיון הכללי של תהליך הזיהוי : מטילים את תמונת הפנים הנבדקת על תת - מרחב הנפרש ע &quot; י Eigenfaces ( הנקרא “ face space ” ), ומשווים את המיקום במרחב התמונה עם המיקום של תמונות הפנים בבסיס הנתונים .  
  12. 12. Background and Related Work <ul><li>חסרון הגישה : </li></ul><ul><li>קשה להרחיב לזוויות שונות ( multiple view ). </li></ul><ul><li>מאוד לא יציבה . </li></ul>Credit: Taken from presentation at the technion website - webcourse . cs . technion . ac . il / 236875 / Spring2006/ho/WCFiles/Tutorial4_2EIGENFACES.ppt Introduction to Visual Object Recognition Seminar 0368-3373-01 רוב העבודה בזיהוי ממוחשב התמקדה בזיהוי מרכיבים שונים של הפנים כגון : עיניים , אף , פה . מודל הפנים הוגדר ע &quot; י מיקום , גודל ויחסים בין אותם המרכיבים .    למרות הכל בראייה ממוחשבת גישה זו של זיהוי פנים נשארה פופולרית מאוד .
  13. 13. Credit: Taken from presentation at the technion website - webcourse . cs . technion . ac . il / 236875 / Spring2006/ho/WCFiles/Tutorial4_2EIGENFACES.ppt Introduction to Visual Object Recognition Seminar 0368-3373-01 Eigenface Approach במושגים של תיאוריית המידע : בהינתן תמונת פנים נמצא את מרכיביה העיקריים . נציג את התמונה בעזרת אותם המרכיבים ונשווה את התמונה המקודדת שקיבלנו עם תמונות פנים ממאגר תמונות אשר קודדו באותו אופן . במושגים מתמטיים : נמצא את המרכיבים העיקריים של תמונת הפנים שהם וקטורים עצמיים (eigenvectors ) של מטריצת ה - covariance של קבוצת תמונות הפנים .
  14. 14. Credit: Taken from presentation at the technion website - webcourse . cs . technion . ac . il / 236875 / Spring2006/ho/WCFiles/Tutorial4_2EIGENFACES.ppt Introduction to Visual Object Recognition Seminar 0368-3373-01 וקטורים עצמיים מייצגים את הגיוון בתמונות הפנים . ניתן להציג אותם וקטורים עצמיים כקבוצה של פנים ערטילאיות (ghostly faces) . Eigenface mapping
  15. 15. <ul><li>כל פנים ניתן לקרב ע &quot; י שימוש רק ב – ” best eigenfaces” שהם בעלי הערכים העצמיים הגדולים ביותר , כלומר אחראיים לגיוון המרבי בקבוצת התמונות כפי כניתן לראות בדוגמא הנ &quot; ל . </li></ul>Credit: Taken from presentation at the technion website - webcourse . cs . technion . ac . il / 236875 / Spring2006/ho/WCFiles/Tutorial4_2EIGENFACES.ppt Introduction to Visual Object Recognition Seminar 0368-3373-01 כל פנים ניתן לתאר ע &quot; י צרוף ליניארי של .Eigenfaces תמונה נתונה לחיפוש במאגר התמונות הקיים קירוב ע &quot; י שימוש בבסיס ה - EIGENFACES
  16. 16. Credit: Taken from presentation at the technion website - webcourse . cs . technion . ac . il / 236875 / Spring2006/ho/WCFiles/Tutorial4_2EIGENFACES.ppt Introduction to Visual Object Recognition Seminar 0368-3373-01 זיהוי פנים באמצעות E I G E N F A C E S - האלגוריתם הפורמלי <ul><li>M ה - eigenfaces ה – &quot; טובים ביותר &quot; פורשים את תת - המרחב ה – M מימדי של מרחב התמונות , המקרב באופן הטוב ביותר את קבוצת הפנים ( training set ). פורמלית : </li></ul><ul><li>תהי קבוצת הפנים . </li></ul><ul><li>לכל תת - מרחב M - ממדי S , נגדיר את שגיאת הקירוב של S ל – F ע &quot; י , כאשר הוא ההיטל של על S . </li></ul><ul><li>תת - המרחב הטוב ביותר ( כלומר , בעל שגיאת הקירוב הקטנה ביותר ) מתקבל באופן הבא : </li></ul><ul><li>תחילה מחשבים את הממוצע מגדירים </li></ul><ul><li>מגדירים מטריצה A מגודל ( כאשר הוא מספר הפיקסלים בכל תמונה ) ע &quot; י A היא סימטרית וחיובית . </li></ul>
  17. 17. <ul><li>מחשבים את הווקטורים העצמיים של A ואת הערכים העצמיים המתאימים נסדר אותם בסדר יורד , </li></ul><ul><li>לכל M , תת - המרחב הטוב ביותר נפרש ע &quot; י </li></ul><ul><li>שגיאת הקירוב שלו נמדדת ע &quot; י </li></ul><ul><li>אם הקבוצה &quot; פשוטה &quot;, מספיק M קטן כדי להגיע לשגיאה קטנה . לדוגמא , אם כל הפנים זהות , אזי עבור 1= M השגיאה היא 0. </li></ul>Credit: Taken from presentation at the technion website - webcourse . cs . technion . ac . il / 236875 / Spring2006/ho/WCFiles/Tutorial4_2EIGENFACES.ppt Introduction to Visual Object Recognition Seminar 0368-3373-01 זיהוי פנים באמצעות E I G E N F A C E S - האלגוריתם הפורמלי 'CNTD
  18. 18. <ul><li>תהיה I (x,y) תמונת פנים דו - ממדית . </li></ul><ul><li>ניתן לחשוב על תמונה כעל מערך בגודל NxN או כעל וקטור במרחב N 2 ממדי . </li></ul>EIGENFACES Credit: Taken from presentation at the technion website - webcourse . cs . technion . ac . il / 236875 / Spring2006/ho/WCFiles/Tutorial4_2EIGENFACES.ppt Introduction to Visual Object Recognition Seminar 0368-3373-01 תהליך החישוב - שלב אחרי שלב לדוגמא : תמונה בגודל 256 x 256 הופכת לוקטור ממימד 65,536 או במקביל לנקודה במרחב 65,536 מימדי . קבוצה של תמונות ממופה לאוסף של נקודות במרחב . מכיוון שכל תמונות הפנים דומות אנו נוכל לתאר אותן בתת - מרחב בעל מימד הרבה יותר קטן .
  19. 19. EIGENFACES Credit: Taken from presentation at the technion website - webcourse . cs . technion . ac . il / 236875 / Spring2006/ho/WCFiles/Tutorial4_2EIGENFACES.ppt Introduction to Visual Object Recognition Seminar 0368-3373-01 תהליך החישוב - שלב אחרי שלב המטרה : למצוא וקטורים הפורשים את מרחב התמונה . גודל של כל וקטור הוא N 2 , המתאר תמונה בגודל NxN . דוגמאות של :eigenfaces
  20. 20. EIGENFACES Credit: Taken from presentation at the technion website - webcourse . cs . technion . ac . il / 236875 / Spring2006/ho/WCFiles/Tutorial4_2EIGENFACES.ppt Introduction to Visual Object Recognition Seminar 0368-3373-01 תהליך החישוב - שלב אחרי שלב נתון מאגר תמונות פנים : Φ 1 , Φ 2 , … , Φ M . לדוגמא :
  21. 21. EIGENFACES Credit: Taken from presentation at the technion website - webcourse . cs . technion . ac . il / 236875 / Spring2006/ho/WCFiles/Tutorial4_2EIGENFACES.ppt Introduction to Visual Object Recognition Seminar 0368-3373-01 תהליך החישוב - שלב אחרי שלב ממוצע של קבוצת תמונות - Ψ <ul><li>ממוצע של התמונות מוגדר כ – </li></ul>כל תמונה שונה מהממוצע ע &quot; י וקטור : (1) Γ i = Φ i - Ψ (2)
  22. 22. EIGENFACES Credit: Taken from presentation at the technion website - webcourse . cs . technion . ac . il / 236875 / Spring2006/ho/WCFiles/Tutorial4_2EIGENFACES.ppt Introduction to Visual Object Recognition Seminar 0368-3373-01 תהליך החישוב - שלב אחרי שלב <ul><li>מטריצת covariance המתאימה : </li></ul>מימד של מטריצה C הוא N 2 xN 2 . מימד זה הוא עצום . אבל , כיוון שמסכמים רק M וקטורי תמונה , הדרגה של C לא תוכל לעלות על M . (3) כאשר : (4)
  23. 23. EIGENFACES Credit: Taken from presentation at the technion website - webcourse . cs . technion . ac . il / 236875 / Spring2006/ho/WCFiles/Tutorial4_2EIGENFACES.ppt Introduction to Visual Object Recognition Seminar 0368-3373-01 תהליך החישוב - שלב אחרי שלב אם v i הוא וקטור עצמי של L=A T A : (5) כאשר μ i הם ערכים עצמיים . נכפיל את (5) ב - A ונקבל : (6) ואילו הם ה – Eigenfaces . (7) i=1,…,M לכן נגדיר את u i , וקטורים עצמיים של C , כדלקמן : מ -(5) { =µ i v i
  24. 24. בצורה כזאת צמצמנו את המימד בו מתבצעים החישובים מ N 2 - ל – M . באופן מעשי מספר של תמונות פנים במאגר יהיה יחסית קטן N 2 ) (M<< ובכך החישוב הופך לבר - ביצוע . Credit: Taken from presentation at the technion website - webcourse . cs . technion . ac . il / 236875 / Spring2006/ho/WCFiles/Tutorial4_2EIGENFACES.ppt Introduction to Visual Object Recognition Seminar 0368-3373-01
  25. 25. סיווג פנים בעזרת - Eigenfaces Credit: Taken from presentation at the technion website - webcourse . cs . technion . ac . il / 236875 / Spring2006/ho/WCFiles/Tutorial4_2EIGENFACES.ppt Introduction to Visual Object Recognition Seminar 0368-3373-01 כל תמונה ניתן להציג ע &quot; י צרוף ליניארי של .eigenfaces בוחרים M’ וקטורים עצמיים בעלי ערכים עצמיים הגבוהים ביותר , הפורשים תת - מרחב M’ מימדי במרחב תמונה בעל מימד N 2 . בתהליך הסיווג אין צורך בשחזור מדויק של תמונת הפנים ניתן להשתמש בפחות מ – M וקטורים . נסמן מספר זה ב – . M’
  26. 26. סיווג פנים בעזרת - Eigenfaces Credit: Taken from presentation at the technion website - webcourse . cs . technion . ac . il / 236875 / Spring2006/ho/WCFiles/Tutorial4_2EIGENFACES.ppt Introduction to Visual Object Recognition Seminar 0368-3373-01 נתונה תמונת פנים - Γ המועמדת לזיהוי : נטיל אותה על תת - מרחב M’ כאשר (M’<<M) : פנים מקוריות פנים במרחב הפנים כאשר w i זו היא קואורדינטת ה – i של Γ במרחב החדש .
  27. 27. סיווג פנים בעזרת - Eigenfaces Credit: Taken from presentation at the technion website - webcourse . cs . technion . ac . il / 236875 / Spring2006/ho/WCFiles/Tutorial4_2EIGENFACES.ppt Introduction to Visual Object Recognition Seminar 0368-3373-01 הדרך הפשוטה לסווג פנים נתונות ל face class k – המתאים היא למצוא את המרחק הקטן ביותר : ε k = ||(Ω – Ω k || 2 (9) כאשר Ω k זה הוא וקטור המתאר face class k . face class Ω i מחושב ע &quot; י ממוצע המשקלות של כל התצוגות במרחב הפנים של אותו בן אדם . ניתן להגיד כי פנים שייכות ל face class k - כאשר ε k מינימלי קטן מסף θ ε , אחרת הפנים מוגדרות כ &quot; לא ידועות &quot;.
  28. 28. דוגמאות של Face class Introduction to Visual Object Recognition Seminar 0368-3373-01 Credit: Taken from presentation at the technion website - webcourse . cs . technion . ac . il / 236875 / Spring2006/ho/WCFiles/Tutorial4_2EIGENFACES.ppt Face class x1 Face class x2
  29. 29. Introduction to Visual Object Recognition Seminar 0368-3373-01 בעיה : הטלה למרחב התמונה מפחיתה מימד , לכן הרבה תמונות ( ברובן תמונות פנים ) יקבלו את אותו וקטור המשקולות Ω . עלולים לקבל תוצאות בלתי רצויות במיוחד כאשר מדובר בתמונות ללא פנים . פתרון : מדידת מרחק בין התמונה והייצוג שלה במרחב הפנים . תמונת פנים חייבת להיות קרובה לייצוגה ואם התמונה אינה מכילה פנים המרחק חייב להיות גדול . נגדיר : ε = ||(Γ – Γ ’ )|| 2 (10) כאשר Credit: Taken from presentation at the technion website - webcourse . cs . technion . ac . il / 236875 / Spring2006/ho/WCFiles/Tutorial4_2EIGENFACES.ppt
  30. 30. <ul><li>4 אפשרויות : </li></ul><ul><li>קרוב למרחב הפנים וקרוב ל face class - . </li></ul><ul><li>קרוב למרחב הפנים אבל לא קרוב ל face class - . </li></ul><ul><li>רחוק ממרחב הפנים וקרוב ל face class - .( נקרא גם false-positive ) </li></ul><ul><li>רחוק ממרחב הפנים ולא קרוב ל face class - . </li></ul><ul><li>הסבר : </li></ul><ul><li>במקרה הראשון הפנים התגלו וסווגה לקבוצה מתאימה . </li></ul><ul><li>במקרה השני התגלו פנים חדשות . </li></ul><ul><li>שני המקרים האחרונים הם לא תמונות פנים . </li></ul><ul><li>מקרה השלישי הוא בעייתי אבל ניתן להתגבר עליו ע &quot; י השוואה בין תמונת המקור להיטל על מרחב הפנים . </li></ul>Credit: Taken from presentation at the technion website - webcourse . cs . technion . ac . il / 236875 / Spring2006/ho/WCFiles/Tutorial4_2EIGENFACES.ppt Introduction to Visual Object Recognition Seminar 0368-3373-01
  31. 31. <ul><li>1. בחר קבוצה של תמונות הפנים . עדיף שהקבוצה תכלול כמה תמונות של אותם פנים בהבעות שונות ובתאורה משתנה . </li></ul><ul><li>2. מציאת וקטורים עצמיים וערכים עצמיים ובחירת M’ וקטורים בעלי ערכים עצמיים הגבוהים ביותר . </li></ul><ul><li>3. מציאת Eigenfaces . </li></ul><ul><li>4. חישוב class vector Ωk . </li></ul><ul><li>5. בחירת ספים θε . </li></ul><ul><li>θε 1 - מצביע על מרחק מ – face class . </li></ul><ul><li>θε 2 - מציג את המרחק המקסימלי ממרחב הפנים . </li></ul>סיכום של שיטת גילוי בעזרת Eigenfaces Credit: Taken from presentation at the technion website - webcourse . cs . technion . ac . il / 236875 / Spring2006/ho/WCFiles/Tutorial4_2EIGENFACES.ppt Introduction to Visual Object Recognition Seminar 0368-3373-01
  32. 32. <ul><li>6 . לכל תמונת פנים הנבדקת חשב : </li></ul><ul><li>וקטור Ω , ε k לכל class ו – ε. </li></ul><ul><li>בדוק : </li></ul><ul><li>אם θε 1 >ε k ו – ε < θε 2 סווג את התמונה על סמך .face class Ω k </li></ul><ul><ul><li>אם θε 1 <ε k ו – ε < θε 2 הגדר את הפנים כ - &quot; לא ידועות &quot;. </li></ul></ul>7. אם פנים הוגדרו כ &quot; לא ידועות &quot;, ניתן להוסיף אותן למאגר תמונות ויש צורך לחזור על שלבים 1-5 . סיכום של שיטת גילוי בעזרת Eigenfaces Credit: Taken from presentation at the technion website - webcourse . cs . technion . ac . il / 236875 / Spring2006/ho/WCFiles/Tutorial4_2EIGENFACES.ppt Introduction to Visual Object Recognition Seminar 0368-3373-01
  33. 33. תוצאות לניסויים EXPERIMENTAL RESULTS Introduction to Visual Object Recognition Seminar 0368-3373-01 <ul><li>תיאור הניסוי : </li></ul><ul><li>מסד הנתונים מכיל תמונות של 16 אנשים שונים , כאשר לכל אחד מהם נלקחו תמונות מתנאי צילום שונים : </li></ul><ul><li>3 תמונות בתנאי תאורה שונים </li></ul><ul><li>3 תמונות מזוויות צילום שונות : ° 0 , ° 45 ± </li></ul><ul><li>מרחקי צילום שונים ( כלומר גדלים שונים של פנים ) </li></ul><ul><li>קבוצת הניסוי : </li></ul><ul><li>מתוך אוסף התמונות הנ &quot; ל , נלקחה בכל תת - ניסוי תמונה אחת מכל אדם , כאשר כל התמונות שנלקחות </li></ul><ul><li>בעלי תנאי צילום זהים . קבוצה זו נבדקת על מאגר הנתונים של שאר התמונות . </li></ul><ul><li>המטרה : לבדוק כיצד אלגוריתם זה מתפקד תחת תנאי צילום שונים . </li></ul>
  34. 34. Introduction to Visual Object Recognition Seminar 0368-3373-01 תוצאות לניסויים EXPERIMENTAL RESULTS תחילה , מרחיבים את ו להיות &quot; אינסוף &quot; ובכך מכריחים את המערכת לשייך כל תמונה ל - CLASS כלשהו , התוצאה ( אחוזים בדיוק בזיהוי ): 96% דיוק תחת שינוי בתנאי תאורה . 85% דיוק תחת שינוי בזוויות צילום 64% דיוק תחת שינוי במרחקי צילום . θε 1 θε 2
  35. 35. Introduction to Visual Object Recognition Seminar 0368-3373-01 תוצאות לניסויים EXPERIMENTAL RESULTS <ul><li>כעת, נוסיף אילוצים – נקטין את ו באופנים הבאים: </li></ul><ul><li>נרצה רק תוצאות המביאות ל-100% דיוק בזיהוי , אחרת אינן מזהות כלל את הפנים בתמונה – תוצאות: אחוזי התמונות שלא זוהו כלל- </li></ul><ul><li>- 19% תחת שינויים בתאורה </li></ul><ul><li>- 39% תחת שינויים בזוויות צילום </li></ul><ul><li>- 60% תחת שינויים במרחקי צילום </li></ul><ul><li>2. נרצה רק תוצאות בהן שיעור התמונות הלא מזוהות הוא כ-20% - תוצאות: אחוזי הדיוק בזיהוי: </li></ul><ul><li>- 100% תחת תאורה משתנה </li></ul><ul><li>- 94% תחת זוויות צילום משתנות </li></ul><ul><li>- 74% תחת מרחקי צילום משתנים. </li></ul>θε 1 θε 2
  36. 36. Introduction to Visual Object Recognition Seminar 0368-3373-01 מסקנות מהניסוי היינו רוצים למצוא אלגוריתם אשר רגיש פחות לשינויים בתנאי הצילום . נשים לב כי לשינויים בתנאי התאורה הייתה השפעה מזערית על תהליך הזיהוי , לעומת זאת , על שינויים בזוויות הצילום ובמרחקי הצילום הייתה השפעה מכרעת – נגרם שיבוש לתהליך הזיהוי .  ב -1997 פותח אלגוריתם לזיהוי פנים ע &quot; י שימוש ב - FISHERFACES אשר משפר משמעותית את התגובה לשינויים בתנאי הצילום ...
  37. 37. Fisherfaces <ul><li>*Developed in 1997 by P.Belhumeur et al. </li></ul><ul><li>*Based on Fisher’s LDA </li></ul><ul><li>*Faster than eigenfaces, in some cases </li></ul><ul><li>*Has lower error rates </li></ul><ul><li>*Works well even if different illumination </li></ul><ul><li>*Works well even if different facial express. </li></ul>Introduction to Visual Object Recognition Seminar 0368-3373-01
  38. 38. <ul><li>LDA seeks directions that are efficient for discrimination between the data </li></ul>Fisherfaces Class A Class B Introduction to Visual Object Recognition Seminar 0368-3373-01
  39. 39. <ul><li>LDA maximizes the between-class scatter </li></ul><ul><li>LDA minimizes the within-class scatter </li></ul>Fisherfaces Class A Class B Introduction to Visual Object Recognition Seminar 0368-3373-01
  40. 40. <ul><li>Lowering the dimension with PCA vs. LDA </li></ul>Fisherfaces Class A Class B Introduction to Visual Object Recognition Seminar 0368-3373-01 LDA PCA
  41. 41. Fisherfaces, the algorithm <ul><li>Assumptions </li></ul><ul><ul><li>Square images with W=H=N (NxN) </li></ul></ul><ul><ul><li>M is the number of images in the database </li></ul></ul><ul><ul><li>P is the number of persons in the database </li></ul></ul>Introduction to Visual Object Recognition Seminar 0368-3373-01
  42. 42. Fisherfaces, the algorithm <ul><li>The database </li></ul>Introduction to Visual Object Recognition Seminar 0368-3373-01
  43. 43. Fisherfaces, the algorithm <ul><li>We compute the average of all faces </li></ul>Introduction to Visual Object Recognition Seminar 0368-3373-01
  44. 44. Fisherfaces, the algorithm <ul><li>Compute the average face of each person </li></ul>Introduction to Visual Object Recognition Seminar 0368-3373-01
  45. 45. Fisherfaces, the algorithm <ul><li>And subtract them from the training faces </li></ul>Introduction to Visual Object Recognition Seminar 0368-3373-01
  46. 46. Fisherfaces, the algorithm <ul><li>We build scatter matrices S 1 , S 2 , S 3 , S 4 </li></ul><ul><li>And the within-class scatter matrix S W </li></ul>Introduction to Visual Object Recognition Seminar 0368-3373-01
  47. 47. Fisherfaces, the algorithm <ul><li>The between-class scatter matrix </li></ul><ul><li>We are seeking the matrix W maximizing </li></ul>Introduction to Visual Object Recognition Seminar 0368-3373-01
  48. 48. Fisherfaces, the algorithm <ul><li>If S W is nonsingular ( ): </li></ul><ul><li>Columns of W are eigenvectors of </li></ul><ul><ul><li>We have to compute the inverse of S W </li></ul></ul><ul><ul><li>We have to multiply the matrices </li></ul></ul><ul><ul><li>We have to compute the eigenvectors </li></ul></ul>Introduction to Visual Object Recognition Seminar 0368-3373-01
  49. 49. Fisherfaces, the algorithm <ul><li>If S W is nonsingular ( ): </li></ul><ul><li>Simpler: </li></ul><ul><ul><li>Columns of W are eigenvectors satisfying </li></ul></ul><ul><ul><li>The eigenvalues are roots of </li></ul></ul><ul><ul><li>Get eigenvectors by solving </li></ul></ul>Introduction to Visual Object Recognition Seminar 0368-3373-01
  50. 50. Fisherfaces, the algorithm <ul><li>If S W is singular ( ): </li></ul><ul><li>Apply PCA first </li></ul><ul><ul><li>Will reduce the dimension of faces from N 2 to M </li></ul></ul><ul><ul><li>There are M M -dimensional vectors </li></ul></ul><ul><li>Apply LDA as described </li></ul>Introduction to Visual Object Recognition Seminar 0368-3373-01
  51. 51. Fisherfaces, the algorithm <ul><li>Project faces onto the LDA-space </li></ul><ul><li>To classify the face </li></ul><ul><ul><li>Project it onto the LDA-space </li></ul></ul><ul><ul><li>Run a nearest-neighbor classifier </li></ul></ul>Introduction to Visual Object Recognition Seminar 0368-3373-01
  52. 52. Fisherfaces, the algorithm <ul><li>Problems </li></ul><ul><ul><li>Small databases </li></ul></ul><ul><ul><li>The face to classify must be in the DB </li></ul></ul>Introduction to Visual Object Recognition Seminar 0368-3373-01
  53. 53. Comparison <ul><li>FERET database </li></ul><ul><li> best ID rate: eigenfaces 80.0%, fisherfaces 93.2% </li></ul>Introduction to Visual Object Recognition Seminar 0368-3373-01
  54. 54. Comparison <ul><li>Eigenfaces </li></ul><ul><ul><li>project faces onto a lower dimensional sub-space </li></ul></ul><ul><ul><li>no distinction between inter- and intra-class variabilities </li></ul></ul><ul><ul><li>optimal for representation but not for discrimination </li></ul></ul>Introduction to Visual Object Recognition Seminar 0368-3373-01
  55. 55. Comparison <ul><li>Fisherfaces </li></ul><ul><ul><li>find a sub-space which maximizes the ratio of inter-class and intra-class variability </li></ul></ul><ul><ul><li>same intra-class variability for all classes </li></ul></ul>Introduction to Visual Object Recognition Seminar 0368-3373-01
  56. 56. Summary <ul><li>Two algorithms have been introduced </li></ul><ul><ul><li>Eigenfaces </li></ul></ul><ul><ul><ul><li>Reduce the dimension of the data from N 2 to M </li></ul></ul></ul><ul><ul><ul><li>Verificate if the image is a face at all </li></ul></ul></ul><ul><ul><ul><li>Allow online training </li></ul></ul></ul><ul><ul><ul><li>Fast recognition of faces </li></ul></ul></ul><ul><ul><ul><li>Problems with illumination, head pose etc </li></ul></ul></ul>Introduction to Visual Object Recognition Seminar 0368-3373-01
  57. 57. Summary <ul><ul><li>Fisherfaces </li></ul></ul><ul><ul><ul><li>Reduce dimension of the data from N 2 to P-1 </li></ul></ul></ul><ul><ul><ul><li>Can outperform eigenfaces on a representative DB </li></ul></ul></ul><ul><ul><ul><li>Works also with various illuminations etc </li></ul></ul></ul><ul><ul><ul><li>Can only classify a face which is “known” to DB </li></ul></ul></ul>Introduction to Visual Object Recognition Seminar 0368-3373-01
  58. 58. References <ul><li>[1] M. Turk, A. Pentland, “Face Recognition Using Eigenfaces” </li></ul><ul><li>[2] J. Ashbourn, Avanti, V. Bruce, A. Young, ”Face Recognition Based on Symmetrization and Eigenfaces” </li></ul><ul><li>[3] http://www.markus-hofmann.de/eigen.html </li></ul><ul><li>[4] P. Belhumeur, J. Hespanha, D. Kriegman, “ Eigenfaces vs Fisherfaces: Recognition using Class Specific Linear Projection” </li></ul><ul><li>[5] R. Duda, P. Hart, D. Stork, “Pattern Classification”, ISBN 0-471-05669-3, pp. 121-124 </li></ul><ul><li>[6] F. Perronin, J.-L. Dugelay, “ Deformable Face Mapping For Person Identification”, ICIP 2003, Barcelona </li></ul>Introduction to Visual Object Recognition Seminar 0368-3373-01
  59. 59. End <ul><li>Thank you for your attention </li></ul>Introduction to Visual Object Recognition Seminar 0368-3373-01

×