Your SlideShare is downloading. ×
  • Like
  • Save
Eigenfaces and Fisherfaces
Upcoming SlideShare
Loading in...5
×

Thanks for flagging this SlideShare!

Oops! An error has occurred.

×

Now you can save presentations on your phone or tablet

Available for both IPhone and Android

Text the download link to your phone

Standard text messaging rates apply

Eigenfaces and Fisherfaces

  • 2,259 views
Published

Inbal Alterman's talk

Inbal Alterman's talk

Published in Technology , News & Politics
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Be the first to comment
No Downloads

Views

Total Views
2,259
On SlideShare
0
From Embeds
0
Number of Embeds
2

Actions

Shares
Downloads
0
Comments
0
Likes
1

Embeds 0

No embeds

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
    No notes for slide

Transcript

  • 1. Introduction to Visual Object Recognition Seminar 0368-3373-01 FACE RECOGNITION
    • Eigenfaces - Mathew A. Turk and Alex P. Pentland (1991)
    • Eigenfaces vs.Fisherfaces – Peter N. Belhumeur, Joao P. Hespanha and David J. Kriegman(1997)
    Focusing on the face-recognition methods: Presenter: Inbal Alterman
  • 2. Introduction to Visual Object Recognition Seminar 0368-3373-01 Introduction: לאנשים יש יכולת מעולה בזיהוי פנים . אנו יכולים לזהות פנים של אדם גם אחרי תקופה ארוכה בה לא התראנו . תכונה זו היא די חסינה , למרות שינויים כגון : גיל , משקפיים , תספורת , זקן וכ " ו .   המטרה היא למצוא מודל חישובי לזיהוי פנים . Credit: Taken from presentation at the technion website - webcourse . cs . technion . ac . il / 236875 / Spring2006/ho/WCFiles/Tutorial4_2EIGENFACES.ppt
  • 3. Introduction to Visual Object Recognition Seminar 0368-3373-01 We would like to recognize this face in REALTIME!!! Under ANY disguise!!
  • 4. ניתן להשתמש במערכות בעלות יכולת זיהוי פנים בתחומים רבים , כגון :
    • זיהוי פלילי .
    • מערכות אבטחה ( security systems ).
    • אינטרקציה בין אדם ומחשב .
    Introduction to Visual Object Recognition Seminar 0368-3373-01 Credit: Taken from presentation at the technion website - webcourse . cs . technion . ac . il / 236875 / Spring2006/ho/WCFiles/Tutorial4_2EIGENFACES.ppt / crime . about . com / od / famousdiduno / ig / mugshots_rap_hip_rb / rap_puffymugshot . htm
  • 5.
    • שינויים בזוויות ועוצמה של תאורה גורמים לשינוי מהותי במראה הפנים
    • הבעות פנים שונות מציגות מראה שונה לחלוטין .
    • מרחק הצילום משנה את גודלן של הפנים .
    • שינויים כגון תספורת , זקן , משקפיים , גיל וכו ' מקשות על משימת הזיהוי .
    • פנים הן " אובייקטים טבעיים " ולא ניתן להציגן באופן טבעי ע " י גלי סינוס או מרכיבים אחרים שמשתמשים בהם בראייה ממוחשבת .
    • כותבי המאמר התמקדו בפיתוח יכולת זיהוי תבניות אשר לא דורשת מידע גיאומטרי מורכב או מידע תלת - ממדי .
    המטרה היא לפתח מודל חישובי לזיהוי פנים בגדלים שונים שיהיה מהיר , פשוט ומדויק בתנאי סביבה משתנים . Introduction to Visual Object Recognition Seminar 0368-3373-01 משימת הזיהוי והקשיים ביישומה
    • בניית מודל של פנים זו משימה קשה ליישום , כיוון שפנים הן מורכבות ורב ממדיות .
    קשיים עיקריים במלאכת הזיהוי : Credit: Taken from presentation at the technion website - webcourse . cs . technion . ac . il / 236875 / Spring2006/ho/WCFiles/Tutorial4_2EIGENFACES.ppt
  • 6. השיטה מבוססת על תיאוריית " הפחתת המימד " Dimensionality reduction) ) אשר מייצגת את תמונת הפנים ע " י קבוצה קטנה של תמונות אופייניות הנקראות Eigenfaces ".
    • מהם ה – Eigenfaces :
    • ניתן לחשוב עליהם כעל רכיבים עיקריים של קבוצת תמונות הפנים .
    • וקטורים עצמיים של מטריצת covariance ( שונויות ) של קבוצת התמונות .
    • תמונות הפנים מקורבים ע " י סכום ממושקל של אותם Eigenfaces . כלומר תמונת הפנים צרוף ליניארי של Eigenfaces שהם אברי בסיס של מרחב הפנים .
    • הם וקטורי יחידה אורתונורמליים .
    • מכילים את מקסימום המידע על תמונות הפנים .
    Introduction to Visual Object Recognition Seminar 0368-3373-01 EIGENFACES שיטה לזיהוי פנים באמצעות אלגוריתם להורדת מימד ( P C A- Principle Component Analysis ) Credit: Taken from presentation at the technion website - webcourse . cs . technion . ac . il / 236875 / Spring2006/ho/WCFiles/Tutorial4_2EIGENFACES.ppt
  • 7. קבוצת תמונות הפנים <-- Training Set <-- קבוצת Eigenfaces אשר פורשת את מרחב הפנים Introduction to Visual Object Recognition Seminar 0368-3373-01 Credit: Taken from presentation at the technion website - webcourse . cs . technion . ac . il / 236875 / Spring2006/ho/WCFiles/Tutorial4_2EIGENFACES.ppt
  • 8. רעיון מרכזי Basic Idea
    • הערכת הגיוון של תמונות פנים שונות .
    • חישוב וקטורים בסיסיים של מרחב התמונה אשר בעזרתם ניתן להציג את הפנים בדרך הטובה ביותר במרחב עם מימד קטן יותר מבלי לאבד הרבה מידע .
    Introduction to Visual Object Recognition Seminar 0368-3373-01 Original Data Credit: Taken from presentation at the technion website - webcourse . cs . technion . ac . il / 236875 / Spring2006/ho/WCFiles/Tutorial4_2EIGENFACES.ppt Compact Data
  • 9. דוגמא להפחתת מימד – מקרה אידיאלי Introduction to Visual Object Recognition Seminar 0368-3373-01 y 1 חד - מימדי Credit: Taken from presentation at the technion website - webcourse . cs . technion . ac . il / 236875 / Spring2006/ho/WCFiles/Tutorial4_2EIGENFACES.ppt x 2 x 1 דו - מימדי
  • 10. דוגמא להפחתת מימד – איבוד מידע Credit: Taken from presentation at the technion website - webcourse . cs . technion . ac . il / 236875 / Spring2006/ho/WCFiles/Tutorial4_2EIGENFACES.ppt Introduction to Visual Object Recognition Seminar 0368-3373-01 חד - מימדי דו - מימדי y x דו - מימדי x y
  • 11.
    • יתרון השיטה על שיטות אחרות בזיהוי פנים :
    • מהירות הביצועים
    • פשטות הביצועים
    • יכולת למידה
    • אי רגישות לשינויים קטנים או הדרגתיים בפנים .
    Credit: Taken from presentation at the technion website - webcourse . cs . technion . ac . il / 236875 / Spring2006/ho/WCFiles/Tutorial4_2EIGENFACES.ppt Introduction to Visual Object Recognition Seminar 0368-3373-01 הרעיון הכללי של תהליך הזיהוי : מטילים את תמונת הפנים הנבדקת על תת - מרחב הנפרש ע &quot; י Eigenfaces ( הנקרא “ face space ” ), ומשווים את המיקום במרחב התמונה עם המיקום של תמונות הפנים בבסיס הנתונים .  
  • 12. Background and Related Work
    • חסרון הגישה :
    • קשה להרחיב לזוויות שונות ( multiple view ).
    • מאוד לא יציבה .
    Credit: Taken from presentation at the technion website - webcourse . cs . technion . ac . il / 236875 / Spring2006/ho/WCFiles/Tutorial4_2EIGENFACES.ppt Introduction to Visual Object Recognition Seminar 0368-3373-01 רוב העבודה בזיהוי ממוחשב התמקדה בזיהוי מרכיבים שונים של הפנים כגון : עיניים , אף , פה . מודל הפנים הוגדר ע &quot; י מיקום , גודל ויחסים בין אותם המרכיבים .    למרות הכל בראייה ממוחשבת גישה זו של זיהוי פנים נשארה פופולרית מאוד .
  • 13. Credit: Taken from presentation at the technion website - webcourse . cs . technion . ac . il / 236875 / Spring2006/ho/WCFiles/Tutorial4_2EIGENFACES.ppt Introduction to Visual Object Recognition Seminar 0368-3373-01 Eigenface Approach במושגים של תיאוריית המידע : בהינתן תמונת פנים נמצא את מרכיביה העיקריים . נציג את התמונה בעזרת אותם המרכיבים ונשווה את התמונה המקודדת שקיבלנו עם תמונות פנים ממאגר תמונות אשר קודדו באותו אופן . במושגים מתמטיים : נמצא את המרכיבים העיקריים של תמונת הפנים שהם וקטורים עצמיים (eigenvectors ) של מטריצת ה - covariance של קבוצת תמונות הפנים .
  • 14. Credit: Taken from presentation at the technion website - webcourse . cs . technion . ac . il / 236875 / Spring2006/ho/WCFiles/Tutorial4_2EIGENFACES.ppt Introduction to Visual Object Recognition Seminar 0368-3373-01 וקטורים עצמיים מייצגים את הגיוון בתמונות הפנים . ניתן להציג אותם וקטורים עצמיים כקבוצה של פנים ערטילאיות (ghostly faces) . Eigenface mapping
  • 15.
    • כל פנים ניתן לקרב ע &quot; י שימוש רק ב – ” best eigenfaces” שהם בעלי הערכים העצמיים הגדולים ביותר , כלומר אחראיים לגיוון המרבי בקבוצת התמונות כפי כניתן לראות בדוגמא הנ &quot; ל .
    Credit: Taken from presentation at the technion website - webcourse . cs . technion . ac . il / 236875 / Spring2006/ho/WCFiles/Tutorial4_2EIGENFACES.ppt Introduction to Visual Object Recognition Seminar 0368-3373-01 כל פנים ניתן לתאר ע &quot; י צרוף ליניארי של .Eigenfaces תמונה נתונה לחיפוש במאגר התמונות הקיים קירוב ע &quot; י שימוש בבסיס ה - EIGENFACES
  • 16. Credit: Taken from presentation at the technion website - webcourse . cs . technion . ac . il / 236875 / Spring2006/ho/WCFiles/Tutorial4_2EIGENFACES.ppt Introduction to Visual Object Recognition Seminar 0368-3373-01 זיהוי פנים באמצעות E I G E N F A C E S - האלגוריתם הפורמלי
    • M ה - eigenfaces ה – &quot; טובים ביותר &quot; פורשים את תת - המרחב ה – M מימדי של מרחב התמונות , המקרב באופן הטוב ביותר את קבוצת הפנים ( training set ). פורמלית :
    • תהי קבוצת הפנים .
    • לכל תת - מרחב M - ממדי S , נגדיר את שגיאת הקירוב של S ל – F ע &quot; י , כאשר הוא ההיטל של על S .
    • תת - המרחב הטוב ביותר ( כלומר , בעל שגיאת הקירוב הקטנה ביותר ) מתקבל באופן הבא :
    • תחילה מחשבים את הממוצע מגדירים
    • מגדירים מטריצה A מגודל ( כאשר הוא מספר הפיקסלים בכל תמונה ) ע &quot; י A היא סימטרית וחיובית .
  • 17.
    • מחשבים את הווקטורים העצמיים של A ואת הערכים העצמיים המתאימים נסדר אותם בסדר יורד ,
    • לכל M , תת - המרחב הטוב ביותר נפרש ע &quot; י
    • שגיאת הקירוב שלו נמדדת ע &quot; י
    • אם הקבוצה &quot; פשוטה &quot;, מספיק M קטן כדי להגיע לשגיאה קטנה . לדוגמא , אם כל הפנים זהות , אזי עבור 1= M השגיאה היא 0.
    Credit: Taken from presentation at the technion website - webcourse . cs . technion . ac . il / 236875 / Spring2006/ho/WCFiles/Tutorial4_2EIGENFACES.ppt Introduction to Visual Object Recognition Seminar 0368-3373-01 זיהוי פנים באמצעות E I G E N F A C E S - האלגוריתם הפורמלי 'CNTD
  • 18.
    • תהיה I (x,y) תמונת פנים דו - ממדית .
    • ניתן לחשוב על תמונה כעל מערך בגודל NxN או כעל וקטור במרחב N 2 ממדי .
    EIGENFACES Credit: Taken from presentation at the technion website - webcourse . cs . technion . ac . il / 236875 / Spring2006/ho/WCFiles/Tutorial4_2EIGENFACES.ppt Introduction to Visual Object Recognition Seminar 0368-3373-01 תהליך החישוב - שלב אחרי שלב לדוגמא : תמונה בגודל 256 x 256 הופכת לוקטור ממימד 65,536 או במקביל לנקודה במרחב 65,536 מימדי . קבוצה של תמונות ממופה לאוסף של נקודות במרחב . מכיוון שכל תמונות הפנים דומות אנו נוכל לתאר אותן בתת - מרחב בעל מימד הרבה יותר קטן .
  • 19. EIGENFACES Credit: Taken from presentation at the technion website - webcourse . cs . technion . ac . il / 236875 / Spring2006/ho/WCFiles/Tutorial4_2EIGENFACES.ppt Introduction to Visual Object Recognition Seminar 0368-3373-01 תהליך החישוב - שלב אחרי שלב המטרה : למצוא וקטורים הפורשים את מרחב התמונה . גודל של כל וקטור הוא N 2 , המתאר תמונה בגודל NxN . דוגמאות של :eigenfaces
  • 20. EIGENFACES Credit: Taken from presentation at the technion website - webcourse . cs . technion . ac . il / 236875 / Spring2006/ho/WCFiles/Tutorial4_2EIGENFACES.ppt Introduction to Visual Object Recognition Seminar 0368-3373-01 תהליך החישוב - שלב אחרי שלב נתון מאגר תמונות פנים : Φ 1 , Φ 2 , … , Φ M . לדוגמא :
  • 21. EIGENFACES Credit: Taken from presentation at the technion website - webcourse . cs . technion . ac . il / 236875 / Spring2006/ho/WCFiles/Tutorial4_2EIGENFACES.ppt Introduction to Visual Object Recognition Seminar 0368-3373-01 תהליך החישוב - שלב אחרי שלב ממוצע של קבוצת תמונות - Ψ
    • ממוצע של התמונות מוגדר כ –
    כל תמונה שונה מהממוצע ע &quot; י וקטור : (1) Γ i = Φ i - Ψ (2)
  • 22. EIGENFACES Credit: Taken from presentation at the technion website - webcourse . cs . technion . ac . il / 236875 / Spring2006/ho/WCFiles/Tutorial4_2EIGENFACES.ppt Introduction to Visual Object Recognition Seminar 0368-3373-01 תהליך החישוב - שלב אחרי שלב
    • מטריצת covariance המתאימה :
    מימד של מטריצה C הוא N 2 xN 2 . מימד זה הוא עצום . אבל , כיוון שמסכמים רק M וקטורי תמונה , הדרגה של C לא תוכל לעלות על M . (3) כאשר : (4)
  • 23. EIGENFACES Credit: Taken from presentation at the technion website - webcourse . cs . technion . ac . il / 236875 / Spring2006/ho/WCFiles/Tutorial4_2EIGENFACES.ppt Introduction to Visual Object Recognition Seminar 0368-3373-01 תהליך החישוב - שלב אחרי שלב אם v i הוא וקטור עצמי של L=A T A : (5) כאשר μ i הם ערכים עצמיים . נכפיל את (5) ב - A ונקבל : (6) ואילו הם ה – Eigenfaces . (7) i=1,…,M לכן נגדיר את u i , וקטורים עצמיים של C , כדלקמן : מ -(5) { =µ i v i
  • 24. בצורה כזאת צמצמנו את המימד בו מתבצעים החישובים מ N 2 - ל – M . באופן מעשי מספר של תמונות פנים במאגר יהיה יחסית קטן N 2 ) (M<< ובכך החישוב הופך לבר - ביצוע . Credit: Taken from presentation at the technion website - webcourse . cs . technion . ac . il / 236875 / Spring2006/ho/WCFiles/Tutorial4_2EIGENFACES.ppt Introduction to Visual Object Recognition Seminar 0368-3373-01
  • 25. סיווג פנים בעזרת - Eigenfaces Credit: Taken from presentation at the technion website - webcourse . cs . technion . ac . il / 236875 / Spring2006/ho/WCFiles/Tutorial4_2EIGENFACES.ppt Introduction to Visual Object Recognition Seminar 0368-3373-01 כל תמונה ניתן להציג ע &quot; י צרוף ליניארי של .eigenfaces בוחרים M’ וקטורים עצמיים בעלי ערכים עצמיים הגבוהים ביותר , הפורשים תת - מרחב M’ מימדי במרחב תמונה בעל מימד N 2 . בתהליך הסיווג אין צורך בשחזור מדויק של תמונת הפנים ניתן להשתמש בפחות מ – M וקטורים . נסמן מספר זה ב – . M’
  • 26. סיווג פנים בעזרת - Eigenfaces Credit: Taken from presentation at the technion website - webcourse . cs . technion . ac . il / 236875 / Spring2006/ho/WCFiles/Tutorial4_2EIGENFACES.ppt Introduction to Visual Object Recognition Seminar 0368-3373-01 נתונה תמונת פנים - Γ המועמדת לזיהוי : נטיל אותה על תת - מרחב M’ כאשר (M’<<M) : פנים מקוריות פנים במרחב הפנים כאשר w i זו היא קואורדינטת ה – i של Γ במרחב החדש .
  • 27. סיווג פנים בעזרת - Eigenfaces Credit: Taken from presentation at the technion website - webcourse . cs . technion . ac . il / 236875 / Spring2006/ho/WCFiles/Tutorial4_2EIGENFACES.ppt Introduction to Visual Object Recognition Seminar 0368-3373-01 הדרך הפשוטה לסווג פנים נתונות ל face class k – המתאים היא למצוא את המרחק הקטן ביותר : ε k = ||(Ω – Ω k || 2 (9) כאשר Ω k זה הוא וקטור המתאר face class k . face class Ω i מחושב ע &quot; י ממוצע המשקלות של כל התצוגות במרחב הפנים של אותו בן אדם . ניתן להגיד כי פנים שייכות ל face class k - כאשר ε k מינימלי קטן מסף θ ε , אחרת הפנים מוגדרות כ &quot; לא ידועות &quot;.
  • 28. דוגמאות של Face class Introduction to Visual Object Recognition Seminar 0368-3373-01 Credit: Taken from presentation at the technion website - webcourse . cs . technion . ac . il / 236875 / Spring2006/ho/WCFiles/Tutorial4_2EIGENFACES.ppt Face class x1 Face class x2
  • 29. Introduction to Visual Object Recognition Seminar 0368-3373-01 בעיה : הטלה למרחב התמונה מפחיתה מימד , לכן הרבה תמונות ( ברובן תמונות פנים ) יקבלו את אותו וקטור המשקולות Ω . עלולים לקבל תוצאות בלתי רצויות במיוחד כאשר מדובר בתמונות ללא פנים . פתרון : מדידת מרחק בין התמונה והייצוג שלה במרחב הפנים . תמונת פנים חייבת להיות קרובה לייצוגה ואם התמונה אינה מכילה פנים המרחק חייב להיות גדול . נגדיר : ε = ||(Γ – Γ ’ )|| 2 (10) כאשר Credit: Taken from presentation at the technion website - webcourse . cs . technion . ac . il / 236875 / Spring2006/ho/WCFiles/Tutorial4_2EIGENFACES.ppt
  • 30.
    • 4 אפשרויות :
    • קרוב למרחב הפנים וקרוב ל face class - .
    • קרוב למרחב הפנים אבל לא קרוב ל face class - .
    • רחוק ממרחב הפנים וקרוב ל face class - .( נקרא גם false-positive )
    • רחוק ממרחב הפנים ולא קרוב ל face class - .
    • הסבר :
    • במקרה הראשון הפנים התגלו וסווגה לקבוצה מתאימה .
    • במקרה השני התגלו פנים חדשות .
    • שני המקרים האחרונים הם לא תמונות פנים .
    • מקרה השלישי הוא בעייתי אבל ניתן להתגבר עליו ע &quot; י השוואה בין תמונת המקור להיטל על מרחב הפנים .
    Credit: Taken from presentation at the technion website - webcourse . cs . technion . ac . il / 236875 / Spring2006/ho/WCFiles/Tutorial4_2EIGENFACES.ppt Introduction to Visual Object Recognition Seminar 0368-3373-01
  • 31.
    • 1. בחר קבוצה של תמונות הפנים . עדיף שהקבוצה תכלול כמה תמונות של אותם פנים בהבעות שונות ובתאורה משתנה .
    • 2. מציאת וקטורים עצמיים וערכים עצמיים ובחירת M’ וקטורים בעלי ערכים עצמיים הגבוהים ביותר .
    • 3. מציאת Eigenfaces .
    • 4. חישוב class vector Ωk .
    • 5. בחירת ספים θε .
    • θε 1 - מצביע על מרחק מ – face class .
    • θε 2 - מציג את המרחק המקסימלי ממרחב הפנים .
    סיכום של שיטת גילוי בעזרת Eigenfaces Credit: Taken from presentation at the technion website - webcourse . cs . technion . ac . il / 236875 / Spring2006/ho/WCFiles/Tutorial4_2EIGENFACES.ppt Introduction to Visual Object Recognition Seminar 0368-3373-01
  • 32.
    • 6 . לכל תמונת פנים הנבדקת חשב :
    • וקטור Ω , ε k לכל class ו – ε.
    • בדוק :
    • אם θε 1 >ε k ו – ε < θε 2 סווג את התמונה על סמך .face class Ω k
      • אם θε 1 <ε k ו – ε < θε 2 הגדר את הפנים כ - &quot; לא ידועות &quot;.
    7. אם פנים הוגדרו כ &quot; לא ידועות &quot;, ניתן להוסיף אותן למאגר תמונות ויש צורך לחזור על שלבים 1-5 . סיכום של שיטת גילוי בעזרת Eigenfaces Credit: Taken from presentation at the technion website - webcourse . cs . technion . ac . il / 236875 / Spring2006/ho/WCFiles/Tutorial4_2EIGENFACES.ppt Introduction to Visual Object Recognition Seminar 0368-3373-01
  • 33. תוצאות לניסויים EXPERIMENTAL RESULTS Introduction to Visual Object Recognition Seminar 0368-3373-01
    • תיאור הניסוי :
    • מסד הנתונים מכיל תמונות של 16 אנשים שונים , כאשר לכל אחד מהם נלקחו תמונות מתנאי צילום שונים :
    • 3 תמונות בתנאי תאורה שונים
    • 3 תמונות מזוויות צילום שונות : ° 0 , ° 45 ±
    • מרחקי צילום שונים ( כלומר גדלים שונים של פנים )
    • קבוצת הניסוי :
    • מתוך אוסף התמונות הנ &quot; ל , נלקחה בכל תת - ניסוי תמונה אחת מכל אדם , כאשר כל התמונות שנלקחות
    • בעלי תנאי צילום זהים . קבוצה זו נבדקת על מאגר הנתונים של שאר התמונות .
    • המטרה : לבדוק כיצד אלגוריתם זה מתפקד תחת תנאי צילום שונים .
  • 34. Introduction to Visual Object Recognition Seminar 0368-3373-01 תוצאות לניסויים EXPERIMENTAL RESULTS תחילה , מרחיבים את ו להיות &quot; אינסוף &quot; ובכך מכריחים את המערכת לשייך כל תמונה ל - CLASS כלשהו , התוצאה ( אחוזים בדיוק בזיהוי ): 96% דיוק תחת שינוי בתנאי תאורה . 85% דיוק תחת שינוי בזוויות צילום 64% דיוק תחת שינוי במרחקי צילום . θε 1 θε 2
  • 35. Introduction to Visual Object Recognition Seminar 0368-3373-01 תוצאות לניסויים EXPERIMENTAL RESULTS
    • כעת, נוסיף אילוצים – נקטין את ו באופנים הבאים:
    • נרצה רק תוצאות המביאות ל-100% דיוק בזיהוי , אחרת אינן מזהות כלל את הפנים בתמונה – תוצאות: אחוזי התמונות שלא זוהו כלל-
    • - 19% תחת שינויים בתאורה
    • - 39% תחת שינויים בזוויות צילום
    • - 60% תחת שינויים במרחקי צילום
    • 2. נרצה רק תוצאות בהן שיעור התמונות הלא מזוהות הוא כ-20% - תוצאות: אחוזי הדיוק בזיהוי:
    • - 100% תחת תאורה משתנה
    • - 94% תחת זוויות צילום משתנות
    • - 74% תחת מרחקי צילום משתנים.
    θε 1 θε 2
  • 36. Introduction to Visual Object Recognition Seminar 0368-3373-01 מסקנות מהניסוי היינו רוצים למצוא אלגוריתם אשר רגיש פחות לשינויים בתנאי הצילום . נשים לב כי לשינויים בתנאי התאורה הייתה השפעה מזערית על תהליך הזיהוי , לעומת זאת , על שינויים בזוויות הצילום ובמרחקי הצילום הייתה השפעה מכרעת – נגרם שיבוש לתהליך הזיהוי .  ב -1997 פותח אלגוריתם לזיהוי פנים ע &quot; י שימוש ב - FISHERFACES אשר משפר משמעותית את התגובה לשינויים בתנאי הצילום ...
  • 37. Fisherfaces
    • *Developed in 1997 by P.Belhumeur et al.
    • *Based on Fisher’s LDA
    • *Faster than eigenfaces, in some cases
    • *Has lower error rates
    • *Works well even if different illumination
    • *Works well even if different facial express.
    Introduction to Visual Object Recognition Seminar 0368-3373-01
  • 38.
    • LDA seeks directions that are efficient for discrimination between the data
    Fisherfaces Class A Class B Introduction to Visual Object Recognition Seminar 0368-3373-01
  • 39.
    • LDA maximizes the between-class scatter
    • LDA minimizes the within-class scatter
    Fisherfaces Class A Class B Introduction to Visual Object Recognition Seminar 0368-3373-01
  • 40.
    • Lowering the dimension with PCA vs. LDA
    Fisherfaces Class A Class B Introduction to Visual Object Recognition Seminar 0368-3373-01 LDA PCA
  • 41. Fisherfaces, the algorithm
    • Assumptions
      • Square images with W=H=N (NxN)
      • M is the number of images in the database
      • P is the number of persons in the database
    Introduction to Visual Object Recognition Seminar 0368-3373-01
  • 42. Fisherfaces, the algorithm
    • The database
    Introduction to Visual Object Recognition Seminar 0368-3373-01
  • 43. Fisherfaces, the algorithm
    • We compute the average of all faces
    Introduction to Visual Object Recognition Seminar 0368-3373-01
  • 44. Fisherfaces, the algorithm
    • Compute the average face of each person
    Introduction to Visual Object Recognition Seminar 0368-3373-01
  • 45. Fisherfaces, the algorithm
    • And subtract them from the training faces
    Introduction to Visual Object Recognition Seminar 0368-3373-01
  • 46. Fisherfaces, the algorithm
    • We build scatter matrices S 1 , S 2 , S 3 , S 4
    • And the within-class scatter matrix S W
    Introduction to Visual Object Recognition Seminar 0368-3373-01
  • 47. Fisherfaces, the algorithm
    • The between-class scatter matrix
    • We are seeking the matrix W maximizing
    Introduction to Visual Object Recognition Seminar 0368-3373-01
  • 48. Fisherfaces, the algorithm
    • If S W is nonsingular ( ):
    • Columns of W are eigenvectors of
      • We have to compute the inverse of S W
      • We have to multiply the matrices
      • We have to compute the eigenvectors
    Introduction to Visual Object Recognition Seminar 0368-3373-01
  • 49. Fisherfaces, the algorithm
    • If S W is nonsingular ( ):
    • Simpler:
      • Columns of W are eigenvectors satisfying
      • The eigenvalues are roots of
      • Get eigenvectors by solving
    Introduction to Visual Object Recognition Seminar 0368-3373-01
  • 50. Fisherfaces, the algorithm
    • If S W is singular ( ):
    • Apply PCA first
      • Will reduce the dimension of faces from N 2 to M
      • There are M M -dimensional vectors
    • Apply LDA as described
    Introduction to Visual Object Recognition Seminar 0368-3373-01
  • 51. Fisherfaces, the algorithm
    • Project faces onto the LDA-space
    • To classify the face
      • Project it onto the LDA-space
      • Run a nearest-neighbor classifier
    Introduction to Visual Object Recognition Seminar 0368-3373-01
  • 52. Fisherfaces, the algorithm
    • Problems
      • Small databases
      • The face to classify must be in the DB
    Introduction to Visual Object Recognition Seminar 0368-3373-01
  • 53. Comparison
    • FERET database
    • best ID rate: eigenfaces 80.0%, fisherfaces 93.2%
    Introduction to Visual Object Recognition Seminar 0368-3373-01
  • 54. Comparison
    • Eigenfaces
      • project faces onto a lower dimensional sub-space
      • no distinction between inter- and intra-class variabilities
      • optimal for representation but not for discrimination
    Introduction to Visual Object Recognition Seminar 0368-3373-01
  • 55. Comparison
    • Fisherfaces
      • find a sub-space which maximizes the ratio of inter-class and intra-class variability
      • same intra-class variability for all classes
    Introduction to Visual Object Recognition Seminar 0368-3373-01
  • 56. Summary
    • Two algorithms have been introduced
      • Eigenfaces
        • Reduce the dimension of the data from N 2 to M
        • Verificate if the image is a face at all
        • Allow online training
        • Fast recognition of faces
        • Problems with illumination, head pose etc
    Introduction to Visual Object Recognition Seminar 0368-3373-01
  • 57. Summary
      • Fisherfaces
        • Reduce dimension of the data from N 2 to P-1
        • Can outperform eigenfaces on a representative DB
        • Works also with various illuminations etc
        • Can only classify a face which is “known” to DB
    Introduction to Visual Object Recognition Seminar 0368-3373-01
  • 58. References
    • [1] M. Turk, A. Pentland, “Face Recognition Using Eigenfaces”
    • [2] J. Ashbourn, Avanti, V. Bruce, A. Young, ”Face Recognition Based on Symmetrization and Eigenfaces”
    • [3] http://www.markus-hofmann.de/eigen.html
    • [4] P. Belhumeur, J. Hespanha, D. Kriegman, “ Eigenfaces vs Fisherfaces: Recognition using Class Specific Linear Projection”
    • [5] R. Duda, P. Hart, D. Stork, “Pattern Classification”, ISBN 0-471-05669-3, pp. 121-124
    • [6] F. Perronin, J.-L. Dugelay, “ Deformable Face Mapping For Person Identification”, ICIP 2003, Barcelona
    Introduction to Visual Object Recognition Seminar 0368-3373-01
  • 59. End
    • Thank you for your attention
    Introduction to Visual Object Recognition Seminar 0368-3373-01