Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Deep face recognition & one-shot learning

244 views

Published on

one-shot learning and Face Verification Recognition
Siamese network
Discriminative Feature
Facenet paper and face embedding
metric learning for face: triplet loss, center loss, sphereface, arcface & amsoftmax
face detection and landmark detection
full face recognition pipeline

https://github.com/Alireza-Akhavan/deep-face-recognition/
Thursday, August 30, 2018

Published in: Software
  • DOWNLOAD FULL. BOOKS INTO AVAILABLE FORMAT, ......................................................................................................................... ......................................................................................................................... 1.DOWNLOAD FULL. PDF EBOOK here { https://tinyurl.com/y8nn3gmc } ......................................................................................................................... 1.DOWNLOAD FULL. EPUB Ebook here { https://tinyurl.com/y8nn3gmc } ......................................................................................................................... 1.DOWNLOAD FULL. doc Ebook here { https://tinyurl.com/y8nn3gmc } ......................................................................................................................... 1.DOWNLOAD FULL. PDF EBOOK here { https://tinyurl.com/y8nn3gmc } ......................................................................................................................... 1.DOWNLOAD FULL. EPUB Ebook here { https://tinyurl.com/y8nn3gmc } ......................................................................................................................... 1.DOWNLOAD FULL. doc Ebook here { https://tinyurl.com/y8nn3gmc } ......................................................................................................................... ......................................................................................................................... ......................................................................................................................... .............. Browse by Genre Available eBooks ......................................................................................................................... Art, Biography, Business, Chick Lit, Children's, Christian, Classics, Comics, Contemporary, Cookbooks, Crime, Ebooks, Fantasy, Fiction, Graphic Novels, Historical Fiction, History, Horror, Humor And Comedy, Manga, Memoir, Music, Mystery, Non Fiction, Paranormal, Philosophy, Poetry, Psychology, Religion, Romance, Science, Science Fiction, Self Help, Suspense, Spirituality, Sports, Thriller, Travel, Young Adult,
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here

Deep face recognition & one-shot learning

  1. 1. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ One-Shot Learning: Face Recognition One-Shot Learning & Face Recognition Alireza Akhavan Pour 1 Thursday, August 30, 2018
  2. 2. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ One-Shot Learning: Face Recognition ‫چهره‬ ‫بازشناسی‬ ‫و‬ ‫عمیق‬ ‫یادگیری‬ ‫دوربین‬ ‫نظارتی‬ ‫افزار‬ ‫نرم‬
  3. 3. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ One-Shot Learning: Face Recognition
  4. 4. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ One-Shot Learning: Face Recognition
  5. 5. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ One-Shot Learning: Face Recognition ‫کاربردها‬... ‫تشخیص‬ ‫سیستم‬ ‫گیری‬ ‫کار‬ ‫به‬ ‫با‬ ‫چین‬‫چهره‬Skynet‫در‬ ‫اخیر‬ ‫سال‬ ‫دو‬2000‫و‬ ‫بازشناسی‬ ‫سیستم‬ ‫توسط‬ ‫که‬ ‫را‬ ‫مجرم‬ ‫است‬ ‫کرده‬ ‫دستگیر‬ ‫شد‬ ‫شناسایی‬ ‫چهره‬ ‫تطبیق‬. www.zerohedge.com/news/2018-03-27/china-deploys-skynet-facial-recognition-can-compare-3-billion-faces-second
  6. 6. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ One-Shot Learning: Face Recognition ‫کاربردها‬... ‫بانک‬ ‫در‬ABC‫برداشات‬ ‫بارای‬ ‫کاار‬ ‫به‬ ‫نیازی‬ ‫دیگر‬ ‫چین‬ ‫ان‬ ‫چهره‬ ‫اسکن‬ ‫با‬ ‫فقط‬ ‫عملیا‬ ‫این‬ ‫و‬ ‫نیست‬ ‫حساب‬ ‫از‬ ‫پول‬‫جام‬ ‫شود‬ ‫می‬. http://www.isna.ir/news/96063118101
  7. 7. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ One-Shot Learning: Face Recognition ‫کاربردها‬... ‫باا‬ ‫چاین‬ ‫در‬ ‫توالات‬ ‫دستمال‬ ‫حد‬ ‫از‬ ‫بیش‬ ‫مصرف‬ ‫مشکل‬ ‫حل‬ ‫چهره‬ ‫بازشناسی‬ ‫الگوریتم‬! ‫طاول‬ ‫به‬ ‫دستمالی‬ ‫قطعه‬ ‫سپس‬ ‫و‬ ‫شده‬ ‫اسکن‬ ‫فرد‬ ‫ی‬ ‫چهره‬ ،‫درخواست‬ ‫بار‬ ‫هر‬ ‫در‬ ‫روش‬ ‫این‬ ‫در‬60‫توساط‬ ‫ساانتیمتر‬ ‫میشود‬ ‫داده‬ ‫وی‬ ‫به‬ ‫دستگاه‬.‫برای‬ ‫را‬ ‫فرد‬ ‫چهره‬ ‫تصویر‬ ‫دستگاه‬9‫ایان‬ ‫طاول‬ ‫در‬ ‫و‬ ‫میکند‬ ‫ذخیره‬ ‫دقیقه‬9‫باا‬ ‫دقیقاه‬ ‫میکند‬ ‫داری‬ ‫خود‬ ‫فرد‬ ‫به‬ ‫دستمال‬ ‫مجدد‬ ‫ارائه‬ ‫از‬ ‫چهره‬ ‫تطبیق‬ ‫از‬ ‫استفاده‬!!! http://www.cbc.ca/news/technology/china-facial-recognition-toilet-paper-1.4052888
  8. 8. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ One-Shot Learning: Face Recognition ‫کاربردها‬... ‫با‬ ‫چهاره‬ ‫شناساایی‬ ‫سیساتم‬ ‫با‬ ‫را‬ ‫مجرم‬ ‫اولین‬ ‫انگلیس‬ ‫در‬‫ا‬ ‫کردند‬ ‫دستگیر‬ ‫ون‬ ‫روی‬ ‫شده‬ ‫نصب‬ ‫دوربین‬ ‫تشخیص‬. https://arstechnica.com/tech-policy/2017/06/police-automatic-face-recognition/
  9. 9. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ One-Shot Learning: Face Recognition ‫کاربردها‬... ‫گرف‬ ‫عکاس‬ ‫یاک‬ ‫تنها‬ ‫با‬ ‫فرد‬ ‫اجتماع‬ ‫شبکه‬ ‫حساب‬ ‫یافتن‬‫تاه‬ ‫روسیه‬ ‫در‬ ‫مترو‬ ‫در‬ ‫شده‬ https://www.pcworld.com/article/3055305/analytics/your-face-is-big-data-the-title-of-this-photographers-experiment-says-it-all.html ‫اپلیکیشن‬FindFace‫برریا‬ ‫باا‬ ‫را‬ ‫کار‬ ‫این‬ ‫ا‬ ‫بایا‬ ‫باا‬ ‫مقایسه‬ ‫و‬ ‫فرد‬ ‫ی‬‫چهره‬ ‫عکس‬۲۰۰ ‫مبواوت‬ ‫کااربران‬ ‫پروفایل‬ ‫عکس‬ ‫میلیون‬‫رین‬ ،‫روییه‬ ‫اجتماع‬ ‫ی‬‫شوکه‬VK،‫ددا‬ ‫م‬ ‫انجاا‬. ‫یپتامور‬ ‫در‬۲۰۱۷‫کرد‬ ‫اعال‬ ‫مسکو‬ ‫شهرداری‬ ، ‫ود‬ ‫ح‬ ‫که‬۵000‫مداربساته‬ ‫دورباین‬‫ایان‬ ‫ی‬ ‫کارده‬ ‫اپلیکیشن‬ ‫این‬ ‫به‬ ‫مجهز‬ ‫را‬ ‫شهر‬‫ا‬ ‫تا‬‫فراد‬ ‫شناسا‬ ‫خودکار‬ ‫صور‬‫به‬ ‫تعقیب‬ ‫تحت‬‫ایی‬ ‫شوند‬.،‫مسکو‬ ‫مقامات‬ ‫ی‬‫گفته‬ ‫به‬ ‫بنا‬‫ز‬ ‫از‬‫ماان‬ ،‫تکنولوژی‬ ‫این‬ ‫اندازی‬ ‫راه‬6‫دساتگیر‬ ‫نفر‬ ‫اند‬‫شده‬.(‫منوع‬)
  10. 10. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ One-Shot Learning: Face Recognition ‫کاربردها‬... ‫از‬ ‫استفاده‬ ‫با‬ ‫پاپ‬ ‫کنسر‬ ‫در‬ ‫چین‬ ‫پلیس‬«‫چها‬ ‫تشاخیص‬‫ره‬» ‫کرد‬ ‫دستگیر‬ ‫را‬ ‫مجرم‬ http://www.ubergizmo.com/2018/04/police-arrest-suspect-facial-recognition/ ‫ا‬‫ا‬‫جک‬ ‫ارت‬‫ا‬‫کنس‬ ‫در‬ ‫اره‬‫ا‬‫چه‬ ‫اچیر‬‫ا‬‫ش‬ ‫ی‬ ‫او‬‫ا‬‫کنول‬ ‫و‬ ‫ه‬ ‫ا‬‫ا‬‫ش‬ ‫ارا‬‫ا‬‫اج‬ ‫ا‬‫ا‬‫چین‬ ‫اوت‬‫ا‬‫مبو‬ ‫ه‬ ‫ا‬‫ا‬‫ووانن‬ ،،‫چونا‬ ‫ایا‬ ‫ه‬ ‫ش‬ ‫دیتگیر‬ ‫مجر‬.‫کا‬ ‫کنسار‬ ‫یعنا‬‫ه‬ ‫اقل‬ ‫ح‬۶۰‫دزارنفر‬‫داشتن‬ ‫شرک‬ ‫آن‬ ‫در‬.
  11. 11. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ One-Shot Learning: Face Recognition ‫چهره‬ ‫بازشناسی‬ ‫و‬ ‫تایید‬ ‫تایید‬(Verification) o‫ورودی‬:‫نام‬ ،‫تصویر‬/ID o‫خروجی‬:‫است؟‬ ‫شده‬ ‫ادعا‬ ‫فرد‬ ‫به‬ ‫متعلق‬ ‫واقعا‬ ‫آیا‬ ‫تصویر‬ ‫بازشناسی‬(Recognition) o‫از‬ ‫دیتابیسی‬K‫داریم‬ ‫فرد‬. o‫شود‬‫می‬ ‫داده‬ ‫ورودی‬ ‫تصویر‬ ‫یک‬. o‫خروجی‬:ID‫جزو‬ ‫اگر‬ ‫شده‬ ‫بازشناسی‬ ‫فرد‬K‫باشد‬ ‫نفر‬( .‫یا‬«‫نشد‬ ‫شناخته‬!»)
  12. 12. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ One-Shot Learning: Face Recognition ‫آموزش‬ ‫های‬ ‫داده‬ ‫مجموعه‬ ‫داده‬‫مجموعه‬CASIA Web-Face ‫شامل‬ ‫داده‬‫مجموعه‬ ‫این‬453453‫ا‬ ‫متفاوت‬ ‫چهره‬ ‫صویر‬۱۰5۷5‫ای‬ ‫فرد‬. ‫این‬‫ای‬ ‫اشتواه‬ ‫و‬ ‫نویز‬ ‫ون‬ ‫ب‬ ‫و‬ ‫پاک‬ ‫داده‬‫مجموعه‬. www.cbsr.ia.ac.cn/english/CASIA-WebFace-Datab ‫داده‬‫مجموعه‬MS-Celeb-1M ‫شود‬ ‫م‬ ‫مبسوت‬ ‫ری‬ ‫بزرگ‬ ‫ی‬‫داده‬‫مجموعه‬ ‫ب‬ ‫مرا‬‫به‬ ‫داده‬‫مجموعه‬ ‫این‬. ‫ا‬ ‫بیا‬ ‫شامل‬ ‫مجموعه‬ ‫این‬8‫ا‬ ‫متفاوت‬ ‫چهره‬ ‫صویر‬ ‫میلیون‬۱۰۰‫ای‬ ‫فرد‬ ‫دزار‬[4۱.] ‫ای‬ ‫دمراه‬ ‫اشتواه‬ ‫برچسب‬ ‫و‬ ‫نویز‬ ‫با‬ ‫داده‬‫مجموعه‬ ‫این‬ ‫قول‬ ‫بروالف‬. https://www.microsoft.com/en-us/research/project/ms-celeb-1m-challenge-recognizing- one-million-celebrities-real-world/ ‫داده‬‫مجموعه‬VGGFace2 ‫نسچه‬ ‫آکسفورد‬ ‫دانشگاه‬ ‫مبققان‬۲‫ی‬‫داده‬‫مجموعه‬VGGFace‫با‬ ‫را‬3.3۱‫ا‬ ‫صویر‬ ‫میلیون‬9۱3۱‫کردن‬ ‫ارائه‬ ‫مچتلف‬ ‫فرد‬.‫جوی‬‫و‬ ‫جسا‬ ‫کمک‬ ‫با‬ ‫صاویر‬ ‫این‬ ‫و‬ ‫نو‬ ، ‫جه‬ ،‫ین‬ ‫نظیر‬ ‫فرد‬ ‫در‬ ‫برای‬ ‫مچتلف‬ ‫غییرات‬ ‫در‬ ‫و‬ ‫ه‬ ‫ش‬‫آوری‬‫جمع‬ ‫گوگل‬ ‫صویر‬...‫دستن‬.‫م‬ ‫ییایا‬ ‫نظیار‬ ‫مچتلفا‬ ‫افاراد‬ ‫شاامل‬ ‫داده‬‫مجموعه‬ ‫این‬،‫اران‬ ‫و‬ ‫یگران‬ ‫با‬ ،‫شکاران‬ ‫ور‬...‫فرد‬ ‫در‬ ‫ا‬ ‫قریو‬ ‫طور‬‫به‬ ‫و‬ ‫ای‬3۶۲‫ای‬ ‫موجود‬ ‫مچتلف‬ ‫صویر‬. http://www.robots.ox.ac.uk/~vgg/data/vgg_face2/
  13. 13. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ One-Shot Learning: Face Recognition ‫ارزیابی‬ ‫داده‬ ‫مجموعه‬LFW
  14. 14. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ One-Shot Learning: Face Recognition ‫ارزیابی‬ ‫داده‬ ‫مجموعه‬MegaFace
  15. 15. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ One-Shot Learning: Face Recognition ‫یک‬ ‫روی‬ ‫از‬ ‫آموزش‬‫برای‬ ‫نمونه‬ ‫فرد‬ ‫مجدد‬ ‫بازشناختن‬ One-shot learning CNN Softmax(5) ‫مشکال‬ o‫کم‬ ‫بسیار‬ ‫تصاویر‬. o‫شود؟‬ ‫اضافه‬ ‫جدید‬ ‫فرد‬ ‫اگر‬
  16. 16. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ One-Shot Learning: Face Recognition ‫تابع‬ ‫یادگیری‬«‫شباهت‬»(“similarity” function) d(img1,img2)=‫تصویر‬ ‫دو‬ ‫بین‬ ‫تفاو‬ ‫میزان‬ If d(img1,img2) ≤ 𝜏 ‫یکسان‬ > 𝜏 ‫متفاو‬ 4 0.5 6 10 4 6 7 12 «‫پور‬ ‫اووان‬ ‫علیرضا‬» ‫ناشناس‬ ‫فرد‬ ‫صویر‬ Face Verification
  17. 17. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ One-Shot Learning: Face Recognition [Taigman et. al., 2014. DeepFace closing the gap to human level performance] Siamese network ⋮ ⋮ 𝑥(1) ⋮ ⋮ 𝑥(2) Softmax 128 𝑓(𝑥 1 ) 𝑓 𝑥 1 :‫یا‬ ‫گذاری‬ ‫ک‬encoding‫صویر‬𝑥(1) 𝑓(𝑥 2 ) ฮ𝒅 𝒙 𝟏 , 𝒙 𝟐 = ฮ𝒇 𝒙 𝟐 − 𝒇 𝒙 𝟏 𝟐 𝟐
  18. 18. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ One-Shot Learning: Face Recognition ‫نورون‬۱ ‫نورون‬۲ ‫نورون‬3 ‫نورون‬4 ‫نورون‬5‫و‬... DiCarlo and Cox , TICS (2007) ‫خمینه‬ ‫و‬ ‫نرونی‬ ‫فضای‬(manifold)
  19. 19. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ One-Shot Learning: Face Recognition ‫نرونی‬ ‫فضای‬‫بد‬ ‫و‬ ‫خوب‬ DiCarlo and Cox , TICS (2007)
  20. 20. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ One-Shot Learning: Face Recognition ⋮ ⋮ ⋮ ⋮ ‫فضای‬128‫ای‬encoding‫صاویر‬
  21. 21. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ One-Shot Learning: Face Recognition ⋮ f(𝑥(1)) ⋮ ‫یادگیری‬ ‫هدف‬ ‫عصبی‬ ‫شبکه‬ ‫پارامترهای‬encoding‫یا‬ ‫خروجی‬𝒇 𝒙 𝒊‫دهند‬‫می‬ ‫تشکیل‬ ‫را‬ ‫که‬ ‫نحوی‬ ‫به‬ ‫پارامترها‬ ‫یادگیری‬: ‫اگر‬𝑥 𝑖 ,𝑥 𝑗، ‫بودن‬ ‫یکسان‬ ‫فرد‬ ‫دو‬f 𝑥 𝑖 − f 𝑥 𝑗 2 ‫شود‬ ‫کوچک‬ ‫ار‬ ‫مق‬. ‫اگر‬𝑥 𝑖 ,𝑥 𝑗، ‫بودن‬ ‫متفاوت‬ ‫فرد‬ ‫دو‬f 𝑥 𝑖 − f 𝑥 𝑗 2 ‫شود‬ ‫بزرگ‬ ‫ار‬ ‫مق‬.
  22. 22. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ One-Shot Learning: Face Recognition ‫بخش‬2: ‫متریک‬ ‫یادگیری‬ Metric learning
  23. 23. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ One-Shot Learning: Face Recognition ‫تابع‬Softmax ‒‫بین‬‫می‬ ‫آموزش‬ ‫که‬ ‫هایی‬‫ویژگی‬‫د‬ ‫فقط‬separable‫اماا‬ ،‫هساتند‬ discriminative‫نیستند‬! ‒‫کاافی‬ ‫انادازه‬ ‫به‬ ‫ها‬‫ویژگی‬ ‫این‬ ‫نیستند‬ ‫موثر‬.
  24. 24. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ One-Shot Learning: Face Recognition ‫به‬ ‫نیاز‬metric learning‫داریم‬! [Yandong Wen et. al., 2016. A Discriminative Deep Feature Learning Approach for Face Recognition]
  25. 25. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ One-Shot Learning: Face Recognition ‫به‬ ‫نیاز‬metric learning‫داریم‬! Tightness of the cluster Discriminative features
  26. 26. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ One-Shot Learning: Face Recognition 𝑥(𝑖) 𝑥(𝑗) ො𝑦 ⋮ f(𝑥(𝑗) ) ⋮ f(𝑥(𝑖) ) Learning the similarity function [Taigman et. al., 2014. DeepFace closing the gap to human level performance] ො𝑦 = 𝜎 σ 𝑘=1 128 𝑤𝑖 𝑓 𝑥(𝑖) 𝑘 − 𝑓 𝑥(𝑗) 𝑘 + 𝑏ො𝑦 = 𝜎 σ 𝑘=1 128 𝑤𝑖 𝑓 𝑥(𝑖) 𝑘 − 𝑓 𝑥(𝑗) 𝑘 + 𝑏 𝑓 𝑥(𝑖) 𝑘 − 𝑓 𝑥(𝑗) 𝑘 2 𝑓 𝑥(𝑖) 𝑘 + 𝑓 𝑥(𝑗) 𝑘 𝜒2
  27. 27. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ One-Shot Learning: Face Recognition ‫شده‬ ‫نظار‬ ‫یادگیری‬Face Verification 𝑥 𝑦 0 1 1 0 1 ‫متفاوت‬ ‫یکسان‬
  28. 28. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ One-Shot Learning: Face Recognition Triplet loss
  29. 29. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ One-Shot Learning: Face Recognition Triplet loss minimize maximize Positive Negative Anchor 𝑑(𝐴𝑛𝑐ℎ𝑜𝑟, 𝑃𝑜𝑠𝑖𝑡𝑖𝑣𝑒) + 𝛼 < 𝑑(𝐴𝑛𝑐ℎ𝑜𝑟, 𝑁𝑒𝑔𝑎𝑡𝑖𝑣𝑒) [Schroff et al.,2015, FaceNet: A unified embedding for face recognition and clustering]
  30. 30. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ One-Shot Learning: Face Recognition Triplet loss PositiveAnchor [Schroff et al.,2015, FaceNet: A unified embedding for face recognition and clustering] Anchor Negative (A) (A)(p) (N) ԡԡ 𝑓 𝐴 − 𝑓 𝑃 2 2 ≤ ԡԡ 𝑓 𝐴 − 𝑓 𝑁 2 2 ԡԡ 𝑓 𝐴 − 𝑓 𝑃 2 2 − ԡԡ 𝑓 𝐴 − 𝑓 𝑁 2 2 ≤ 0 + 𝜶 + 𝜶 𝑓 𝑖𝑚𝑔 = 0 0 0 margin 𝑑(𝐴, 𝑃) 𝑑(𝐴, 𝑁) 𝑑 𝐴, 𝑃 = 0.6 𝑑 𝐴, 𝑁 = 0.630.2 0.8
  31. 31. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ One-Shot Learning: Face Recognition ‫تابع‬loss ‫داشتن‬ ‫فرض‬ ‫با‬P ,A‫و‬N ԡ𝓛 𝑨, 𝑷, 𝑵 = 𝒎𝒂𝒙(ԡ 𝒇 𝑨 − 𝒇 𝑷 𝟐 − ԡԡ 𝒇 𝑨 − 𝒇 𝑷 𝟐 + 𝜶 , 𝟎)ԡ𝓛 𝑨, 𝑷, 𝑵 = 𝒎𝒂𝒙(ԡ 𝒇 𝑨 − 𝒇 𝑷 𝟐 − ԡԡ 𝒇 𝑨 − 𝒇 𝑵 𝟐 + 𝜶 , 𝟎) [Schroff et al.,2015, FaceNet: A unified embedding for face recognition and clustering] 𝐽 = ෍ 𝑖=1 𝑚 𝓛 (𝐴(𝑖) , 𝑃(𝑖) , 𝑁(𝑖) ) ‫با‬ ‫دیتاستی‬ ‫اگر‬10.000‫از‬ ‫تصویر‬1000‫از‬ ‫باید‬ ‫باشیم‬ ‫داشته‬ ‫فرد‬ 10000‫کنیم‬ ‫استفاده‬ ‫ها‬ ‫تایی‬ ‫سه‬ ‫ساخت‬ ‫برای‬ ‫تصویر‬.
  32. 32. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ One-Shot Learning: Face Recognition ‫ها‬‫تایی‬‫سه‬ ‫انتخاب‬(Triplet‫ها‬)A‫و‬P‫و‬N ‫اگر‬A‫و‬P‫و‬N‫شرط‬ ‫شوند‬ ‫انتخاب‬ ‫تصادفی‬ ‫صور‬ ‫به‬ 𝒅 𝑨, 𝐏 + 𝜶 ≤ 𝒅(𝑨, 𝑵) ‫شود‬‫می‬ ‫برآورده‬ ‫راحتی‬ ‫به‬. ‫انتخاب‬Triplet‫آموزش‬ ‫برای‬ ‫که‬ ‫هایی‬«‫سخت‬»‫است‬. 𝒅 𝑨, 𝐏 + 𝜶 ≤ 𝒅(𝑨, 𝑵) 𝒅 𝑨, 𝐏 ≈ 𝒅(𝑨, 𝑵) [Schroff et al.,2015, FaceNet: A unified embedding for face recognition and clustering]
  33. 33. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ One-Shot Learning: Face Recognition ‫آموزش‬ ‫داده‬ ‫مجموعه‬(Training set)‫برای‬Triplet Loss Anchor Positive Negative
  34. 34. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ One-Shot Learning: Face Recognition ‫انتخاب‬Triplet‫ها‬ ‫اصلی‬ ‫مشکل‬: o‫کنیم؟‬ ‫انتچات‬ ‫را‬ ‫دا‬ ‫ای‬ ‫یه‬ ‫چگونه‬ ‫حل؟‬ ‫راه‬ o‫انتچات‬Triple‫در‬ ‫یچ‬ ‫دای‬mini-batch‫بزرگ‬(۱۰۰۰<) Useful triplets = hardest errors ‫انتخاب‬ ‫همه‬positive‫ها‬ ‫کافی‬ ‫اندازه‬ ‫به‬ ‫سخت‬ ‫ساده‬ ‫خیلی‬
  35. 35. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ One-Shot Learning: Face Recognition
  36. 36. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ One-Shot Learning: Face Recognition ‫انتخاب‬Triplet‫ها‬:‫تله‬! minimize maximize Positive Negative Anchor 𝑷𝒐𝒔𝒊𝒕𝒊𝒗𝒆 ≈ 𝑵𝒆𝒈𝒂𝒕𝒊𝒗𝒆 [Schroff et al.,2015, FaceNet: A unified embedding for face recognition and clustering]
  37. 37. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ One-Shot Learning: Face Recognition ‫انتخاب‬Triplet‫ها‬:‫تله‬!‫جای‬ ‫به‬...
  38. 38. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ One-Shot Learning: Face Recognition ‫انتخاب‬Triplet‫ها‬:‫تله‬!  Selecting hardest negative may lead to the collapse early in training
  39. 39. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ One-Shot Learning: Face Recognition ‫انتخاب‬Triplet‫ها‬ ‫انتخاب‬ ‫همه‬positive‫ها‬ ‫سخت‬ ‫خیلی‬ ‫ساده‬ ‫خیلی‬ Semi-hard [Schroff et al.,2015, FaceNet: A unified embedding for face recognition and clustering]
  40. 40. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ One-Shot Learning: Face Recognition ‫انتخاب‬Triplet‫ها‬ 𝑑(𝐴𝑛𝑐ℎ𝑜𝑟, 𝑃𝑜𝑠𝑖𝑡𝑖𝑣𝑒) + 𝛼 < 𝑑(𝐴𝑛𝑐ℎ𝑜𝑟, 𝑁𝑒𝑔𝑎𝑡𝑖𝑣𝑒) ‫یاده‬ ‫ویل‬!‫ارد‬ ‫ن‬ ‫یادگیری‬ ‫برای‬ ‫چیزی‬ ‫و‬ ‫ای‬ ‫برقرار‬ ‫قول‬ ‫ا‬ ‫شرایط‬! [Schroff et al.,2015, FaceNet: A unified embedding for face recognition and clustering]
  41. 41. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ One-Shot Learning: Face Recognition ‫انتخاب‬Triplet‫ها‬ 𝑑(𝐴𝑛𝑐ℎ𝑜𝑟, 𝑃𝑜𝑠𝑖𝑡𝑖𝑣𝑒) + 𝛼 < 𝑑(𝐴𝑛𝑐ℎ𝑜𝑟, 𝑁𝑒𝑔𝑎𝑡𝑖𝑣𝑒) [Schroff et al.,2015, FaceNet: A unified embedding for face recognition and clustering]
  42. 42. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ One-Shot Learning: Face Recognition ‫انتخاب‬Triplet‫ها‬ 𝑑(𝐴𝑛𝑐ℎ𝑜𝑟, 𝑃𝑜𝑠𝑖𝑡𝑖𝑣𝑒) + 𝛼 < 𝑑(𝐴𝑛𝑐ℎ𝑜𝑟, 𝑁𝑒𝑔𝑎𝑡𝑖𝑣𝑒) [Schroff et al.,2015, FaceNet: A unified embedding for face recognition and clustering]
  43. 43. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ One-Shot Learning: Face Recognition ‫خالصه‬Triplet loss ‫خالصه‬: ‫یایز‬ ‫به‬ ‫نیا‬mini-batch‫کردن‬ ‫ا‬ ‫پی‬ ‫و‬ ‫بزرگ‬margin(𝛼) ‫آدسته‬ ‫و‬ ‫کن‬ ‫دمگرای‬ ‫ها‬‫سازی‬ ‫پیاده‬(‫رسمی‬ ‫غیر‬:) OpenFace(Torch) https://github.com/cmusatyalab/openface davidsandberg/facenet(Tensorflow) https://github.com/davidsandberg/facenet LFW Megaface Google’s Facenet 99.63 70.5
  44. 44. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ One-Shot Learning: Face Recognition Center loss
  45. 45. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ One-Shot Learning: Face Recognition  Idea: pull the points to class centroids Center Loss [Wen et al.,2016, A discriminative feature learning approach for deep face recognition]
  46. 46. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ One-Shot Learning: Face Recognition Separable vs Discriminative [Wen et al.,2016, A discriminative feature learning approach for deep face recognition]
  47. 47. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ One-Shot Learning: Face Recognition A toy example : What’s wrong with Softmax [Wen et al.,2016, A discriminative feature learning approach for deep face recognition]
  48. 48. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ One-Shot Learning: Face Recognition ℒ 𝑠 = − ෍ 𝑖=1 𝑚 log 𝑒 𝑤 𝑦 𝑖 𝑇 𝑥 𝑖+ 𝑏 𝑦 𝑖 σ 𝑗=1 𝑛 𝑒 𝑤 𝑗 𝑇 𝑥 𝑖+ 𝑏 𝑗 𝒎: mini-batch size 𝒏: the number of class 𝒙𝒊: feature vector in 𝑅 𝑑 (d is the feature dimension) 𝒘: 𝑅(𝑑×𝑛) , 𝒃: 𝑅 𝑛 (bias) A toy example : What’s wrong with Softmax [Wen et al.,2016, A discriminative feature learning approach for deep face recognition]
  49. 49. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ One-Shot Learning: Face Recognition ‫است؟‬ ‫مناسب‬ ‫بندی‬ ‫خوشه‬ ‫برای‬ ‫ها‬‫ویژگی‬ ‫آیا‬ Separable, the deep features are not discriminative enough. by intra-class variation training set testing set [Wen et al.,2016, A discriminative feature learning approach for deep face recognition]
  50. 50. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ One-Shot Learning: Face Recognition ‫است؟‬ ‫مناسب‬ ‫بندی‬ ‫خوشه‬ ‫برای‬ ‫ها‬‫ویژگی‬ ‫آیا‬ Separable, the deep features are not discriminative enough. by intra-class variation Training Set (50K) Test Set (10K) [Wen et al.,2016, A discriminative feature learning approach for deep face recognition]
  51. 51. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ One-Shot Learning: Face Recognition ‫افزودن‬center loss‫برای‬discriminative‫ها‬‫ویژگی‬ ‫شدن‬! [Wen et al.,2016, A discriminative feature learning approach for deep face recognition] ℒ 𝐶 = 1 2 ෍ 𝑖=1 𝑚 𝑥𝑖 − 𝐶 𝑦 𝑖 2 2 𝒎: mini-batch size 𝑪 𝒚 𝒊 : yth class center in d dimension 𝒙𝒊: feature vector in 𝑅 𝑑 (d is the feature dimension) ‫اما‬!𝑪 𝒚 𝒊 ‫شود‬ ‫روز‬ ‫به‬ ‫باید‬ ‫ها‬‫ویژگی‬ ‫تغییرا‬ ‫و‬ ‫شبکه‬ ‫آموزش‬ ‫با‬. ‫میانگین‬‫های‬‫ویژگی‬‫کالس‬ ‫هر‬‫در‬‫هر‬iteration
  52. 52. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ One-Shot Learning: Face Recognition ‫نهایی‬ ‫تابع‬ℒ = ℒ 𝑠 + 𝜆 ℒ 𝐶
  53. 53. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ One-Shot Learning: Face Recognition ‫نهایی‬ ‫تابع‬ℒ = ℒ 𝑠 + 𝜆 ℒ 𝐶‫تاثیر‬ ‫و‬𝜆 [Wen et al.,2016, A discriminative feature learning approach for deep face recognition]
  54. 54. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ One-Shot Learning: Face Recognition ‫خالصه‬center loss ‫خالصه‬: ‫دا‬‫کالس‬ ‫بین‬ ‫ای‬ ‫ج‬ ‫و‬ ‫کالی‬ ‫درون‬ ‫ی‬‫وده‬ ‫ایجاد‬ ‫یاده‬ ‫دمگرای‬ ،‫ووت‬ ‫کارای‬ ‫ها‬‫سازی‬ ‫پیاده‬: ydwen/caffe-face(caffe)–‫مقاله‬ ‫ه‬ ‫نویسن‬ ‫ویط‬ ‫ه‬ ‫ش‬ ‫منتشر‬ ‫ریم‬ ‫ک‬ https://github.com/ydwen/caffe-face davidsandberg/facenet(Tensorflow) https://github.com/davidsandberg/facenet LFW Megaface Center Loss 99.28% 65.234%
  55. 55. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ One-Shot Learning: Face Recognition LFW Megaface Google’s Facenet 99.63 70.5 Center Loss 99.28% 65.234% ‫نتایج‬ ‫مقایسه‬ ‫بین‬100M-200M‫چهره‬ ‫تصویر‬ ‫از‬8‫متفاو‬ ‫شخص‬ ‫میلیون‬ 0.7‫از‬ ‫چهااره‬ ‫تصااویر‬ ‫میلیااون‬17,189 ‫مختلف‬ ‫شخص‬ ‫از‬ ‫تنهاا‬ ‫مگاافیس‬ ‫چالش‬ ‫برای‬490‫هازار‬ ‫است‬ ‫شده‬ ‫استفاده‬ ‫اموزش‬ ‫برای‬ ‫تصویر‬.
  56. 56. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ One-Shot Learning: Face Recognition ‫بخش‬3: ‫عملی‬ ‫مثال‬
  57. 57. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ One-Shot Learning: Face Recognition
  58. 58. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ One-Shot Learning: Face Recognition
  59. 59. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ One-Shot Learning: Face Recognition
  60. 60. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ One-Shot Learning: Face Recognition 01_Intro2FaceRecognition.ipynb Let’s code… ‫چهره‬ ‫شناسایی‬ ‫مقدما‬
  61. 61. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ One-Shot Learning: Face Recognition ‫بخش‬4: ‫چهره‬ ‫کردن‬ ‫تراز‬ ‫و‬ ‫تشخیص‬ Face Detection & alignment
  62. 62. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ One-Shot Learning: Face Recognition
  63. 63. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ One-Shot Learning: Face Recognition ‫ها‬ ‫داده‬ ‫مجموعه‬‫چهره‬ ‫تشخیص‬ ‫آموزش‬ ‫برای‬  Wider  32k images  494k faces  Celeba  200k images, 10k persons  Landmarks, 40 binary attributes
  64. 64. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ One-Shot Learning: Face Recognition ‫ها‬ ‫داده‬ ‫مجموعه‬‫چهره‬ ‫تشخیص‬ ‫ی‬  Wider  32k images  494k faces  Celeba  200k images, 10k persons  Landmarks, 40 binary attributes  FDDB  2845 images  5171 faces
  65. 65. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ One-Shot Learning: Face Recognition ‫کالسیک‬ ‫الگوریتم‬Viola-Jones
  66. 66. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ One-Shot Learning: Face Recognition ‫کالسیک‬ ‫الگوریتم‬Viola-Jones:‫آموزش‬
  67. 67. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ One-Shot Learning: Face Recognition ‫کالسیک‬ ‫الگوریتم‬Viola-Jones:inference ‫سازی‬ ‫بهینه‬: ‫نام‬ ‫به‬ ‫هایی‬‫گروه‬ ‫هم‬ ‫با‬ ‫ها‬‫ویژگی‬stage‫دهند‬ ‫تشکیل‬ ‫اگر‬patch‫هر‬ ‫در‬ ‫شده‬ ‫انتخاب‬stage‫شود‬ ‫خارج‬ ‫و‬ ‫برگردانده‬ ‫چهره‬ ‫غیر‬ ‫الگوریتم‬ ‫شد‬ ‫َد‬‫ر‬. Stage 1 Stages Stage N yes Stage 2 yes Face ‫بیشتر‬ ‫اطالعات‬:‫جلسه‬۲۲
  68. 68. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ One-Shot Learning: Face Recognition ‫کالسیک‬ ‫الگوریتم‬Viola-Jones:‫نتایج‬wider http://mmlab.ie.cuhk.edu.hk/projects/WIDERFace/WiderFace_Results.html
  69. 69. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ One-Shot Learning: Face Recognition ‫نتایج‬wider‫ها‬ ‫الگوریتم‬ ‫سایر‬ ‫برای‬ http://mmlab.ie.cuhk.edu.hk/projects/WIDERFace/WiderFace_Results.html
  70. 70. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ One-Shot Learning: Face Recognition ‫نتایج‬wider‫ها‬ ‫الگوریتم‬ ‫سایر‬ ‫برای‬ http://mmlab.ie.cuhk.edu.hk/projects/WIDERFace/WiderFace_Results.html
  71. 71. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ One-Shot Learning: Face Recognition MTCNN:‫شده‬ ‫تشکیل‬ ‫آبشاری‬ ‫شبکه‬ ‫سه‬ ‫از‬ [Zhang et al.,2016, Joint Face Detection and Alignment using Multi-task Cascaded Convolutional Networks]
  72. 72. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ One-Shot Learning: Face Recognition MTCNN:‫شده‬ ‫تشکیل‬ ‫آبشاری‬ ‫شبکه‬ ‫سه‬ ‫از‬ [Zhang et al.,2016, Joint Face Detection and Alignment using Multi-task Cascaded Convolutional Networks] ‫یا‬ ‫پیشنهاددهنده‬ ‫شبکه‬ ،‫اول‬ ‫شبکه‬P-Net ‫بسیار‬‫چهره‬ ‫وجود‬ ‫به‬ ‫مشکوک‬ ‫نواح‬ ‫مام‬ ‫کردن‬ ‫ا‬ ‫پی‬ ‫برای‬ ‫یوک‬.‫ویلا‬ ‫یارع‬ ‫با‬ ‫شوکه‬ ‫این‬‫و‬ ‫باا‬ ‫کن‬ ‫م‬ ‫ا‬ ‫پی‬ ‫ما‬ ‫برای‬ ‫را‬ ‫چهره‬ ‫به‬ ‫مروبط‬ ‫نواح‬ ‫مام‬ ‫و‬ ‫میکن‬ ‫عمل‬ ‫پایین‬ ‫ویل‬ ‫دق‬.‫شاو‬ ‫این‬‫نار‬ ‫که‬ ‫دارد‬ ‫ی‬ ‫با‬ ‫ویل‬ ‫کاذت‬ ‫مثو‬.
  73. 73. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ One-Shot Learning: Face Recognition MTCNN:‫شده‬ ‫تشکیل‬ ‫آبشاری‬ ‫شبکه‬ ‫سه‬ ‫از‬ [Zhang et al.,2016, Joint Face Detection and Alignment using Multi-task Cascaded Convolutional Networks] ‫کننده‬‫محدود‬ ‫شبکه‬ ،‫دوم‬ ‫شبکه‬R-Net ‫ورودی‬ ‫اور‬ ‫شاوکه‬ ‫وروجا‬ ‫ا‬ ‫حاصال‬ ‫صاویر‬ ‫ا‬ ‫شوکه‬ ‫این‬‫گیارد‬ ‫م‬‫پارامترداای‬ ‫اد‬ ‫عا‬ ‫شاوکه‬ ‫ایان‬ ‫؛‬ ‫حذف‬ ‫را‬ ‫ه‬ ‫اش‬ ‫پی‬ ‫اشتواه‬ ‫نواح‬ ‫و‬ ‫دارد‬ ‫بیشتری‬‫کن‬ ‫م‬.
  74. 74. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ One-Shot Learning: Face Recognition MTCNN:‫شده‬ ‫تشکیل‬ ‫آبشاری‬ ‫شبکه‬ ‫سه‬ ‫از‬ [Zhang et al.,2016, Joint Face Detection and Alignment using Multi-task Cascaded Convolutional Networks] ‫یا‬ ‫خروجی‬ ‫شبکه‬ ،‫سوم‬ ‫شبکه‬O-Net ‫ایا‬ ‫ر‬ ‫کن‬ ‫و‬ ‫ر‬ ‫ه‬ ‫پیچی‬ ‫قول‬ ‫شوکه‬ ‫دو‬ ‫ا‬ ‫شوکه‬ ‫این‬ ‫یه‬ ‫اد‬ ‫ع‬ ‫و‬ ‫پارامتر‬ ‫اد‬ ‫ع‬ ‫لباظ‬ ‫ا‬.‫کاار‬‫باه‬ ‫شاویه‬ ‫ی‬ ‫ع‬ ‫یا‬ ‫وجود‬ ‫قطعی‬ ‫به‬ ‫و‬ ‫برد‬ ‫م‬ ‫با‬ ‫را‬ ‫شوکه‬ ‫دق‬ ‫و‬ ‫د‬ ‫می‬ ‫انجا‬ ‫ه‬ ‫مان‬ ‫باق‬ ‫نواح‬ ‫روی‬ ‫بر‬ ‫دو‬ ‫شوکه‬‫وجود‬ ‫شاو‬ ‫یاه‬ ‫دار‬ ، ‫کنا‬ ‫م‬ ‫مشاچر‬ ‫را‬ ‫ه‬ ‫ش‬ ‫داده‬ ‫شچیر‬ ‫قول‬ ‫شوکه‬ ‫دو‬ ‫ویط‬ ‫که‬ ‫ه‬ ‫باقیمان‬ ‫نواح‬ ‫در‬ ‫چهره‬‫که‬ ‫کردن‬ ‫ا‬ ‫پی‬ ‫به‬ ‫دمزمان‬landmark‫نظیار‬ ‫چهاره‬ ‫داای‬‫دا‬‫چشام‬‫و‬ ‫بینا‬ ‫و‬alignment‫دام‬ ‫نقاا‬ ‫دارد‬ ‫نیز‬ ‫نقا‬ ‫این‬ ‫برای‬ ‫ی‬ ‫با‬ ‫رگرییون‬ ‫دق‬ ‫آور‬ ‫شوکه‬ ‫نهای‬ ‫در‬ ‫که‬ ‫ن‬ ‫میپردا‬.
  75. 75. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ One-Shot Learning: Face Recognition ‫فرعی‬ ‫کار‬MTCNN:landmark‫چهره‬ ‫های‬! [Zhang et al.,2016, Joint Face Detection and Alignment using Multi-task Cascaded Convolutional Networks]
  76. 76. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ One-Shot Learning: Face Recognition ‫خالصه‬MTCNN ‫خالصه‬: ‫چهره‬ ‫شچیر‬ ‫روش‬(Face Detection)‫عمیق‬ ‫یادگیری‬ ‫بر‬ ‫موتن‬ ‫ه‬ ‫ش‬ ‫شکیل‬ ‫متوال‬ ‫عمیق‬ ‫شوکه‬ ‫یه‬ ‫ا‬ ‫دمراه‬ ‫به‬ ‫چهره‬ ‫وجود‬ ‫ع‬ ‫یا‬ ‫وجود‬5‫گردان‬ ‫برم‬ ‫را‬ ‫چهره‬ ‫ا‬ ‫نقطه‬. ‫ای‬ ‫کن‬ ‫روش‬ ‫این‬. ‫ها‬‫سازی‬ ‫پیاده‬: MTCNN_face_detection_alignment(caffe)–‫مقاله‬ ‫ریم‬ ‫ک‬ https://github.com/kpzhang93/MTCNN_face_detection _alignment davidsandberg/facenet(Tensorflow) https://github.com/davidsandberg/facenet/tree/master /src/align
  77. 77. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ One-Shot Learning: Face Recognition 02_FaceDetection&Alignment-MTCNN.ipynb Let’s code… ‫چهره‬ ‫تشخیص‬
  78. 78. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ One-Shot Learning: Face Recognition ‫بخش‬5: ‫کارایی‬ ‫بهبود‬
  79. 79. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ One-Shot Learning: Face Recognition ‫ترفند‬:‫داده‬ ‫افزونگی‬augmentation–‫روش‬1 ‫تست‬ ‫زمان‬ ‫در‬ ‫داده‬ ‫افزونگی‬(Test time augment:) Flip‫صویر‬ ‫کردن‬ ‫دو‬ ‫مبایوه‬embedding ‫گیری‬ ‫میانگین‬
  80. 80. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ One-Shot Learning: Face Recognition ‫ترفند‬:‫داده‬ ‫افزونگی‬augmentation–‫روش‬2 ‫تست‬ ‫زمان‬ ‫در‬ ‫داده‬ ‫افزونگی‬(Test time augment:) Flip‫صویر‬ ‫کردن‬ ‫دو‬ ‫مبایوه‬embedding ‫ن‬ ‫چسوان‬
  81. 81. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ One-Shot Learning: Face Recognition ‫با‬ ‫چهره‬ ‫نگاشت‬۵‫صور‬ ‫نقطه‬ 160 160 https://github.com/Alireza-Akhavan/class.vision/blob/master/17-Perspective%26AffineTransforms.ipynb
  82. 82. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ One-Shot Learning: Face Recognition 04_MTCNN-wrap-with-landmarks.ipynb Let’s code… Affine Transform
  83. 83. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ One-Shot Learning: Face Recognition Angular Softmax loss
  84. 84. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ One-Shot Learning: Face Recognition
  85. 85. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ One-Shot Learning: Face Recognition [Weiyang et al.,2017, SphereFace: Deep Hypersphere Embedding for Face Recognition]
  86. 86. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ One-Shot Learning: Face Recognition [Weiyang et al.,2017, SphereFace: Deep Hypersphere Embedding for Face Recognition]
  87. 87. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ One-Shot Learning: Face Recognition [Weiyang et al.,2017, SphereFace: Deep Hypersphere Embedding for Face Recognition] ℒ 𝑠 = − ෍ 𝑖=1 𝑚 log 𝑒 𝑤 𝑦 𝑖 𝑇 𝑥 𝑖+ 𝑏 𝑦 𝑖 σ 𝑗=1 𝑛 𝑒 𝑤 𝑗 𝑇 𝑥 𝑖+ 𝑏 𝑗
  88. 88. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ One-Shot Learning: Face Recognition [Weiyang et al.,2017, SphereFace: Deep Hypersphere Embedding for Face Recognition] ‫مقدار‬m‫برای‬ ‫مختلف‬ ‫های‬Angular Softmax m=1 m=3
  89. 89. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ One-Shot Learning: Face Recognition [Weiyang et al.,2017, SphereFace: Deep Hypersphere Embedding for Face Recognition] Angular Softmax
  90. 90. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ One-Shot Learning: Face Recognition [Weiyang et al.,2017, SphereFace: Deep Hypersphere Embedding for Face Recognition] Angular Softmax
  91. 91. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ One-Shot Learning: Face Recognition ‫خالصه‬Angular Softmax ‫خالصه‬: ‫دشوار‬ ‫نسوتا‬ ‫دمگرای‬ ‫ها‬‫سازی‬ ‫پیاده‬: wy1iu/sphereface(caffe)–‫مقاله‬ ‫ه‬ ‫نویسن‬ ‫ویط‬ ‫ه‬ ‫ش‬ ‫منتشر‬ ‫ریم‬ ‫ک‬ https://github.com/wy1iu/sphereface LFW Megaface Angular Softmax 99.4% 72.72%
  92. 92. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ One-Shot Learning: Face Recognition Am Softmax
  93. 93. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ One-Shot Learning: Face Recognition [Wang et al.,2018, Additive Margin Softmax for Face Verification] Additive Margin Softmax
  94. 94. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ One-Shot Learning: Face Recognition ‫خالصه‬AMSoftmax ‫خالصه‬: ‫ووت‬ ‫نسوتا‬ ‫دمگرای‬ ‫یاده‬ ‫دمگرای‬ ،‫ووت‬ ‫کارای‬ ‫ها‬‫سازی‬ ‫پیاده‬: (caffe)–‫مقاله‬ ‫ه‬ ‫نویسن‬ ‫ویط‬ ‫ه‬ ‫ش‬ ‫منتشر‬ ‫ریم‬ ‫ک‬ https://github.com/happynear/AMSoftmax
  95. 95. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ One-Shot Learning: Face Recognition ArcFace
  96. 96. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ One-Shot Learning: Face Recognition [Deng et al.,2018, ArcFace: Additive Angular Margin Loss for Deep Face Recognition] ArcFace
  97. 97. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ One-Shot Learning: Face Recognition [Deng et al.,2018, ArcFace: Additive Angular Margin Loss for Deep Face Recognition] ArcFace
  98. 98. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ One-Shot Learning: Face Recognition ‫خالصه‬ArcFace ‫ها‬‫سازی‬ ‫پیاده‬: (MXNet)–‫مقاله‬ ‫ه‬ ‫نویسن‬ ‫ویط‬ ‫ه‬ ‫ش‬ ‫منتشر‬ ‫ریم‬ ‫ک‬ https://github.com/deepinsight/insightface
  99. 99. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ One-Shot Learning: Face Recognition ‫ایران‬ ‫دای‬ ‫چهره‬ ‫داده‬ ‫مجموعه‬ http://iran-celeb.ir/ ‫ودی‬ ‫به‬...
  100. 100. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ One-Shot Learning: Face Recognition ‫منابع‬ • https://www.coursera.org/specializations/deep-learning • http://blog.class.vision/winter-96-97-syllabus/ • http://www.highload.ru/2017/abstracts/3044.html • https://medium.com/@ahmdtaha/facenet-a-unified-embedding-for-face- recognition-and-clustering-7d34abde9 • http://ydwen.github.io/papers/WenECCV16-poster.pdf • https://arxiv.org/abs/1503.03832 • https://ydwen.github.io/papers/WenECCV16.pdf • https://arxiv.org/abs/1704.08063 • https://arxiv.org/abs/1801.05599 • https://arxiv.org/abs/1801.07698 100 ‌‫‌شنبه‬‫ر‬‫چها‬-۲۹‌‫فروردین‬

×