Deep face recognition & one-shot learning

‫پور‬ ‫اخوان‬ ‫علیرضا‬
One-Shot Learning: Face Recognition
One-Shot Learning
&
Face Recognition
Alireza Akhavan Pour
1
Thursday, August 30, 2018

‫چهره‬ ‫بازشناسی‬ ‫و‬ ‫عمیق‬ ‫یادگیری‬
‫دوربین‬
‫نظارتی‬ ‫افزار‬ ‫نرم‬

‫کاربردها‬...
‫تشخیص‬ ‫سیستم‬ ‫گیری‬ ‫کار‬ ‫به‬ ‫با‬ ‫چین‬‫چهره‬Skynet‫در‬
‫اخیر‬ ‫سال‬ ‫دو‬2000‫و‬ ‫بازشناسی‬ ‫سیستم‬ ‫توسط‬ ‫که‬ ‫را‬ ‫مجرم‬
‫است‬ ‫کرده‬ ‫دستگیر‬ ‫شد‬ ‫شناسایی‬ ‫چهره‬ ‫تطبیق‬.
www.zerohedge.com/news/2018-03-27/china-deploys-skynet-facial-recognition-can-compare-3-billion-faces-second

‫بانک‬ ‫در‬ABC‫برداشات‬ ‫بارای‬ ‫کاار‬ ‫به‬ ‫نیازی‬ ‫دیگر‬ ‫چین‬
‫ان‬ ‫چهره‬ ‫اسکن‬ ‫با‬ ‫فقط‬ ‫عملیا‬ ‫این‬ ‫و‬ ‫نیست‬ ‫حساب‬ ‫از‬ ‫پول‬‫جام‬
‫شود‬ ‫می‬.
http://www.isna.ir/news/96063118101

‫باا‬ ‫چاین‬ ‫در‬ ‫توالات‬ ‫دستمال‬ ‫حد‬ ‫از‬ ‫بیش‬ ‫مصرف‬ ‫مشکل‬ ‫حل‬
‫چهره‬ ‫بازشناسی‬ ‫الگوریتم‬!
‫طاول‬ ‫به‬ ‫دستمالی‬ ‫قطعه‬ ‫سپس‬ ‫و‬ ‫شده‬ ‫اسکن‬ ‫فرد‬ ‫ی‬ ‫چهره‬ ،‫درخواست‬ ‫بار‬ ‫هر‬ ‫در‬ ‫روش‬ ‫این‬ ‫در‬60‫توساط‬ ‫ساانتیمتر‬
‫میشود‬ ‫داده‬ ‫وی‬ ‫به‬ ‫دستگاه‬.‫برای‬ ‫را‬ ‫فرد‬ ‫چهره‬ ‫تصویر‬ ‫دستگاه‬9‫ایان‬ ‫طاول‬ ‫در‬ ‫و‬ ‫میکند‬ ‫ذخیره‬ ‫دقیقه‬9‫باا‬ ‫دقیقاه‬
‫میکند‬ ‫داری‬ ‫خود‬ ‫فرد‬ ‫به‬ ‫دستمال‬ ‫مجدد‬ ‫ارائه‬ ‫از‬ ‫چهره‬ ‫تطبیق‬ ‫از‬ ‫استفاده‬!!!
http://www.cbc.ca/news/technology/china-facial-recognition-toilet-paper-1.4052888

‫با‬ ‫چهاره‬ ‫شناساایی‬ ‫سیساتم‬ ‫با‬ ‫را‬ ‫مجرم‬ ‫اولین‬ ‫انگلیس‬ ‫در‬‫ا‬
‫کردند‬ ‫دستگیر‬ ‫ون‬ ‫روی‬ ‫شده‬ ‫نصب‬ ‫دوربین‬ ‫تشخیص‬.
https://arstechnica.com/tech-policy/2017/06/police-automatic-face-recognition/

‫گرف‬ ‫عکاس‬ ‫یاک‬ ‫تنها‬ ‫با‬ ‫فرد‬ ‫اجتماع‬ ‫شبکه‬ ‫حساب‬ ‫یافتن‬‫تاه‬
‫روسیه‬ ‫در‬ ‫مترو‬ ‫در‬ ‫شده‬
https://www.pcworld.com/article/3055305/analytics/your-face-is-big-data-the-title-of-this-photographers-experiment-says-it-all.html
‫اپلیکیشن‬FindFace‫برریا‬ ‫باا‬ ‫را‬ ‫کار‬ ‫این‬
‫ا‬ ‫بایا‬ ‫باا‬ ‫مقایسه‬ ‫و‬ ‫فرد‬ ‫ی‬‫چهره‬ ‫عکس‬۲۰۰
‫مبواوت‬ ‫کااربران‬ ‫پروفایل‬ ‫عکس‬ ‫میلیون‬‫رین‬
،‫روییه‬ ‫اجتماع‬ ‫ی‬‫شوکه‬VK،‫ددا‬ ‫م‬ ‫انجاا‬.
‫یپتامور‬ ‫در‬۲۰۱۷‫کرد‬ ‫اعال‬ ‫مسکو‬ ‫شهرداری‬ ،
‫ود‬ ‫ح‬ ‫که‬۵000‫مداربساته‬ ‫دورباین‬‫ایان‬ ‫ی‬
‫کارده‬ ‫اپلیکیشن‬ ‫این‬ ‫به‬ ‫مجهز‬ ‫را‬ ‫شهر‬‫ا‬ ‫تا‬‫فراد‬
‫شناسا‬ ‫خودکار‬ ‫صور‬‫به‬ ‫تعقیب‬ ‫تحت‬‫ایی‬
‫شوند‬.،‫مسکو‬ ‫مقامات‬ ‫ی‬‫گفته‬ ‫به‬ ‫بنا‬‫ز‬ ‫از‬‫ماان‬
،‫تکنولوژی‬ ‫این‬ ‫اندازی‬ ‫راه‬6‫دساتگیر‬ ‫نفر‬
‫اند‬‫شده‬.(‫منوع‬)

‫از‬ ‫استفاده‬ ‫با‬ ‫پاپ‬ ‫کنسر‬ ‫در‬ ‫چین‬ ‫پلیس‬«‫چها‬ ‫تشاخیص‬‫ره‬»
‫کرد‬ ‫دستگیر‬ ‫را‬ ‫مجرم‬
http://www.ubergizmo.com/2018/04/police-arrest-suspect-facial-recognition/
‫ا‬‫ا‬‫جک‬ ‫ارت‬‫ا‬‫کنس‬ ‫در‬ ‫اره‬‫ا‬‫چه‬ ‫اچیر‬‫ا‬‫ش‬ ‫ی‬ ‫او‬‫ا‬‫کنول‬
‫و‬ ‫ه‬ ‫ا‬‫ا‬‫ش‬ ‫ارا‬‫ا‬‫اج‬ ‫ا‬‫ا‬‫چین‬ ‫اوت‬‫ا‬‫مبو‬ ‫ه‬ ‫ا‬‫ا‬‫ووانن‬ ،،‫چونا‬
‫ایا‬ ‫ه‬ ‫ش‬ ‫دیتگیر‬ ‫مجر‬.‫کا‬ ‫کنسار‬ ‫یعنا‬‫ه‬
‫اقل‬ ‫ح‬۶۰‫دزارنفر‬‫داشتن‬ ‫شرک‬ ‫آن‬ ‫در‬.

‫چهره‬ ‫بازشناسی‬ ‫و‬ ‫تایید‬
‫تایید‬(Verification)
o‫ورودی‬:‫نام‬ ،‫تصویر‬/ID
o‫خروجی‬:‫است؟‬ ‫شده‬ ‫ادعا‬ ‫فرد‬ ‫به‬ ‫متعلق‬ ‫واقعا‬ ‫آیا‬ ‫تصویر‬
‫بازشناسی‬(Recognition)
o‫از‬ ‫دیتابیسی‬K‫داریم‬ ‫فرد‬.
o‫شود‬‫می‬ ‫داده‬ ‫ورودی‬ ‫تصویر‬ ‫یک‬.
o‫خروجی‬:ID‫جزو‬ ‫اگر‬ ‫شده‬ ‫بازشناسی‬ ‫فرد‬K‫باشد‬ ‫نفر‬( .‫یا‬«‫نشد‬ ‫شناخته‬!»)

‫آموزش‬ ‫های‬ ‫داده‬ ‫مجموعه‬
‫داده‬‫مجموعه‬CASIA Web-Face
‫شامل‬ ‫داده‬‫مجموعه‬ ‫این‬453453‫ا‬ ‫متفاوت‬ ‫چهره‬ ‫صویر‬۱۰5۷5‫ای‬ ‫فرد‬.
‫این‬‫ای‬ ‫اشتواه‬ ‫و‬ ‫نویز‬ ‫ون‬ ‫ب‬ ‫و‬ ‫پاک‬ ‫داده‬‫مجموعه‬.
www.cbsr.ia.ac.cn/english/CASIA-WebFace-Datab
‫داده‬‫مجموعه‬MS-Celeb-1M
‫شود‬ ‫م‬ ‫مبسوت‬ ‫ری‬ ‫بزرگ‬ ‫ی‬‫داده‬‫مجموعه‬ ‫ب‬ ‫مرا‬‫به‬ ‫داده‬‫مجموعه‬ ‫این‬.
‫ا‬ ‫بیا‬ ‫شامل‬ ‫مجموعه‬ ‫این‬8‫ا‬ ‫متفاوت‬ ‫چهره‬ ‫صویر‬ ‫میلیون‬۱۰۰‫ای‬ ‫فرد‬ ‫دزار‬[4۱.]
‫ای‬ ‫دمراه‬ ‫اشتواه‬ ‫برچسب‬ ‫و‬ ‫نویز‬ ‫با‬ ‫داده‬‫مجموعه‬ ‫این‬ ‫قول‬ ‫بروالف‬.
https://www.microsoft.com/en-us/research/project/ms-celeb-1m-challenge-recognizing-
one-million-celebrities-real-world/
‫داده‬‫مجموعه‬VGGFace2
‫نسچه‬ ‫آکسفورد‬ ‫دانشگاه‬ ‫مبققان‬۲‫ی‬‫داده‬‫مجموعه‬VGGFace‫با‬ ‫را‬3.3۱‫ا‬ ‫صویر‬ ‫میلیون‬9۱3۱‫کردن‬ ‫ارائه‬ ‫مچتلف‬ ‫فرد‬.‫جوی‬‫و‬ ‫جسا‬ ‫کمک‬ ‫با‬ ‫صاویر‬ ‫این‬
‫و‬ ‫نو‬ ، ‫جه‬ ،‫ین‬ ‫نظیر‬ ‫فرد‬ ‫در‬ ‫برای‬ ‫مچتلف‬ ‫غییرات‬ ‫در‬ ‫و‬ ‫ه‬ ‫ش‬‫آوری‬‫جمع‬ ‫گوگل‬ ‫صویر‬...‫دستن‬.‫م‬ ‫ییایا‬ ‫نظیار‬ ‫مچتلفا‬ ‫افاراد‬ ‫شاامل‬ ‫داده‬‫مجموعه‬ ‫این‬،‫اران‬
‫و‬ ‫یگران‬ ‫با‬ ،‫شکاران‬ ‫ور‬...‫فرد‬ ‫در‬ ‫ا‬ ‫قریو‬ ‫طور‬‫به‬ ‫و‬ ‫ای‬3۶۲‫ای‬ ‫موجود‬ ‫مچتلف‬ ‫صویر‬.
http://www.robots.ox.ac.uk/~vgg/data/vgg_face2/

‫ارزیابی‬ ‫داده‬ ‫مجموعه‬LFW

‫ارزیابی‬ ‫داده‬ ‫مجموعه‬MegaFace

‫یک‬ ‫روی‬ ‫از‬ ‫آموزش‬‫برای‬ ‫نمونه‬
‫فرد‬ ‫مجدد‬ ‫بازشناختن‬
One-shot learning
CNN Softmax(5)
‫مشکال‬
o‫کم‬ ‫بسیار‬ ‫تصاویر‬.
o‫شود؟‬ ‫اضافه‬ ‫جدید‬ ‫فرد‬ ‫اگر‬

‫تابع‬ ‫یادگیری‬«‫شباهت‬»(“similarity” function)
d(img1,img2)=‫تصویر‬ ‫دو‬ ‫بین‬ ‫تفاو‬ ‫میزان‬
If d(img1,img2) ≤ 𝜏 ‫یکسان‬
> 𝜏 ‫متفاو‬
4
0.5
6
10
4
6
7
12
«‫پور‬ ‫اووان‬ ‫علیرضا‬»
‫ناشناس‬ ‫فرد‬ ‫صویر‬
Face Verification

[Taigman et. al., 2014. DeepFace closing the gap to human level performance]
Siamese network
⋮ ⋮
𝑥(1)
⋮ ⋮
𝑥(2)
Softmax
128
𝑓(𝑥 1 )
𝑓 𝑥 1
:‫یا‬ ‫گذاری‬ ‫ک‬encoding‫صویر‬𝑥(1)
𝑓(𝑥 2
)
ฮ𝒅 𝒙 𝟏 , 𝒙 𝟐 = ฮ𝒇 𝒙 𝟐 − 𝒇 𝒙 𝟏
𝟐
𝟐

‫نورون‬۱
‫نورون‬۲
‫نورون‬3
‫نورون‬4
‫نورون‬5‫و‬...
DiCarlo and Cox , TICS (2007)
‫خمینه‬ ‫و‬ ‫نرونی‬ ‫فضای‬(manifold)

‫نرونی‬ ‫فضای‬‫بد‬ ‫و‬ ‫خوب‬
DiCarlo and Cox , TICS (2007)

⋮ ⋮
⋮ ⋮
‫فضای‬128‫ای‬encoding‫صاویر‬

⋮
f(𝑥(1))
⋮
‫یادگیری‬ ‫هدف‬
‫عصبی‬ ‫شبکه‬ ‫پارامترهای‬encoding‫یا‬ ‫خروجی‬𝒇 𝒙 𝒊‫دهند‬‫می‬ ‫تشکیل‬ ‫را‬
‫که‬ ‫نحوی‬ ‫به‬ ‫پارامترها‬ ‫یادگیری‬:
‫اگر‬𝑥 𝑖 ,𝑥 𝑗، ‫بودن‬ ‫یکسان‬ ‫فرد‬ ‫دو‬f 𝑥 𝑖 − f 𝑥 𝑗 2
‫شود‬ ‫کوچک‬ ‫ار‬ ‫مق‬.
‫اگر‬𝑥 𝑖 ,𝑥 𝑗، ‫بودن‬ ‫متفاوت‬ ‫فرد‬ ‫دو‬f 𝑥 𝑖 − f 𝑥 𝑗 2
‫شود‬ ‫بزرگ‬ ‫ار‬ ‫مق‬.

‫بخش‬2:
‫متریک‬ ‫یادگیری‬
Metric learning

‫تابع‬Softmax
‒‫بین‬‫می‬ ‫آموزش‬ ‫که‬ ‫هایی‬‫ویژگی‬‫د‬
‫فقط‬separable‫اماا‬ ،‫هساتند‬
discriminative‫نیستند‬!
‒‫کاافی‬ ‫انادازه‬ ‫به‬ ‫ها‬‫ویژگی‬ ‫این‬
‫نیستند‬ ‫موثر‬.

‫به‬ ‫نیاز‬metric learning‫داریم‬!
[Yandong Wen et. al., 2016. A Discriminative Deep Feature Learning Approach for Face Recognition]

‫به‬ ‫نیاز‬metric learning‫داریم‬!
Tightness of the cluster
Discriminative features

𝑥(𝑖)
𝑥(𝑗)
ො𝑦
⋮
f(𝑥(𝑗)
)
⋮
f(𝑥(𝑖)
)
Learning the similarity function
[Taigman et. al., 2014. DeepFace closing the gap to human level performance]
ො𝑦 = 𝜎 σ 𝑘=1
128
𝑤𝑖 𝑓 𝑥(𝑖)
𝑘
− 𝑓 𝑥(𝑗)
𝑘
+ 𝑏ො𝑦 = 𝜎 σ 𝑘=1
128
𝑤𝑖 𝑓 𝑥(𝑖)
𝑘
− 𝑓 𝑥(𝑗)
𝑘
+ 𝑏
𝑓 𝑥(𝑖)
𝑘
− 𝑓 𝑥(𝑗)
𝑘
2
𝑓 𝑥(𝑖)
𝑘 + 𝑓 𝑥(𝑗)
𝑘
𝜒2

‫شده‬ ‫نظار‬ ‫یادگیری‬Face Verification
𝑥 𝑦
0
1
1
0
1
‫متفاوت‬
‫یکسان‬

Triplet loss

Triplet loss
minimize maximize
Positive Negative
Anchor
𝑑(𝐴𝑛𝑐ℎ𝑜𝑟, 𝑃𝑜𝑠𝑖𝑡𝑖𝑣𝑒) + 𝛼 < 𝑑(𝐴𝑛𝑐ℎ𝑜𝑟, 𝑁𝑒𝑔𝑎𝑡𝑖𝑣𝑒)
[Schroff et al.,2015, FaceNet: A unified embedding for face recognition and clustering]

Triplet loss
PositiveAnchor
Anchor Negative
(A) (A)(p) (N)
ԡԡ 𝑓 𝐴 − 𝑓 𝑃 2
2
≤ ԡԡ 𝑓 𝐴 − 𝑓 𝑁 2
2
ԡԡ 𝑓 𝐴 − 𝑓 𝑃 2
2
− ԡԡ 𝑓 𝐴 − 𝑓 𝑁 2
2
≤ 0
+ 𝜶
+ 𝜶 𝑓 𝑖𝑚𝑔 = 0
0 0 margin
𝑑(𝐴, 𝑃) 𝑑(𝐴, 𝑁)
𝑑 𝐴, 𝑃 = 0.6 𝑑 𝐴, 𝑁 = 0.630.2 0.8

‫تابع‬loss
‫داشتن‬ ‫فرض‬ ‫با‬P ,A‫و‬N
ԡ𝓛 𝑨, 𝑷, 𝑵 = 𝒎𝒂𝒙(ԡ 𝒇 𝑨 − 𝒇 𝑷 𝟐 − ԡԡ 𝒇 𝑨 − 𝒇 𝑷 𝟐 + 𝜶 , 𝟎)ԡ𝓛 𝑨, 𝑷, 𝑵 = 𝒎𝒂𝒙(ԡ 𝒇 𝑨 − 𝒇 𝑷 𝟐 − ԡԡ 𝒇 𝑨 − 𝒇 𝑵 𝟐 + 𝜶 , 𝟎)
𝐽 = ෍
𝑖=1
𝑚
𝓛 (𝐴(𝑖)
, 𝑃(𝑖)
, 𝑁(𝑖)
)
‫با‬ ‫دیتاستی‬ ‫اگر‬10.000‫از‬ ‫تصویر‬1000‫از‬ ‫باید‬ ‫باشیم‬ ‫داشته‬ ‫فرد‬
10000‫کنیم‬ ‫استفاده‬ ‫ها‬ ‫تایی‬ ‫سه‬ ‫ساخت‬ ‫برای‬ ‫تصویر‬.

‫ها‬‫تایی‬‫سه‬ ‫انتخاب‬(Triplet‫ها‬)A‫و‬P‫و‬N
‫اگر‬A‫و‬P‫و‬N‫شرط‬ ‫شوند‬ ‫انتخاب‬ ‫تصادفی‬ ‫صور‬ ‫به‬
𝒅 𝑨, 𝐏 + 𝜶 ≤ 𝒅(𝑨, 𝑵)
‫شود‬‫می‬ ‫برآورده‬ ‫راحتی‬ ‫به‬.
‫انتخاب‬Triplet‫آموزش‬ ‫برای‬ ‫که‬ ‫هایی‬«‫سخت‬»‫است‬.
𝒅 𝑨, 𝐏 + 𝜶 ≤ 𝒅(𝑨, 𝑵)
𝒅 𝑨, 𝐏 ≈ 𝒅(𝑨, 𝑵)

‫آموزش‬ ‫داده‬ ‫مجموعه‬(Training set)‫برای‬Triplet Loss
Anchor Positive Negative

‫انتخاب‬Triplet‫ها‬
‫اصلی‬ ‫مشکل‬:
o‫کنیم؟‬ ‫انتچات‬ ‫را‬ ‫دا‬ ‫ای‬ ‫یه‬ ‫چگونه‬
‫حل؟‬ ‫راه‬
o‫انتچات‬Triple‫در‬ ‫یچ‬ ‫دای‬mini-batch‫بزرگ‬(۱۰۰۰<)
Useful triplets = hardest errors
‫انتخاب‬
‫همه‬positive‫ها‬
‫کافی‬ ‫اندازه‬ ‫به‬
‫سخت‬
‫ساده‬ ‫خیلی‬

‫انتخاب‬Triplet‫ها‬:‫تله‬!
minimize maximize
Positive Negative
Anchor
𝑷𝒐𝒔𝒊𝒕𝒊𝒗𝒆 ≈ 𝑵𝒆𝒈𝒂𝒕𝒊𝒗𝒆

‫انتخاب‬Triplet‫ها‬:‫تله‬!‫جای‬ ‫به‬...

‫انتخاب‬Triplet‫ها‬:‫تله‬!
 Selecting hardest negative may lead to the collapse
early in training

‫انتخاب‬
‫همه‬positive‫ها‬
‫سخت‬ ‫خیلی‬
‫ساده‬ ‫خیلی‬
Semi-hard

‫یاده‬ ‫ویل‬!‫ارد‬ ‫ن‬ ‫یادگیری‬ ‫برای‬ ‫چیزی‬ ‫و‬ ‫ای‬ ‫برقرار‬ ‫قول‬ ‫ا‬ ‫شرایط‬!

‫خالصه‬Triplet loss
‫خالصه‬:
‫یایز‬ ‫به‬ ‫نیا‬mini-batch‫کردن‬ ‫ا‬ ‫پی‬ ‫و‬ ‫بزرگ‬margin(𝛼)
‫آدسته‬ ‫و‬ ‫کن‬ ‫دمگرای‬
‫ها‬‫سازی‬ ‫پیاده‬(‫رسمی‬ ‫غیر‬:)
OpenFace(Torch)
https://github.com/cmusatyalab/openface
davidsandberg/facenet(Tensorflow)
https://github.com/davidsandberg/facenet
LFW Megaface
Google’s Facenet 99.63 70.5

Center loss

 Idea: pull the points to
class centroids
Center Loss
[Wen et al.,2016, A discriminative feature learning approach for deep face recognition]

Separable vs Discriminative

A toy example : What’s wrong with Softmax

ℒ 𝑠 = − ෍
𝑖=1
𝑚
log
𝑒 𝑤 𝑦 𝑖
𝑇 𝑥 𝑖+ 𝑏 𝑦 𝑖
σ 𝑗=1
𝑛
𝑒 𝑤 𝑗
𝑇
𝑥 𝑖+ 𝑏 𝑗
𝒎: mini-batch size
𝒏: the number of class
𝒙𝒊: feature vector in 𝑅 𝑑 (d is the feature dimension)
𝒘: 𝑅(𝑑×𝑛)
, 𝒃: 𝑅 𝑛
(bias)
A toy example : What’s wrong with Softmax

‫است؟‬ ‫مناسب‬ ‫بندی‬ ‫خوشه‬ ‫برای‬ ‫ها‬‫ویژگی‬ ‫آیا‬
Separable,
the deep features are not discriminative enough.
by intra-class variation
training set testing set

‫است؟‬ ‫مناسب‬ ‫بندی‬ ‫خوشه‬ ‫برای‬ ‫ها‬‫ویژگی‬ ‫آیا‬
Separable,
the deep features are not discriminative enough.
by intra-class variation
Training Set (50K) Test Set (10K)

‫افزودن‬center loss‫برای‬discriminative‫ها‬‫ویژگی‬ ‫شدن‬!
ℒ 𝐶 =
1
2
෍
𝑖=1
𝑚
𝑥𝑖 − 𝐶 𝑦 𝑖 2
2
𝒎: mini-batch size
𝑪 𝒚 𝒊
: yth class center in d dimension
𝒙𝒊: feature vector in 𝑅 𝑑 (d is the feature dimension)
‫اما‬!𝑪 𝒚 𝒊
‫شود‬ ‫روز‬ ‫به‬ ‫باید‬ ‫ها‬‫ویژگی‬ ‫تغییرا‬ ‫و‬ ‫شبکه‬ ‫آموزش‬ ‫با‬.
‫میانگین‬‫های‬‫ویژگی‬‫کالس‬ ‫هر‬‫در‬‫هر‬iteration

‫نهایی‬ ‫تابع‬ℒ = ℒ 𝑠 + 𝜆 ℒ 𝐶

‫نهایی‬ ‫تابع‬ℒ = ℒ 𝑠 + 𝜆 ℒ 𝐶‫تاثیر‬ ‫و‬𝜆

‫خالصه‬center loss
‫دا‬‫کالس‬ ‫بین‬ ‫ای‬ ‫ج‬ ‫و‬ ‫کالی‬ ‫درون‬ ‫ی‬‫وده‬ ‫ایجاد‬
‫یاده‬ ‫دمگرای‬ ،‫ووت‬ ‫کارای‬
‫ها‬‫سازی‬ ‫پیاده‬:
ydwen/caffe-face(caffe)–‫مقاله‬ ‫ه‬ ‫نویسن‬ ‫ویط‬ ‫ه‬ ‫ش‬ ‫منتشر‬ ‫ریم‬ ‫ک‬
https://github.com/ydwen/caffe-face
https://github.com/davidsandberg/facenet
LFW Megaface
Center Loss 99.28% 65.234%

LFW Megaface
Google’s Facenet 99.63 70.5
Center Loss 99.28% 65.234%
‫نتایج‬ ‫مقایسه‬
‫بین‬100M-200M‫چهره‬ ‫تصویر‬
‫از‬8‫متفاو‬ ‫شخص‬ ‫میلیون‬
0.7‫از‬ ‫چهااره‬ ‫تصااویر‬ ‫میلیااون‬17,189
‫مختلف‬ ‫شخص‬
‫از‬ ‫تنهاا‬ ‫مگاافیس‬ ‫چالش‬ ‫برای‬490‫هازار‬
‫است‬ ‫شده‬ ‫استفاده‬ ‫اموزش‬ ‫برای‬ ‫تصویر‬.

‫بخش‬3:
‫عملی‬ ‫مثال‬

01_Intro2FaceRecognition.ipynb
Let’s code…
‫چهره‬ ‫شناسایی‬ ‫مقدما‬

‫بخش‬4:
‫چهره‬ ‫کردن‬ ‫تراز‬ ‫و‬ ‫تشخیص‬
Face Detection & alignment

‫ها‬ ‫داده‬ ‫مجموعه‬‫چهره‬ ‫تشخیص‬ ‫آموزش‬ ‫برای‬
 Wider
 32k images
 494k faces
 Celeba
 200k images, 10k persons
 Landmarks, 40 binary attributes

‫ها‬ ‫داده‬ ‫مجموعه‬‫چهره‬ ‫تشخیص‬ ‫ی‬
 Wider
 32k images
 494k faces
 Celeba
 200k images, 10k persons
 Landmarks, 40 binary attributes
 FDDB
 2845 images
 5171 faces

‫کالسیک‬ ‫الگوریتم‬Viola-Jones

‫کالسیک‬ ‫الگوریتم‬Viola-Jones:‫آموزش‬

‫کالسیک‬ ‫الگوریتم‬Viola-Jones:inference
‫سازی‬ ‫بهینه‬:
‫نام‬ ‫به‬ ‫هایی‬‫گروه‬ ‫هم‬ ‫با‬ ‫ها‬‫ویژگی‬stage‫دهند‬ ‫تشکیل‬
‫اگر‬patch‫هر‬ ‫در‬ ‫شده‬ ‫انتخاب‬stage‫شود‬ ‫خارج‬ ‫و‬ ‫برگردانده‬ ‫چهره‬ ‫غیر‬ ‫الگوریتم‬ ‫شد‬ ‫َد‬‫ر‬.
Stage 1
Stages
Stage N
yes
Stage 2
yes
Face
‫بیشتر‬ ‫اطالعات‬:‫جلسه‬۲۲

‫کالسیک‬ ‫الگوریتم‬Viola-Jones:‫نتایج‬wider
http://mmlab.ie.cuhk.edu.hk/projects/WIDERFace/WiderFace_Results.html

‫نتایج‬wider‫ها‬ ‫الگوریتم‬ ‫سایر‬ ‫برای‬
http://mmlab.ie.cuhk.edu.hk/projects/WIDERFace/WiderFace_Results.html

MTCNN:‫شده‬ ‫تشکیل‬ ‫آبشاری‬ ‫شبکه‬ ‫سه‬ ‫از‬
[Zhang et al.,2016, Joint Face Detection and Alignment using Multi-task Cascaded Convolutional Networks]

‫یا‬ ‫پیشنهاددهنده‬ ‫شبکه‬ ،‫اول‬ ‫شبکه‬P-Net
‫بسیار‬‫چهره‬ ‫وجود‬ ‫به‬ ‫مشکوک‬ ‫نواح‬ ‫مام‬ ‫کردن‬ ‫ا‬ ‫پی‬ ‫برای‬ ‫یوک‬.‫ویلا‬ ‫یارع‬ ‫با‬ ‫شوکه‬ ‫این‬‫و‬ ‫باا‬
‫کن‬ ‫م‬ ‫ا‬ ‫پی‬ ‫ما‬ ‫برای‬ ‫را‬ ‫چهره‬ ‫به‬ ‫مروبط‬ ‫نواح‬ ‫مام‬ ‫و‬ ‫میکن‬ ‫عمل‬ ‫پایین‬ ‫ویل‬ ‫دق‬.‫شاو‬ ‫این‬‫نار‬ ‫که‬
‫دارد‬ ‫ی‬ ‫با‬ ‫ویل‬ ‫کاذت‬ ‫مثو‬.

‫کننده‬‫محدود‬ ‫شبکه‬ ،‫دوم‬ ‫شبکه‬R-Net
‫ورودی‬ ‫اور‬ ‫شاوکه‬ ‫وروجا‬ ‫ا‬ ‫حاصال‬ ‫صاویر‬ ‫ا‬ ‫شوکه‬ ‫این‬‫گیارد‬ ‫م‬‫پارامترداای‬ ‫اد‬ ‫عا‬ ‫شاوکه‬ ‫ایان‬ ‫؛‬
‫حذف‬ ‫را‬ ‫ه‬ ‫اش‬ ‫پی‬ ‫اشتواه‬ ‫نواح‬ ‫و‬ ‫دارد‬ ‫بیشتری‬‫کن‬ ‫م‬.

‫یا‬ ‫خروجی‬ ‫شبکه‬ ،‫سوم‬ ‫شبکه‬O-Net
‫ایا‬ ‫ر‬ ‫کن‬ ‫و‬ ‫ر‬ ‫ه‬ ‫پیچی‬ ‫قول‬ ‫شوکه‬ ‫دو‬ ‫ا‬ ‫شوکه‬ ‫این‬ ‫یه‬ ‫اد‬ ‫ع‬ ‫و‬ ‫پارامتر‬ ‫اد‬ ‫ع‬ ‫لباظ‬ ‫ا‬.‫کاار‬‫باه‬ ‫شاویه‬ ‫ی‬
‫ع‬ ‫یا‬ ‫وجود‬ ‫قطعی‬ ‫به‬ ‫و‬ ‫برد‬ ‫م‬ ‫با‬ ‫را‬ ‫شوکه‬ ‫دق‬ ‫و‬ ‫د‬ ‫می‬ ‫انجا‬ ‫ه‬ ‫مان‬ ‫باق‬ ‫نواح‬ ‫روی‬ ‫بر‬ ‫دو‬ ‫شوکه‬‫وجود‬
‫شاو‬ ‫یاه‬ ‫دار‬ ، ‫کنا‬ ‫م‬ ‫مشاچر‬ ‫را‬ ‫ه‬ ‫ش‬ ‫داده‬ ‫شچیر‬ ‫قول‬ ‫شوکه‬ ‫دو‬ ‫ویط‬ ‫که‬ ‫ه‬ ‫باقیمان‬ ‫نواح‬ ‫در‬ ‫چهره‬‫که‬
‫کردن‬ ‫ا‬ ‫پی‬ ‫به‬ ‫دمزمان‬landmark‫نظیار‬ ‫چهاره‬ ‫داای‬‫دا‬‫چشام‬‫و‬ ‫بینا‬ ‫و‬alignment‫دام‬ ‫نقاا‬
‫دارد‬ ‫نیز‬ ‫نقا‬ ‫این‬ ‫برای‬ ‫ی‬ ‫با‬ ‫رگرییون‬ ‫دق‬ ‫آور‬ ‫شوکه‬ ‫نهای‬ ‫در‬ ‫که‬ ‫ن‬ ‫میپردا‬.

‫فرعی‬ ‫کار‬MTCNN:landmark‫چهره‬ ‫های‬!

‫خالصه‬MTCNN
‫چهره‬ ‫شچیر‬ ‫روش‬(Face Detection)‫عمیق‬ ‫یادگیری‬ ‫بر‬ ‫موتن‬
‫ه‬ ‫ش‬ ‫شکیل‬ ‫متوال‬ ‫عمیق‬ ‫شوکه‬ ‫یه‬ ‫ا‬
‫دمراه‬ ‫به‬ ‫چهره‬ ‫وجود‬ ‫ع‬ ‫یا‬ ‫وجود‬5‫گردان‬ ‫برم‬ ‫را‬ ‫چهره‬ ‫ا‬ ‫نقطه‬.
‫ای‬ ‫کن‬ ‫روش‬ ‫این‬.
MTCNN_face_detection_alignment(caffe)–‫مقاله‬ ‫ریم‬ ‫ک‬
https://github.com/kpzhang93/MTCNN_face_detection
_alignment
https://github.com/davidsandberg/facenet/tree/master
/src/align

02_FaceDetection&Alignment-MTCNN.ipynb
Let’s code…
‫چهره‬ ‫تشخیص‬

‫بخش‬5:
‫کارایی‬ ‫بهبود‬

‫ترفند‬:‫داده‬ ‫افزونگی‬augmentation–‫روش‬1
‫تست‬ ‫زمان‬ ‫در‬ ‫داده‬ ‫افزونگی‬(Test time augment:)
Flip‫صویر‬ ‫کردن‬
‫دو‬ ‫مبایوه‬embedding
‫گیری‬ ‫میانگین‬

‫ترفند‬:‫داده‬ ‫افزونگی‬augmentation–‫روش‬2
‫تست‬ ‫زمان‬ ‫در‬ ‫داده‬ ‫افزونگی‬(Test time augment:)
Flip‫صویر‬ ‫کردن‬
‫دو‬ ‫مبایوه‬embedding
‫ن‬ ‫چسوان‬

‫با‬ ‫چهره‬ ‫نگاشت‬۵‫صور‬ ‫نقطه‬
160
160
https://github.com/Alireza-Akhavan/class.vision/blob/master/17-Perspective%26AffineTransforms.ipynb

04_MTCNN-wrap-with-landmarks.ipynb
Let’s code…
Affine Transform

Angular Softmax loss

[Weiyang et al.,2017, SphereFace: Deep Hypersphere Embedding for Face Recognition]

ℒ 𝑠 = − ෍
𝑖=1
𝑚
log
𝑒 𝑤 𝑦 𝑖
𝑇 𝑥 𝑖+ 𝑏 𝑦 𝑖
σ 𝑗=1
𝑛
𝑒 𝑤 𝑗
𝑇 𝑥 𝑖+ 𝑏 𝑗

‫مقدار‬m‫برای‬ ‫مختلف‬ ‫های‬Angular Softmax
m=1 m=3

Angular Softmax

‫خالصه‬Angular Softmax
‫دشوار‬ ‫نسوتا‬ ‫دمگرای‬
wy1iu/sphereface(caffe)–‫مقاله‬ ‫ه‬ ‫نویسن‬ ‫ویط‬ ‫ه‬ ‫ش‬ ‫منتشر‬ ‫ریم‬ ‫ک‬
https://github.com/wy1iu/sphereface
LFW Megaface
Angular Softmax 99.4% 72.72%

Am Softmax

[Wang et al.,2018, Additive Margin Softmax for Face Verification]
Additive Margin Softmax

‫خالصه‬AMSoftmax
‫ووت‬ ‫نسوتا‬ ‫دمگرای‬
‫یاده‬ ‫دمگرای‬ ،‫ووت‬ ‫کارای‬
(caffe)–‫مقاله‬ ‫ه‬ ‫نویسن‬ ‫ویط‬ ‫ه‬ ‫ش‬ ‫منتشر‬ ‫ریم‬ ‫ک‬
https://github.com/happynear/AMSoftmax

ArcFace

[Deng et al.,2018, ArcFace: Additive Angular Margin Loss for Deep Face Recognition]
ArcFace

‫خالصه‬ArcFace
(MXNet)–‫مقاله‬ ‫ه‬ ‫نویسن‬ ‫ویط‬ ‫ه‬ ‫ش‬ ‫منتشر‬ ‫ریم‬ ‫ک‬
https://github.com/deepinsight/insightface

‫ایران‬ ‫دای‬ ‫چهره‬ ‫داده‬ ‫مجموعه‬
http://iran-celeb.ir/
‫ودی‬ ‫به‬...

‫منابع‬
• https://www.coursera.org/specializations/deep-learning
• http://blog.class.vision/winter-96-97-syllabus/
• http://www.highload.ru/2017/abstracts/3044.html
• https://medium.com/@ahmdtaha/facenet-a-unified-embedding-for-face-
recognition-and-clustering-7d34abde9
• http://ydwen.github.io/papers/WenECCV16-poster.pdf
• https://arxiv.org/abs/1503.03832
• https://ydwen.github.io/papers/WenECCV16.pdf
100 ‌‫‌شنبه‬‫ر‬‫چها‬-۲۹‌‫فروردین‬

Deep face recognition & one-shot learning

More Related Content

Featured

Deep face recognition & one-shot learning