8. M u t u a l L i k e l i h o o d S c o r e ( M L S )
8
2つの画像が本人である尤度は、次のように書ける
𝑝(𝑧𝑖 = 𝑧𝑗) = න 𝑝 𝑧 𝑥𝑖 𝑝 𝑧 𝑥𝑗 𝛿 𝑧𝑖 − 𝑧𝑗 𝑑𝑧𝑖 𝑑𝑧𝑗
これをlog likelihoodにしたものを、類似度指標mutual likelihood score(MLS)として提案
𝑠 𝑥𝑖, 𝑥𝑗 = log 𝑝(𝑧𝑖 = 𝑧𝑗) = −
1
2
𝑙=1
𝐷 (𝜇𝑖
(𝑙)
− 𝜇 𝑗
(𝑙)
)2
𝜎𝑖
2 𝑙
+ 𝜎𝑗
2 𝑙
+ log 𝜎𝑖
2 𝑙
+ 𝜎𝑗
2 𝑙
− 𝑐𝑜𝑛𝑠𝑡
𝑙: 各次元, 𝑐𝑜𝑛𝑠𝑡 =
𝐷
2
(log 2𝜋)
MLSの特性:
・ 分散で特徴を重みづけ ⇒ 信頼できる次元に注目することで識別性能が上がる(はず)
・ 分散をペナルティとして利用 ⇒ 分散が大きい不鮮明画像同士の類似度が下がる
・ ペナルティがあるので、入力のどちらかでも不鮮明なら類似度が下がる
・ 両方が鮮明でかつ特徴が類似している時だけ、類似度が上がる
⇒ 不鮮明画像に起因するジレンマから脱却(したはず)
12. P F E ( M L S / 特 徴 集 約 ) の 有 効 性 検 証 ( 1 / 2 )
12
普通にcos類似度(オリジナル)使うよりは、MLSが有効なケースが多い
- 学習データ少、著者実装による比較: どの損失・評価データでもオリジナルから改善
- 学習データ大、SOTAとの比較: ArcFace以外に対してほぼ優位(Baselineで超えてるのが…)
サチってるLFW,YTFと品質悪くないMF(MegaFace)が評価データだから(ry という言い訳めいた記載有
※1. 提案手法はどちらの評価も64層のResNetを採用。※2. 学習データ(大)ではAM-Softmaxを採用。※3. ArcFaceは収束せず使えなかった。
学習データ少、著者実装による比較
学習データ大、SOTAとの比較
13. P F E ( M L S / 特 徴 集 約 ) の 有 効 性 検 証 ( 2 / 2 )
13
不鮮明画像が多いIJB-A~S(多さは恐らくS>C>A)、向き耐性評価するCFP-FPでだいたいTop(雑)
- IJB-C: FARが低いところでぶっちぎり(に見えるが実はArcFaceには負けてる)
- IJB-S: 検索性能ではMLSで基本性能低下も、スコアが重要になるFAR基準では〇
また、低品質同士のマッチングが起きるSurveillance同士の検索では〇
※1. Surveillance-to-Single, Surveillance-to-Booking,は検索DBに正面向き高品質画像しか含まれていない
※2. IJB-Sはまだ公開されてないようで、ここの研究チームしか評価してない(C-FANも同じチーム)
向き耐性
射影による特徴変換
向き耐性
特徴集約
特徴集約
学習データ
特徴集約
損失関数(的なの)
IJB-S
95.6%ArcFace >90.0%
14. ( 関 連 ) A r c F a c e で ダ メ な ら A i r F a c e
14
ArcFace収束しないんですけど(怒)という方はチェックしても良いかも
ICCV2019で初開催のLightweight Face Recognition Challenge(軽量顔認識コンペ)で、
2位になった(と論文に書いてある)手法がAirFace:Lightweight and Efficient Model for Face Recognition
軽量モデルでArcFace収束しないからちょっと弄ってみたよという話(雑)
※ ロス切り替えながらFineTuning繰り返すとか泥臭いことも書いてて手法自体がどこまで使えるのか少し疑わしい気も…
本論文もAirFace使えてればArcFaceに負けずに済んだかも(適当)
ArcFace
AirFace
15. D e c o d e r を 使 っ た 分 析
15
特徴を画像にdecodeするNWを学習し、PFEの分布からサンプリングした特徴をdecode
- 鮮明(分散小)な上段の画像: ほぼ同じ顔が復元可能
- 不鮮明(分散大)な中段の画像: 上段に比べ復元した顔にばらつきあり
- 非顔(分散特大)な下段の画像: めちゃばらつく。目のような特徴的な部分が識別不能
⇒ 非顔を入力すると、モデルは顔の顕著な特徴を見いだせない(⇒だからエラーになる)