ArcFace: Additive Angular Margin Loss for Deep Face Recognition

Copyright © 2020 調和系工学研究室 - 北海道大学大学院情報科学研究院情報理工学部門複合情報工学分野 – All rights reserved.
DLゼミ
ArcFace: Additive Angular Margin
Loss for Deep Face Recognition
北海道大学大学院情報科学研究院
情報理工学部門複合情報工学分野調和系工学研究室
D1 森雄斗

論文情報
• タイトル
– ArcFace: Additive Angular Margin Loss for Deep Face
Recognition
• 著者
– Jiankang Deng*1, Jia Guo* 2, Niannan Xue 1, Stefanos
Zafeiriou 1
• 1 Imperial College London
• 2 InsightFace
• * equal contribution
• 発表
– IEEE/CVF conference on computer vision and pattern
recognition 2019

3
概要
• メトリックラーニングを用いた顔認識モデルモ
デルの一つ
– Sofmax-loss の拡張
• Additive Angular Margin Loss (ArcFace)を提案
– 正解クラスの場合、角度空間にマージンを追加
• 先行研究に比べて高精度を記録

4
DCNNを用いた顔認識
• クラス内距離が小さく、クラス間距離が大き
い特徴量にマッピングする

5
DCNNの顔認識の関連技術
• Softmax-loss[1] • Triplet-loss[2]
[1] Liu, Weiyang, et al. "Large-margin softmax loss for convolutional neural networks." arXiv preprint arXiv:1612.02295 (2016).
[2] Wang, Jiang, et al. "Learning fine-grained image similarity with deep ranking." Proceedings of the IEEE conference on
computer vision and pattern recognition. 2014.
𝐿𝑠𝑜𝑓𝑡𝑚𝑎𝑥 = −
1
𝑁
𝑖=1
𝑁
log
𝑒
𝑊𝑦𝑖𝑥𝑖+𝑏𝑦𝑖
𝑇
𝑗=1
𝑛
𝑒𝑊𝑗
𝑇𝑥𝑖+𝑏𝑗
学習
positive
positive
negative
negative
anchor
anchor
margin
margin
margin
margin

6
顔認識技術の問題点
• Softmax-loss
– 線形変換行列のサイズは識別ラベル数に対して線形
に増加
– 学習した特徴は閉集合分類問題では分離可能だが、
開集合顔認識問題では識別率が十分でない
= 学習した人（特徴）以外の識別性の低下
• Triplet-loss
– 大規模データセットでは組み合わせが爆発的に増加
– Semi-hard sample miningは学習にとって困難な問題
となる

7
顔認識技術の問題点
• Softmax-loss
– 線形変換行列のサイズは識別ラベル数に対して線形
に増加
– 学習した特徴は閉集合分類問題では分離可能だが、
開集合顔認識問題では識別率が十分でない
= 学習した人（特徴）以外の識別性の低下
• Triplet-loss
– 大規模データセットでは組み合わせが爆発的に増加
– Semi-hard sample miningは学習にとって困難な問題
となる
[3] Kaya, Mahmut, and Hasan Şakir Bilge. "Deep metric learning: A survey." Symmetry 11.9 (2019): 1066.
[3] より引用
判別が困難なサンプル組

各特徴ベクトルとそのクラス中心との
ユークリッド距離であるcenter loss[4]
クラス内のコンパクト性を得た
しかし、顔クラス数の飛躍的な増加したため
学習が困難に
8
Softmax-lossの発展
Softmax-loss
Center Loss
Sphereface
CosFace
2016
2017
2018
2016
[4] Wen, Yandong, et al. "A discriminative feature learning approach for deep face recognition." European conference on computer vision.
Springer, Cham, 2016.

• DCNNの最終層の全結合層の重みが各顔ラベルの中心
と概念的に類似していることを利用
• クラス内のコンパクト性とクラス間不一致性を同時に
強化する乗法的角度余裕ペナルティを提案と角度マー
ジン (SphereFace[5] )の提案
しかし、損失関数の計算に一連の近似が必要であり、
結果として、ネットワークの学習が不安定となった
9
Softmax-loss
Center Loss
Sphereface
CosFace
2016
2017
2018
2016
[5] Liu, Weiyang, et al. "Sphereface: Deep hypersphere embedding for face recognition." Proceedings of the IEEE conference on computer
vision and pattern recognition. 2017.

Softmax-lossを含むハイブリッドな損失関数を提案
= CosFace[6]
直接コサインマージンペナルティを加えることで
SphereFaceより高性能を得た
10
Softmax-loss
Center Loss
Sphereface
CosFace
2016
2017
2018
2016
[6] Wang, Hao, et al. "Cosface: Large margin cosine loss for deep face recognition." Proceedings of the IEEE conference on computer vision
and pattern recognition. 2018.

11
提案手法
𝐿1 = −
1
𝑁
𝑖=1
𝑁
log
𝑒
𝑇
𝑗=1
𝑛
𝑒𝑊𝑗
𝑑 : 埋め込み特徴量の次元数
𝑥𝑖 ∈ ℝ𝑑 : 𝑖番目サンプルの特徴量
𝑦𝑖 : 𝑖番目サンプルのクラス
𝑁 : バッチサイズ
𝑛 : クラス数
𝑊
𝑗 ∈ ℝ𝑑
: 𝑗番目の重み 𝑊 ∈ ℝ𝑑×𝑛
𝑏𝑗 ∈ ℝ𝑑
: バイアス項
一般的なSoftmax-loss
1. 簡略化のため、𝑏𝑗 = 0 とする
2. 𝑊
𝑗
𝑇
𝑥𝑖 = 𝑊
𝑗 𝑥𝑖 𝑐𝑜𝑠𝜃𝑗 (𝜃𝑗 は 𝑊
𝑗 と 𝑥𝑖 の間の角度)
3. 𝑙2正規化より、 𝑊
𝑗 = 1
4. 𝑙2正規化とre-scaleを行い、埋め込み特徴量 𝑥𝑖 = 𝑠
→ 埋め込み特徴量が半径𝑠 の超球面に分布
SphereFaceと同じ処理
𝐿2 = −
1
𝑁
𝑖=1
𝑁
log
𝑒𝑠 𝑐𝑜𝑠𝜃𝑦𝑖
𝑒𝑠 𝑐𝑜𝑠𝜃𝑦𝑖 + 𝑗=1,𝑗≠𝑦𝑖
𝑛
𝑒𝑠 𝑐𝑜𝑠𝜃𝑗

12
提案手法
𝐿1 = −
1
𝑁
𝑖=1
𝑁
log
𝑒
𝑇
𝑗=1
𝑛
𝑒𝑊𝑗
𝑥𝑖 ∈ ℝ𝑑
: 𝑖番目サンプルの特徴量
𝑑 : 埋め込み特徴量の次元数
𝑛 : クラス数
𝑊
𝑗 ∈ ℝ𝑑
: 𝑗番目の重み 𝑊 ∈ ℝ𝑑×𝑛
𝑏𝑗 ∈ ℝ𝑑
: バイアス項
一般的なSoftmax-loss
1. 簡略化のため、𝑏𝑗 = 0 とする
2. 𝑊
𝑗
𝑇
𝑥𝑖 = 𝑊
𝑗 𝑥𝑖 𝑐𝑜𝑠𝜃𝑗 (𝜃𝑗 は 𝑊
𝑗 と 𝑥𝑖 の間の角度)
3. 𝑙2正規化より、 𝑊
𝑗 = 1
4. 𝑙2正規化とre-scaleを行い、埋め込み特徴量 𝑥𝑖 = 𝑠
→ 埋め込み特徴量が半径𝑠 の超球面に分布
SphereFaceと同じ処理
𝐿2 = −
1
𝑁
𝑖=1
𝑁
log
𝑛
SphereFaceの途中式

13
提案手法
𝐿2 = −
1
𝑁
𝑖=1
𝑁
log
𝑛
𝑛 : クラス数
𝑠 : 埋め込み特徴量
𝜃𝑗 : 𝑗番目の重みと特徴量間の角度
𝑥𝑖 と 𝑊
𝑦𝑖
の間に Additive angular margin penalty 𝒎 を加える
→ クラス内のコンパクト性とクラス間の不一致を同時に強める
(クラス内の特徴量の分散を小さく、クラス間の特徴量の分散を大きく)
𝐿3 = −
1
𝑁
𝑖=1
𝑁
log
𝑒𝑠 (𝑐𝑜𝑠(𝜃𝑦𝑖
+𝒎))
𝑒𝑠 (𝑐𝑜𝑠(𝜃𝑦𝑖
+𝒎))
+ 𝑗=1,𝑗≠𝑦𝑖
𝑛

14
提案手法
1クラス約1500枚を含む8クラスの顔画像を
2次元特徴埋め込みネットワークで学習
クラス内のコンパクト性とクラス間の不一致を実現

15
SphereFaceとCosFaceとの比較
• 先行研究にはない幾何学的属性を持つ
• 全区間を通して一定の線形角度の余裕を持つ
2値分類の判定境界の比較

16
実験設定
• データセット
– 顔認識関係
• 埋め込みネットワーク
– ResNet50、ResNet100
– 最終層の次元数 𝑑 は514
• ハイパーパラメータ
– 特徴量スケール 𝑠 : 64 (CosFaceと同じ数値)
– 角度マージン 𝑚 : 0.5 (3.2. Ablation Study on Lossesで決定)
– バッチサイズ: 512
• 環境
– NVIDIA Tesla P40 (24GB) × 4台
データセット一覧

17
LFW, YTF, CALFW, CPLFWの結果
• 一般的なデータセットで学習
– LFW: 13000枚, 5700ラベル(人)
• 類似研究より優れた性能を持つ
類似研究との性能評価 (%)
LFW

18
MegaFaceの結果
• 大規模のデータセット
– 690Kのユニークユーザ、1Mの画像
– 検証はFaceScrubを使用
Id : rank-1の正答率
Ver: False Accept Rate が10−6に
おけるTrue Accept Rate
R : prob set と 1M distractorを使う

19
まとめ
• メトリックラーニングを用いた顔認識モデルモ
デルの一つ
– Sofmax-loss の拡張
• Additive Angular Margin Loss (ArcFace)を提案
– 正解クラスの場合、角度空間にマージンを追加
• 先行研究に比べて高精度を記録

20
論文発表後の発展 (コンペ)
• Kaggle Happywhale – Whale and Dolphin
Identification (2022年 2-4月)
– クジラやイルカの写真を用いた個体識別のコンペ
– Preferred Networks のチームが優勝[7]
• ArcFaceの拡張である dynamic margin ArcFace で1st
• 上位解法のほとんどがArcFaceを使用
[7] Kaggle Happywhale – Whale and Dolphin Identificationで優勝&10位でソロ金メダルを獲得しました,
https://tech.preferred.jp/ja/blog/kaggle-happywhale-1st-10th-solution/

21
論文発表後の発展 (論文)
• Sub-center ArcFace[8]
– ノイズの多いデータへの対策
• dynamic margin ArcFace[9]
– Google Landmark Recognition 2020 Competitionで
3位の解法
– クラスのサンプル数の偏りを考慮
[8] Deng, Jiankang, et al. "Sub-center arcface: Boosting face recognition by large-scale noisy web faces." European Conference
on Computer Vision. Springer, Cham, 2020.
[9] Ha, Qishen et al. “Google Landmark Recognition 2020 Competition Third Place Solution.” ArXiv abs/2010.05350, 2020.

ArcFace: Additive Angular Margin Loss for Deep Face Recognition

More Related Content

What's hot

Similar to ArcFace: Additive Angular Margin Loss for Deep Face Recognition

More from harmonylab

ArcFace: Additive Angular Margin Loss for Deep Face Recognition

Editor's Notes