2020年7月15日 日本ディープラーニング協会主催 CVPR2020技術報告会 角拓夢 LINE株式会社 AIカンパニー AI企画室プロダクトマネージャー AI-SCHOLAR所属 https://jdla.connpass.com/event/177973/

1. 角 拓夢 / Sumi Takumu
LINE株式会社 AIカンパニー
AI企画室 プロダクトマネージャー

2. Mitigating Bias in Face Recognition
using Skewness-Aware Reinforcement Learning
Mei Wang, Weihong Deng
Beijing University of Posts and Telecommunications（日：北京郵電大学）

3. これまで
トレーニングデータセット
顔認識アルゴリズム
• 顔認識で使われる大規模データセット（CASIA-WebFace/VGGFace2/MSCeleb-1M など）は、Google画
像などのWebサイトをスクレイピングして構築されているため、収集されるデータは無造作であり、性別/人
種などの構成が偏っている。
• 近年の高精度な顔認識では、SphereFace/CosFace/ArcFaceなど損失関数に角度距離を用いるアルゴリズ
ムがよく使われている。これらはクラス間にマージンを適用してトレーニングデータ全体の予測精度が最大
になるように学習される。
• トレーニングデータのバイアスと同じ傾向で精度が最大化される。
2015年にディープラーニングが注目されて以降、顔認識は精度向上が最優先されている。
その結果、人種の平等性は疎かになっている。近年、商用の代表的なAPIで人種バイアスが存在することが判明した。

4. トレーニングデータセット
(b) BUPT-Globalface
白人/インド人/アジア人/アフリカ人が、実際社会と同じ構成比になるようにデータを作成。
Project Site: BUPT-Xface + RFW A series of datasets for improving fairness in face recognition
(c) BUPT-Balancedface
白人/インド人/アジア人/アフリカ人の構成比が全て等しくなるようにデータを作成。

5. 顔認識アルゴリズム（損失関数）
• 特徴量間の角度距離で人物を識別する。同じ人物（ID）の特徴量の距離（Intra）がより近く、違う人物（I
D）の特徴量間の距離（Inter）がより遠くにマッピングされるほど識別精度が高くなる。
• 損失関数で設定されるマージンで Intra と Inter が調整される。
• 従来のアルゴリズムでは白人の方が Intra が小さく、Inter が大きい。
ID : 3
ID : 1
ID : 2
Model：ResNet-34, Training dataset：CASIA-Webface
Intra1, Inter1 : BUPT-Globalfaceから500のIDを取得して作成したset-1 datasetで検証した結果
Intra2, Inter2 : RFW (Racial Faces in-the-Wild) で検証した結果
[12] ArcFace: Additive Angular Margin Loss for Deep Face Recognition
＋
ー

6. 顔認識アルゴリズム（損失関数）
• 損失関数のマージンを人種ごとに調整できるように変数化する。
ArcFace / CosFace RL-RBN
[Ref.] CosFace: Large Margin Cosine Loss for Deep Face Recognition

7. 顔認識モデル 強化学習モデル
顔認識モデルの学習
• 顔認識モデルの損失関数LRBN(m)のマージンを人種ごとに最適化するように Agent を強化学習する。
• Agent は人種ごとのマージン（M）と Inter を白人と比べたときのバイアス（B）に応じて
損失関数LRBN(m)のマージンを調整する。

8. BUPT-Balancedfaceにおける人種バイアスの検証
• BUPT-Balancedfaceで学習することで、従来のアルゴリズムでのバイアスも軽減している。
• RL-RBNで全てのアルゴリズムでバイアス（SER）が軽減している。
• BUPT-BalancedfaceとRL-RBNを用いた場合にもっともバイアスを軽減している。
[Ref.] Racial Faces in the Wild (RFW): Reducing Racial Bias by Information Maximization Adaptation Network

9. 依然として白人の精度が高めになる理由
• 非白人の認識精度が画像劣化の影響をより大きく受ける。

10. 顔認識の利便性とリスク
技術の観点
完全にバイアスをなくすことは難しく、Intersectionality も考慮するとより慎重さが求められる。 （アルゴリズム問題）
Clearview AI でもあるように、検証のために合法的にデータを収集することも難しい。（データセット問題）
→ 理想的な公平性・客観性を満たすにはまだ時間がかかりそう。
プロダクトの観点
自社プロダクトでのバイアスを検証をし、性能/特性を正しく認識する。（クオリティチェック）
利便性とリスクを考慮したユースケースでの利用と、その導入方法・オペレーションを検討する。（リスクマネジメント）など
個人認証
スマホやPCのログイン、空港での入出国管理、テーマパークの入場管理など、
本人の同意の下で個人認証（本人確認）の目的で行われる顔認識サービス
公的機関/捜査
警察機関が容疑者の顔写真と犯罪者データベース等の顔画像を捜査目的で
顔照合する顔認識サービス
公共施設等
本人の同意を取得せずに公道や店舗などで不特定多数の人々を対象に行われる
顔認識サービス
○
△ ⼈種差別の問題
⼀部で提供停⽌
[Ref.1] Saving Face: Investigating the Ethical Concerns of Facial Recognition Auditing, Google Research, MIT media Lab., University of Toronto
[Ref.2] SNSからデータを吸い取る顔認識企業「Clearview AI」、各国で排除へ, Forbes JAPAN

11. https://note.com/tkm_sm/n/n950d9d606a47URL：
- なりすまし検出（Anti-Spoofing Protection）
- 偽造検出（Deepfake Detection）
- etc.
CVPR2020のうち、
顔関連の論文をリストアップしています。
興味がある方は是非ご覧ください。
顔関連の論文リスト ‒ CVPR2020

12. THANK YOU