ABEJA Innovation Meetupでお話した内容です。 https://abeja-innovation-meetup.connpass.com/event/148827/ ABEJA Insight for Retailは店舗内に設置したカメラで来店者の属性分析を行うことで、リアル空間をデータ化・可視化するサービスです。 本スライドでは、ABEJA Insight for Retailの背後で動いている顔認識・デモグラ推定モデルの理論背景や、研究成果についてお話ししています。 本Talkでは、主に研究よりのお話をしていますが、研究成果をいかに運用に載せていくかという対になるTalk（中川さんによるもの）はこちらです。 https://www.slideshare.net/yutanakagawa2/100-181760824

1. Oct 10th, 2019
Tatsuya Shirakawa
Retail Face Analysis
Inside-Out

2. Tatsuya Shirakawa
2
ABEJA, Inc. (Researcher)
- Deep Learning (CV, Graph, NLP, )
- Machine Learning
Github https://github.com/TatsuyaShirakawa
NTT Data Mathematical Systems Inc.
- Mathematical Optimization
- Machine Learning / Deep Learning
Math.
Tech blog http://tech-blog.abeja.asia/
- 異空間への埋め込み！Poincare Embeddingsが拓く表現学習の新展開
- 機は熟した！グラフ構造に対するDeep Learning、Graph Convolutionのご紹介
- 双曲空間でのMachine Learningの最近の進展
- より良い機械学習のためのアノテーションの機械学習
Now

3. LabsのResearcherの仕事
1. イケててヤバい新規事業の創出
2. 新しい技術や領域にたいするチャレンジ
3. 深い理解にもとづくコアモデル・アルゴリズムの開発
4. 社内外相談役
…
3

4. 今回は、ABEJA Insight for Retailの
顔認識・デモグラ推定技術
についてResearcherの⽴場からお話します。
4

5. Face Analysis
5

6. Face Analysis
6
主な提供機能
1.顔からの年齢性別推定（デモグラ）
2.顔からの⼈物推定（リピーター）

7. Face AnalysisのInput/Outputイメージ
7
z
Input Video
[0] Male, 25 years old, New
[1] Male, 30 years old, Repeater
[2] Male, 24 years old, Repeater
?

8. Face Analysis Flow
8※ subtle modification for ease of explanation
Camera
Dashboard
Analysis Core
Cloud System

9. Face Journey
9
Input Video
Detection
& Tracking
Tracks
Scoring
& Filtering
Filtered Tracks
=
x x
x
x
x
x x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
Embedding
0 10 20 30 40 50 60 70
♂
♂
♂
♂
♂
♂
♂
Gender & Age
Prediction
[0] Male, 25 years old, New
[1] Male, 30 years old, Repeater
[2] Male, 24 years old, Repeater
Result
Aggregate
XX
XX X
XXXXXX
X X X XX
X
※ subtle modification for ease of explanation

10. Detection & Tracking
10
Input Video
Detection
& Tracking
Tracks
Scoring
& Filtering
Filtered Tracks
=
XX
XX X
XXXXXX
X X X XX
X x x
x
x
x
x x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
Embedding
0 10 20 30 40 50 60 70
♂
♂
♂
♂
♂
♂
♂
Gender & Age
Prediction
[0] Male, 25 years old, New
[1] Male, 30 years old, Repeater
[2] Male, 24 years old, Repeater
Result
Integrate
⼊⼒動画から顔を検出し、連続フレーム間の同⼀⼈物の顔を
連結する（トラッキング）
難しさ
• 顔をなるべく⾼速にもれなく検出する
• 顔ではないものを検出しない
• ⾮⽣体由来の顔（ポスター、サイネージ）に反応しない
• トラッキング時、かならず同⼀⼈物同⼠を結びつける
• トラックをむやみにぶつ切りにしない

11. 11※ 本番はMovieでした。

12. 12
Track = 同⼀⼈物の連続した顔の系列
いろんな品質の顔画像が混ざっている…

13. Face Journey
13
Input Video
Detection
& Tracking
Tracks
Scoring
& Filtering
Filtered Tracks
=
x x
x
x
x
x x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
Embedding
0 10 20 30 40 50 60 70
♂
♂
♂
♂
♂
♂
♂
Gender & Age
Prediction
[0] Male, 25 years old, New
[1] Male, 30 years old, Repeater
[2] Male, 24 years old, Repeater
Result
Aggregate
XX
XX X
XXXXXX
X X X XX
X
※ subtle modification for ease of explanation

14. Scoring & Filtering
14
z
Input Video
Detection
& Tracking
Tracks
Scoring
& Filtering
Filtered Tracks
=
x x
x
x
x
x x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
Embedding
0 10 20 30 40 50 60 70
♂
♂
♂
♂
♂
♂
♂
Gender & Age
Prediction
[0] Male, 25 years old, New
[1] Male, 30 years old, Repeater
[2] Male, 24 years old, Repeater
Result
Integrate
顔画像の品質を計算し、認識に不向きな顔画像
を除外する。
XX
XX X
XXXXXX
X X X XX
X
研究の蓄積がすくなく、アプリケーションに応じて
独⾃に⽅法を考案する必要がある。。。
そもそもよい顔ってなに？
• 正⾯向き？
• オクルージョンしてない？
• ノイズが乗っていない？
• 変顔してない？
…

15. 考案⼿法 Error Regression Networks (ERNs) ※ 未発表
顔認識モデルの認識誤差を予測するモデル
「そのモデルを適⽤したときに、どれくらい誤差が出てしまうか？」
「良い顔」にたいする複雑で多様なルールが不要で、かつ、
追加のアノテーションなしで半⾃動的にスコアリングを学習することが可能
15

16. ERNsの中⾝
顔認識の場合は下記の2点間の距離を回帰するモデル。
(1) 与えられた顔画像のEmbedding（後述）
(2) 顔画像が表す⼈物の全顔画像のEmbeddingから求めた中⼼ベクター
16
観察
Large distortion ⇔ Noisy
• 経験的には⼩さいモデルで⼗分
• 追加の教師データ不要（顔認識データセットがあればよい）
• 顔認識にとって最適化された品質推定が可能

17. ERNs on VGGFace2
17
Q. Cao+, “VGGFace2: A dataset for recognising face across pose and age”, 2018

18. 18
ERNによるスコアリング（lower is better）

19. 19
品質の低い顔（e.g. > 0.95）を除外する

20. Face Journey
20
Input Video
Detection
& Tracking
Tracks
Scoring
& Filtering
Filtered Tracks
=
x x
x
x
x
x x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
Embedding
0 10 20 30 40 50 60 70
♂
♂
♂
♂
♂
♂
♂
Gender & Age
Prediction
[0] Male, 25 years old, New
[1] Male, 30 years old, Repeater
[2] Male, 24 years old, Repeater
Result
Aggregate
XX
XX X
XXXXXX
X X X XX
X
※ subtle modification for ease of explanation

21. Embedding
21
z
Input Video
Detection
& Tracking
Tracks
Scoring
& Filtering
Filtered Tracks
=
x x
x
x
x
x x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
Embedding
0 10 20 30 40 50 60 70
♂
♂
♂
♂
♂
♂
♂
Gender & Age
Prediction
[0] Male, 25 years old, New
[1] Male, 30 years old, Repeater
[2] Male, 24 years old, Repeater
Result
Integrate
顔画像から特徴ベクター（e.g. 128次元、512次元）を抽出する。
XX
XX X
XXXXXX
X X X XX
X
難しさ
• 異なる⼈物からの⼤量の顔画像が必要
• ⼀般に、⼤きなモデルのほうが精度が出やすく、取り回しが悪い
• 精度のよいデータセットを作るのが困難

22. あとで顔認識については深堀りするので、
いったん全体図を説明します。
22

23. Face Journey
23
Input Video
Detection
& Tracking
Tracks
Scoring
& Filtering
Filtered Tracks
=
x x
x
x
x
x x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
Embedding
0 10 20 30 40 50 60 70
♂
♂
♂
♂
♂
♂
♂
Gender & Age
Prediction
[0] Male, 25 years old, New
[1] Male, 30 years old, Repeater
[2] Male, 24 years old, Repeater
Result
Aggregate
XX
XX X
XXXXXX
X X X XX
X
※ subtle modification for ease of explanation

24. Gender Age Prediction
24
z
Input Video
Detection
& Tracking
Tracks
Scoring
& Filtering
Filtered Tracks
=
x x
x
x
x
x x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
Embedding
0 10 20 30 40 50 60 70
♂
♂
♂
♂
♂
♂
♂
Gender & Age
Prediction
[0] Male, 25 years old, New
[1] Male, 30 years old, Repeater
[2] Male, 24 years old, Repeater
Result
Integrate
顔画像から年齢性別を推定するXX
XX X
XXXXXX
X X X XX
X
難しさ
• 実的年齢か⾒た⽬年齢か
• ⾒た⽬年齢アノテーションは困難
• 実的年齢付きデータの取得は困難
• 顔だけから推定する難しさ
• 研究として最近流⾏ってない…

25. 実年齢 vs ⾒た⽬年齢
20台半ばを中⼼に、実年齢 - ⾒た⽬の正負の⼊れ替わりが起きる？
（アノテーションの認知バイアス）
25
APPA-REALを解析 (http://chalearnlap.cvc.uab.es/dataset/26/description/)

26. 年齢性別推定については
他にも楽しい話題はありますが、
時間の関係で割愛します。。。
26
https://www.slideshare.net/daynap1204/ss-148900621
興味がある⽅はこちら

27. Face Journey
27
Input Video
Detection
& Tracking
Tracks
Scoring
& Filtering
Filtered Tracks
=
x x
x
x
x
x x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
Embedding
0 10 20 30 40 50 60 70
♂
♂
♂
♂
♂
♂
♂
Gender & Age
Prediction
[0] Male, 25 years old, New
[1] Male, 30 years old, Repeater
[2] Male, 24 years old, Repeater
Result
Aggregate
XX
XX X
XXXXXX
X X X XX
X
※ subtle modification for ease of explanation

28. Aggregating Multiple Predictions
28
z
Input Video
Detection
& Tracking
Tracks
Scoring
& Filtering
Filtered Tracks
=
XX
XX X
XXXXXX
X X X XX
X x x
x
x
x
x x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
Embedding
0 10 20 30 40 50 60 70
♂
♂
♂
♂
♂
♂
♂
Gender & Age
Prediction
[0] Male, 25 years old, New
[1] Male, 30 years old, Repeater
[2] Male, 24 years old, Repeater
Result
Aggregate
顔Embedding、年齢性別推定結果のマージ
ヒューリスティックになりがち。
可能なら論理的に整合性のとれた⽅法でマージしたい。
（後述のvMF分布の存在を想定するなど）

29. Embeddingのあれこれ
29

30. Embedding（再掲）
30
z
Input Video
Detection
& Tracking
Tracks
Scoring
& Filtering
Filtered Tracks
=
x x
x
x
x
x x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
Embedding
0 10 20 30 40 50 60 70
♂
♂
♂
♂
♂
♂
♂
Gender & Age
Prediction
[0] Male, 25 years old, New
[1] Male, 30 years old, Repeater
[2] Male, 24 years old, Repeater
Result
Integrate
顔画像から特徴ベクター（e.g. 128次元、512次元）を抽出する。
XX
XX X
XXXXXX
X X X XX
X
難しさ
• 異なる⼈物からの⼤量の顔画像が必要
• ⼀般に、⼤きなモデルのほうが精度が出やすく、取り回しが悪い
• 精度のよいデータセットを作るのが困難

31. ArcFace
J. Deng+, “ArcFace: Additive Angular Margin Loss for Deep Face Recognition”, 2018
顔画像の球⾯へ埋め込んだ後、⾮ターゲットクラスと間のマージンを加味しつつ
⼈物識別学習を⾏うことで⾼精度のEmbeddingを得ることができる。
31

32. ArcFace
通常のCross Entropy Loss
ArcFaceはTarget Class以外のClassとの間にマージンを考慮する
32

33. ArcFace
33
https://paperswithcode.com/sota/face-verification-on-labeled-faces-in-the

34. [再現実験] ArcFace — だいたい論⽂通り
34
※ ResNet101は1回の学習にDGX-1で32GのGPU8並列で1⽇超かかる…

35. AdaCos = ArcFaceのハイパラ⾃動チューニング😝
X. Zhang+, “AdaCos: Adaptively Scaling Cosine Logits for Effectively Learning Deep Face Representations”, 2019
Fixed AdaCos マージンm = 0, スケールs = √2 log (クラス数 - 1)
Dynamic AdaCos m, sを学習中のstatsを⽤いて動的設定
35

36. [再現実験] AdaCosダメだった。。。
36
何度も試したが、全然再現できない。。。
ハイパーパラメータもないので、ガチャ要
素は（そんなに）ないはず。。。

37. EfficientNet 😝
M. Tan+, “EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks”, 2019
37
ResNetなどの数分の1のパラメータ数で
ResNetを凌ぐ精度を達成！！

38. EfficientNetの考え⽅
1. (a) ⼊⼒画像の解像度、 (b) 各層のチャンネル/次元数、(c) 層数
の最適なバランスを、⼩さいネットワークで探索する
2. ⾒つかった(a-c)の最適なバランスを保ったまま(a-c)をスケールアップしていく
38

39. [再現実験] EfficientNet — 全然精度が出ない…😥
Benchmarking Facial Recognition Models (https://abeja.docbase.io/posts/797939)
39
オリジナルの画像サイズ(224x224)から
速度的な理由でサイズを減らして実験。
論⽂が出た翌⽇くらいから3週間くらい
パラメータなどをいじくったりネットワーク
を微調整したりして試したが、全く精度が
でない。
※ ⼊⼒画像サイズを224x224にすると
そこそこ精度は出る。

40. 画像サイズに最適化されてるんじゃないか疑惑
40
※ 縦横2倍 = 計算量4倍なので、画像サイズを⼤きくするのは、結構タブー

41. 閑話休題 Rethinking — 球⾯Embeddings
球⾯へのEmbeddingをするのは、⼀体何をしているのか？
この定式化は何を意味しているのか？
41
→ 各⼈物の中⼼点が球⾯に分布し、その点を中⼼にした
von Mises Fisher分布で顔画像のEmbeddingsが発⽣している確率モデル！

42. Rethinking — 球⾯Embeddings
von-Mises Fisher分布
点の発⽣確率は空間の中⼼点μとの内積から定まる、とする分布。
正規分布の球⾯版（μ = 中⼼/平均、s = 集中度/分散の逆数）
42
x x
x
x
x
x x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
μ
p(x|y; , µ, s) = C(sy) exp syµT
y f (x)<latexit sha1_base64="VswAyNHzYd5iLP4iwvjdBdBAVMQ=">AAADiHicdZFdb9MwFIadhY9Rvjq45OaIaVIrocoZlBahSdN2w+WQ1m5SXSLHdVpvsRPZDjRE4b/wi7jm3+B0LbSssxTpnOec18c5b5QlwliMf3s7/r37Dx7uPmo8fvL02fPm3ouhSXPN+IClSaovI2p4IhQfWGETfplpTmWU8Ivo+rSuX3zl2ohUndsi42NJp0rEglHrUNj8lbWIpHYWxeW8AuJaLRQfYcVINhPVm3+pzNcyU7XhCE5bJizaQPg8A5Lw2Nb5hiIsvpxDHG7cCWtjnViL6cy2Gweu3YmPgMSaspKYXIZlEQpHigrmoahKMqyfeLsCi0IVNvdxJwhwD3cBd3C//x5jF7zFQfewC0EHL84+Wp6zcM/7SSYpyyVXliXUmFGAMzsurwzVVrCEVw2SG55Rdk2nfORCRSU343Kx+woOHJlAnGr3KQsLuq4oqTSmkJHrrH/Y/F+r4bbaKLdxf1wKleWWK3YzKM4TsCnURsJEaM5sUriAMi3cW4HNqFubdXY3iOLfWColVZOSUD2VdO52V09Js5JoCY79qCFJhBTWVLcVQm1ROLhd4e5y+Dvf1Pyld4iE2iZa0ZXImbpyDu4OhoedwHn/+d3+8cnS3l30Cr1GLRSgHjpGn9AZGiDmdb2RN/G43/Cx3/M/3LTueEvNS7Rx/JM/Kgwr/w==</latexit><latexit sha1_base64="VswAyNHzYd5iLP4iwvjdBdBAVMQ=">AAADiHicdZFdb9MwFIadhY9Rvjq45OaIaVIrocoZlBahSdN2w+WQ1m5SXSLHdVpvsRPZDjRE4b/wi7jm3+B0LbSssxTpnOec18c5b5QlwliMf3s7/r37Dx7uPmo8fvL02fPm3ouhSXPN+IClSaovI2p4IhQfWGETfplpTmWU8Ivo+rSuX3zl2ohUndsi42NJp0rEglHrUNj8lbWIpHYWxeW8AuJaLRQfYcVINhPVm3+pzNcyU7XhCE5bJizaQPg8A5Lw2Nb5hiIsvpxDHG7cCWtjnViL6cy2Gweu3YmPgMSaspKYXIZlEQpHigrmoahKMqyfeLsCi0IVNvdxJwhwD3cBd3C//x5jF7zFQfewC0EHL84+Wp6zcM/7SSYpyyVXliXUmFGAMzsurwzVVrCEVw2SG55Rdk2nfORCRSU343Kx+woOHJlAnGr3KQsLuq4oqTSmkJHrrH/Y/F+r4bbaKLdxf1wKleWWK3YzKM4TsCnURsJEaM5sUriAMi3cW4HNqFubdXY3iOLfWColVZOSUD2VdO52V09Js5JoCY79qCFJhBTWVLcVQm1ROLhd4e5y+Dvf1Pyld4iE2iZa0ZXImbpyDu4OhoedwHn/+d3+8cnS3l30Cr1GLRSgHjpGn9AZGiDmdb2RN/G43/Cx3/M/3LTueEvNS7Rx/JM/Kgwr/w==</latexit><latexit sha1_base64="VswAyNHzYd5iLP4iwvjdBdBAVMQ=">AAADiHicdZFdb9MwFIadhY9Rvjq45OaIaVIrocoZlBahSdN2w+WQ1m5SXSLHdVpvsRPZDjRE4b/wi7jm3+B0LbSssxTpnOec18c5b5QlwliMf3s7/r37Dx7uPmo8fvL02fPm3ouhSXPN+IClSaovI2p4IhQfWGETfplpTmWU8Ivo+rSuX3zl2ohUndsi42NJp0rEglHrUNj8lbWIpHYWxeW8AuJaLRQfYcVINhPVm3+pzNcyU7XhCE5bJizaQPg8A5Lw2Nb5hiIsvpxDHG7cCWtjnViL6cy2Gweu3YmPgMSaspKYXIZlEQpHigrmoahKMqyfeLsCi0IVNvdxJwhwD3cBd3C//x5jF7zFQfewC0EHL84+Wp6zcM/7SSYpyyVXliXUmFGAMzsurwzVVrCEVw2SG55Rdk2nfORCRSU343Kx+woOHJlAnGr3KQsLuq4oqTSmkJHrrH/Y/F+r4bbaKLdxf1wKleWWK3YzKM4TsCnURsJEaM5sUriAMi3cW4HNqFubdXY3iOLfWColVZOSUD2VdO52V09Js5JoCY79qCFJhBTWVLcVQm1ROLhd4e5y+Dvf1Pyld4iE2iZa0ZXImbpyDu4OhoedwHn/+d3+8cnS3l30Cr1GLRSgHjpGn9AZGiDmdb2RN/G43/Cx3/M/3LTueEvNS7Rx/JM/Kgwr/w==</latexit><latexit sha1_base64="VswAyNHzYd5iLP4iwvjdBdBAVMQ=">AAADiHicdZFdb9MwFIadhY9Rvjq45OaIaVIrocoZlBahSdN2w+WQ1m5SXSLHdVpvsRPZDjRE4b/wi7jm3+B0LbSssxTpnOec18c5b5QlwliMf3s7/r37Dx7uPmo8fvL02fPm3ouhSXPN+IClSaovI2p4IhQfWGETfplpTmWU8Ivo+rSuX3zl2ohUndsi42NJp0rEglHrUNj8lbWIpHYWxeW8AuJaLRQfYcVINhPVm3+pzNcyU7XhCE5bJizaQPg8A5Lw2Nb5hiIsvpxDHG7cCWtjnViL6cy2Gweu3YmPgMSaspKYXIZlEQpHigrmoahKMqyfeLsCi0IVNvdxJwhwD3cBd3C//x5jF7zFQfewC0EHL84+Wp6zcM/7SSYpyyVXliXUmFGAMzsurwzVVrCEVw2SG55Rdk2nfORCRSU343Kx+woOHJlAnGr3KQsLuq4oqTSmkJHrrH/Y/F+r4bbaKLdxf1wKleWWK3YzKM4TsCnURsJEaM5sUriAMi3cW4HNqFubdXY3iOLfWColVZOSUD2VdO52V09Js5JoCY79qCFJhBTWVLcVQm1ROLhd4e5y+Dvf1Pyld4iE2iZa0ZXImbpyDu4OhoedwHn/+d3+8cnS3l30Cr1GLRSgHjpGn9AZGiDmdb2RN/G43/Cx3/M/3LTueEvNS7Rx/JM/Kgwr/w==</latexit>

43. Rethinking — 球⾯Embeddings
von-Mises Fisher分布
点の発⽣確率は空間の中⼼点μとの内積から定まる、とする分布。
正規分布の球⾯版（μ = 中⼼/平均、s = 集中度/分散の逆数）
μ, sの推定量は容易に求めることができる。
例) μの推定量は平均の球⾯射影。
43
μ
p(x|y; , µ, s) = C(sy) exp syµT
y f (x)<latexit sha1_base64="VswAyNHzYd5iLP4iwvjdBdBAVMQ=">AAADiHicdZFdb9MwFIadhY9Rvjq45OaIaVIrocoZlBahSdN2w+WQ1m5SXSLHdVpvsRPZDjRE4b/wi7jm3+B0LbSssxTpnOec18c5b5QlwliMf3s7/r37Dx7uPmo8fvL02fPm3ouhSXPN+IClSaovI2p4IhQfWGETfplpTmWU8Ivo+rSuX3zl2ohUndsi42NJp0rEglHrUNj8lbWIpHYWxeW8AuJaLRQfYcVINhPVm3+pzNcyU7XhCE5bJizaQPg8A5Lw2Nb5hiIsvpxDHG7cCWtjnViL6cy2Gweu3YmPgMSaspKYXIZlEQpHigrmoahKMqyfeLsCi0IVNvdxJwhwD3cBd3C//x5jF7zFQfewC0EHL84+Wp6zcM/7SSYpyyVXliXUmFGAMzsurwzVVrCEVw2SG55Rdk2nfORCRSU343Kx+woOHJlAnGr3KQsLuq4oqTSmkJHrrH/Y/F+r4bbaKLdxf1wKleWWK3YzKM4TsCnURsJEaM5sUriAMi3cW4HNqFubdXY3iOLfWColVZOSUD2VdO52V09Js5JoCY79qCFJhBTWVLcVQm1ROLhd4e5y+Dvf1Pyld4iE2iZa0ZXImbpyDu4OhoedwHn/+d3+8cnS3l30Cr1GLRSgHjpGn9AZGiDmdb2RN/G43/Cx3/M/3LTueEvNS7Rx/JM/Kgwr/w==</latexit><latexit sha1_base64="VswAyNHzYd5iLP4iwvjdBdBAVMQ=">AAADiHicdZFdb9MwFIadhY9Rvjq45OaIaVIrocoZlBahSdN2w+WQ1m5SXSLHdVpvsRPZDjRE4b/wi7jm3+B0LbSssxTpnOec18c5b5QlwliMf3s7/r37Dx7uPmo8fvL02fPm3ouhSXPN+IClSaovI2p4IhQfWGETfplpTmWU8Ivo+rSuX3zl2ohUndsi42NJp0rEglHrUNj8lbWIpHYWxeW8AuJaLRQfYcVINhPVm3+pzNcyU7XhCE5bJizaQPg8A5Lw2Nb5hiIsvpxDHG7cCWtjnViL6cy2Gweu3YmPgMSaspKYXIZlEQpHigrmoahKMqyfeLsCi0IVNvdxJwhwD3cBd3C//x5jF7zFQfewC0EHL84+Wp6zcM/7SSYpyyVXliXUmFGAMzsurwzVVrCEVw2SG55Rdk2nfORCRSU343Kx+woOHJlAnGr3KQsLuq4oqTSmkJHrrH/Y/F+r4bbaKLdxf1wKleWWK3YzKM4TsCnURsJEaM5sUriAMi3cW4HNqFubdXY3iOLfWColVZOSUD2VdO52V09Js5JoCY79qCFJhBTWVLcVQm1ROLhd4e5y+Dvf1Pyld4iE2iZa0ZXImbpyDu4OhoedwHn/+d3+8cnS3l30Cr1GLRSgHjpGn9AZGiDmdb2RN/G43/Cx3/M/3LTueEvNS7Rx/JM/Kgwr/w==</latexit><latexit sha1_base64="VswAyNHzYd5iLP4iwvjdBdBAVMQ=">AAADiHicdZFdb9MwFIadhY9Rvjq45OaIaVIrocoZlBahSdN2w+WQ1m5SXSLHdVpvsRPZDjRE4b/wi7jm3+B0LbSssxTpnOec18c5b5QlwliMf3s7/r37Dx7uPmo8fvL02fPm3ouhSXPN+IClSaovI2p4IhQfWGETfplpTmWU8Ivo+rSuX3zl2ohUndsi42NJp0rEglHrUNj8lbWIpHYWxeW8AuJaLRQfYcVINhPVm3+pzNcyU7XhCE5bJizaQPg8A5Lw2Nb5hiIsvpxDHG7cCWtjnViL6cy2Gweu3YmPgMSaspKYXIZlEQpHigrmoahKMqyfeLsCi0IVNvdxJwhwD3cBd3C//x5jF7zFQfewC0EHL84+Wp6zcM/7SSYpyyVXliXUmFGAMzsurwzVVrCEVw2SG55Rdk2nfORCRSU343Kx+woOHJlAnGr3KQsLuq4oqTSmkJHrrH/Y/F+r4bbaKLdxf1wKleWWK3YzKM4TsCnURsJEaM5sUriAMi3cW4HNqFubdXY3iOLfWColVZOSUD2VdO52V09Js5JoCY79qCFJhBTWVLcVQm1ROLhd4e5y+Dvf1Pyld4iE2iZa0ZXImbpyDu4OhoedwHn/+d3+8cnS3l30Cr1GLRSgHjpGn9AZGiDmdb2RN/G43/Cx3/M/3LTueEvNS7Rx/JM/Kgwr/w==</latexit><latexit sha1_base64="VswAyNHzYd5iLP4iwvjdBdBAVMQ=">AAADiHicdZFdb9MwFIadhY9Rvjq45OaIaVIrocoZlBahSdN2w+WQ1m5SXSLHdVpvsRPZDjRE4b/wi7jm3+B0LbSssxTpnOec18c5b5QlwliMf3s7/r37Dx7uPmo8fvL02fPm3ouhSXPN+IClSaovI2p4IhQfWGETfplpTmWU8Ivo+rSuX3zl2ohUndsi42NJp0rEglHrUNj8lbWIpHYWxeW8AuJaLRQfYcVINhPVm3+pzNcyU7XhCE5bJizaQPg8A5Lw2Nb5hiIsvpxDHG7cCWtjnViL6cy2Gweu3YmPgMSaspKYXIZlEQpHigrmoahKMqyfeLsCi0IVNvdxJwhwD3cBd3C//x5jF7zFQfewC0EHL84+Wp6zcM/7SSYpyyVXliXUmFGAMzsurwzVVrCEVw2SG55Rdk2nfORCRSU343Kx+woOHJlAnGr3KQsLuq4oqTSmkJHrrH/Y/F+r4bbaKLdxf1wKleWWK3YzKM4TsCnURsJEaM5sUriAMi3cW4HNqFubdXY3iOLfWColVZOSUD2VdO52V09Js5JoCY79qCFJhBTWVLcVQm1ROLhd4e5y+Dvf1Pyld4iE2iZa0ZXImbpyDu4OhoedwHn/+d3+8cnS3l30Cr1GLRSgHjpGn9AZGiDmdb2RN/G43/Cx3/M/3LTueEvNS7Rx/JM/Kgwr/w==</latexit>
µy =
P
yi=y xi
k
P
yi=y xik
<latexit sha1_base64="DY7ikL8+aI74xx0WsEcjQryAVOs=">AAADo3icfZJtb9MwEMedhYdRnjp4yRuLqlIrocoZlFVCSBN7g8SbgtpuUl0ix3VaM9uJbGc0RAG+Ch+Lr8CnwOla1kLHSZHu/ne/u5MvUSq4sQj99Pb8Gzdv3d6/U7t77/6Dh/WDRyOTZJqyIU1Eos8iYpjgig0tt4KdpZoRGQl2Gp2fVPnTC6YNT9TA5imbSDJTPOaUWCeF9V/NtIUlsfMoLhYlxK7WwvwVXGs4nfPy2VUos43IlG34Gp60TJi3IWaLFGLBYlvFW0SYfxzAONzqCTfGOljz2dy2a9uUa45jTWiBTSbDIg+5U/ISXpEhLws8qnb+TwlcVpRhvYE6QYCOUBeiDur1XiLknOco6B52YdBBS2uAlfXDA+8HniY0k0xZKogx4wCldlJ8MkRbTgUrazgzLCX0nMzY2LmKSGYmxfIsJWw6ZQrjRLtPWbhUN4mCSGNyGbnKalvzd64Sd+XGmY17k4KrNLNM0ctBcSagTWB1YzjlmlErcucQqrnbFdI5cQ9p3Z9Qw4p9pomURE0LTPRMkoV7xGpKkhZYS+i0r5WIBZfcmvJfgqsdhBN3E66Xk7+wbeaPeg3E1S5ora4hd9T15eD1zuiwE7jbv3/ROH6zOu8+eAKeghYIwBE4Bm9BHwwB9frehffN++43/Xf+B39wWbrnrZjHYMv8yW9Ovzhf</latexit><latexit sha1_base64="DY7ikL8+aI74xx0WsEcjQryAVOs=">AAADo3icfZJtb9MwEMedhYdRnjp4yRuLqlIrocoZlFVCSBN7g8SbgtpuUl0ix3VaM9uJbGc0RAG+Ch+Lr8CnwOla1kLHSZHu/ne/u5MvUSq4sQj99Pb8Gzdv3d6/U7t77/6Dh/WDRyOTZJqyIU1Eos8iYpjgig0tt4KdpZoRGQl2Gp2fVPnTC6YNT9TA5imbSDJTPOaUWCeF9V/NtIUlsfMoLhYlxK7WwvwVXGs4nfPy2VUos43IlG34Gp60TJi3IWaLFGLBYlvFW0SYfxzAONzqCTfGOljz2dy2a9uUa45jTWiBTSbDIg+5U/ISXpEhLws8qnb+TwlcVpRhvYE6QYCOUBeiDur1XiLknOco6B52YdBBS2uAlfXDA+8HniY0k0xZKogx4wCldlJ8MkRbTgUrazgzLCX0nMzY2LmKSGYmxfIsJWw6ZQrjRLtPWbhUN4mCSGNyGbnKalvzd64Sd+XGmY17k4KrNLNM0ctBcSagTWB1YzjlmlErcucQqrnbFdI5cQ9p3Z9Qw4p9pomURE0LTPRMkoV7xGpKkhZYS+i0r5WIBZfcmvJfgqsdhBN3E66Xk7+wbeaPeg3E1S5ora4hd9T15eD1zuiwE7jbv3/ROH6zOu8+eAKeghYIwBE4Bm9BHwwB9frehffN++43/Xf+B39wWbrnrZjHYMv8yW9Ovzhf</latexit><latexit sha1_base64="DY7ikL8+aI74xx0WsEcjQryAVOs=">AAADo3icfZJtb9MwEMedhYdRnjp4yRuLqlIrocoZlFVCSBN7g8SbgtpuUl0ix3VaM9uJbGc0RAG+Ch+Lr8CnwOla1kLHSZHu/ne/u5MvUSq4sQj99Pb8Gzdv3d6/U7t77/6Dh/WDRyOTZJqyIU1Eos8iYpjgig0tt4KdpZoRGQl2Gp2fVPnTC6YNT9TA5imbSDJTPOaUWCeF9V/NtIUlsfMoLhYlxK7WwvwVXGs4nfPy2VUos43IlG34Gp60TJi3IWaLFGLBYlvFW0SYfxzAONzqCTfGOljz2dy2a9uUa45jTWiBTSbDIg+5U/ISXpEhLws8qnb+TwlcVpRhvYE6QYCOUBeiDur1XiLknOco6B52YdBBS2uAlfXDA+8HniY0k0xZKogx4wCldlJ8MkRbTgUrazgzLCX0nMzY2LmKSGYmxfIsJWw6ZQrjRLtPWbhUN4mCSGNyGbnKalvzd64Sd+XGmY17k4KrNLNM0ctBcSagTWB1YzjlmlErcucQqrnbFdI5cQ9p3Z9Qw4p9pomURE0LTPRMkoV7xGpKkhZYS+i0r5WIBZfcmvJfgqsdhBN3E66Xk7+wbeaPeg3E1S5ora4hd9T15eD1zuiwE7jbv3/ROH6zOu8+eAKeghYIwBE4Bm9BHwwB9frehffN++43/Xf+B39wWbrnrZjHYMv8yW9Ovzhf</latexit><latexit sha1_base64="DY7ikL8+aI74xx0WsEcjQryAVOs=">AAADo3icfZJtb9MwEMedhYdRnjp4yRuLqlIrocoZlFVCSBN7g8SbgtpuUl0ix3VaM9uJbGc0RAG+Ch+Lr8CnwOla1kLHSZHu/ne/u5MvUSq4sQj99Pb8Gzdv3d6/U7t77/6Dh/WDRyOTZJqyIU1Eos8iYpjgig0tt4KdpZoRGQl2Gp2fVPnTC6YNT9TA5imbSDJTPOaUWCeF9V/NtIUlsfMoLhYlxK7WwvwVXGs4nfPy2VUos43IlG34Gp60TJi3IWaLFGLBYlvFW0SYfxzAONzqCTfGOljz2dy2a9uUa45jTWiBTSbDIg+5U/ISXpEhLws8qnb+TwlcVpRhvYE6QYCOUBeiDur1XiLknOco6B52YdBBS2uAlfXDA+8HniY0k0xZKogx4wCldlJ8MkRbTgUrazgzLCX0nMzY2LmKSGYmxfIsJWw6ZQrjRLtPWbhUN4mCSGNyGbnKalvzd64Sd+XGmY17k4KrNLNM0ctBcSagTWB1YzjlmlErcucQqrnbFdI5cQ9p3Z9Qw4p9pomURE0LTPRMkoV7xGpKkhZYS+i0r5WIBZfcmvJfgqsdhBN3E66Xk7+wbeaPeg3E1S5ora4hd9T15eD1zuiwE7jbv3/ROH6zOu8+eAKeghYIwBE4Bm9BHwwB9frehffN++43/Xf+B39wWbrnrZjHYMv8yW9Ovzhf</latexit>

44. Rethinking — 球⾯Embeddingsの理解
下式を最適化することは、
下記の確率モデルの最尤推定に等しい。
(1) 各Identityごとの顔画像は集中度パラメータsが共通なvMF分布に従い、
(2) 各Identityは等確率に選択される。
※ ArcFaceは確率モデル化できてないが、ノリはだいたい同じ？
44
共通でいいの?
実際は⾮⼀様では？

45. vMFベースの確率モデルを最適化してみた
先のvMFベースの確率モデルを最適化してみた。
集中度パラメータsもデータから⾃動学習。
45
※ 思いついて導出してから気づいたけど、既存研究もありました
M. A. Hansnat+, “von Mises-Fisher Mixture Model-based Deep learning: Application to Face Verification”, arXiv:1706.04264

46. vMFベースの確率モデルを最適化してみた
ダメでした…！
（実験結果を探したけど⾒つからず…🙇）
過学習した。まだデータセットが全然サイズが⾜りず、データをもっとたくさん
集めない限り、何らかの制約（AdaCosやArcFaceのs=⼀定）や
正則化（ArcFaceのマージン）を⼊れないとうまく⾏かないということ…？
46

47. こんな感じで楽しく遊んで（研究して）います。
アイデアを試せるサービスがあるってイイヨ！
47

48. Copyright © ABEJA, Inc. All rights reserved.
We are hiring!
48
https://www.wantedly.com/companies/abeja

49. 49
Annotation Driven AI