Retail Face Analysis Inside-Out
•
1 like•1,591 views
ABEJA Innovation Meetupでお話した内容です。 https://abeja-innovation-meetup.connpass.com/event/148827/ ABEJA Insight for Retailは店舗内に設置したカメラで来店者の属性分析を行うことで、リアル空間をデータ化・可視化するサービスです。 本スライドでは、ABEJA Insight for Retailの背後で動いている顔認識・デモグラ推定モデルの理論背景や、研究成果についてお話ししています。 本Talkでは、主に研究よりのお話をしていますが、研究成果をいかに運用に載せていくかという対になるTalk（中川さんによるもの）はこちらです。 https://www.slideshare.net/yutanakagawa2/100-181760824
Recommended
More Related Content
What's hot
What's hot (20)
Similar to Retail Face Analysis Inside-Out
Similar to Retail Face Analysis Inside-Out (12)
More from Tatsuya Shirakawa
More from Tatsuya Shirakawa (13)
Recently uploaded
Recently uploaded (11)
Retail Face Analysis Inside-Out
- 1. Oct 10th, 2019 Tatsuya Shirakawa Retail Face Analysis Inside-Out
- 2. Tatsuya Shirakawa 2 ABEJA, Inc. (Researcher) - Deep Learning (CV, Graph, NLP, ) - Machine Learning Github https://github.com/TatsuyaShirakawa NTT Data Mathematical Systems Inc. - Mathematical Optimization - Machine Learning / Deep Learning Math. Tech blog http://tech-blog.abeja.asia/ - 異空間への埋め込み！Poincare Embeddingsが拓く表現学習の新展開 - 機は熟した！グラフ構造に対するDeep Learning、Graph Convolutionのご紹介 - 双曲空間でのMachine Learningの最近の進展 - より良い機械学習のためのアノテーションの機械学習 Now
- 3. LabsのResearcherの仕事 1. イケててヤバい新規事業の創出 2. 新しい技術や領域にたいするチャレンジ 3. 深い理解にもとづくコアモデル・アルゴリズムの開発 4. 社内外相談役 … 3
- 4. 今回は、ABEJA Insight for Retailの 顔認識・デモグラ推定技術 についてResearcherの⽴場からお話します。 4
- 7. Face AnalysisのInput/Outputイメージ 7 z Input Video [0] Male, 25 years old, New [1] Male, 30 years old, Repeater [2] Male, 24 years old, Repeater ?
- 8. Face Analysis Flow 8※ subtle modification for ease of explanation Camera Dashboard Analysis Core Cloud System
- 9. Face Journey 9 Input Video Detection & Tracking Tracks Scoring & Filtering Filtered Tracks = x x x x x x x x x x x x x x x x x x x x x x x Embedding 0 10 20 30 40 50 60 70 ♂ ♂ ♂ ♂ ♂ ♂ ♂ Gender & Age Prediction [0] Male, 25 years old, New [1] Male, 30 years old, Repeater [2] Male, 24 years old, Repeater Result Aggregate XX XX X XXXXXX X X X XX X ※ subtle modification for ease of explanation
- 10. Detection & Tracking 10 Input Video Detection & Tracking Tracks Scoring & Filtering Filtered Tracks = XX XX X XXXXXX X X X XX X x x x x x x x x x x x x x x x x x x x x x x x Embedding 0 10 20 30 40 50 60 70 ♂ ♂ ♂ ♂ ♂ ♂ ♂ Gender & Age Prediction [0] Male, 25 years old, New [1] Male, 30 years old, Repeater [2] Male, 24 years old, Repeater Result Integrate ⼊⼒動画から顔を検出し、連続フレーム間の同⼀⼈物の顔を 連結する（トラッキング） 難しさ • 顔をなるべく⾼速にもれなく検出する • 顔ではないものを検出しない • ⾮⽣体由来の顔（ポスター、サイネージ）に反応しない • トラッキング時、かならず同⼀⼈物同⼠を結びつける • トラックをむやみにぶつ切りにしない
- 11. 11※ 本番はMovieでした。
- 13. Face Journey 13 Input Video Detection & Tracking Tracks Scoring & Filtering Filtered Tracks = x x x x x x x x x x x x x x x x x x x x x x x Embedding 0 10 20 30 40 50 60 70 ♂ ♂ ♂ ♂ ♂ ♂ ♂ Gender & Age Prediction [0] Male, 25 years old, New [1] Male, 30 years old, Repeater [2] Male, 24 years old, Repeater Result Aggregate XX XX X XXXXXX X X X XX X ※ subtle modification for ease of explanation
- 14. Scoring & Filtering 14 z Input Video Detection & Tracking Tracks Scoring & Filtering Filtered Tracks = x x x x x x x x x x x x x x x x x x x x x x x Embedding 0 10 20 30 40 50 60 70 ♂ ♂ ♂ ♂ ♂ ♂ ♂ Gender & Age Prediction [0] Male, 25 years old, New [1] Male, 30 years old, Repeater [2] Male, 24 years old, Repeater Result Integrate 顔画像の品質を計算し、認識に不向きな顔画像 を除外する。 XX XX X XXXXXX X X X XX X 研究の蓄積がすくなく、アプリケーションに応じて 独⾃に⽅法を考案する必要がある。。。 そもそもよい顔ってなに？ • 正⾯向き？ • オクルージョンしてない？ • ノイズが乗っていない？ • 変顔してない？ …
- 15. 考案⼿法 Error Regression Networks (ERNs) ※ 未発表 顔認識モデルの認識誤差を予測するモデル 「そのモデルを適⽤したときに、どれくらい誤差が出てしまうか？」 「良い顔」にたいする複雑で多様なルールが不要で、かつ、 追加のアノテーションなしで半⾃動的にスコアリングを学習することが可能 15
- 16. ERNsの中⾝ 顔認識の場合は下記の2点間の距離を回帰するモデル。 (1) 与えられた顔画像のEmbedding（後述） (2) 顔画像が表す⼈物の全顔画像のEmbeddingから求めた中⼼ベクター 16 観察 Large distortion ⇔ Noisy • 経験的には⼩さいモデルで⼗分 • 追加の教師データ不要（顔認識データセットがあればよい） • 顔認識にとって最適化された品質推定が可能
- 17. ERNs on VGGFace2 17 Q. Cao+, “VGGFace2: A dataset for recognising face across pose and age”, 2018
- 20. Face Journey 20 Input Video Detection & Tracking Tracks Scoring & Filtering Filtered Tracks = x x x x x x x x x x x x x x x x x x x x x x x Embedding 0 10 20 30 40 50 60 70 ♂ ♂ ♂ ♂ ♂ ♂ ♂ Gender & Age Prediction [0] Male, 25 years old, New [1] Male, 30 years old, Repeater [2] Male, 24 years old, Repeater Result Aggregate XX XX X XXXXXX X X X XX X ※ subtle modification for ease of explanation
- 21. Embedding 21 z Input Video Detection & Tracking Tracks Scoring & Filtering Filtered Tracks = x x x x x x x x x x x x x x x x x x x x x x x Embedding 0 10 20 30 40 50 60 70 ♂ ♂ ♂ ♂ ♂ ♂ ♂ Gender & Age Prediction [0] Male, 25 years old, New [1] Male, 30 years old, Repeater [2] Male, 24 years old, Repeater Result Integrate 顔画像から特徴ベクター（e.g. 128次元、512次元）を抽出する。 XX XX X XXXXXX X X X XX X 難しさ • 異なる⼈物からの⼤量の顔画像が必要 • ⼀般に、⼤きなモデルのほうが精度が出やすく、取り回しが悪い • 精度のよいデータセットを作るのが困難
- 23. Face Journey 23 Input Video Detection & Tracking Tracks Scoring & Filtering Filtered Tracks = x x x x x x x x x x x x x x x x x x x x x x x Embedding 0 10 20 30 40 50 60 70 ♂ ♂ ♂ ♂ ♂ ♂ ♂ Gender & Age Prediction [0] Male, 25 years old, New [1] Male, 30 years old, Repeater [2] Male, 24 years old, Repeater Result Aggregate XX XX X XXXXXX X X X XX X ※ subtle modification for ease of explanation
- 24. Gender Age Prediction 24 z Input Video Detection & Tracking Tracks Scoring & Filtering Filtered Tracks = x x x x x x x x x x x x x x x x x x x x x x x Embedding 0 10 20 30 40 50 60 70 ♂ ♂ ♂ ♂ ♂ ♂ ♂ Gender & Age Prediction [0] Male, 25 years old, New [1] Male, 30 years old, Repeater [2] Male, 24 years old, Repeater Result Integrate 顔画像から年齢性別を推定するXX XX X XXXXXX X X X XX X 難しさ • 実的年齢か⾒た⽬年齢か • ⾒た⽬年齢アノテーションは困難 • 実的年齢付きデータの取得は困難 • 顔だけから推定する難しさ • 研究として最近流⾏ってない…
- 25. 実年齢 vs ⾒た⽬年齢 20台半ばを中⼼に、実年齢 - ⾒た⽬の正負の⼊れ替わりが起きる？ （アノテーションの認知バイアス） 25 APPA-REALを解析 (http://chalearnlap.cvc.uab.es/dataset/26/description/)
- 27. Face Journey 27 Input Video Detection & Tracking Tracks Scoring & Filtering Filtered Tracks = x x x x x x x x x x x x x x x x x x x x x x x Embedding 0 10 20 30 40 50 60 70 ♂ ♂ ♂ ♂ ♂ ♂ ♂ Gender & Age Prediction [0] Male, 25 years old, New [1] Male, 30 years old, Repeater [2] Male, 24 years old, Repeater Result Aggregate XX XX X XXXXXX X X X XX X ※ subtle modification for ease of explanation
- 28. Aggregating Multiple Predictions 28 z Input Video Detection & Tracking Tracks Scoring & Filtering Filtered Tracks = XX XX X XXXXXX X X X XX X x x x x x x x x x x x x x x x x x x x x x x x Embedding 0 10 20 30 40 50 60 70 ♂ ♂ ♂ ♂ ♂ ♂ ♂ Gender & Age Prediction [0] Male, 25 years old, New [1] Male, 30 years old, Repeater [2] Male, 24 years old, Repeater Result Aggregate 顔Embedding、年齢性別推定結果のマージ ヒューリスティックになりがち。 可能なら論理的に整合性のとれた⽅法でマージしたい。 （後述のvMF分布の存在を想定するなど）
- 30. Embedding（再掲） 30 z Input Video Detection & Tracking Tracks Scoring & Filtering Filtered Tracks = x x x x x x x x x x x x x x x x x x x x x x x Embedding 0 10 20 30 40 50 60 70 ♂ ♂ ♂ ♂ ♂ ♂ ♂ Gender & Age Prediction [0] Male, 25 years old, New [1] Male, 30 years old, Repeater [2] Male, 24 years old, Repeater Result Integrate 顔画像から特徴ベクター（e.g. 128次元、512次元）を抽出する。 XX XX X XXXXXX X X X XX X 難しさ • 異なる⼈物からの⼤量の顔画像が必要 • ⼀般に、⼤きなモデルのほうが精度が出やすく、取り回しが悪い • 精度のよいデータセットを作るのが困難
- 31. ArcFace J. Deng+, “ArcFace: Additive Angular Margin Loss for Deep Face Recognition”, 2018 顔画像の球⾯へ埋め込んだ後、⾮ターゲットクラスと間のマージンを加味しつつ ⼈物識別学習を⾏うことで⾼精度のEmbeddingを得ることができる。 31
- 32. ArcFace 通常のCross Entropy Loss ArcFaceはTarget Class以外のClassとの間にマージンを考慮する 32
- 34. [再現実験] ArcFace — だいたい論⽂通り 34 ※ ResNet101は1回の学習にDGX-1で32GのGPU8並列で1⽇超かかる…
- 35. AdaCos = ArcFaceのハイパラ⾃動チューニング😝 X. Zhang+, “AdaCos: Adaptively Scaling Cosine Logits for Effectively Learning Deep Face Representations”, 2019 Fixed AdaCos マージンm = 0, スケールs = √2 log (クラス数 - 1) Dynamic AdaCos m, sを学習中のstatsを⽤いて動的設定 35
- 37. EfficientNet 😝 M. Tan+, “EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks”, 2019 37 ResNetなどの数分の1のパラメータ数で ResNetを凌ぐ精度を達成！！
- 38. EfficientNetの考え⽅ 1. (a) ⼊⼒画像の解像度、 (b) 各層のチャンネル/次元数、(c) 層数 の最適なバランスを、⼩さいネットワークで探索する 2. ⾒つかった(a-c)の最適なバランスを保ったまま(a-c)をスケールアップしていく 38
- 39. [再現実験] EfficientNet — 全然精度が出ない…😥 Benchmarking Facial Recognition Models (https://abeja.docbase.io/posts/797939) 39 オリジナルの画像サイズ(224x224)から 速度的な理由でサイズを減らして実験。 論⽂が出た翌⽇くらいから3週間くらい パラメータなどをいじくったりネットワーク を微調整したりして試したが、全く精度が でない。 ※ ⼊⼒画像サイズを224x224にすると そこそこ精度は出る。
- 40. 画像サイズに最適化されてるんじゃないか疑惑 40 ※ 縦横2倍 = 計算量4倍なので、画像サイズを⼤きくするのは、結構タブー
- 41. 閑話休題 Rethinking — 球⾯Embeddings 球⾯へのEmbeddingをするのは、⼀体何をしているのか？ この定式化は何を意味しているのか？ 41 → 各⼈物の中⼼点が球⾯に分布し、その点を中⼼にした von Mises Fisher分布で顔画像のEmbeddingsが発⽣している確率モデル！
- 42. Rethinking — 球⾯Embeddings von-Mises Fisher分布 点の発⽣確率は空間の中⼼点μとの内積から定まる、とする分布。 正規分布の球⾯版（μ = 中⼼/平均、s = 集中度/分散の逆数） 42 x x x x x x x x x x x x x x x x x x x x x x x μ p(x|y; , µ, s) = C(sy) exp syµT y f (x)<latexit sha1_base64="VswAyNHzYd5iLP4iwvjdBdBAVMQ=">AAADiHicdZFdb9MwFIadhY9Rvjq45OaIaVIrocoZlBahSdN2w+WQ1m5SXSLHdVpvsRPZDjRE4b/wi7jm3+B0LbSssxTpnOec18c5b5QlwliMf3s7/r37Dx7uPmo8fvL02fPm3ouhSXPN+IClSaovI2p4IhQfWGETfplpTmWU8Ivo+rSuX3zl2ohUndsi42NJp0rEglHrUNj8lbWIpHYWxeW8AuJaLRQfYcVINhPVm3+pzNcyU7XhCE5bJizaQPg8A5Lw2Nb5hiIsvpxDHG7cCWtjnViL6cy2Gweu3YmPgMSaspKYXIZlEQpHigrmoahKMqyfeLsCi0IVNvdxJwhwD3cBd3C//x5jF7zFQfewC0EHL84+Wp6zcM/7SSYpyyVXliXUmFGAMzsurwzVVrCEVw2SG55Rdk2nfORCRSU343Kx+woOHJlAnGr3KQsLuq4oqTSmkJHrrH/Y/F+r4bbaKLdxf1wKleWWK3YzKM4TsCnURsJEaM5sUriAMi3cW4HNqFubdXY3iOLfWColVZOSUD2VdO52V09Js5JoCY79qCFJhBTWVLcVQm1ROLhd4e5y+Dvf1Pyld4iE2iZa0ZXImbpyDu4OhoedwHn/+d3+8cnS3l30Cr1GLRSgHjpGn9AZGiDmdb2RN/G43/Cx3/M/3LTueEvNS7Rx/JM/Kgwr/w==</latexit><latexit sha1_base64="VswAyNHzYd5iLP4iwvjdBdBAVMQ=">AAADiHicdZFdb9MwFIadhY9Rvjq45OaIaVIrocoZlBahSdN2w+WQ1m5SXSLHdVpvsRPZDjRE4b/wi7jm3+B0LbSssxTpnOec18c5b5QlwliMf3s7/r37Dx7uPmo8fvL02fPm3ouhSXPN+IClSaovI2p4IhQfWGETfplpTmWU8Ivo+rSuX3zl2ohUndsi42NJp0rEglHrUNj8lbWIpHYWxeW8AuJaLRQfYcVINhPVm3+pzNcyU7XhCE5bJizaQPg8A5Lw2Nb5hiIsvpxDHG7cCWtjnViL6cy2Gweu3YmPgMSaspKYXIZlEQpHigrmoahKMqyfeLsCi0IVNvdxJwhwD3cBd3C//x5jF7zFQfewC0EHL84+Wp6zcM/7SSYpyyVXliXUmFGAMzsurwzVVrCEVw2SG55Rdk2nfORCRSU343Kx+woOHJlAnGr3KQsLuq4oqTSmkJHrrH/Y/F+r4bbaKLdxf1wKleWWK3YzKM4TsCnURsJEaM5sUriAMi3cW4HNqFubdXY3iOLfWColVZOSUD2VdO52V09Js5JoCY79qCFJhBTWVLcVQm1ROLhd4e5y+Dvf1Pyld4iE2iZa0ZXImbpyDu4OhoedwHn/+d3+8cnS3l30Cr1GLRSgHjpGn9AZGiDmdb2RN/G43/Cx3/M/3LTueEvNS7Rx/JM/Kgwr/w==</latexit><latexit sha1_base64="VswAyNHzYd5iLP4iwvjdBdBAVMQ=">AAADiHicdZFdb9MwFIadhY9Rvjq45OaIaVIrocoZlBahSdN2w+WQ1m5SXSLHdVpvsRPZDjRE4b/wi7jm3+B0LbSssxTpnOec18c5b5QlwliMf3s7/r37Dx7uPmo8fvL02fPm3ouhSXPN+IClSaovI2p4IhQfWGETfplpTmWU8Ivo+rSuX3zl2ohUndsi42NJp0rEglHrUNj8lbWIpHYWxeW8AuJaLRQfYcVINhPVm3+pzNcyU7XhCE5bJizaQPg8A5Lw2Nb5hiIsvpxDHG7cCWtjnViL6cy2Gweu3YmPgMSaspKYXIZlEQpHigrmoahKMqyfeLsCi0IVNvdxJwhwD3cBd3C//x5jF7zFQfewC0EHL84+Wp6zcM/7SSYpyyVXliXUmFGAMzsurwzVVrCEVw2SG55Rdk2nfORCRSU343Kx+woOHJlAnGr3KQsLuq4oqTSmkJHrrH/Y/F+r4bbaKLdxf1wKleWWK3YzKM4TsCnURsJEaM5sUriAMi3cW4HNqFubdXY3iOLfWColVZOSUD2VdO52V09Js5JoCY79qCFJhBTWVLcVQm1ROLhd4e5y+Dvf1Pyld4iE2iZa0ZXImbpyDu4OhoedwHn/+d3+8cnS3l30Cr1GLRSgHjpGn9AZGiDmdb2RN/G43/Cx3/M/3LTueEvNS7Rx/JM/Kgwr/w==</latexit><latexit sha1_base64="VswAyNHzYd5iLP4iwvjdBdBAVMQ=">AAADiHicdZFdb9MwFIadhY9Rvjq45OaIaVIrocoZlBahSdN2w+WQ1m5SXSLHdVpvsRPZDjRE4b/wi7jm3+B0LbSssxTpnOec18c5b5QlwliMf3s7/r37Dx7uPmo8fvL02fPm3ouhSXPN+IClSaovI2p4IhQfWGETfplpTmWU8Ivo+rSuX3zl2ohUndsi42NJp0rEglHrUNj8lbWIpHYWxeW8AuJaLRQfYcVINhPVm3+pzNcyU7XhCE5bJizaQPg8A5Lw2Nb5hiIsvpxDHG7cCWtjnViL6cy2Gweu3YmPgMSaspKYXIZlEQpHigrmoahKMqyfeLsCi0IVNvdxJwhwD3cBd3C//x5jF7zFQfewC0EHL84+Wp6zcM/7SSYpyyVXliXUmFGAMzsurwzVVrCEVw2SG55Rdk2nfORCRSU343Kx+woOHJlAnGr3KQsLuq4oqTSmkJHrrH/Y/F+r4bbaKLdxf1wKleWWK3YzKM4TsCnURsJEaM5sUriAMi3cW4HNqFubdXY3iOLfWColVZOSUD2VdO52V09Js5JoCY79qCFJhBTWVLcVQm1ROLhd4e5y+Dvf1Pyld4iE2iZa0ZXImbpyDu4OhoedwHn/+d3+8cnS3l30Cr1GLRSgHjpGn9AZGiDmdb2RN/G43/Cx3/M/3LTueEvNS7Rx/JM/Kgwr/w==</latexit>
- 43. Rethinking — 球⾯Embeddings von-Mises Fisher分布 点の発⽣確率は空間の中⼼点μとの内積から定まる、とする分布。 正規分布の球⾯版（μ = 中⼼/平均、s = 集中度/分散の逆数） μ, sの推定量は容易に求めることができる。 例) μの推定量は平均の球⾯射影。 43 μ p(x|y; , µ, s) = C(sy) exp syµT y f (x)<latexit sha1_base64="VswAyNHzYd5iLP4iwvjdBdBAVMQ=">AAADiHicdZFdb9MwFIadhY9Rvjq45OaIaVIrocoZlBahSdN2w+WQ1m5SXSLHdVpvsRPZDjRE4b/wi7jm3+B0LbSssxTpnOec18c5b5QlwliMf3s7/r37Dx7uPmo8fvL02fPm3ouhSXPN+IClSaovI2p4IhQfWGETfplpTmWU8Ivo+rSuX3zl2ohUndsi42NJp0rEglHrUNj8lbWIpHYWxeW8AuJaLRQfYcVINhPVm3+pzNcyU7XhCE5bJizaQPg8A5Lw2Nb5hiIsvpxDHG7cCWtjnViL6cy2Gweu3YmPgMSaspKYXIZlEQpHigrmoahKMqyfeLsCi0IVNvdxJwhwD3cBd3C//x5jF7zFQfewC0EHL84+Wp6zcM/7SSYpyyVXliXUmFGAMzsurwzVVrCEVw2SG55Rdk2nfORCRSU343Kx+woOHJlAnGr3KQsLuq4oqTSmkJHrrH/Y/F+r4bbaKLdxf1wKleWWK3YzKM4TsCnURsJEaM5sUriAMi3cW4HNqFubdXY3iOLfWColVZOSUD2VdO52V09Js5JoCY79qCFJhBTWVLcVQm1ROLhd4e5y+Dvf1Pyld4iE2iZa0ZXImbpyDu4OhoedwHn/+d3+8cnS3l30Cr1GLRSgHjpGn9AZGiDmdb2RN/G43/Cx3/M/3LTueEvNS7Rx/JM/Kgwr/w==</latexit><latexit sha1_base64="VswAyNHzYd5iLP4iwvjdBdBAVMQ=">AAADiHicdZFdb9MwFIadhY9Rvjq45OaIaVIrocoZlBahSdN2w+WQ1m5SXSLHdVpvsRPZDjRE4b/wi7jm3+B0LbSssxTpnOec18c5b5QlwliMf3s7/r37Dx7uPmo8fvL02fPm3ouhSXPN+IClSaovI2p4IhQfWGETfplpTmWU8Ivo+rSuX3zl2ohUndsi42NJp0rEglHrUNj8lbWIpHYWxeW8AuJaLRQfYcVINhPVm3+pzNcyU7XhCE5bJizaQPg8A5Lw2Nb5hiIsvpxDHG7cCWtjnViL6cy2Gweu3YmPgMSaspKYXIZlEQpHigrmoahKMqyfeLsCi0IVNvdxJwhwD3cBd3C//x5jF7zFQfewC0EHL84+Wp6zcM/7SSYpyyVXliXUmFGAMzsurwzVVrCEVw2SG55Rdk2nfORCRSU343Kx+woOHJlAnGr3KQsLuq4oqTSmkJHrrH/Y/F+r4bbaKLdxf1wKleWWK3YzKM4TsCnURsJEaM5sUriAMi3cW4HNqFubdXY3iOLfWColVZOSUD2VdO52V09Js5JoCY79qCFJhBTWVLcVQm1ROLhd4e5y+Dvf1Pyld4iE2iZa0ZXImbpyDu4OhoedwHn/+d3+8cnS3l30Cr1GLRSgHjpGn9AZGiDmdb2RN/G43/Cx3/M/3LTueEvNS7Rx/JM/Kgwr/w==</latexit><latexit sha1_base64="VswAyNHzYd5iLP4iwvjdBdBAVMQ=">AAADiHicdZFdb9MwFIadhY9Rvjq45OaIaVIrocoZlBahSdN2w+WQ1m5SXSLHdVpvsRPZDjRE4b/wi7jm3+B0LbSssxTpnOec18c5b5QlwliMf3s7/r37Dx7uPmo8fvL02fPm3ouhSXPN+IClSaovI2p4IhQfWGETfplpTmWU8Ivo+rSuX3zl2ohUndsi42NJp0rEglHrUNj8lbWIpHYWxeW8AuJaLRQfYcVINhPVm3+pzNcyU7XhCE5bJizaQPg8A5Lw2Nb5hiIsvpxDHG7cCWtjnViL6cy2Gweu3YmPgMSaspKYXIZlEQpHigrmoahKMqyfeLsCi0IVNvdxJwhwD3cBd3C//x5jF7zFQfewC0EHL84+Wp6zcM/7SSYpyyVXliXUmFGAMzsurwzVVrCEVw2SG55Rdk2nfORCRSU343Kx+woOHJlAnGr3KQsLuq4oqTSmkJHrrH/Y/F+r4bbaKLdxf1wKleWWK3YzKM4TsCnURsJEaM5sUriAMi3cW4HNqFubdXY3iOLfWColVZOSUD2VdO52V09Js5JoCY79qCFJhBTWVLcVQm1ROLhd4e5y+Dvf1Pyld4iE2iZa0ZXImbpyDu4OhoedwHn/+d3+8cnS3l30Cr1GLRSgHjpGn9AZGiDmdb2RN/G43/Cx3/M/3LTueEvNS7Rx/JM/Kgwr/w==</latexit><latexit sha1_base64="VswAyNHzYd5iLP4iwvjdBdBAVMQ=">AAADiHicdZFdb9MwFIadhY9Rvjq45OaIaVIrocoZlBahSdN2w+WQ1m5SXSLHdVpvsRPZDjRE4b/wi7jm3+B0LbSssxTpnOec18c5b5QlwliMf3s7/r37Dx7uPmo8fvL02fPm3ouhSXPN+IClSaovI2p4IhQfWGETfplpTmWU8Ivo+rSuX3zl2ohUndsi42NJp0rEglHrUNj8lbWIpHYWxeW8AuJaLRQfYcVINhPVm3+pzNcyU7XhCE5bJizaQPg8A5Lw2Nb5hiIsvpxDHG7cCWtjnViL6cy2Gweu3YmPgMSaspKYXIZlEQpHigrmoahKMqyfeLsCi0IVNvdxJwhwD3cBd3C//x5jF7zFQfewC0EHL84+Wp6zcM/7SSYpyyVXliXUmFGAMzsurwzVVrCEVw2SG55Rdk2nfORCRSU343Kx+woOHJlAnGr3KQsLuq4oqTSmkJHrrH/Y/F+r4bbaKLdxf1wKleWWK3YzKM4TsCnURsJEaM5sUriAMi3cW4HNqFubdXY3iOLfWColVZOSUD2VdO52V09Js5JoCY79qCFJhBTWVLcVQm1ROLhd4e5y+Dvf1Pyld4iE2iZa0ZXImbpyDu4OhoedwHn/+d3+8cnS3l30Cr1GLRSgHjpGn9AZGiDmdb2RN/G43/Cx3/M/3LTueEvNS7Rx/JM/Kgwr/w==</latexit> µy = P yi=y xi k P yi=y xik <latexit sha1_base64="DY7ikL8+aI74xx0WsEcjQryAVOs=">AAADo3icfZJtb9MwEMedhYdRnjp4yRuLqlIrocoZlFVCSBN7g8SbgtpuUl0ix3VaM9uJbGc0RAG+Ch+Lr8CnwOla1kLHSZHu/ne/u5MvUSq4sQj99Pb8Gzdv3d6/U7t77/6Dh/WDRyOTZJqyIU1Eos8iYpjgig0tt4KdpZoRGQl2Gp2fVPnTC6YNT9TA5imbSDJTPOaUWCeF9V/NtIUlsfMoLhYlxK7WwvwVXGs4nfPy2VUos43IlG34Gp60TJi3IWaLFGLBYlvFW0SYfxzAONzqCTfGOljz2dy2a9uUa45jTWiBTSbDIg+5U/ISXpEhLws8qnb+TwlcVpRhvYE6QYCOUBeiDur1XiLknOco6B52YdBBS2uAlfXDA+8HniY0k0xZKogx4wCldlJ8MkRbTgUrazgzLCX0nMzY2LmKSGYmxfIsJWw6ZQrjRLtPWbhUN4mCSGNyGbnKalvzd64Sd+XGmY17k4KrNLNM0ctBcSagTWB1YzjlmlErcucQqrnbFdI5cQ9p3Z9Qw4p9pomURE0LTPRMkoV7xGpKkhZYS+i0r5WIBZfcmvJfgqsdhBN3E66Xk7+wbeaPeg3E1S5ora4hd9T15eD1zuiwE7jbv3/ROH6zOu8+eAKeghYIwBE4Bm9BHwwB9frehffN++43/Xf+B39wWbrnrZjHYMv8yW9Ovzhf</latexit><latexit sha1_base64="DY7ikL8+aI74xx0WsEcjQryAVOs=">AAADo3icfZJtb9MwEMedhYdRnjp4yRuLqlIrocoZlFVCSBN7g8SbgtpuUl0ix3VaM9uJbGc0RAG+Ch+Lr8CnwOla1kLHSZHu/ne/u5MvUSq4sQj99Pb8Gzdv3d6/U7t77/6Dh/WDRyOTZJqyIU1Eos8iYpjgig0tt4KdpZoRGQl2Gp2fVPnTC6YNT9TA5imbSDJTPOaUWCeF9V/NtIUlsfMoLhYlxK7WwvwVXGs4nfPy2VUos43IlG34Gp60TJi3IWaLFGLBYlvFW0SYfxzAONzqCTfGOljz2dy2a9uUa45jTWiBTSbDIg+5U/ISXpEhLws8qnb+TwlcVpRhvYE6QYCOUBeiDur1XiLknOco6B52YdBBS2uAlfXDA+8HniY0k0xZKogx4wCldlJ8MkRbTgUrazgzLCX0nMzY2LmKSGYmxfIsJWw6ZQrjRLtPWbhUN4mCSGNyGbnKalvzd64Sd+XGmY17k4KrNLNM0ctBcSagTWB1YzjlmlErcucQqrnbFdI5cQ9p3Z9Qw4p9pomURE0LTPRMkoV7xGpKkhZYS+i0r5WIBZfcmvJfgqsdhBN3E66Xk7+wbeaPeg3E1S5ora4hd9T15eD1zuiwE7jbv3/ROH6zOu8+eAKeghYIwBE4Bm9BHwwB9frehffN++43/Xf+B39wWbrnrZjHYMv8yW9Ovzhf</latexit><latexit sha1_base64="DY7ikL8+aI74xx0WsEcjQryAVOs=">AAADo3icfZJtb9MwEMedhYdRnjp4yRuLqlIrocoZlFVCSBN7g8SbgtpuUl0ix3VaM9uJbGc0RAG+Ch+Lr8CnwOla1kLHSZHu/ne/u5MvUSq4sQj99Pb8Gzdv3d6/U7t77/6Dh/WDRyOTZJqyIU1Eos8iYpjgig0tt4KdpZoRGQl2Gp2fVPnTC6YNT9TA5imbSDJTPOaUWCeF9V/NtIUlsfMoLhYlxK7WwvwVXGs4nfPy2VUos43IlG34Gp60TJi3IWaLFGLBYlvFW0SYfxzAONzqCTfGOljz2dy2a9uUa45jTWiBTSbDIg+5U/ISXpEhLws8qnb+TwlcVpRhvYE6QYCOUBeiDur1XiLknOco6B52YdBBS2uAlfXDA+8HniY0k0xZKogx4wCldlJ8MkRbTgUrazgzLCX0nMzY2LmKSGYmxfIsJWw6ZQrjRLtPWbhUN4mCSGNyGbnKalvzd64Sd+XGmY17k4KrNLNM0ctBcSagTWB1YzjlmlErcucQqrnbFdI5cQ9p3Z9Qw4p9pomURE0LTPRMkoV7xGpKkhZYS+i0r5WIBZfcmvJfgqsdhBN3E66Xk7+wbeaPeg3E1S5ora4hd9T15eD1zuiwE7jbv3/ROH6zOu8+eAKeghYIwBE4Bm9BHwwB9frehffN++43/Xf+B39wWbrnrZjHYMv8yW9Ovzhf</latexit><latexit sha1_base64="DY7ikL8+aI74xx0WsEcjQryAVOs=">AAADo3icfZJtb9MwEMedhYdRnjp4yRuLqlIrocoZlFVCSBN7g8SbgtpuUl0ix3VaM9uJbGc0RAG+Ch+Lr8CnwOla1kLHSZHu/ne/u5MvUSq4sQj99Pb8Gzdv3d6/U7t77/6Dh/WDRyOTZJqyIU1Eos8iYpjgig0tt4KdpZoRGQl2Gp2fVPnTC6YNT9TA5imbSDJTPOaUWCeF9V/NtIUlsfMoLhYlxK7WwvwVXGs4nfPy2VUos43IlG34Gp60TJi3IWaLFGLBYlvFW0SYfxzAONzqCTfGOljz2dy2a9uUa45jTWiBTSbDIg+5U/ISXpEhLws8qnb+TwlcVpRhvYE6QYCOUBeiDur1XiLknOco6B52YdBBS2uAlfXDA+8HniY0k0xZKogx4wCldlJ8MkRbTgUrazgzLCX0nMzY2LmKSGYmxfIsJWw6ZQrjRLtPWbhUN4mCSGNyGbnKalvzd64Sd+XGmY17k4KrNLNM0ctBcSagTWB1YzjlmlErcucQqrnbFdI5cQ9p3Z9Qw4p9pomURE0LTPRMkoV7xGpKkhZYS+i0r5WIBZfcmvJfgqsdhBN3E66Xk7+wbeaPeg3E1S5ora4hd9T15eD1zuiwE7jbv3/ROH6zOu8+eAKeghYIwBE4Bm9BHwwB9frehffN++43/Xf+B39wWbrnrZjHYMv8yW9Ovzhf</latexit>
- 44. Rethinking — 球⾯Embeddingsの理解 下式を最適化することは、 下記の確率モデルの最尤推定に等しい。 (1) 各Identityごとの顔画像は集中度パラメータsが共通なvMF分布に従い、 (2) 各Identityは等確率に選択される。 ※ ArcFaceは確率モデル化できてないが、ノリはだいたい同じ？ 44 共通でいいの? 実際は⾮⼀様では？
- 45. vMFベースの確率モデルを最適化してみた 先のvMFベースの確率モデルを最適化してみた。 集中度パラメータsもデータから⾃動学習。 45 ※ 思いついて導出してから気づいたけど、既存研究もありました M. A. Hansnat+, “von Mises-Fisher Mixture Model-based Deep learning: Application to Face Verification”, arXiv:1706.04264
- 48. Copyright © ABEJA, Inc. All rights reserved. We are hiring! 48 https://www.wantedly.com/companies/abeja