現在long-tailed問題の主流手法re-sampling/re-weightingと異なる新しい角度からlong-tailed問題の汎用手法を提案した論文を紹介

1. 2021.05.21
洪 嘉源
株式会社 Mobility Technologies
Long-Tailed Classification by
Keeping the Good and Removing
the Bad Momentum Causal Effect

2. 2
▪ この論文を選んだ理由：
▪ 現在long-tailed問題の主流手法re-sampling/re-weightingと異なる
新しい角度からlong-tailed問題の汎用手法を提案
▪ 前の発表：long-tailed classification の最新動向について[link]
▪ one-stageで手法がシンプル、尚且つ性能がいい（コードも公開済み）
▪ 手法はシンプルだが、推論過程が難解でまだ完全に理解できないため、
その部分について簡略化する
今回の論文について

3. 3
Agenda
01｜Long-tailed問題の概要
02｜論文の概要
03｜論文の手法
04｜推論過程
05｜他の手法と比較

4. 4
▪ 各クラスをインスタンス数降順で並べて、クラスを二種類に分ける
▪ head classes: 少数のクラス、データ数が多い、学習しやすい
▪ tail classes: 多数のクラス、データ数が少ない、学習しずらい
▪ 二つのbasic approach：
▪ re-sampling: 学習データをdata balancedにサンプリングする
▪ re-weighting: ロスに重みをかけてdata balancedにする
Long-tailedなクラス分類問題へのアプローチ
head classes tail classes
cat
vulpes lagopus

5. 5
Decoupling Representation and Classifier for Long-Tailed
Recognition, ICLR 2020 [1]
▪ 現在long-tailed classificationでSOTA（state of art）の一つ
▪ 分類パーフォマンス = 表現クオリティー + 分類器クオリティー
▪ long-tailed分布のデータを通常の学習なら分類器クオリティーが低い
▪ 直接rebalancingの手法を全モデルに適用すると表現クオリティーが下がる
▪ 1回目の学習ででlong-tailed dataをそのまま学習し、
2回目の学習で特徴抽出部の重みを固定し、データをrebalancingして
再度学習する
Long-tailed問題への代表的なアプローチ

6. 6
Long-Tailed Classification by Keeping the Good and
Removing the Bad Momentum Causal Effect, NIPS2020
[arxiv] [github]
▪ 因果分析の角度から、学習時momentumの中のhead classesによる悪
影響を取り除くことによって、long-tailed classificationの性能を向
上する手法
▪ momentumを主役にするきっかけ：
key problemはデータではなく、学習の方法にある。optimizerのmomentumが学
習時にデータの分布を取り込んでいることに気づく、そこから着手する
今回紹介する論文の概要

7. 7
1. de-confound training [code]
▪ 学習時multi-head normalized classifierを使うだけ
各クラスのlogits: 𝑌! =
"
#
∑$%&
# ((!
"
)#*"
(!
" +, *"
(式①),
Kはmulti-head数, 𝜏, 𝛾はhyper parameter
▪ 分母 𝑤!
$
+ 𝜆 𝑥$ を他のnormalization形式に変えてもいける
（例えば 𝑤!
$
𝑥$ ）
2. 学習の同時に移動平均特徴 ̅
𝑥を統計し、そのunit vectorは特徴が
head classesへの傾向方向とみなす
▪ +
𝑑 = -
̅
*
* （式②）
De-confound-TDE手法（結論）

8. 8
3. counterfactual TDE inference[code]
▪ 推論時下記式でlogitsを計算
各クラスのlogits: 𝑇𝐷𝐸 𝑌! =
"
#
∑$%&
#
(
((!
"
)#*"
(!
" +, *"
− 𝛼 4
./0 *", 2
3" 4((!
"
)# 2
3"
(!
" +,
) (式③),
𝛼はhyper parameter
▪ logitsからhead classesへの傾向を取り除くため
4. detection/segmentationにおいて、background classがhead class
だが処理しなくていい（non-object regionを大量消すため）[code]
▪ 推論時下記式で最後の確率を計算：
𝑎𝑟𝑔𝑚𝑎𝑥!∈6 :
1 − 𝑝7 4
𝑞!
1 − 𝑞7
𝑝7
▪ 𝑖 = 0は背景、 𝑝!は元logitsで計算した確率、 𝑞!はTDE logitsで計算した確率
De-confound-TDE手法（結論）

9. ▪ Causal graph（因果関係図）
▪ M(momentum)はXとYのconfounder(交絡因子）
鍛錬<-年齢->癌
▪ D(特徴がhead classesへの偏移)はXとYのmediator(媒介因子)
薬->プラセボ効果->治癒
9
推論過程（よく理解できていない部分）

10. ▪ De-confound-TDE：
▪ 最終の目的：XがYへのTDE(True Direct Effect)を求める
▪ de-confound-training(式①)：MがXへの効果を抑制する
▪ counterfactual TDE inference (式③)：XがYへの媒介効果を除去
▪ 厳密の数学推論ではなく、因果分析の考え方を基づいて数学言語で再定義した工程
実現
1)Mの真実分布を統計できないため、式①でmulti-head samplingで近似
2)原始のlogitsをXからYへの因果効果と見なすと、 propensity scoreの考え方を基づいて、
全てのクラスをnormalizeするが必要。logitsのnormalizationで実現
10
推論過程（よく理解できていない部分）

11. ▪ 因果分析から見る各手法
▪ one-stage re-balancing: controlled direct effect(Dを固定値と設定）
▪ two-stage re-balancing: natural direct effect（Dの影響を完全に除去？）
▪ 各手法のサンプル
11
他の手法との比較

12. ▪ 可視化
▪ 提案手法のfeature mapは区分度が高いregionに集中(例：warthogの牙)
12
他の手法との比較

13. ▪ classification SOTA
▪ CIFAR-10, CIFAR-100, ImageNet-LT
▪ detection/segmentation SOTA
▪ LVIS
13
他の手法との比較

14. 14
紹介論文：
Kaihua Tang, Jianqiang Huang, Hanwang Zhang. Long-Tailed Classification by Keeping
the Good and Removing the Bad Momentum Causal Effect. In NeurIPS, 2020.
[1] Bingyi Kang, Saining Xie, Marcus Rohrbach, Zhicheng Yan, Albert Gordo, Jiashi
Feng, Yannis Kalantidis. Decoupling Representation and Classifier for Long-Tailed
Recognition. In ICLR, 2020.
Reference