紹介論文 Joint Negative and Positive Learning for Noisy Labels Youngdong Kim Juseung Yun Hyounguk Shon Junmo KimSchool of Electrical Engineering, KAIST, South Korea 概要：Noisy Labelsに対する従来手法のNLNLを改善したJNPLを提案した．新たな損失関数NL+とPL+を用いた単一の学習アルゴリズムを用いることで単純化し学習コストの削減と精度向上を狙い，SOTAを達成した．

1. Joint Negative and Positive Learning for
Noisy Labels
Youngdong Kim Juseung Yun Hyounguk Shon Junmo Kim
School of Electrical Engineering, KAIST, South Korea
1
2021/07/27 平間 友大

2. 論文概要
目的
・Noisy Labelsの対策手法であるネガティブラーニング（NLNL）の学習の
収束と学習コストに着目し，改善を狙う
手法
・NL+とPL+の2つの損失関数を用いたJNPL手法を提案
結果
・NL+とPL+の有効性を確認し，SOTA達成
発表学会
・CVPR2021
論文URL
https://openaccess.thecvf.com/content/CVPR2021/papers/Kim_Joint_Negati
ve_and_Positive_Learning_for_Noisy_Labels_CVPR_2021_paper.pdf
2

3. Noisy Labels
教師あり学習において，教師となるラベルデータのノイズ
（真のクラスとは異なるクラスが割り当てられること）は
モデルの性能を低下させる
データのラベリングにおける課題
深い知識が求められたり，分類が多いタスクはノイズが含
まれる，アノテーションコストが高いなど
3
例）種の分類
バーマンとラグドール 大量のクラス候補

4. 従来手法 4
正解以外のラベルを与える負の学習を提案
Negative learning for noisy labels （NLNL）*について
負の学習 (Negative Learning：NL) と呼ばれる間接的な学習方法
真のラベルを選択することが難しい場合，真以外をラベルとして学習す
ることでNoisy Labelsのデータをフィルタリングするアプローチ
*Kim, Youngdong, et al. "NLNL: Negative learning for noisy labels."
Proceedings of the IEEE/CVF International Conference on Computer Vision.
2019.

5. 損失関数 5
Negative Learning(NL)：ノイズの多いデータを使用してCNNをトレーニングする
ランダムな補完ラベルത
yを選択し、「入力画像はこの補完ラベルに属していない」
ことを学習する
𝑐：クラス数

6. 従来手法のNLNLアルゴリズム
*Kim, Youngdong, et al. "NLNL: Negative learning for noisy labels." Proceedings of the
IEEE/CVF International Conference on Computer Vision. 2019.
6
• 3つのステップに分けて学習することで，Noisy
Labelsへの過剰適合を避ける
• NLに加えてPLを用いることで収束しやすくして
いる
γ：0.5
𝑐：クラス数
NLNL手法の学習曲線

7. 7
提案手法の概要
従来のNLNLを改善したJoint Negative and Positive Learning（JNPL）を提案
ノイズデータの分布を示すヒストグラムと各手法適用後の分布の比較
アプローチ
・NLNLは3つのパイプラインで構成されていたものを，一つに統合し単純化
・損失関数の改善
- Noisy Labelsによる学習への影響をさらに削減
- より高速に収束
- より高精度

8. 提案手法の損失関数 8
λ = 0.01
NL+とPL＋という2つの関数を提案
• NL+について
重み係数を追加

9. 提案手法の損失関数 9
NL+では，NLに重み係数を追加し，Noisy Labelsと正常ラベルの分離を狙う

10. 提案手法の損失関数 10
PL+では，通常のCEと比較し，より信頼度の高いデータで高速に学習することを狙う

11. PL＋の計算
1/c以上のときだけ計算
11

12. 実験設定 12
データセット
・CIFAR10/CIFAR100
・Clothing1M
Noisy Labels
・Symmetric noise
- クラス間で等しい確率でラベルをランダムに選択
・Asymmetric noise
- 似たクラス間の組み合わせでマッピング
例）トラック→バイク 鳥→飛行機など 実際の誤ったラベリングを想定
Clothing1M:https://openaccess.thecvf.com/content_cvpr_2015/pa
pers/Xiao_Learning_From_Massive_2015_CVPR_paper.pdf

13. 損失関数の分析結果 13
N=3,CIFAR10に60％のsymmノ
イズを加えたときの学習曲線
提案手法が学習の収束が早く高精度
各パラメータの学習曲線

14. 実験結果 14
青：正常ラベル
オレンジ：ノイズラベル
NLとNL+の比較 CIFAR10でasymm 40％ノイズ 犬↔猫
NL NL → SelNL NL+
提案手法は従来手法と比較し，正常・ノイズをより分離できている

15. 実験結果 15
CIFAR10・100を用いた平均精度
CIFAR10
CIFAR100
Symm Asymm

16. 実験結果
従来手法との比較
16
Noisy Labelの影響を抑え，
他手法より高精度を達成
Clothing1Mデータセットで
も最高精度を確認

17. まとめ 17
• Noisy Labelsに対する従来手法の改善であるJNPLを提案した
• 新たな損失関数NL+とPL+を用いた単一の学習アルゴリズム
を用いた
- NL+
・ノイズラベルに対する損失を大きくすることで，正常・ノイ
ズラベルのデータを分離
- PL+
・信頼度の低いデータのLossを大きくし，収束の高速化
従来手法と比較しSOTA達成