This is the Japanese language version of a presentation by our Engineer Morgan Lefranc about handling non-reliable labels in machine learning.

1. Study Meeting Presentation:
信頼できないラベルで学習するには？
Author: Morgan LEFRANC
Date: 2021/07/28

2. 信頼できないラベル
で学習するには？
Morgan Lefranc - Ridge-i
2

3. このプレゼンテーションは何ではない
● 網羅的な
● 確定的な
● 詳細
● 完全に正確
● 美しい
● 準備がきちんとできている
3

4. 目次
1. 不完全な監督
a. アクティブラーニング
b. 半教師あり学習
2. 不厳密な監督
a. Class-Activation Map
b. Multiple Instance learning
3. 不正確な監督
a. クラウドソーシングの手法
b. Confident learning
4

5. 不完全な監督
データの小さなサブセットにはラベルが含まれているが、データがラベルなしの場合
は残りの大部分が含まれる。
5

6. 監督が不完全な場合の対処法は？
人間の監督が可能
アクティブラーニング
● 特定のサンプルのアノテーションを要求
するために、人間のオラクルを照会する
ことができる
● 最小限のデータ量で良いパフォーマンス
が得られるように、良いサンプルを見つけ
る必要がある
人間の監督は利用できない
セミ・スーパーバイズド・ラーニング
● ラベルのないものを説明するために部分
的なラベルを利用する
6

7. アクティブラーニング：サンプルの選び方は？
不確実性のサンプリング 委員会による問い合わせ
7

8. 半教師付き学習の例
低密度ベース 不一致に基づく方法（例：コ・トレーニング
8

9. 不厳密な監督
各データサンプルにはラベルが付いているが、監督はタスクに必要なほど細かくは
ない。
9

10. Class Activation Map (CAM)
10
プレゼンターによる画像

11. CAM for Object Detection
画像にオブジェクトが含まれていることがわかれば，このクラスの
CAMを使ってバウ
ンディングボックスを提案することができる。
11
プレゼンターによる画像

12. Multiple Instance Learning (MIL)
● インスタンスの各バッグには注釈が付けられている。目標は、個々のインスタ
ンスを予測することです。
● バッグ内の個々のインスタンス予測が集約され、バッグラベルと比較されま
す。エラーはバックプロパゲーションされます 12

13. BBラベルからのセマンティックセグメンテー
ションのためのMILの例
13
MILCut: A Sweeping Line Multiple Instance Learning Paradigm for Interactive Image Segmentation, Jiajun Wu, Yibiao Zhao, Jun-Yan
Zhu, Siwei Luo, and Zhuowen Tu

14. 不正確な監督
監修情報は必ずしも地に足のついた真実とは限らない
14

15. クラウドソーシングの手法
● 低品質なラベルをたくさん提供できるそれらをどうするか？
● 最も一般的な手法：複数の作業員に同じアノテーションタスクを実行してもらい、結果を平均化
する。
● より高度な技術：各ワーカーのパフォーマンスを追跡し、ベイズ推論技術を使用して信頼性を推
定し、信頼性の高いワーカーに決定の重みを与える。
→ アクティブラーニング/半教師付き学習
ワークフローに似ている。
15

16. Confident learning - cleanlab
目的. データセットからノイズの多いラベルを見つけて削
除します。
1. ノイズの多いラベル付けされたデータセットでモデ
ルを訓練する
2. 根拠のあるラベルでモデルを実行して，予測の信
頼度を求める
3. 不正確なクラスの信頼度がある閾値よりも高い回
数を数える
4. この回数を用いてラベルのノイズを推定し，信頼
性の低いものをランク付けし，それらを刈り取る
16

17. CleanLab出力：ImageNetからのノイズの多いラベル（合計
10万件以上）
青: マルチラベル画像, 緑: 存在論的問題, 赤: ラベルエラー.
17

18. 参考文献
1. A brief introduction to weakly supervised learning
2. How to Use Inaccurate Data for Machine Learning with Weakly Supervised Learning
3. Confident Learning: Estimating Uncertainty in Dataset Labels
18

19. Appendix: Confident learning equations
19