SOTAのvision modelは35億のインスタの弱ラベル付き画像を使用しているが,ラベル無し画像は使われていない.そこで,ラベル無し画像を追加で使用して精度の向上を図る.
学習は以下の手順で行う.
1. 教師モデルをラベル付きの画像で学習
2. 教師モデルを使ってラベルなし画像の疑似ラベルを生成
3. 生徒モデルをラベル付き画像と擬似ラベル付き画像を用いて学習
4. 3で学習した生徒モデルを教師モデルとして2,3を数回繰り返す
この時,疑似ラベルの生成時にはノイズを加えず、生徒モデルの学習時にはノイズを加える.
結果として,ImageNetのSOTAを1%更新.ImageNet-A,C,Pでロバスト性の向上を確認した.