機械学習系の論文「AUGMIX: A SIMPLE DATA PROCESSING METHOD TO IMPROVE ROBUSTNESS AND UNCERTAINTY」を読んだので、まとめてみました。私自身は専門家ではないので間違っている箇所があると思います。ご指摘いただけますと幸いです。

1. AUGMIX: A SIMPLE DATA PROCESSING METHOD TO
IMPROVE ROBUSTNESS AND UNCERTAINTY
Dan Hendrycks et al.
AUGMIX：堅牢性と不確実性を改善する
シンプルなデータ処理手法

2. ABSTRACT 2
 実環境では訓練データとテストデータに
違いがあることが多い（data shift）
→クラス分類の正確性が低下
 画像分類において堅牢性と不確実性評価を改善する
新たな水増し手法：AUGMIXの提案
※augmentation → データの水増し
・シンプルな実装
・計算も軽い
・未知の data corruption（データ崩れ）に強くなる

3. 1 INTRODUCTION 3
 訓練データに加工を入れても
その特定の加工に強くなるだけ
→未知の加工に対応できない
 堅牢性と計算量はトレードオフ
 data shift があると
過剰に信頼性の高い予測をしてしまう
→不確実性の評価に問題あり
 わずかな corruption （加工・乱れ）でも正解率が落ちる
通常の ImageNet error 22%
data corruptionを加えた ImageNet-C error 64%

4. 1 INTRODUCTION 4
AUGMIXとは？
 Data shift に対する堅牢性と不確実性を
同時に改善する手法
 ランダム性と様々な水増し方法を使い
複数の水増し画像を合成する
 CIFAR, ImageNet の両方でいい結果が得られた

5. 2 RELATED WORK 5
 data shift 下の堅牢性
訓練時の特定の加工を学習してしまう
例：あるブラーを覚えても未知のブラーに対応不可
 data shift 下のキャリブレーション
calibrated → 分類器が適切に正確性を予測できている
例：信頼度70%の画像のうち、70%が正解
data shift によってキャリブレーションは低下
複数のクラス分類予想を単純にアンサンブルすると改善

6. 2 RELATED WORK 6
水増し(augmentation)
水増しは大いに汎化に効果がある
切り取り・平行移動がよく使われる
manifold intrusion → ミックスした画像と元画像の特徴が矛盾し
学習不足に陥ること

7. C AUGMENTATION OPERATIONS 7
 もはや別の鳥の画像となっている
→元画像の特徴を失わない水増し手法を選ぶべき

8. 2 RELATED WORK 8
 adversarial machine learning
人間の目には同じように見えるような
わずかな変化で間違った予測をしてしまう現象がある
https://openai.com/blog/adversarial-example-research/
これらも考慮した学習を行うと
• 学習時間の指数関数的増大
• non-adversary 画像の正解率低下
gibbon

9. 3 AUGMIX 9
 水増し手法をミックスすると
堅牢・特定の水増しを覚えてしまうことがない
 水増し手法の単なるチェーンでは
元データから乖離してしまう

10. 3 AUGMIX 10
 AUGMIXでは複数のチェーンを凸結合することで
多様性を維持しつつ元データから乖離させない
※凸結合

11. 3 AUGMIX 11
• mix 比の重み 𝑤 𝑘 を乱数で決める
• width は固定で3
https://hotcocoastudy.hatenablog.jp/entry/2019/12/07/143506

12. 3 AUGMIX 12
• 各チェーンで operation を 3 個決める
• operation のうち 1 ～ 3 個選ぶ
https://hotcocoastudy.hatenablog.jp/entry/2019/12/07/143506

13. 3 AUGMIX 13
• 各チェーンを重み 𝑤 𝑘 で合成した画像 𝑥 𝑎𝑢𝑔 を得る
https://hotcocoastudy.hatenablog.jp/entry/2019/12/07/143506

14. 3 AUGMIX 14
• 合成比 𝑚 で 𝑥 𝑜𝑟𝑖𝑔 と 𝑥 𝑎𝑢𝑔 を合成し 𝑥 𝑎𝑢𝑔𝑚𝑖𝑥 を得る
https://hotcocoastudy.hatenablog.jp/entry/2019/12/07/143506

15. 3 AUGMIX 15
 実際は元画像に２回AugMix処理をして画像を２つ得る
→損失関数で評価する
AugMix also uses a consistency loss between
augmentations that encourages invariance to
semantic perturbations.
 ランダム性の中でも一貫性を保つ？
 元画像と乖離しないようにする？
正直よくわからない・・・
https://hotcocoastudy.hatenablog.jp/entry/2019/12/07/143506

16. C AUGMENTATION OPERATIONS 16
• ImageNet-Cに含まれる加工はAUGMIXに含めないことに注意
• 使ったのは equalize, autocontrast, rotate, shear_x, shear_y,
translate_x, translate_y, solarize, posterize
posterize
solarize

17. 4 EXPERIMENTS 17
 CIFAR-10, 100 (10, 100 classes)
32×32×3 color, 50,000 training, 10,000 testing images
 ImageNet
1,000 classes, 1.2 million large scale color images
 -C dataset
15の curruption を加えたもの、5段階の強度(severity)
ここに含まれる加工は学習では使ってはならない
data shiftへの堅牢性を見る
 -P dataset
動画版（少しずつ明るくなっていくなど）
動画中で予測が変化しない→安定した予測ができている

18. 4 EXPERIMENTS 18
Clean Error : 加工されたデータでのエラー
mCE : 加工の強度と各加工で平均をとったエラー
→画像が加工されていても正解が出せるか？
Flip Probability : 徐々に加工されていく動画において
あるコマと次のコマで予測が変化する確率
mFP : 10種の変化の平均をとったもの
→画像が加工されても一貫した予測ができるか？
キャリブレーションできている→予測確率と正解率が一致している
予想した確率と実際の確率の二乗誤差で判断
→不確実性が正しく評価できているか？

19. 4.1 CIFAR-10 AND CIFAR-100 19
水増し手法ごとのエラー率の比較
• 他の手法に比べ約半分のエラー
• 加工なしの場合のエラー率に近づいている

20. 4.1 CIFAR-10 AND CIFAR-100 20
モデルとCIFAR10/100ごとのエラー比較
• モデルやCIFAR10/100に関わらずエラー率が低い

21. 4.1 CIFAR-10 AND CIFAR-100 21
加工すると予測が変化するか
・一貫した予測ができている
キャリブレーション比較
・不確実性が見積れている

22. 4.2 IMAGENET 22
加工方法と前処理手法ごとのCEとmCE比較
・加工なしでもありでもエラーが下がる
・SINと組み合わせるとさらに堅牢性が増す

23. 4.2 IMAGENET 23
加工ごとのmFR(意味的にはmFP?)の比較
・予測の安定性が約20%改善

24. 4.2 IMAGENET 24
加工強度とエラーの関係
・当然強度が上がるとエラーも増す
・キャリブレーションにおいて顕著な結果

25. 4.3 ABLATIONS 25
AUGMIXの3要素：ランダム性、JSD、Mix の切り分け
• これ以上ミックスしてもいい結果にならなかった
• Mixupの前にAUGMIXするとエラー率が増した→manifold intrution
• 水増し手法の種類、損失関数、mix の組合せは慎重に

26. 5 CONCLUSION 26
• AUGMIX : ランダムに選ばれた前処理をミックスする手法
• 簡単に実装でき、計算量も少ない
• 堅牢性と不確実性評価を改善する
• CIFAR-10/100-C/P, ImageNet-C/P で良い結果
• 安全性が必要な信頼できるモデルの提供につながる