「CVPR 2020 網羅的サーベイ」により作成された Representation Learning エリアのメタサーベイ資料です。 CVPR 2020 網羅的サーベイ: http://xpaperchallenge.org/cv/survey/cvpr2020_summaries/listall/ cvpaper.challengeはコンピュータビジョン分野の今を映し、トレンドを創り出す挑戦です。論文サマリ作成・アイディア考案・議論・実装・論文投稿に取り組み、凡ゆる知識を共有します。2020の目標は「トップ会議に30+本投稿」することです。 http://xpaperchallenge.org/cv/

1. CVPR 2020の動向・気付き・メタサーベイ
1
谷村（慶應）, 山縣（東工大）, 福原（早大）
Group 16: Representation Learning

2. 2
キーワードはUniversal
• タスク，データspecificな手法からより汎用的な手
法へ
– ターゲットのタスクやデータセットのpriorに依存しない手法の実
用性は高い
例）従来はターゲットドメインに応
じたモデルを複数アンサンブルし
ていたのを，universalな特徴を
抽出する一つのモデルで行う研
究
Towards Universal Representation
Learning for Deep Face Recognition,
Yichun Shi et. al., CVPR, 2020

3. 3
キーワードはUniversal
– 様々な文脈でのuniversal
• AEs（防御）: universalな摂動に対する頑強性
• AEs（攻撃）: universalなtaskに対するtransferability
• Recognition: universalなtarget domain dataを認識できるモデ
ル
• Domain Adaptation: universalなdomain（sourceとtarget
domain間に関するpriorを必要としない）
既存手法の適用範囲を広げるような研究

4. 4
キーワードはUniversal
• 今後大きなトレンドになるかも？
– 既に高い精度が出ている分野では手法の汎用化は分かりやす
い研究の新たな方向性
– 実用性は自明
– 着々と増えるuniversal論文
• Universalをタイトルに含む論文の本数（CVPR）
• ２本(2017)→4本(2018)→4本(2019)→9本(2020)
確実に大きくなりつつあるトレンド！

5. 5
Adversarial Trainingの欠点をどう補完する？
• Adversarial Training (AT) は頑健な特徴の獲得に最も効
果の大きい防御手法であるが課題もある
- 通常の精度が低下してしまう
- 特定の攻撃手法に過学習しやすい
- 計算コストが大きい
これらの問題に対する取り組みが増えている

6. 6
Adversarial Trainingの欠点をどう補完する？
•精度と頑健性のtrade-offの問題
- データ拡張手法とATを組み合わせて精度の低下を抑制
- 複数の自己教師とATを組み合わせて精度の低下を抑制
Adversarial Robustness: From Self-Supervised
Pre-Training to Fine-Tuning, Tianlong Chen et al., CVPR
2020
頑健かつ高精度なモデルが実現可能になりつつある
Adversarial Vertex Mixup: Toward Better Adversarially
Robust Generalization, Saehyung Lee et al., CVPR 2020

7. 7
•自己教師学習の利用
- ラベルを使用しない敵対的摂動による学習
- 画像の量子化幅の変更に対する不変性によってATを用いずに
頑健性を獲得
Adversarial Trainingの欠点をどう補完する？
特定の攻撃に依存しない頑健性の獲得
A Self-supervised Approach for Adversarial Robustness,
Muzammal Naseer et al., CVPR 2020
Towards Achieving Adversarial Robustness
by Enforcing Feature Consistency Across Bit
Planes, Sravanti Addepalli et al., CVPR 2020

8. 8
多様な攻撃に対する頑健性の確保
• 攻撃側は防御手法を1つでも破ることができれば価値がある．
しかし，防御側は1つの攻撃に破られてしまえば，価値がない
– 防御側の論文において，以前はPGDなどの代表的な攻撃手法
に対する精度のみ検証する論文が多かった (実験に時間がか
かるというのは事実)
– しかし，攻撃手法はそれぞれ別の性質を持っている
– CVPR2020では，複数の攻撃手法に対して網羅的に評価して，
防御手法の性能を評価するような研究が増えてきた

9. 9
多様な攻撃に対する頑健性の確保
• 画像分類のAdversarial Attackに対する頑健性を評価するための新
しいベンチマークを提案
– perturbationの大きさを横軸にaccuracyを縦軸にとったグラフを用いて
，頑健性を評価する
– 多様な攻撃手法に対する多様な防御手法の性能を実験的に評価し，
そこから得られる知見をまとめた
Benchmarking Adversarial
Robustness on Image
Classification

10. 10
多様な攻撃に対する頑健性の確保
• 最適なEnsembleによる頑健性の向上
– Ensembleにおいて頑健性の向上に寄与するパラメータ
• サイズ・勾配の方向の多様性・Ensembleの各メンバの貢献バランス
– Joint Gradieent Phase and Magnitude Regularization (GPMR)
• 上記3つのパラメータ最適になるように学習を行うための制約項
– 7種類の攻撃に対する精度評価を行っている
Exploiting Joint Robustness to
Adversarial Perturbations