2021/09/10 Deep Learning JP: http://deeplearning.jp/seminar-2/

1. DEEP LEARNING JP
[DL Papers] Representation Learning via Invariant Causal Mechanisms
XIN ZHANG, Matsuo Lab
http://deeplearning.jp/

2. 書誌情報
● Representation Learning via Invariant Causal Mechanisms
● 著者：Jovana Mitrovic, Brian McWilliams, Jacob Walker, Lars Buesing, Charles Blundell
● 研究機関：DeepMind, Oct 2020(Arxiv)
● 概要
○ Contrastive Learning（CL）が上手くいっている理由を因果論で解釈する論文
○ データ拡張に注目して、画像のStyleがdowntasksに影響しないため（仮説のもとで）、
事前学習のTaskにおいても影響しないようにすれば良い
○ CLのLoss関数に、Styleによる影響を抑える制限を加える
○ 学習した表現の良さは､Baselineと同等だが、ロバスト性や汎化性が優れている
2

3. Introduction：Representation Learning

4. Representation Learning via Invariant Causal Mechanisms

5. BYOL
Representation Learning via Invariant Causal Mechanisms
Target Network

6. Reprensentation(Self-supervised) learningはMIだけでは解釈でき
ない
[DL輪読会]相互情報量最大化による表現学習、岩澤先生より

7. Representation Learning via Invariant Causal Mechanisms
Alignment and Uniformity on the Hypersphere

8. Proposed method：RELIC

9. 議論：仮説に異論はあるかもだが、(自分は)納得
できる
Representation Learning via Invariant Causal Mechanisms
Assumptions:
1. 画像(X)はコンテンツ(C)とスタイル(S)から生
成される
2. Cのみが下流タスク(Y_1...)に影響する
3. CとSはお互いに独立

10. 理論上：Instance Classificationは最も難しいタス
クであり、これさえできれば、下流のどんなタス
クに対しても解けるはず。（証明付き）
自分の理解：個々の分類よりも細かい分類がない
Representation Learning via Invariant Causal Mechanisms
事前学習のタスク(Y^R)で表現f(X)を学習する。
Y^RはInstance Classification(入力画像と他の画像
と区別する)。

11. Representation Learning via Invariant Causal Mechanisms
Y^Rでf(X)で事前学習する際に、Sの変化による影
響を無くすように制限をかける。

12. Relationship between RELIC and other methods.

13. EXPERIMENTS

14. Linear evalution：線形分類のしやすさで表現の良さを評価
Fischer’s linear discriminant ratio(Friedman et al., 2009)
大きければ大きいほど、線形分離しやすい。
SimCLRより良いことがわかる。

15. Linear evalution：ImageNetで線形評価を行う（スタンダード）
２種類のArchitectureで、それぞれSOTAと同等程度な精度
- ただし、InfoMin AugとSwAVはより強力データ拡張を使
った。（5%ほど精度上げられるもの）
議論：より強力データ拡張を使った結果は気になる

16. ImageNet-R：ImageNetの画像を拡張したデータセット。
Top-1 Error%がSimCLRより低く、Supervisedより高い。
Robustness and Generalization

17. Robustness and Generalization
ImageNet-C：ImageNetの画像に異なる程度な異なるノイズを
加えたデータセット。
複数のError率では、SimCLRとBYOLより低い（良い）。

18. Reinforcement Learning
R2D2の入力画像に対する拡張で精度を比較。
（R2D2：RNN+DQN+Tricksで大幅当時のSOTAを超えた。）
感想：RLは普段しない実験で新鮮。CURLよりも良かった。

19. Conclusion

20. Related Work
A causal view of compositional zero-shot
recognition(NIPS 2020)
Self-Supervised Learning with Data
Augmentations Provably Isolates Content
from Style(Jun 2021)
ContentがStyleに影響する！を仮定する

21. まとめ：
- Self-supervised learning(Contrastive Learning)を因果の枠組みで解釈してみた研究。
- 特徴は、RELIC Lossが必要であることをを因果論？の数式で証明した(Appendixを参考)。
感想：
- Contrastive Learningの新しい手法がどんどん提案されているに対して、その理論解析の研究が少な
い(追いついていない)。
- 実装公開してほしい。