More Related Content More from Deep Learning JP (20) [DL輪読会]representation learning via invariant causal mechanisms1. DEEP LEARNING JP
[DL Papers] Representation Learning via Invariant Causal Mechanisms
XIN ZHANG, Matsuo Lab
http://deeplearning.jp/
2. 書誌情報
● Representation Learning via Invariant Causal Mechanisms
● 著者:Jovana Mitrovic, Brian McWilliams, Jacob Walker, Lars Buesing, Charles Blundell
● 研究機関:DeepMind, Oct 2020(Arxiv)
● 概要
○ Contrastive Learning(CL)が上手くいっている理由を因果論で解釈する論文
○ データ拡張に注目して、画像のStyleがdowntasksに影響しないため(仮説のもとで)、
事前学習のTaskにおいても影響しないようにすれば良い
○ CLのLoss関数に、Styleによる影響を抑える制限を加える
○ 学習した表現の良さは、Baselineと同等だが、ロバスト性や汎化性が優れている
2
20. Related Work
A causal view of compositional zero-shot
recognition(NIPS 2020)
Self-Supervised Learning with Data
Augmentations Provably Isolates Content
from Style(Jun 2021)
ContentがStyleに影響する!を仮定する
21. まとめ:
- Self-supervised learning(Contrastive Learning)を因果の枠組みで解釈してみた研究。
- 特徴は、RELIC Lossが必要であることをを因果論?の数式で証明した(Appendixを参考)。
感想:
- Contrastive Learningの新しい手法がどんどん提案されているに対して、その理論解析の研究が少な
い(追いついていない)。
- 実装公開してほしい。