「CVPR 2020 網羅的サーベイ」により作成された Transfer / Low-Shot / Semi / Unsupervised Learning エリアのメタサーベイ資料です。 CVPR 2020 網羅的サーベイ: http://xpaperchallenge.org/cv/survey/cvpr2020_summaries/listall/ cvpaper.challengeはコンピュータビジョン分野の今を映し、トレンドを創り出す挑戦です。論文サマリ作成・アイディア考案・議論・実装・論文投稿に取り組み、凡ゆる知識を共有します。2020の目標は「トップ会議に30+本投稿」することです。 http://xpaperchallenge.org/cv/

1. CVPR 2020の動向・気付き・メタサーベイ
Transfer/Low-shot/Semi/Unsupervised Learning
1
岡本大和（オムロン）
松本晨人（筑波大学）
木村大毅（IBM Research AI）
Group 12: Transfer/Low-Shot/Semi/Unsupervised Learning

2. 2
Transferの一種：Domain Adaptation
• 異なるドメイン間での転移、今年も増加傾向
•
• 今年の気付き：
• 昨年度に引き続き、問題設定の新しさを強調した研究がいくつか見られた。
• ただし、新しい問題設定でSoTA達成するだけでなく、従来の問題設定でも従来手法と同等程度
の達成が求められている。つまり、特別な条件専用の手法だと評価されにくい。
Open Compound Domain Adaptation [CVPR 2020, Oral]
SourceDomeinは1つ、TargetDomainは複数かつDomainラベルなし、この条件で未知のDomainに Adaptationする問題設定

3. 3
CNN Features の Transfer
• CNNの出力特徴を転用して新たな表現を獲得
– DEPARA: Deep Attribution Graph for Deep Knowledge Transferability [CVPR 2020, Oral]
• 学習済みモデルの知識を表現するグラフを獲得
• 他タスクへの転移性を定量的に測る
– HRank: Filter Pruning Using High-Rank Feature Map [CVPR 2020, Oral]
• 入力と各フィルタの関係性を元に剪定
• 特徴マップ行列のランクからフィルタの重要度を決定

4. どのデータセットでTransferすべきか判定する研究
4
Open Datasetが乱立する現状を踏まえたユニークな問題設定
Neural Data Server: A Large-Scale Search Engine for Transfer Learning Data [CVPR 2020, Oral]
課題設定：
– クライアントは、AIを適用したいローカルのデータセットがある
– 膨大にある公開データセットのうち、どのデータでPretrainしてTranferするのがベストか知りたい
– クライアントは、ローカルのデータセットは秘匿したままにしたい
提案手法（提案システム）：
– サーバにMoEモデル（各データセットでPretrainしたエキスパートモデル）を準備する
– クライアントはMoEモデルをダウンロード後、手持ちデータでFast-Adoptして、性能をサーバに送信
– その結果を受けてサーバはPretrainすべきデータセットをレコメンド(データセットURLを送信)する

5. Transferの一種：Distillation (蒸留)
5
Distillationの必要性に言及
Distillationとは：
パラメタ数の多い学習済みのteacher-modelの出力を真似することで、
パラメタ数が少ないstudent-modelでも同等性能を達成させる手法。
Revisiting Knowledge Distillation via Label Smoothing Regularization [CVPR 2020, Oral]
この論文が発見したこと：
● 逆に、パラメタ数が少ないモデルを、パラメタ数が多いモデルが真似した場合も蒸留効果が得られる
● 1epoch程度しか学習していないACC10%程度のpoorなteacher-modelを真似しても、
蒸留効果が得られる（当然、soft-labelだけでなくhard-labelも使用）
この原因はClass-labelのsmoothingだと推測
性能10%程度のModelでも「AとBは混同しやすい」といった知恵を与えてくれる

6. 6
• 複数のタスクとの組み合わせ
– Few-Shotや不均衡データでの学習
Meta-Learning of Neural Architectures for Few-Shot Learning [CVPR 2020, Oral]
• Few-Shot learningのNASへの応用
Deep Active Learning for Biased Datasets via Fisher Kernel Self-Supervision [CVPR 2020]
• Biased Datasetsの
Active Learningへの応用
Low-Shot Learning・Biased Datasets

7. 7
Unsupervised Anomaly Detection
• ラベルなしで正常と異常の両サンプルを学習
• 今年の気づき：
• 従来は、異常サンプルが手に入りにくい背景から、いかに正常サンプルで学習するかに注
力されていた。近年は、異常サンプルをオンライン学習する機能を搭載した手法が増加
中。いかに少ない異常サンプルを有効に学習するかに焦点が当たる。
Self-Trained Deep Ordinal Regression for End-to-End Video Anomaly Detection [CVPR 2020]
・正常/異常ラベルなしにUnsupervisedで学習する手法を提案
・新たに異常サンプルに遭遇したら、そのまま追加で学習