KS
Uploaded byKaito Sugiyama
PPTX, PDF939 views

Survey on Test Time Adaptation.pptx

survey on test time adaptation (テスト時適応のサーベイです)

Embed presentation

Download to read offline
Test Time Adaptation 2024/1/24 1
Background｜深層学習による画像分類 近年高精度な手法が多く提案され，実社会においても利用が増えている dog ・文字認識 ・ECにおける商品画像のラベリング ・レジでの商品認識 応用例 https://ledge.ai/articles/bakery-scan 2024/1/24 2
Background｜ドメインシフト ドメインシフト問題：撮影状況の違いなどによる精度の低下 訓練データ テストデータ Digits データセット [Xu+ ‘18] Office データセット [Saenko+ ‘10] 2024/1/24 3
Background｜ドメインシフトの対策 Domain Adaptation Test Time Adaptation (TTA) Adaptation ＆ Test Source data Target data Train Time Test Time 訓練時にテスト時のデータを利用して モデルを適応しながら訓練する 訓練時にテスト時の撮影状況 を把握している必要がある 訓練時は訓練データのみを利用 テスト時にモデルを適応しながら推論 訓練時にテスト時の撮影状況 を知る必要がない 撮影状況の変化 Training & Adaptation Source data Target data Test Train Time Test Time 撮影状況の変化 2024/1/24 4
Agenda｜Test Time Adaptation Improving robustness against common corruptions by covariate shift adaptation, Steffen Schneider+（University of Tübingen & IMPRS-IS）[NeurIPS‘20] TENT: Fully Test-Time Adaptation by Entropy Minimization, Dequan Wang, Evan Shelhamer+ (UC Berkeley, Adobe) [ICLR’21] （被引用数：511） （被引用数：280） TTN: A Domain-Shift Aware Batch Normalization in Test- Time Adaptation, Hyesu Lim, Byeonggeun Kim+ (Qualcomm AI Research) [ICLR’23] （被引用数：17） On Pitfalls of Test-Time Adaptation, Hao Zhao, Yuejiang Liu+ (EPFL) [ICML’23] （被引用数：4） 2024/1/24 5
Improving robustness against common corruptions by covariate shift adaptation, Steffen Schneider+（University of Tübingen & IMPRS-IS）[NeurIPS‘20] 2024/1/24 6 バッチ統計量をテストデータで適応 （被引用数：280） Test Time Adaptation の先駆けとなる研究 Conv BN Conv BN Linear dog 統計量（平均・分散）はドメイン 固有な情報と捉えられる Weight (trainable) Bias (trainable) Running_mean (statistic) Running_var (statistic) バッチ正規化層に着目
Improving robustness against common corruptions by covariate shift adaptation, Steffen Schneider+（University of Tübingen & IMPRS-IS）[NeurIPS‘20] 2024/1/24 7 （被引用数：280） バッチ正規化層に着目 𝑥𝑖 = 𝑥𝑖 − 𝜇𝑠 𝜎𝑠 2 + 𝜖 , y𝑖 = 𝛾𝑥𝑖 + 𝛽 source target 𝑥𝑖 = 𝑥𝑖 − 𝜇𝑡 𝜎𝑡 2 + 𝜖 , y𝑖 = 𝛾𝑥𝑖 + 𝛽 バッチにおける分布の偏りを調整 source ドメインシフトに堅牢
Improving robustness against common corruptions by covariate shift adaptation, Steffen Schneider+（University of Tübingen & IMPRS-IS）[NeurIPS‘20] 2024/1/24 8 （被引用数：280） 手法 N：ハイパラ 𝑛：𝑠𝑎𝑚𝑝𝑙𝑒 𝑠𝑖𝑧𝑒
Improving robustness against common corruptions by covariate shift adaptation, Steffen Schneider+（University of Tübingen & IMPRS-IS）[NeurIPS‘20] 2024/1/24 9 ImageNet-Cなどでモデルの改善 （被引用数：280）
TENT: Fully Test-Time Adaptation by Entropy Minimization, Dequan Wang, Evan Shelhamer+ (UC Berkeley, Adobe) [ICLR’21] 2024/1/24 10 Test Time Adaptationタスクを定義 （被引用数：511）
TENT: Fully Test-Time Adaptation by Entropy Minimization, Dequan Wang, Evan Shelhamer+ (UC Berkeley, Adobe) [ICLR’21] 2024/1/24 11 EntropyとError Rateに相関があることに着目 （被引用数：511）
TENT: Fully Test-Time Adaptation by Entropy Minimization, Dequan Wang, Evan Shelhamer+ (UC Berkeley, Adobe) [ICLR’21] 2024/1/24 12 Entropyを最小化 𝐿 𝑥𝑡 = 𝐻 𝑦 = − 𝑐 𝑝 𝑦𝑐 log 𝑝 𝑦𝑐 , 𝑦 = 𝑓𝜃(𝑥𝑡) バッチ正規化層のみ更新 （被引用数：511）
TENT: Fully Test-Time Adaptation by Entropy Minimization, Dequan Wang, Evan Shelhamer+ (UC Berkeley, Adobe) [ICLR’21] 2024/1/24 13 他の研究と比べError Rateの減少に成功 （被引用数：511）
TTN: A Domain-Shift Aware Batch Normalization in Test-Time Adaptation, Hyesu Lim, Byeonggeun Kim+ (Qualcomm AI Research) [ICLR’23] 2024/1/24 14 BN Adaptの改良 （被引用数：17） 追加学習によって最適なものにする
2024/1/24 15 BN Adaptの改良 （被引用数：17） クリーンなxとAugmentによるx’からドメインシフトに敏感なBNを探す TTN: A Domain-Shift Aware Batch Normalization in Test-Time Adaptation, Hyesu Lim, Byeonggeun Kim+ (Qualcomm AI Research) [ICLR’23]
2024/1/24 16 既存手法と比較＆組み合わせ （被引用数：17） TTN: A Domain-Shift Aware Batch Normalization in Test-Time Adaptation, Hyesu Lim, Byeonggeun Kim+ (Qualcomm AI Research) [ICLR’23]
On Pitfalls of Test-Time Adaptation, Hao Zhao, Yuejiang Liu+ (EPFL) [ICML’23] 2024/1/24 17 （被引用数：4） 既存のTest Time Adaptationに対する3つの落とし穴を提示 1. ハイパラの設定にテストデータに関する予備知識が必要 2. TTAの有効性がモデルによって大きく異なる可能性 3. 1.2.と満たした理想下でも，correlation shiftやlabel shiftに低パフォーマンス TTAのベンチマークを提案
On Pitfalls of Test-Time Adaptation, Hao Zhao, Yuejiang Liu+ (EPFL) [ICML’23] 2024/1/24 18 （被引用数：4） 1. ハイパラの設定にテストデータに関する予備知識が必要 ハイパラの設定について言及されていないことが多い エピソード的なのかonline適応なのか
On Pitfalls of Test-Time Adaptation, Hao Zhao, Yuejiang Liu+ (EPFL) [ICML’23] 2024/1/24 19 （被引用数：4） 2. TTAの有効性がモデルによって大きく異なる可能性 初期：BNを持つモデルに依存 最近：GNやViTといった最新のアーキテクチャ データ拡張や追加学習によっても変化
On Pitfalls of Test-Time Adaptation, Hao Zhao, Yuejiang Liu+ (EPFL) [ICML’23] 2024/1/24 20 （被引用数：4） 3. 理想下でも，correlation shiftやlabel shiftに低パフォーマンス
On Pitfalls of Test-Time Adaptation, Hao Zhao, Yuejiang Liu+ (EPFL) [ICML’23] 2024/1/24 21 （被引用数：4） 3. 理想下でも，correlation shiftやlabel shiftに低パフォーマンス
On Pitfalls of Test-Time Adaptation, Hao Zhao, Yuejiang Liu+ (EPFL) [ICML’23] 2024/1/24 22 （被引用数：4） 補足：Cifar10.1 https://www.tensorflow.org/datasets/catalog/cifar10_1 約2000枚のテストセット Cifar10と同じtiny imagesデータセットから Natural shiftを再現
2024/1/24 23 まとめ Test Time Adaptation 学習時ではなく，推論時に初めてテストデータを見てモデルを適応する 適応方法 ・ BNの統計量を置き換える ・ エントロピーなどを見て学習しながら推論する 今後の展望 BNではないものに着目（GN,LN）した適応 多様なシフトに適応できる手法 精度だけでなく推論時間にも言及して高速に適応できる手法

More Related Content

PDF
計算論的学習理論入門 -PAC学習とかVC次元とか-
bysleepy_yoshi
 
PPTX
【DL輪読会】HexPlaneとK-Planes
byDeep Learning JP
 
PDF
深層強化学習の分散化・RNN利用の動向〜R2D2の紹介をもとに〜
byJun Okumura
 
PPTX
【DL輪読会】Efficiently Modeling Long Sequences with Structured State Spaces
byDeep Learning JP
 
PPTX
【DL輪読会】SimCSE: Simple Contrastive Learning of Sentence Embeddings (EMNLP 2021)
byDeep Learning JP
 
PDF
DQNからRainbowまで 〜深層強化学習の最新動向〜
byJun Okumura
 
PDF
スペクトラルグラフ理論入門
byirrrrr
 
PPTX
【解説】 一般逆行列
byKenjiro Sugimoto
 
計算論的学習理論入門 -PAC学習とかVC次元とか-
bysleepy_yoshi
 
【DL輪読会】HexPlaneとK-Planes
byDeep Learning JP
 
深層強化学習の分散化・RNN利用の動向〜R2D2の紹介をもとに〜
byJun Okumura
 
【DL輪読会】Efficiently Modeling Long Sequences with Structured State Spaces
byDeep Learning JP
 
【DL輪読会】SimCSE: Simple Contrastive Learning of Sentence Embeddings (EMNLP 2021)
byDeep Learning JP
 
DQNからRainbowまで 〜深層強化学習の最新動向〜
byJun Okumura
 
スペクトラルグラフ理論入門
byirrrrr
 
【解説】 一般逆行列
byKenjiro Sugimoto
 

What's hot

PDF
【メタサーベイ】基盤モデル / Foundation Models
bycvpaper. challenge
 
PDF
One Class SVMを用いた異常値検知
byYuto Mori
 
PPTX
【DL輪読会】Flamingo: a Visual Language Model for Few-Shot Learning 画像×言語の大規模基盤モ...
byDeep Learning JP
 
PPTX
[DeepLearning論文読み会] Dataset Distillation
byRyutaro Yamauchi
 
PPTX
Curriculum Learning （関東CV勉強会）
byYoshitaka Ushiku
 
PDF
深層生成モデルと世界モデル
byMasahiro Suzuki
 
PPTX
強化学習エージェントの内発的動機付けによる探索とその応用（第4回 統計・機械学習若手シンポジウム 招待公演）
byShota Imai
 
PDF
最適輸送入門
byjoisino
 
PDF
[DL輪読会]Wasserstein GAN/Towards Principled Methods for Training Generative Adv...
byDeep Learning JP
 
PPTX
Triplet Loss 徹底解説
bytancoro
 
PPTX
[DL輪読会]Set Transformer: A Framework for Attention-based Permutation-Invariant...
byDeep Learning JP
 
PDF
最適輸送の解き方
byjoisino
 
PPTX
[DL輪読会]GLIDE: Guided Language to Image Diffusion for Generation and Editing
byDeep Learning JP
 
PDF
Domain Adaptation 発展と動向まとめ（サーベイ資料）
byYamato OKAMOTO
 
PPTX
強化学習における好奇心
byShota Imai
 
PDF
動画認識サーベイv1（メタサーベイ ）
bycvpaper. challenge
 
PPTX
[DL輪読会]相互情報量最大化による表現学習
byDeep Learning JP
 
PDF
Tech-Circle #18 Pythonではじめる強化学習 OpenAI Gym 体験ハンズオン
byTakahiro Kubo
 
PPTX
劣モジュラ最適化と機械学習1章
byHakky St
 
PDF
Skip Connection まとめ（Neural Network）
byYamato OKAMOTO
 
【メタサーベイ】基盤モデル / Foundation Models
bycvpaper. challenge
 
One Class SVMを用いた異常値検知
byYuto Mori
 
【DL輪読会】Flamingo: a Visual Language Model for Few-Shot Learning 画像×言語の大規模基盤モ...
byDeep Learning JP
 
[DeepLearning論文読み会] Dataset Distillation
byRyutaro Yamauchi
 
Curriculum Learning （関東CV勉強会）
byYoshitaka Ushiku
 
深層生成モデルと世界モデル
byMasahiro Suzuki
 
強化学習エージェントの内発的動機付けによる探索とその応用（第4回 統計・機械学習若手シンポジウム 招待公演）
byShota Imai
 
最適輸送入門
byjoisino
 
[DL輪読会]Wasserstein GAN/Towards Principled Methods for Training Generative Adv...
byDeep Learning JP
 
Triplet Loss 徹底解説
bytancoro
 
[DL輪読会]Set Transformer: A Framework for Attention-based Permutation-Invariant...
byDeep Learning JP
 
最適輸送の解き方
byjoisino
 
[DL輪読会]GLIDE: Guided Language to Image Diffusion for Generation and Editing
byDeep Learning JP
 
Domain Adaptation 発展と動向まとめ（サーベイ資料）
byYamato OKAMOTO
 
強化学習における好奇心
byShota Imai
 
動画認識サーベイv1（メタサーベイ ）
bycvpaper. challenge
 
[DL輪読会]相互情報量最大化による表現学習
byDeep Learning JP
 
Tech-Circle #18 Pythonではじめる強化学習 OpenAI Gym 体験ハンズオン
byTakahiro Kubo
 
劣モジュラ最適化と機械学習1章
byHakky St
 
Skip Connection まとめ（Neural Network）
byYamato OKAMOTO
 

Similar to Survey on Test Time Adaptation.pptx

PDF
【DL輪読会】Learning Instance-Specific Adaptation for Cross-Domain Segmentation (E...
byDeep Learning JP
 
PPTX
[DL輪読会]High-Fidelity Image Generation with Fewer Labels
byDeep Learning JP
 
PDF
Domain Adaptive Faster R-CNN for Object Detection in the Wild 論文紹介
byTsukasa Takagi
 
PPTX
[DL輪読会] “Asymmetric Tri-training for Unsupervised Domain Adaptation (ICML2017...
byYusuke Iwasawa
 
PPTX
[DL輪読会]ドメイン転移と不変表現に関するサーベイ
byDeep Learning JP
 
PDF
Learning Semantic Representations for Unsupervised Domain Adaptation 論文紹介
byTsukasa Takagi
 
PDF
Taking a Deeper Look at the Inverse Compositional Algorithm
byMai Nishimura
 
PDF
ICLR'19 研究動向まとめ 『Domain Adaptation』『Feature Disentangle』
byYamato OKAMOTO
 
PPTX
DNNの曖昧性に関する研究動向
byNaoki Matsunaga
 
PPTX
Icml2018読み会_overview&GANs
byKentaro Tachibana
 
PDF
Seeing Unseens with Machine Learning -- 
見えていないものを見出す機械学習
byTatsuya Shirakawa
 
PDF
Towards Faster and Stabilized GAN Training for High-fidelity Few-shot Image S...
byharmonylab
 
PPTX
機械学習を民主化する取り組み
byYoshitaka Ushiku
 
PDF
[DL Hacks]Self-Attention Generative Adversarial Networks
byDeep Learning JP
 
PDF
SPADE :Semantic Image Synthesis with Spatially-Adaptive Normalization
byTenki Lee
 
PPTX
ユーザの自然なインタラクションに基づく操作ミス推測
bysugiuralab
 
PPTX
CVPR2018 pix2pixHD論文紹介 (CV勉強会@関東)
byTenki Lee
 
PPTX
A closer look at few shot classification
byKazuki Fujikawa
 
PPTX
[DL輪読会]A closer look at few shot classification
byDeep Learning JP
 
PDF
「解説資料」Pervasive Label Errors in Test Sets Destabilize Machine Learning Bench...
byTakumi Ohkuma
 
【DL輪読会】Learning Instance-Specific Adaptation for Cross-Domain Segmentation (E...
byDeep Learning JP
 
[DL輪読会]High-Fidelity Image Generation with Fewer Labels
byDeep Learning JP
 
Domain Adaptive Faster R-CNN for Object Detection in the Wild 論文紹介
byTsukasa Takagi
 
[DL輪読会] “Asymmetric Tri-training for Unsupervised Domain Adaptation (ICML2017...
byYusuke Iwasawa
 
[DL輪読会]ドメイン転移と不変表現に関するサーベイ
byDeep Learning JP
 
Learning Semantic Representations for Unsupervised Domain Adaptation 論文紹介
byTsukasa Takagi
 
Taking a Deeper Look at the Inverse Compositional Algorithm
byMai Nishimura
 
ICLR'19 研究動向まとめ 『Domain Adaptation』『Feature Disentangle』
byYamato OKAMOTO
 
DNNの曖昧性に関する研究動向
byNaoki Matsunaga
 
Icml2018読み会_overview&GANs
byKentaro Tachibana
 
Seeing Unseens with Machine Learning -- 
見えていないものを見出す機械学習
byTatsuya Shirakawa
 
Towards Faster and Stabilized GAN Training for High-fidelity Few-shot Image S...
byharmonylab
 
機械学習を民主化する取り組み
byYoshitaka Ushiku
 
[DL Hacks]Self-Attention Generative Adversarial Networks
byDeep Learning JP
 
SPADE :Semantic Image Synthesis with Spatially-Adaptive Normalization
byTenki Lee
 
ユーザの自然なインタラクションに基づく操作ミス推測
bysugiuralab
 
CVPR2018 pix2pixHD論文紹介 (CV勉強会@関東)
byTenki Lee
 
A closer look at few shot classification
byKazuki Fujikawa
 
[DL輪読会]A closer look at few shot classification
byDeep Learning JP
 
「解説資料」Pervasive Label Errors in Test Sets Destabilize Machine Learning Bench...
byTakumi Ohkuma
 

Survey on Test Time Adaptation.pptx

  • 1.
  • 2.
  • 3.
  • 4.
    Background｜ドメインシフトの対策 Domain Adaptation TestTime Adaptation (TTA) Adaptation ＆ Test Source data Target data Train Time Test Time 訓練時にテスト時のデータを利用して モデルを適応しながら訓練する 訓練時にテスト時の撮影状況 を把握している必要がある 訓練時は訓練データのみを利用 テスト時にモデルを適応しながら推論 訓練時にテスト時の撮影状況 を知る必要がない 撮影状況の変化 Training & Adaptation Source data Target data Test Train Time Test Time 撮影状況の変化 2024/1/24 4
  • 5.
    Agenda｜Test Time Adaptation Improvingrobustness against common corruptions by covariate shift adaptation, Steffen Schneider+（University of Tübingen & IMPRS-IS）[NeurIPS‘20] TENT: Fully Test-Time Adaptation by Entropy Minimization, Dequan Wang, Evan Shelhamer+ (UC Berkeley, Adobe) [ICLR’21] （被引用数：511） （被引用数：280） TTN: A Domain-Shift Aware Batch Normalization in Test- Time Adaptation, Hyesu Lim, Byeonggeun Kim+ (Qualcomm AI Research) [ICLR’23] （被引用数：17） On Pitfalls of Test-Time Adaptation, Hao Zhao, Yuejiang Liu+ (EPFL) [ICML’23] （被引用数：4） 2024/1/24 5
  • 6.
    Improving robustness againstcommon corruptions by covariate shift adaptation, Steffen Schneider+（University of Tübingen & IMPRS-IS）[NeurIPS‘20] 2024/1/24 6 バッチ統計量をテストデータで適応 （被引用数：280） Test Time Adaptation の先駆けとなる研究 Conv BN Conv BN Linear dog 統計量（平均・分散）はドメイン 固有な情報と捉えられる Weight (trainable) Bias (trainable) Running_mean (statistic) Running_var (statistic) バッチ正規化層に着目
  • 7.
    Improving robustness againstcommon corruptions by covariate shift adaptation, Steffen Schneider+（University of Tübingen & IMPRS-IS）[NeurIPS‘20] 2024/1/24 7 （被引用数：280） バッチ正規化層に着目 𝑥𝑖 = 𝑥𝑖 − 𝜇𝑠 𝜎𝑠 2 + 𝜖 , y𝑖 = 𝛾𝑥𝑖 + 𝛽 source target 𝑥𝑖 = 𝑥𝑖 − 𝜇𝑡 𝜎𝑡 2 + 𝜖 , y𝑖 = 𝛾𝑥𝑖 + 𝛽 バッチにおける分布の偏りを調整 source ドメインシフトに堅牢
  • 8.
    Improving robustness againstcommon corruptions by covariate shift adaptation, Steffen Schneider+（University of Tübingen & IMPRS-IS）[NeurIPS‘20] 2024/1/24 8 （被引用数：280） 手法 N：ハイパラ 𝑛：𝑠𝑎𝑚𝑝𝑙𝑒 𝑠𝑖𝑧𝑒
  • 9.
    Improving robustness againstcommon corruptions by covariate shift adaptation, Steffen Schneider+（University of Tübingen & IMPRS-IS）[NeurIPS‘20] 2024/1/24 9 ImageNet-Cなどでモデルの改善 （被引用数：280）
  • 10.
    TENT: Fully Test-TimeAdaptation by Entropy Minimization, Dequan Wang, Evan Shelhamer+ (UC Berkeley, Adobe) [ICLR’21] 2024/1/24 10 Test Time Adaptationタスクを定義 （被引用数：511）
  • 11.
    TENT: Fully Test-TimeAdaptation by Entropy Minimization, Dequan Wang, Evan Shelhamer+ (UC Berkeley, Adobe) [ICLR’21] 2024/1/24 11 EntropyとError Rateに相関があることに着目 （被引用数：511）
  • 12.
    TENT: Fully Test-TimeAdaptation by Entropy Minimization, Dequan Wang, Evan Shelhamer+ (UC Berkeley, Adobe) [ICLR’21] 2024/1/24 12 Entropyを最小化 𝐿 𝑥𝑡 = 𝐻 𝑦 = − 𝑐 𝑝 𝑦𝑐 log 𝑝 𝑦𝑐 , 𝑦 = 𝑓𝜃(𝑥𝑡) バッチ正規化層のみ更新 （被引用数：511）
  • 13.
    TENT: Fully Test-TimeAdaptation by Entropy Minimization, Dequan Wang, Evan Shelhamer+ (UC Berkeley, Adobe) [ICLR’21] 2024/1/24 13 他の研究と比べError Rateの減少に成功 （被引用数：511）
  • 14.
    TTN: A Domain-ShiftAware Batch Normalization in Test-Time Adaptation, Hyesu Lim, Byeonggeun Kim+ (Qualcomm AI Research) [ICLR’23] 2024/1/24 14 BN Adaptの改良 （被引用数：17） 追加学習によって最適なものにする
  • 15.
    2024/1/24 15 BN Adaptの改良 （被引用数：17） クリーンなxとAugmentによるx’からドメインシフトに敏感なBNを探す TTN:A Domain-Shift Aware Batch Normalization in Test-Time Adaptation, Hyesu Lim, Byeonggeun Kim+ (Qualcomm AI Research) [ICLR’23]
  • 16.
    2024/1/24 16 既存手法と比較＆組み合わせ （被引用数：17） TTN: ADomain-Shift Aware Batch Normalization in Test-Time Adaptation, Hyesu Lim, Byeonggeun Kim+ (Qualcomm AI Research) [ICLR’23]
  • 17.
    On Pitfalls ofTest-Time Adaptation, Hao Zhao, Yuejiang Liu+ (EPFL) [ICML’23] 2024/1/24 17 （被引用数：4） 既存のTest Time Adaptationに対する3つの落とし穴を提示 1. ハイパラの設定にテストデータに関する予備知識が必要 2. TTAの有効性がモデルによって大きく異なる可能性 3. 1.2.と満たした理想下でも，correlation shiftやlabel shiftに低パフォーマンス TTAのベンチマークを提案
  • 18.
    On Pitfalls ofTest-Time Adaptation, Hao Zhao, Yuejiang Liu+ (EPFL) [ICML’23] 2024/1/24 18 （被引用数：4） 1. ハイパラの設定にテストデータに関する予備知識が必要 ハイパラの設定について言及されていないことが多い エピソード的なのかonline適応なのか
  • 19.
    On Pitfalls ofTest-Time Adaptation, Hao Zhao, Yuejiang Liu+ (EPFL) [ICML’23] 2024/1/24 19 （被引用数：4） 2. TTAの有効性がモデルによって大きく異なる可能性 初期：BNを持つモデルに依存 最近：GNやViTといった最新のアーキテクチャ データ拡張や追加学習によっても変化
  • 20.
    On Pitfalls ofTest-Time Adaptation, Hao Zhao, Yuejiang Liu+ (EPFL) [ICML’23] 2024/1/24 20 （被引用数：4） 3. 理想下でも，correlation shiftやlabel shiftに低パフォーマンス
  • 21.
    On Pitfalls ofTest-Time Adaptation, Hao Zhao, Yuejiang Liu+ (EPFL) [ICML’23] 2024/1/24 21 （被引用数：4） 3. 理想下でも，correlation shiftやlabel shiftに低パフォーマンス
  • 22.
    On Pitfalls ofTest-Time Adaptation, Hao Zhao, Yuejiang Liu+ (EPFL) [ICML’23] 2024/1/24 22 （被引用数：4） 補足：Cifar10.1 https://www.tensorflow.org/datasets/catalog/cifar10_1 約2000枚のテストセット Cifar10と同じtiny imagesデータセットから Natural shiftを再現
  • 23.
    2024/1/24 23 まとめ Test TimeAdaptation 学習時ではなく，推論時に初めてテストデータを見てモデルを適応する 適応方法 ・ BNの統計量を置き換える ・ エントロピーなどを見て学習しながら推論する 今後の展望 BNではないものに着目（GN,LN）した適応 多様なシフトに適応できる手法 精度だけでなく推論時間にも言及して高速に適応できる手法

Editor's Notes

  • #3 近年深層学習の発展に伴い，画像分類タスクでは数多くの高精度な手法が提案され，実社会でも利用が増えています
  • #4 しかし，現実で利用する際には，ドメインシフトと呼ばれる問題が無視できません．ドメインシフトとはモデルの訓練データとテストデータで撮影状況の違いなどから起きる画像のスタイルが変わる現象で，これにより分類精度が大幅に下がってしまうという課題があります．
  • #5 ドメインシフトに対するアプローチとしてDAと呼ばれる方法が多く研究されてきました．DAとは訓練の際に，テスト時のデータの情報も利用することでモデルをテストデータに適応しながら学習する方法です．しかし，この方法は訓練の際にテスト時の状況を把握する必要があり，必ずしも実用的であるとはいえません．そこで近年注目されているのがTTAという方法です．TTAは訓練の際には訓練データのみを使用し，テスト時に初めてテストデータを見て，モデルとテストデータに適応しながら推論を行います．この方法であれば訓練の際にテスト時の状況を把握しておく必要がないため応用の幅が広がります．
  • #6 TTAではテスト時に初めてテストデータの情報を見てモデルをアダプテーションしながら推論を行っていきます．そのため訓練の際はテスト時の情報を必要とせず，応用範囲が広がります．一方でデメリットとして，推論しながらアダプテーションを行うため，推論に時間がかかってしまうという無視できない課題が挙げられます．そのため本インターンの研究では高速なTTA手法の開発を目的としました．
  • #7 Unsupervised online adaptation
  • #8 Covariate shiftを除去
  • #9 Covariate shiftを除去
  • #10 Table 2: offline Figure5: online
  • #11 TTAの設定→エントロピーに着目して改善→手法としてはバッチ正規化のweightとbiasを再学習
  • #12 TTAの設定→エントロピーに着目して改善→手法としてはバッチ正規化のweightとbiasを再学習
  • #13 TTAの設定→エントロピーに着目して改善→手法としてはバッチ正規化のweightとbiasを再学習
  • #14 Table 2: offline Figure5: online
  • #15 Table 2: offline Figure5: online
  • #16 Table 2: offline Figure5: online
  • #17 Table 2: offline Figure5: online
  • #18 Table 2: offline Figure5: online
  • #19 Table 2: offline Figure5: online
  • #20 Table 2: offline Figure5: online
  • #21 Table 2: offline Figure5: online
  • #22 Table 2: offline Figure5: online
  • #23 Table 2: offline Figure5: online
  • #24 Table 2: offline Figure5: online
  • #25 TTAではテスト時に初めてテストデータの情報を見てモデルをアダプテーションしながら推論を行っていきます．そのため訓練の際はテスト時の情報を必要とせず，応用範囲が広がります．一方でデメリットとして，推論しながらアダプテーションを行うため，推論に時間がかかってしまうという無視できない課題が挙げられます．そのため本インターンの研究では高速なTTA手法の開発を目的としました．