SlideShare a Scribd company logo

Survey on Test Time Adaptation.pptx

•Download as PPTX, PDF•
•
K
Kaito Sugiyama

survey on test time adaptation (テスト時適応のサーベイです)

Data & Analytics
1 of 23
Test Time Adaptation 2024/1/24 1
Background｜深層学習による画像分類 近年高精度な手法が多く提案され，実社会においても利用が増えている dog ・文字認識 ・ECにおける商品画像のラベリング ・レジでの商品認識 応用例 https://ledge.ai/articles/bakery-scan 2024/1/24 2
Background｜ドメインシフト ドメインシフト問題：撮影状況の違いなどによる精度の低下 訓練データ テストデータ Digits データセット [Xu+ ‘18] Office データセット [Saenko+ ‘10] 2024/1/24 3
Background｜ドメインシフトの対策 Domain Adaptation Test Time Adaptation (TTA) Adaptation ＆ Test Source data Target data Train Time Test Time 訓練時にテスト時のデータを利用して モデルを適応しながら訓練する 訓練時にテスト時の撮影状況 を把握している必要がある 訓練時は訓練データのみを利用 テスト時にモデルを適応しながら推論 訓練時にテスト時の撮影状況 を知る必要がない 撮影状況の変化 Training & Adaptation Source data Target data Test Train Time Test Time 撮影状況の変化 2024/1/24 4
Agenda｜Test Time Adaptation Improving robustness against common corruptions by covariate shift adaptation, Steffen Schneider+（University of Tübingen & IMPRS-IS）[NeurIPS‘20] TENT: Fully Test-Time Adaptation by Entropy Minimization, Dequan Wang, Evan Shelhamer+ (UC Berkeley, Adobe) [ICLR’21] （被引用数：511） （被引用数：280） TTN: A Domain-Shift Aware Batch Normalization in Test- Time Adaptation, Hyesu Lim, Byeonggeun Kim+ (Qualcomm AI Research) [ICLR’23] （被引用数：17） On Pitfalls of Test-Time Adaptation, Hao Zhao, Yuejiang Liu+ (EPFL) [ICML’23] （被引用数：4） 2024/1/24 5
Improving robustness against common corruptions by covariate shift adaptation, Steffen Schneider+（University of Tübingen & IMPRS-IS）[NeurIPS‘20] 2024/1/24 6 バッチ統計量をテストデータで適応 （被引用数：280） Test Time Adaptation の先駆けとなる研究 Conv BN Conv BN Linear dog 統計量（平均・分散）はドメイン 固有な情報と捉えられる Weight (trainable) Bias (trainable) Running_mean (statistic) Running_var (statistic) バッチ正規化層に着目
Improving robustness against common corruptions by covariate shift adaptation, Steffen Schneider+（University of Tübingen & IMPRS-IS）[NeurIPS‘20] 2024/1/24 7 （被引用数：280） バッチ正規化層に着目 𝑥𝑖 = 𝑥𝑖 − 𝜇𝑠 𝜎𝑠 2 + 𝜖 , y𝑖 = 𝛾𝑥𝑖 + 𝛽 source target 𝑥𝑖 = 𝑥𝑖 − 𝜇𝑡 𝜎𝑡 2 + 𝜖 , y𝑖 = 𝛾𝑥𝑖 + 𝛽 バッチにおける分布の偏りを調整 source ドメインシフトに堅牢
Improving robustness against common corruptions by covariate shift adaptation, Steffen Schneider+（University of Tübingen & IMPRS-IS）[NeurIPS‘20] 2024/1/24 8 （被引用数：280） 手法 N：ハイパラ 𝑛：𝑠𝑎𝑚𝑝𝑙𝑒 𝑠𝑖𝑧𝑒
Improving robustness against common corruptions by covariate shift adaptation, Steffen Schneider+（University of Tübingen & IMPRS-IS）[NeurIPS‘20] 2024/1/24 9 ImageNet-Cなどでモデルの改善 （被引用数：280）
TENT: Fully Test-Time Adaptation by Entropy Minimization, Dequan Wang, Evan Shelhamer+ (UC Berkeley, Adobe) [ICLR’21] 2024/1/24 10 Test Time Adaptationタスクを定義 （被引用数：511）
TENT: Fully Test-Time Adaptation by Entropy Minimization, Dequan Wang, Evan Shelhamer+ (UC Berkeley, Adobe) [ICLR’21] 2024/1/24 11 EntropyとError Rateに相関があることに着目 （被引用数：511）
TENT: Fully Test-Time Adaptation by Entropy Minimization, Dequan Wang, Evan Shelhamer+ (UC Berkeley, Adobe) [ICLR’21] 2024/1/24 12 Entropyを最小化 𝐿 𝑥𝑡 = 𝐻 𝑦 = − 𝑐 𝑝 𝑦𝑐 log 𝑝 𝑦𝑐 , 𝑦 = 𝑓𝜃(𝑥𝑡) バッチ正規化層のみ更新 （被引用数：511）
TENT: Fully Test-Time Adaptation by Entropy Minimization, Dequan Wang, Evan Shelhamer+ (UC Berkeley, Adobe) [ICLR’21] 2024/1/24 13 他の研究と比べError Rateの減少に成功 （被引用数：511）
TTN: A Domain-Shift Aware Batch Normalization in Test-Time Adaptation, Hyesu Lim, Byeonggeun Kim+ (Qualcomm AI Research) [ICLR’23] 2024/1/24 14 BN Adaptの改良 （被引用数：17） 追加学習によって最適なものにする
2024/1/24 15 BN Adaptの改良 （被引用数：17） クリーンなxとAugmentによるx’からドメインシフトに敏感なBNを探す TTN: A Domain-Shift Aware Batch Normalization in Test-Time Adaptation, Hyesu Lim, Byeonggeun Kim+ (Qualcomm AI Research) [ICLR’23]
2024/1/24 16 既存手法と比較＆組み合わせ （被引用数：17） TTN: A Domain-Shift Aware Batch Normalization in Test-Time Adaptation, Hyesu Lim, Byeonggeun Kim+ (Qualcomm AI Research) [ICLR’23]
On Pitfalls of Test-Time Adaptation, Hao Zhao, Yuejiang Liu+ (EPFL) [ICML’23] 2024/1/24 17 （被引用数：4） 既存のTest Time Adaptationに対する3つの落とし穴を提示 1. ハイパラの設定にテストデータに関する予備知識が必要 2. TTAの有効性がモデルによって大きく異なる可能性 3. 1.2.と満たした理想下でも，correlation shiftやlabel shiftに低パフォーマンス TTAのベンチマークを提案
On Pitfalls of Test-Time Adaptation, Hao Zhao, Yuejiang Liu+ (EPFL) [ICML’23] 2024/1/24 18 （被引用数：4） 1. ハイパラの設定にテストデータに関する予備知識が必要 ハイパラの設定について言及されていないことが多い エピソード的なのかonline適応なのか
On Pitfalls of Test-Time Adaptation, Hao Zhao, Yuejiang Liu+ (EPFL) [ICML’23] 2024/1/24 19 （被引用数：4） 2. TTAの有効性がモデルによって大きく異なる可能性 初期：BNを持つモデルに依存 最近：GNやViTといった最新のアーキテクチャ データ拡張や追加学習によっても変化
On Pitfalls of Test-Time Adaptation, Hao Zhao, Yuejiang Liu+ (EPFL) [ICML’23] 2024/1/24 20 （被引用数：4） 3. 理想下でも，correlation shiftやlabel shiftに低パフォーマンス
On Pitfalls of Test-Time Adaptation, Hao Zhao, Yuejiang Liu+ (EPFL) [ICML’23] 2024/1/24 21 （被引用数：4） 3. 理想下でも，correlation shiftやlabel shiftに低パフォーマンス
On Pitfalls of Test-Time Adaptation, Hao Zhao, Yuejiang Liu+ (EPFL) [ICML’23] 2024/1/24 22 （被引用数：4） 補足：Cifar10.1 https://www.tensorflow.org/datasets/catalog/cifar10_1 約2000枚のテストセット Cifar10と同じtiny imagesデータセットから Natural shiftを再現
2024/1/24 23 まとめ Test Time Adaptation 学習時ではなく，推論時に初めてテストデータを見てモデルを適応する 適応方法 ・ BNの統計量を置き換える ・ エントロピーなどを見て学習しながら推論する 今後の展望 BNではないものに着目（GN,LN）した適応 多様なシフトに適応できる手法 精度だけでなく推論時間にも言及して高速に適応できる手法

Recommended

continual learning survey
continual learning surveycontinual learning survey
continual learning surveyぱんいち すみもと
 
DLゼミ: Ego-Body Pose Estimation via Ego-Head Pose Estimation
DLゼミ: Ego-Body Pose Estimation via Ego-Head Pose EstimationDLゼミ: Ego-Body Pose Estimation via Ego-Head Pose Estimation
DLゼミ: Ego-Body Pose Estimation via Ego-Head Pose Estimationharmonylab
 
[DL輪読会]Causality Inspired Representation Learning for Domain Generalization
[DL輪読会]Causality Inspired Representation Learning for Domain Generalization[DL輪読会]Causality Inspired Representation Learning for Domain Generalization
[DL輪読会]Causality Inspired Representation Learning for Domain GeneralizationDeep Learning JP
 
[DL輪読会]NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis
[DL輪読会]NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis[DL輪読会]NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis
[DL輪読会]NeRF: Representing Scenes as Neural Radiance Fields for View SynthesisDeep Learning JP
 
自己教師学習（Self-Supervised Learning）
自己教師学習（Self-Supervised Learning）自己教師学習（Self-Supervised Learning）
自己教師学習（Self-Supervised Learning）cvpaper. challenge
 
[DL輪読会]ドメイン転移と不変表現に関するサーベイ
[DL輪読会]ドメイン転移と不変表現に関するサーベイ[DL輪読会]ドメイン転移と不変表現に関するサーベイ
[DL輪読会]ドメイン転移と不変表現に関するサーベイDeep Learning JP
 
動画認識サーベイv1（メタサーベイ ）
動画認識サーベイv1（メタサーベイ ）動画認識サーベイv1（メタサーベイ ）
動画認識サーベイv1（メタサーベイ ）cvpaper. challenge
 
【DL輪読会】DiffRF: Rendering-guided 3D Radiance Field Diffusion [N. Muller+ CVPR2...
【DL輪読会】DiffRF: Rendering-guided 3D Radiance Field Diffusion [N. Muller+ CVPR2...【DL輪読会】DiffRF: Rendering-guided 3D Radiance Field Diffusion [N. Muller+ CVPR2...
【DL輪読会】DiffRF: Rendering-guided 3D Radiance Field Diffusion [N. Muller+ CVPR2...Deep Learning JP
 

Recommended

continual learning survey
continual learning surveycontinual learning survey
continual learning surveyぱんいち すみもと
 
DLゼミ: Ego-Body Pose Estimation via Ego-Head Pose Estimation
DLゼミ: Ego-Body Pose Estimation via Ego-Head Pose EstimationDLゼミ: Ego-Body Pose Estimation via Ego-Head Pose Estimation
DLゼミ: Ego-Body Pose Estimation via Ego-Head Pose Estimationharmonylab
 
[DL輪読会]Causality Inspired Representation Learning for Domain Generalization
[DL輪読会]Causality Inspired Representation Learning for Domain Generalization[DL輪読会]Causality Inspired Representation Learning for Domain Generalization
[DL輪読会]Causality Inspired Representation Learning for Domain GeneralizationDeep Learning JP
 
[DL輪読会]NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis
[DL輪読会]NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis[DL輪読会]NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis
[DL輪読会]NeRF: Representing Scenes as Neural Radiance Fields for View SynthesisDeep Learning JP
 
自己教師学習（Self-Supervised Learning）
自己教師学習（Self-Supervised Learning）自己教師学習（Self-Supervised Learning）
自己教師学習（Self-Supervised Learning）cvpaper. challenge
 
[DL輪読会]ドメイン転移と不変表現に関するサーベイ
[DL輪読会]ドメイン転移と不変表現に関するサーベイ[DL輪読会]ドメイン転移と不変表現に関するサーベイ
[DL輪読会]ドメイン転移と不変表現に関するサーベイDeep Learning JP
 
動画認識サーベイv1（メタサーベイ ）
動画認識サーベイv1（メタサーベイ ）動画認識サーベイv1（メタサーベイ ）
動画認識サーベイv1（メタサーベイ ）cvpaper. challenge
 
【DL輪読会】DiffRF: Rendering-guided 3D Radiance Field Diffusion [N. Muller+ CVPR2...
【DL輪読会】DiffRF: Rendering-guided 3D Radiance Field Diffusion [N. Muller+ CVPR2...【DL輪読会】DiffRF: Rendering-guided 3D Radiance Field Diffusion [N. Muller+ CVPR2...
【DL輪読会】DiffRF: Rendering-guided 3D Radiance Field Diffusion [N. Muller+ CVPR2...Deep Learning JP
 
[DL輪読会]Efficient Video Generation on Complex Datasets
[DL輪読会]Efficient Video Generation on Complex Datasets[DL輪読会]Efficient Video Generation on Complex Datasets
[DL輪読会]Efficient Video Generation on Complex DatasetsDeep Learning JP
 
【DL輪読会】Aspect-based Analysis of Advertising Appeals for Search Engine Advert...
【DL輪読会】Aspect-based Analysis of Advertising Appeals for Search Engine Advert...【DL輪読会】Aspect-based Analysis of Advertising Appeals for Search Engine Advert...
【DL輪読会】Aspect-based Analysis of Advertising Appeals for Search Engine Advert...Deep Learning JP
 
[DL輪読会]A closer look at few shot classification
[DL輪読会]A closer look at few shot classification[DL輪読会]A closer look at few shot classification
[DL輪読会]A closer look at few shot classificationDeep Learning JP
 
社内論文読み会資料 Image-to-Image Retrieval by Learning Similarity between Scene Graphs
社内論文読み会資料 Image-to-Image Retrieval by Learning Similarity between Scene Graphs社内論文読み会資料 Image-to-Image Retrieval by Learning Similarity between Scene Graphs
社内論文読み会資料 Image-to-Image Retrieval by Learning Similarity between Scene GraphsKazuhiro Ota
 
[DL輪読会]A System for General In-Hand Object Re-Orientation
[DL輪読会]A System for General In-Hand Object Re-Orientation[DL輪読会]A System for General In-Hand Object Re-Orientation
[DL輪読会]A System for General In-Hand Object Re-OrientationDeep Learning JP
 
Transformer メタサーベイ
Transformer メタサーベイTransformer メタサーベイ
Transformer メタサーベイcvpaper. challenge
 
【DL輪読会】GradMax: Growing Neural Networks using Gradient Information
【DL輪読会】GradMax: Growing Neural Networks using Gradient Information【DL輪読会】GradMax: Growing Neural Networks using Gradient Information
【DL輪読会】GradMax: Growing Neural Networks using Gradient InformationDeep Learning JP
 
物体検知（Meta Study Group 発表資料）
物体検知（Meta Study Group 発表資料）物体検知（Meta Study Group 発表資料）
物体検知（Meta Study Group 発表資料）cvpaper. challenge
 
ディープラーニングを用いた物体認識とその周辺 ～現状と課題～ (Revised on 18 July, 2018)
ディープラーニングを用いた物体認識とその周辺 ～現状と課題～ (Revised on 18 July, 2018)ディープラーニングを用いた物体認識とその周辺 ～現状と課題～ (Revised on 18 July, 2018)
ディープラーニングを用いた物体認識とその周辺 ～現状と課題～ (Revised on 18 July, 2018)Masakazu Iwamura
 
[論文紹介] 機械学習システムの安全性における未解決な問題
[論文紹介] 機械学習システムの安全性における未解決な問題[論文紹介] 機械学習システムの安全性における未解決な問題
[論文紹介] 機械学習システムの安全性における未解決な問題tmtm otm
 
Depth Estimation論文紹介
Depth Estimation論文紹介Depth Estimation論文紹介
Depth Estimation論文紹介Keio Robotics Association
 
Vision and Language（メタサーベイ ）
Vision and Language（メタサーベイ ）Vision and Language（メタサーベイ ）
Vision and Language（メタサーベイ ）cvpaper. challenge
 
Anomaly detection survey
Anomaly detection surveyAnomaly detection survey
Anomaly detection surveyぱんいち すみもと
 
[論文紹介] Skip-Thought Vectors
[論文紹介] Skip-Thought Vectors[論文紹介] Skip-Thought Vectors
[論文紹介] Skip-Thought VectorsHiroki Shimanaka
 
ベイズ深層学習5章　ニューラルネットワークのベイズ推論　Bayesian deep learning
ベイズ深層学習5章　ニューラルネットワークのベイズ推論　Bayesian deep learningベイズ深層学習5章　ニューラルネットワークのベイズ推論　Bayesian deep learning
ベイズ深層学習5章　ニューラルネットワークのベイズ推論　Bayesian deep learningssuserca2822
 
「解説資料」ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation
「解説資料」ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation 「解説資料」ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation
「解説資料」ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation Takumi Ohkuma
 
[DL輪読会]Geometric Unsupervised Domain Adaptation for Semantic Segmentation
[DL輪読会]Geometric Unsupervised Domain Adaptation for Semantic Segmentation[DL輪読会]Geometric Unsupervised Domain Adaptation for Semantic Segmentation
[DL輪読会]Geometric Unsupervised Domain Adaptation for Semantic SegmentationDeep Learning JP
 
[DL輪読会]Swin Transformer: Hierarchical Vision Transformer using Shifted Windows
[DL輪読会]Swin Transformer: Hierarchical Vision Transformer using Shifted Windows[DL輪読会]Swin Transformer: Hierarchical Vision Transformer using Shifted Windows
[DL輪読会]Swin Transformer: Hierarchical Vision Transformer using Shifted WindowsDeep Learning JP
 
CVPR 2020 報告
CVPR 2020 報告CVPR 2020 報告
CVPR 2020 報告cvpaper. challenge
 
深層学習によるHuman Pose Estimationの基礎
深層学習によるHuman Pose Estimationの基礎深層学習によるHuman Pose Estimationの基礎
深層学習によるHuman Pose Estimationの基礎Takumi Ohkuma
 
[DL Hacks] Learning Transferable Features with Deep Adaptation Networks
[DL Hacks] Learning Transferable Features with Deep Adaptation Networks[DL Hacks] Learning Transferable Features with Deep Adaptation Networks
[DL Hacks] Learning Transferable Features with Deep Adaptation NetworksYusuke Iwasawa
 
論文紹介：Tracking Anything with Decoupled Video Segmentation
論文紹介：Tracking Anything with Decoupled Video Segmentation論文紹介：Tracking Anything with Decoupled Video Segmentation
論文紹介：Tracking Anything with Decoupled Video SegmentationToru Tamaki
 

More Related Content

What's hot

[DL輪読会]Efficient Video Generation on Complex Datasets
[DL輪読会]Efficient Video Generation on Complex Datasets[DL輪読会]Efficient Video Generation on Complex Datasets
[DL輪読会]Efficient Video Generation on Complex DatasetsDeep Learning JP
 
【DL輪読会】Aspect-based Analysis of Advertising Appeals for Search Engine Advert...
【DL輪読会】Aspect-based Analysis of Advertising Appeals for Search Engine Advert...【DL輪読会】Aspect-based Analysis of Advertising Appeals for Search Engine Advert...
【DL輪読会】Aspect-based Analysis of Advertising Appeals for Search Engine Advert...Deep Learning JP
 
[DL輪読会]A closer look at few shot classification
[DL輪読会]A closer look at few shot classification[DL輪読会]A closer look at few shot classification
[DL輪読会]A closer look at few shot classificationDeep Learning JP
 
社内論文読み会資料 Image-to-Image Retrieval by Learning Similarity between Scene Graphs
社内論文読み会資料 Image-to-Image Retrieval by Learning Similarity between Scene Graphs社内論文読み会資料 Image-to-Image Retrieval by Learning Similarity between Scene Graphs
社内論文読み会資料 Image-to-Image Retrieval by Learning Similarity between Scene GraphsKazuhiro Ota
 
[DL輪読会]A System for General In-Hand Object Re-Orientation
[DL輪読会]A System for General In-Hand Object Re-Orientation[DL輪読会]A System for General In-Hand Object Re-Orientation
[DL輪読会]A System for General In-Hand Object Re-OrientationDeep Learning JP
 
Transformer メタサーベイ
Transformer メタサーベイTransformer メタサーベイ
Transformer メタサーベイcvpaper. challenge
 
【DL輪読会】GradMax: Growing Neural Networks using Gradient Information
【DL輪読会】GradMax: Growing Neural Networks using Gradient Information【DL輪読会】GradMax: Growing Neural Networks using Gradient Information
【DL輪読会】GradMax: Growing Neural Networks using Gradient InformationDeep Learning JP
 
物体検知（Meta Study Group 発表資料）
物体検知（Meta Study Group 発表資料）物体検知（Meta Study Group 発表資料）
物体検知（Meta Study Group 発表資料）cvpaper. challenge
 
ディープラーニングを用いた物体認識とその周辺 ～現状と課題～ (Revised on 18 July, 2018)
ディープラーニングを用いた物体認識とその周辺 ～現状と課題～ (Revised on 18 July, 2018)ディープラーニングを用いた物体認識とその周辺 ～現状と課題～ (Revised on 18 July, 2018)
ディープラーニングを用いた物体認識とその周辺 ～現状と課題～ (Revised on 18 July, 2018)Masakazu Iwamura
 
[論文紹介] 機械学習システムの安全性における未解決な問題
[論文紹介] 機械学習システムの安全性における未解決な問題[論文紹介] 機械学習システムの安全性における未解決な問題
[論文紹介] 機械学習システムの安全性における未解決な問題tmtm otm
 
Vision and Language（メタサーベイ ）
Vision and Language（メタサーベイ ）Vision and Language（メタサーベイ ）
Vision and Language（メタサーベイ ）cvpaper. challenge
 
[論文紹介] Skip-Thought Vectors
[論文紹介] Skip-Thought Vectors[論文紹介] Skip-Thought Vectors
[論文紹介] Skip-Thought VectorsHiroki Shimanaka
 
ベイズ深層学習5章　ニューラルネットワークのベイズ推論　Bayesian deep learning
ベイズ深層学習5章　ニューラルネットワークのベイズ推論　Bayesian deep learningベイズ深層学習5章　ニューラルネットワークのベイズ推論　Bayesian deep learning
ベイズ深層学習5章　ニューラルネットワークのベイズ推論　Bayesian deep learningssuserca2822
 
「解説資料」ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation
「解説資料」ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation 「解説資料」ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation
「解説資料」ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation Takumi Ohkuma
 
[DL輪読会]Geometric Unsupervised Domain Adaptation for Semantic Segmentation
[DL輪読会]Geometric Unsupervised Domain Adaptation for Semantic Segmentation[DL輪読会]Geometric Unsupervised Domain Adaptation for Semantic Segmentation
[DL輪読会]Geometric Unsupervised Domain Adaptation for Semantic SegmentationDeep Learning JP
 
[DL輪読会]Swin Transformer: Hierarchical Vision Transformer using Shifted Windows
[DL輪読会]Swin Transformer: Hierarchical Vision Transformer using Shifted Windows[DL輪読会]Swin Transformer: Hierarchical Vision Transformer using Shifted Windows
[DL輪読会]Swin Transformer: Hierarchical Vision Transformer using Shifted WindowsDeep Learning JP
 
深層学習によるHuman Pose Estimationの基礎
深層学習によるHuman Pose Estimationの基礎深層学習によるHuman Pose Estimationの基礎
深層学習によるHuman Pose Estimationの基礎Takumi Ohkuma
 

What's hot (20)

[DL輪読会]Efficient Video Generation on Complex Datasets
[DL輪読会]Efficient Video Generation on Complex Datasets[DL輪読会]Efficient Video Generation on Complex Datasets
[DL輪読会]Efficient Video Generation on Complex Datasets
 
【DL輪読会】Aspect-based Analysis of Advertising Appeals for Search Engine Advert...
【DL輪読会】Aspect-based Analysis of Advertising Appeals for Search Engine Advert...【DL輪読会】Aspect-based Analysis of Advertising Appeals for Search Engine Advert...
【DL輪読会】Aspect-based Analysis of Advertising Appeals for Search Engine Advert...
 
[DL輪読会]A closer look at few shot classification
[DL輪読会]A closer look at few shot classification[DL輪読会]A closer look at few shot classification
[DL輪読会]A closer look at few shot classification
 
社内論文読み会資料 Image-to-Image Retrieval by Learning Similarity between Scene Graphs
社内論文読み会資料 Image-to-Image Retrieval by Learning Similarity between Scene Graphs社内論文読み会資料 Image-to-Image Retrieval by Learning Similarity between Scene Graphs
社内論文読み会資料 Image-to-Image Retrieval by Learning Similarity between Scene Graphs
 
[DL輪読会]A System for General In-Hand Object Re-Orientation
[DL輪読会]A System for General In-Hand Object Re-Orientation[DL輪読会]A System for General In-Hand Object Re-Orientation
[DL輪読会]A System for General In-Hand Object Re-Orientation
 
Transformer メタサーベイ
Transformer メタサーベイTransformer メタサーベイ
Transformer メタサーベイ
 
【DL輪読会】GradMax: Growing Neural Networks using Gradient Information
【DL輪読会】GradMax: Growing Neural Networks using Gradient Information【DL輪読会】GradMax: Growing Neural Networks using Gradient Information
【DL輪読会】GradMax: Growing Neural Networks using Gradient Information
 
物体検知（Meta Study Group 発表資料）
物体検知（Meta Study Group 発表資料）物体検知（Meta Study Group 発表資料）
物体検知（Meta Study Group 発表資料）
 
ディープラーニングを用いた物体認識とその周辺 ～現状と課題～ (Revised on 18 July, 2018)
ディープラーニングを用いた物体認識とその周辺 ～現状と課題～ (Revised on 18 July, 2018)ディープラーニングを用いた物体認識とその周辺 ～現状と課題～ (Revised on 18 July, 2018)
ディープラーニングを用いた物体認識とその周辺 ～現状と課題～ (Revised on 18 July, 2018)
 
[論文紹介] 機械学習システムの安全性における未解決な問題
[論文紹介] 機械学習システムの安全性における未解決な問題[論文紹介] 機械学習システムの安全性における未解決な問題
[論文紹介] 機械学習システムの安全性における未解決な問題
 
Depth Estimation論文紹介
Depth Estimation論文紹介Depth Estimation論文紹介
Depth Estimation論文紹介
 
Vision and Language（メタサーベイ ）
Vision and Language（メタサーベイ ）Vision and Language（メタサーベイ ）
Vision and Language（メタサーベイ ）
 
Anomaly detection survey
Anomaly detection surveyAnomaly detection survey
Anomaly detection survey
 
[論文紹介] Skip-Thought Vectors
[論文紹介] Skip-Thought Vectors[論文紹介] Skip-Thought Vectors
[論文紹介] Skip-Thought Vectors
 
ベイズ深層学習5章　ニューラルネットワークのベイズ推論　Bayesian deep learning
ベイズ深層学習5章　ニューラルネットワークのベイズ推論　Bayesian deep learningベイズ深層学習5章　ニューラルネットワークのベイズ推論　Bayesian deep learning
ベイズ深層学習5章　ニューラルネットワークのベイズ推論　Bayesian deep learning
 
「解説資料」ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation
「解説資料」ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation 「解説資料」ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation
「解説資料」ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation
 
[DL輪読会]Geometric Unsupervised Domain Adaptation for Semantic Segmentation
[DL輪読会]Geometric Unsupervised Domain Adaptation for Semantic Segmentation[DL輪読会]Geometric Unsupervised Domain Adaptation for Semantic Segmentation
[DL輪読会]Geometric Unsupervised Domain Adaptation for Semantic Segmentation
 
[DL輪読会]Swin Transformer: Hierarchical Vision Transformer using Shifted Windows
[DL輪読会]Swin Transformer: Hierarchical Vision Transformer using Shifted Windows[DL輪読会]Swin Transformer: Hierarchical Vision Transformer using Shifted Windows
[DL輪読会]Swin Transformer: Hierarchical Vision Transformer using Shifted Windows
 
CVPR 2020 報告
CVPR 2020 報告CVPR 2020 報告
CVPR 2020 報告
 
深層学習によるHuman Pose Estimationの基礎
深層学習によるHuman Pose Estimationの基礎深層学習によるHuman Pose Estimationの基礎
深層学習によるHuman Pose Estimationの基礎
 

Similar to Survey on Test Time Adaptation.pptx

[DL Hacks] Learning Transferable Features with Deep Adaptation Networks
[DL Hacks] Learning Transferable Features with Deep Adaptation Networks[DL Hacks] Learning Transferable Features with Deep Adaptation Networks
[DL Hacks] Learning Transferable Features with Deep Adaptation NetworksYusuke Iwasawa
 
論文紹介：Tracking Anything with Decoupled Video Segmentation
論文紹介：Tracking Anything with Decoupled Video Segmentation論文紹介：Tracking Anything with Decoupled Video Segmentation
論文紹介：Tracking Anything with Decoupled Video SegmentationToru Tamaki
 
[DL輪読会]Blind Video Temporal Consistency via Deep Video Prior
[DL輪読会]Blind Video Temporal Consistency via Deep Video Prior[DL輪読会]Blind Video Temporal Consistency via Deep Video Prior
[DL輪読会]Blind Video Temporal Consistency via Deep Video PriorDeep Learning JP
 
組み合わせテストの設計(PictMaster勉強会) 2008年7月17日
組み合わせテストの設計(PictMaster勉強会) 2008年7月17日組み合わせテストの設計(PictMaster勉強会) 2008年7月17日
組み合わせテストの設計(PictMaster勉強会) 2008年7月17日Keizo Tatsumi
 
Introduction to Continuous Testing
Introduction to Continuous TestingIntroduction to Continuous Testing
Introduction to Continuous TestingAtsuhiro Kubo
 
[AI05] 目指せ、最先端 AI 技術の実活用！Deep Learning フレームワーク 「Microsoft Cognitive Toolkit 」...
[AI05] 目指せ、最先端 AI 技術の実活用！Deep Learning フレームワーク 「Microsoft Cognitive Toolkit 」...[AI05] 目指せ、最先端 AI 技術の実活用！Deep Learning フレームワーク 「Microsoft Cognitive Toolkit 」...
[AI05] 目指せ、最先端 AI 技術の実活用！Deep Learning フレームワーク 「Microsoft Cognitive Toolkit 」...de:code 2017
 
TDD Boot Camp Tokyo for C++ 2014-01 補講
TDD Boot Camp Tokyo for C++ 2014-01 補講TDD Boot Camp Tokyo for C++ 2014-01 補講
TDD Boot Camp Tokyo for C++ 2014-01 補講Takashi Imagire
 
文献紹介：Selective Feature Compression for Efficient Activity Recognition Inference
文献紹介：Selective Feature Compression for Efficient Activity Recognition Inference文献紹介：Selective Feature Compression for Efficient Activity Recognition Inference
文献紹介：Selective Feature Compression for Efficient Activity Recognition InferenceToru Tamaki
 
【Unite Tokyo 2019】Unity Test Runnerを活用して内部品質を向上しよう
【Unite Tokyo 2019】Unity Test Runnerを活用して内部品質を向上しよう【Unite Tokyo 2019】Unity Test Runnerを活用して内部品質を向上しよう
【Unite Tokyo 2019】Unity Test Runnerを活用して内部品質を向上しようUnityTechnologiesJapan002
 
Discriminative Deep Dyna-Q: Robust Planning for Dialogue Policy Learning
Discriminative Deep Dyna-Q: Robust Planning for Dialogue Policy LearningDiscriminative Deep Dyna-Q: Robust Planning for Dialogue Policy Learning
Discriminative Deep Dyna-Q: Robust Planning for Dialogue Policy LearningTomoyasuOkada
 
AWS Well-Architected Tool 活用術セミナー セキュリティ編
AWS Well-Architected Tool 活用術セミナー セキュリティ編AWS Well-Architected Tool 活用術セミナー セキュリティ編
AWS Well-Architected Tool 活用術セミナー セキュリティ編Nobuhiro Nakayama
 
[DL輪読会]Deep Face Recognition: A Survey
[DL輪読会]Deep Face Recognition: A Survey[DL輪読会]Deep Face Recognition: A Survey
[DL輪読会]Deep Face Recognition: A SurveyDeep Learning JP
 
Webアクセシビリティの標準規格「JIS X 8341-3:2010」準拠のための試験方法（最新版）
Webアクセシビリティの標準規格「JIS X 8341-3:2010」準拠のための試験方法（最新版）Webアクセシビリティの標準規格「JIS X 8341-3:2010」準拠のための試験方法（最新版）
Webアクセシビリティの標準規格「JIS X 8341-3:2010」準拠のための試験方法（最新版）Web Accessibility Infrastructure Committee (WAIC)
 
Agileツール適合化分科会（tddとbdd）
Agileツール適合化分科会（tddとbdd）Agileツール適合化分科会（tddとbdd）
Agileツール適合化分科会（tddとbdd）masanori kataoka
 
Introduction to Continuous Test Runner MakeGood
Introduction to Continuous Test Runner MakeGoodIntroduction to Continuous Test Runner MakeGood
Introduction to Continuous Test Runner MakeGoodAtsuhiro Kubo
 

Similar to Survey on Test Time Adaptation.pptx (15)

[DL Hacks] Learning Transferable Features with Deep Adaptation Networks
[DL Hacks] Learning Transferable Features with Deep Adaptation Networks[DL Hacks] Learning Transferable Features with Deep Adaptation Networks
[DL Hacks] Learning Transferable Features with Deep Adaptation Networks
 
論文紹介：Tracking Anything with Decoupled Video Segmentation
論文紹介：Tracking Anything with Decoupled Video Segmentation論文紹介：Tracking Anything with Decoupled Video Segmentation
論文紹介：Tracking Anything with Decoupled Video Segmentation
 
[DL輪読会]Blind Video Temporal Consistency via Deep Video Prior
[DL輪読会]Blind Video Temporal Consistency via Deep Video Prior[DL輪読会]Blind Video Temporal Consistency via Deep Video Prior
[DL輪読会]Blind Video Temporal Consistency via Deep Video Prior
 
組み合わせテストの設計(PictMaster勉強会) 2008年7月17日
組み合わせテストの設計(PictMaster勉強会) 2008年7月17日組み合わせテストの設計(PictMaster勉強会) 2008年7月17日
組み合わせテストの設計(PictMaster勉強会) 2008年7月17日
 
Introduction to Continuous Testing
Introduction to Continuous TestingIntroduction to Continuous Testing
Introduction to Continuous Testing
 
[AI05] 目指せ、最先端 AI 技術の実活用！Deep Learning フレームワーク 「Microsoft Cognitive Toolkit 」...
[AI05] 目指せ、最先端 AI 技術の実活用！Deep Learning フレームワーク 「Microsoft Cognitive Toolkit 」...[AI05] 目指せ、最先端 AI 技術の実活用！Deep Learning フレームワーク 「Microsoft Cognitive Toolkit 」...
[AI05] 目指せ、最先端 AI 技術の実活用！Deep Learning フレームワーク 「Microsoft Cognitive Toolkit 」...
 
TDD Boot Camp Tokyo for C++ 2014-01 補講
TDD Boot Camp Tokyo for C++ 2014-01 補講TDD Boot Camp Tokyo for C++ 2014-01 補講
TDD Boot Camp Tokyo for C++ 2014-01 補講
 
文献紹介：Selective Feature Compression for Efficient Activity Recognition Inference
文献紹介：Selective Feature Compression for Efficient Activity Recognition Inference文献紹介：Selective Feature Compression for Efficient Activity Recognition Inference
文献紹介：Selective Feature Compression for Efficient Activity Recognition Inference
 
【Unite Tokyo 2019】Unity Test Runnerを活用して内部品質を向上しよう
【Unite Tokyo 2019】Unity Test Runnerを活用して内部品質を向上しよう【Unite Tokyo 2019】Unity Test Runnerを活用して内部品質を向上しよう
【Unite Tokyo 2019】Unity Test Runnerを活用して内部品質を向上しよう
 
Discriminative Deep Dyna-Q: Robust Planning for Dialogue Policy Learning
Discriminative Deep Dyna-Q: Robust Planning for Dialogue Policy LearningDiscriminative Deep Dyna-Q: Robust Planning for Dialogue Policy Learning
Discriminative Deep Dyna-Q: Robust Planning for Dialogue Policy Learning
 
AWS Well-Architected Tool 活用術セミナー セキュリティ編
AWS Well-Architected Tool 活用術セミナー セキュリティ編AWS Well-Architected Tool 活用術セミナー セキュリティ編
AWS Well-Architected Tool 活用術セミナー セキュリティ編
 
[DL輪読会]Deep Face Recognition: A Survey
[DL輪読会]Deep Face Recognition: A Survey[DL輪読会]Deep Face Recognition: A Survey
[DL輪読会]Deep Face Recognition: A Survey
 
Webアクセシビリティの標準規格「JIS X 8341-3:2010」準拠のための試験方法（最新版）
Webアクセシビリティの標準規格「JIS X 8341-3:2010」準拠のための試験方法（最新版）Webアクセシビリティの標準規格「JIS X 8341-3:2010」準拠のための試験方法（最新版）
Webアクセシビリティの標準規格「JIS X 8341-3:2010」準拠のための試験方法（最新版）
 
Agileツール適合化分科会（tddとbdd）
Agileツール適合化分科会（tddとbdd）Agileツール適合化分科会（tddとbdd）
Agileツール適合化分科会（tddとbdd）
 
Introduction to Continuous Test Runner MakeGood
Introduction to Continuous Test Runner MakeGoodIntroduction to Continuous Test Runner MakeGood
Introduction to Continuous Test Runner MakeGood
 

Survey on Test Time Adaptation.pptx

  • 4. Background｜ドメインシフトの対策 Domain Adaptation Test Time Adaptation (TTA) Adaptation ＆ Test Source data Target data Train Time Test Time 訓練時にテスト時のデータを利用して モデルを適応しながら訓練する 訓練時にテスト時の撮影状況 を把握している必要がある 訓練時は訓練データのみを利用 テスト時にモデルを適応しながら推論 訓練時にテスト時の撮影状況 を知る必要がない 撮影状況の変化 Training & Adaptation Source data Target data Test Train Time Test Time 撮影状況の変化 2024/1/24 4
  • 5. Agenda｜Test Time Adaptation Improving robustness against common corruptions by covariate shift adaptation, Steffen Schneider+（University of Tübingen & IMPRS-IS）[NeurIPS‘20] TENT: Fully Test-Time Adaptation by Entropy Minimization, Dequan Wang, Evan Shelhamer+ (UC Berkeley, Adobe) [ICLR’21] （被引用数：511） （被引用数：280） TTN: A Domain-Shift Aware Batch Normalization in Test- Time Adaptation, Hyesu Lim, Byeonggeun Kim+ (Qualcomm AI Research) [ICLR’23] （被引用数：17） On Pitfalls of Test-Time Adaptation, Hao Zhao, Yuejiang Liu+ (EPFL) [ICML’23] （被引用数：4） 2024/1/24 5
  • 6. Improving robustness against common corruptions by covariate shift adaptation, Steffen Schneider+（University of Tübingen & IMPRS-IS）[NeurIPS‘20] 2024/1/24 6 バッチ統計量をテストデータで適応 （被引用数：280） Test Time Adaptation の先駆けとなる研究 Conv BN Conv BN Linear dog 統計量（平均・分散）はドメイン 固有な情報と捉えられる Weight (trainable) Bias (trainable) Running_mean (statistic) Running_var (statistic) バッチ正規化層に着目
  • 7. Improving robustness against common corruptions by covariate shift adaptation, Steffen Schneider+（University of Tübingen & IMPRS-IS）[NeurIPS‘20] 2024/1/24 7 （被引用数：280） バッチ正規化層に着目 𝑥𝑖 = 𝑥𝑖 − 𝜇𝑠 𝜎𝑠 2 + 𝜖 , y𝑖 = 𝛾𝑥𝑖 + 𝛽 source target 𝑥𝑖 = 𝑥𝑖 − 𝜇𝑡 𝜎𝑡 2 + 𝜖 , y𝑖 = 𝛾𝑥𝑖 + 𝛽 バッチにおける分布の偏りを調整 source ドメインシフトに堅牢
  • 8. Improving robustness against common corruptions by covariate shift adaptation, Steffen Schneider+（University of Tübingen & IMPRS-IS）[NeurIPS‘20] 2024/1/24 8 （被引用数：280） 手法 N：ハイパラ 𝑛：𝑠𝑎𝑚𝑝𝑙𝑒 𝑠𝑖𝑧𝑒
  • 9. Improving robustness against common corruptions by covariate shift adaptation, Steffen Schneider+（University of Tübingen & IMPRS-IS）[NeurIPS‘20] 2024/1/24 9 ImageNet-Cなどでモデルの改善 （被引用数：280）
  • 10. TENT: Fully Test-Time Adaptation by Entropy Minimization, Dequan Wang, Evan Shelhamer+ (UC Berkeley, Adobe) [ICLR’21] 2024/1/24 10 Test Time Adaptationタスクを定義 （被引用数：511）
  • 11. TENT: Fully Test-Time Adaptation by Entropy Minimization, Dequan Wang, Evan Shelhamer+ (UC Berkeley, Adobe) [ICLR’21] 2024/1/24 11 EntropyとError Rateに相関があることに着目 （被引用数：511）
  • 12. TENT: Fully Test-Time Adaptation by Entropy Minimization, Dequan Wang, Evan Shelhamer+ (UC Berkeley, Adobe) [ICLR’21] 2024/1/24 12 Entropyを最小化 𝐿 𝑥𝑡 = 𝐻 𝑦 = − 𝑐 𝑝 𝑦𝑐 log 𝑝 𝑦𝑐 , 𝑦 = 𝑓𝜃(𝑥𝑡) バッチ正規化層のみ更新 （被引用数：511）
  • 13. TENT: Fully Test-Time Adaptation by Entropy Minimization, Dequan Wang, Evan Shelhamer+ (UC Berkeley, Adobe) [ICLR’21] 2024/1/24 13 他の研究と比べError Rateの減少に成功 （被引用数：511）
  • 14. TTN: A Domain-Shift Aware Batch Normalization in Test-Time Adaptation, Hyesu Lim, Byeonggeun Kim+ (Qualcomm AI Research) [ICLR’23] 2024/1/24 14 BN Adaptの改良 （被引用数：17） 追加学習によって最適なものにする
  • 15. 2024/1/24 15 BN Adaptの改良 （被引用数：17） クリーンなxとAugmentによるx’からドメインシフトに敏感なBNを探す TTN: A Domain-Shift Aware Batch Normalization in Test-Time Adaptation, Hyesu Lim, Byeonggeun Kim+ (Qualcomm AI Research) [ICLR’23]
  • 16. 2024/1/24 16 既存手法と比較＆組み合わせ （被引用数：17） TTN: A Domain-Shift Aware Batch Normalization in Test-Time Adaptation, Hyesu Lim, Byeonggeun Kim+ (Qualcomm AI Research) [ICLR’23]
  • 17. On Pitfalls of Test-Time Adaptation, Hao Zhao, Yuejiang Liu+ (EPFL) [ICML’23] 2024/1/24 17 （被引用数：4） 既存のTest Time Adaptationに対する3つの落とし穴を提示 1. ハイパラの設定にテストデータに関する予備知識が必要 2. TTAの有効性がモデルによって大きく異なる可能性 3. 1.2.と満たした理想下でも，correlation shiftやlabel shiftに低パフォーマンス TTAのベンチマークを提案
  • 18. On Pitfalls of Test-Time Adaptation, Hao Zhao, Yuejiang Liu+ (EPFL) [ICML’23] 2024/1/24 18 （被引用数：4） 1. ハイパラの設定にテストデータに関する予備知識が必要 ハイパラの設定について言及されていないことが多い エピソード的なのかonline適応なのか
  • 19. On Pitfalls of Test-Time Adaptation, Hao Zhao, Yuejiang Liu+ (EPFL) [ICML’23] 2024/1/24 19 （被引用数：4） 2. TTAの有効性がモデルによって大きく異なる可能性 初期：BNを持つモデルに依存 最近：GNやViTといった最新のアーキテクチャ データ拡張や追加学習によっても変化
  • 20. On Pitfalls of Test-Time Adaptation, Hao Zhao, Yuejiang Liu+ (EPFL) [ICML’23] 2024/1/24 20 （被引用数：4） 3. 理想下でも，correlation shiftやlabel shiftに低パフォーマンス
  • 21. On Pitfalls of Test-Time Adaptation, Hao Zhao, Yuejiang Liu+ (EPFL) [ICML’23] 2024/1/24 21 （被引用数：4） 3. 理想下でも，correlation shiftやlabel shiftに低パフォーマンス
  • 22. On Pitfalls of Test-Time Adaptation, Hao Zhao, Yuejiang Liu+ (EPFL) [ICML’23] 2024/1/24 22 （被引用数：4） 補足：Cifar10.1 https://www.tensorflow.org/datasets/catalog/cifar10_1 約2000枚のテストセット Cifar10と同じtiny imagesデータセットから Natural shiftを再現
  • 23. 2024/1/24 23 まとめ Test Time Adaptation 学習時ではなく，推論時に初めてテストデータを見てモデルを適応する 適応方法 ・ BNの統計量を置き換える ・ エントロピーなどを見て学習しながら推論する 今後の展望 BNではないものに着目（GN,LN）した適応 多様なシフトに適応できる手法 精度だけでなく推論時間にも言及して高速に適応できる手法

Editor's Notes

  1. 近年深層学習の発展に伴い，画像分類タスクでは数多くの高精度な手法が提案され，実社会でも利用が増えています
  2. しかし，現実で利用する際には，ドメインシフトと呼ばれる問題が無視できません．ドメインシフトとはモデルの訓練データとテストデータで撮影状況の違いなどから起きる画像のスタイルが変わる現象で，これにより分類精度が大幅に下がってしまうという課題があります．
  3. ドメインシフトに対するアプローチとしてDAと呼ばれる方法が多く研究されてきました．DAとは訓練の際に，テスト時のデータの情報も利用することでモデルをテストデータに適応しながら学習する方法です．しかし，この方法は訓練の際にテスト時の状況を把握する必要があり，必ずしも実用的であるとはいえません．そこで近年注目されているのがTTAという方法です．TTAは訓練の際には訓練データのみを使用し，テスト時に初めてテストデータを見て，モデルとテストデータに適応しながら推論を行います．この方法であれば訓練の際にテスト時の状況を把握しておく必要がないため応用の幅が広がります．
  4. TTAではテスト時に初めてテストデータの情報を見てモデルをアダプテーションしながら推論を行っていきます．そのため訓練の際はテスト時の情報を必要とせず，応用範囲が広がります．一方でデメリットとして，推論しながらアダプテーションを行うため，推論に時間がかかってしまうという無視できない課題が挙げられます．そのため本インターンの研究では高速なTTA手法の開発を目的としました．
  5. Unsupervised online adaptation
  6. Covariate shiftを除去
  7. Covariate shiftを除去
  8. Table 2: offline Figure5: online
  9. TTAの設定→エントロピーに着目して改善→手法としてはバッチ正規化のweightとbiasを再学習
  10. TTAの設定→エントロピーに着目して改善→手法としてはバッチ正規化のweightとbiasを再学習
  11. TTAの設定→エントロピーに着目して改善→手法としてはバッチ正規化のweightとbiasを再学習
  12. Table 2: offline Figure5: online
  13. Table 2: offline Figure5: online
  14. Table 2: offline Figure5: online
  15. Table 2: offline Figure5: online
  16. Table 2: offline Figure5: online
  17. Table 2: offline Figure5: online
  18. Table 2: offline Figure5: online
  19. Table 2: offline Figure5: online
  20. Table 2: offline Figure5: online
  21. Table 2: offline Figure5: online
  22. Table 2: offline Figure5: online
  23. TTAではテスト時に初めてテストデータの情報を見てモデルをアダプテーションしながら推論を行っていきます．そのため訓練の際はテスト時の情報を必要とせず，応用範囲が広がります．一方でデメリットとして，推論しながらアダプテーションを行うため，推論に時間がかかってしまうという無視できない課題が挙げられます．そのため本インターンの研究では高速なTTA手法の開発を目的としました．