MLP-Mixer: An all-MLP Architecture for Visionharmonylab
出典:Ilya Tolstikhin, Neil Houlsby, Alexander Kolesnikov, Lucas Beyer, Xiaohua Zhai, Thomas Unterthiner, Jessica Yung, Andreas Steiner, Daniel Keysers, Jakob Uszkoreit, Mario Lucic, Alexey Dosovitskiy : Mlp-mixer: An all-mlp architecture for vision, Advances in Neural Information Processing Systems 34 (2021)
公開URL:https://arxiv.org/abs/2105.01601
概要:最近の画像処理分野ではCNNやVision Transformerのようなネットワークが人気です。この論文では、多層パーセプトロン(MLP)のみで作成したアーキテクチャ"MLP-Mixer"を提案します。MLP-Mixerは2種類のレイヤーを保持しており、チャネルとトークン(位置)をそれぞれ別のMLPで学習しています。このモデルは画像分類ベンチマークにおいて、事前学習と推論コストが最新モデルに匹敵するスコアを達成しました
MLP-Mixer: An all-MLP Architecture for Visionharmonylab
出典:Ilya Tolstikhin, Neil Houlsby, Alexander Kolesnikov, Lucas Beyer, Xiaohua Zhai, Thomas Unterthiner, Jessica Yung, Andreas Steiner, Daniel Keysers, Jakob Uszkoreit, Mario Lucic, Alexey Dosovitskiy : Mlp-mixer: An all-mlp architecture for vision, Advances in Neural Information Processing Systems 34 (2021)
公開URL:https://arxiv.org/abs/2105.01601
概要:最近の画像処理分野ではCNNやVision Transformerのようなネットワークが人気です。この論文では、多層パーセプトロン(MLP)のみで作成したアーキテクチャ"MLP-Mixer"を提案します。MLP-Mixerは2種類のレイヤーを保持しており、チャネルとトークン(位置)をそれぞれ別のMLPで学習しています。このモデルは画像分類ベンチマークにおいて、事前学習と推論コストが最新モデルに匹敵するスコアを達成しました
ICRA 2019 (IEEE International Conference on Robotics and Automation; https://www.icra2019.org/ )の参加速報を書きました。
この資料には下記の項目が含まれています。
・ICRA 2019の概要
・ICRA 2019での動向や気付き
・ICRAの重要技術
・今後の方針
・論文まとめ(102本あります)
ICRA 2019 (IEEE International Conference on Robotics and Automation; https://www.icra2019.org/ )の参加速報を書きました。
この資料には下記の項目が含まれています。
・ICRA 2019の概要
・ICRA 2019での動向や気付き
・ICRAの重要技術
・今後の方針
・論文まとめ(102本あります)