CV分野での最近の脱○○系論文3本を紹介します。
・脱ResNets: RepVGG: Making VGG-style ConvNets Great Again
・脱BatchNorm: High-Performance Large-Scale Image Recognition Without Normalization
・脱attention: LambdaNetworks: Modeling Long-Range Interactions Without Attention
PFN福田圭祐による東大大学院「融合情報学特別講義Ⅲ」(2022年10月19日)の講義資料です。
・Introduction to Preferred Networks
・Our developments to date
・Our research & platform
・Simulation ✕ AI
CV分野での最近の脱○○系論文3本を紹介します。
・脱ResNets: RepVGG: Making VGG-style ConvNets Great Again
・脱BatchNorm: High-Performance Large-Scale Image Recognition Without Normalization
・脱attention: LambdaNetworks: Modeling Long-Range Interactions Without Attention
PFN福田圭祐による東大大学院「融合情報学特別講義Ⅲ」(2022年10月19日)の講義資料です。
・Introduction to Preferred Networks
・Our developments to date
・Our research & platform
・Simulation ✕ AI
MLP-Mixer: An all-MLP Architecture for Visionharmonylab
出典:Ilya Tolstikhin, Neil Houlsby, Alexander Kolesnikov, Lucas Beyer, Xiaohua Zhai, Thomas Unterthiner, Jessica Yung, Andreas Steiner, Daniel Keysers, Jakob Uszkoreit, Mario Lucic, Alexey Dosovitskiy : Mlp-mixer: An all-mlp architecture for vision, Advances in Neural Information Processing Systems 34 (2021)
公開URL:https://arxiv.org/abs/2105.01601
概要:最近の画像処理分野ではCNNやVision Transformerのようなネットワークが人気です。この論文では、多層パーセプトロン(MLP)のみで作成したアーキテクチャ"MLP-Mixer"を提案します。MLP-Mixerは2種類のレイヤーを保持しており、チャネルとトークン(位置)をそれぞれ別のMLPで学習しています。このモデルは画像分類ベンチマークにおいて、事前学習と推論コストが最新モデルに匹敵するスコアを達成しました
DeNA オートモーティブでは「インターネット×AI」で交通システムにイノベーションを起こし、日本の交通システム不全を解消することをミッションに掲げています。本セッションではDeNAが考える「モビリティ・インテリジェンス」を社会実装した事例としてAI、ITS(Intelligent Transport Systems)、クラウド技術を結集してタクシーの行動を最適化するプロジェクトを紹介します。
MLP-Mixer: An all-MLP Architecture for Visionharmonylab
出典:Ilya Tolstikhin, Neil Houlsby, Alexander Kolesnikov, Lucas Beyer, Xiaohua Zhai, Thomas Unterthiner, Jessica Yung, Andreas Steiner, Daniel Keysers, Jakob Uszkoreit, Mario Lucic, Alexey Dosovitskiy : Mlp-mixer: An all-mlp architecture for vision, Advances in Neural Information Processing Systems 34 (2021)
公開URL:https://arxiv.org/abs/2105.01601
概要:最近の画像処理分野ではCNNやVision Transformerのようなネットワークが人気です。この論文では、多層パーセプトロン(MLP)のみで作成したアーキテクチャ"MLP-Mixer"を提案します。MLP-Mixerは2種類のレイヤーを保持しており、チャネルとトークン(位置)をそれぞれ別のMLPで学習しています。このモデルは画像分類ベンチマークにおいて、事前学習と推論コストが最新モデルに匹敵するスコアを達成しました
DeNA オートモーティブでは「インターネット×AI」で交通システムにイノベーションを起こし、日本の交通システム不全を解消することをミッションに掲げています。本セッションではDeNAが考える「モビリティ・インテリジェンス」を社会実装した事例としてAI、ITS(Intelligent Transport Systems)、クラウド技術を結集してタクシーの行動を最適化するプロジェクトを紹介します。