最新のML,CV,NLP関連論文読み会@ABEJA
https://abeja-innovation-meetup.connpass.com/event/57686/
Yandong Wen, Kaipeng Zhang, Zhifeng Li and Yu Qiao. center loss ( A Discriminative Feature Learning Approach for Deep Face
Recognition ), eccv, 2016.
http://ydwen.github.io/papers/WenECCV16.pdf
甘利俊一先生の書かれた『Information Geometry And Its applications』の読書会を開始するにあたって作成した資料です。
今回は内容に入らず前書きの内容を見ていきます。
なおこの分野については全くの素人が作った勉強会のための資料のため、理解不足に起因する間違えが数多く含まれる可能性があります。その点はご了承ください。
なおこの読書会は2021年の8月~9月に実施される予定です。何かございましたら以下のTwitterアカウントまでご連絡ください。
読書会に参加してくださる方も歓迎しております。
@botibotideikou
誤植の訂正
『Information Theory and Statics』→『Information Theory and Statistics』
NagoyaStat #12 で使用した資料です(公開に当たって当日ホワイトボードに書いた内容等を補完したものになります)。
「StanとRでベイズ統計モデリング」の第9章前半になります。
第9章のテーマは行列やベクトルを使った演算の高速化です。
---
The title of textbook is "Bayesian statistical modeling with Stan and R", and that of Chapter 9 in textbook is "advanced grammar" in English.
The document summarizes a research paper that compares the performance of MLP-based models to Transformer-based models on various natural language processing and computer vision tasks. The key points are:
1. Gated MLP (gMLP) architectures can achieve performance comparable to Transformers on most tasks, demonstrating that attention mechanisms may not be strictly necessary.
2. However, attention still provides benefits for some NLP tasks, as models combining gMLP and attention outperformed pure gMLP models on certain benchmarks.
3. For computer vision, gMLP achieved results close to Vision Transformers and CNNs on image classification, indicating gMLP can match their data efficiency.
最新のML,CV,NLP関連論文読み会@ABEJA
https://abeja-innovation-meetup.connpass.com/event/57686/
Yandong Wen, Kaipeng Zhang, Zhifeng Li and Yu Qiao. center loss ( A Discriminative Feature Learning Approach for Deep Face
Recognition ), eccv, 2016.
http://ydwen.github.io/papers/WenECCV16.pdf
甘利俊一先生の書かれた『Information Geometry And Its applications』の読書会を開始するにあたって作成した資料です。
今回は内容に入らず前書きの内容を見ていきます。
なおこの分野については全くの素人が作った勉強会のための資料のため、理解不足に起因する間違えが数多く含まれる可能性があります。その点はご了承ください。
なおこの読書会は2021年の8月~9月に実施される予定です。何かございましたら以下のTwitterアカウントまでご連絡ください。
読書会に参加してくださる方も歓迎しております。
@botibotideikou
誤植の訂正
『Information Theory and Statics』→『Information Theory and Statistics』
NagoyaStat #12 で使用した資料です(公開に当たって当日ホワイトボードに書いた内容等を補完したものになります)。
「StanとRでベイズ統計モデリング」の第9章前半になります。
第9章のテーマは行列やベクトルを使った演算の高速化です。
---
The title of textbook is "Bayesian statistical modeling with Stan and R", and that of Chapter 9 in textbook is "advanced grammar" in English.
The document summarizes a research paper that compares the performance of MLP-based models to Transformer-based models on various natural language processing and computer vision tasks. The key points are:
1. Gated MLP (gMLP) architectures can achieve performance comparable to Transformers on most tasks, demonstrating that attention mechanisms may not be strictly necessary.
2. However, attention still provides benefits for some NLP tasks, as models combining gMLP and attention outperformed pure gMLP models on certain benchmarks.
3. For computer vision, gMLP achieved results close to Vision Transformers and CNNs on image classification, indicating gMLP can match their data efficiency.