Ad
Ad
Ad
Ad
Ad
Ad
Ad
Ad
Ad
Ad
Ad
1
Atsuya Kitada, Matsuo Lab
GradMax: Growing Neural Networks using Gradient Information
( ICLR 2022 )
書誌情報
• GradMax: Growing Neural Networks using Gradient Information
• ICLR 2022 Poster
• 著者: Utku Evci, Bart van Merrienboe...
概要
• NNの成⻑と学習を繰り返すNetwork Growingという分野の⼿法
• 新たに⽣やすネットワークの重みの初期化⽅法を提案
• 勾配ノルムを最⼤化するように初期化することで、⻑期的に学習を改善
3
1 of 16 Ad