2022/03/25 Deep Learning JP: http://deeplearning.jp/seminar-2/

1. 1
DEEP LEARNING JP
[DL Papers]
http://deeplearning.jp/
“Grokking: Generalization Beyond Overfitting on Small
Algorithmic Datasets” (ICLR 2021 workshop)
Okimura Itsuki, Matsuo Lab, B4

2. アジェンダ
1. 書誌情報
2. 概要
3. 背景
4. 実験
2

3. １ 書誌情報
タイトル： Grokking: Generalization Beyond Overfitting on Small Algorithmic
Datasets
出典： ICLR 2021 (1st Mathematical Reasoning in General Artificial Intelligence
Workshop)
https://nips.cc/Conferences/2021/ScheduleMultitrack?event=25970
著者： Alethea Power, Yuri Burda, Harri Edwards, Igor Babuschkin & Vedant
Misra (OpenAI)
選んだ理由：現象が面白い
3

4. 2 概要
• 一般的にニューラルネットワークはある一定の学習ステップ数を経ると
以降の検証データで損失が減少しない過学習に陥るとされる．
• しかし、数式の答えを求めるタスクにおいて
過学習するステップ数を遥かに超えて学習を続けると，
ニューラルネットワークがデータ中のパターンを
「理解する(Grokking)」プロセスを通じて学習し，
急激な汎化性能の向上が見られる場合があることを示した．
• この現象において，より小さなデータセットを用いた場合，
汎化のためのステップ数の必要量が増加することも示した．
4

5. 3 背景
5
Bias-Variance Trade-off
出典: https://towardsdatascience.com/bias-and-
variance-but-what-are-they-really-ac539817e171
統計的機械学習における学習理論
汎化誤差はバイアスとバリアンスと
ノイズに分解され，
モデルの複雑度低すぎる場合：
予測値と真の値との差(バイアス)が高くなり、
データの特徴を捉えられず、
学習不足に陥る
モデルの複雑度高すぎる場合：
予測値の分散(バリアンス)が高くなり、
データのノイズまで学習してしまい、
過学習に陥る

6. 3 背景
6
近年サイズの大きいモデルも成果を出す
モデルの複雑度高いのに
過学習しないの？
Bias-Variance Trade-offは？
出典: https://www.microsoft.com/en-us/research/blog/using-deepspeed-and-megatron-to-train-
megatron-turing-nlg-530b-the-worlds-largest-and-most-powerful-generative-language-model/

7. 3 背景
二重降下(Double Descent)
モデルの複雑度(モデル構造や学習量など)を
増やしていくと，
一度テストエラーの減少が止まったのち，
再度テストエラーの減少が起こる
二重降下が報告される
CNN，ResNet，およびTransformerなどの
最新モデルでも報告
条件によってはより多くのデータを使っても
性能が悪化する場合もあった
7
出典: https://arxiv.org/pdf/1912.02292.pdf

8. 3 背景
8
GPT-3はパラメータ数が13Bを超えると足し算、引き算が解け始める
Few-shotの設定において
パラメータ数が6.7B以下のモデル
ほとんど四則演算が解けない
パラメータ数が13Bのモデル
二桁の足し算、引き算を50%前後解ける
パラメータ数が175Bのモデル
二桁の足し算、引き算は98%以上，
三桁の足し算、引き算は80%以上解ける
掛け算や複合演算なども20%前後解ける
→解けるかどうかはパラメータ数依存？
出典: https://arxiv.org/pdf/2005.14165.pdf

9. 4 実験
9
二項演算を小規模なニューラルネットにより汎化できるか検証
𝑎 ∘ 𝑏 = 𝑐の形の等式のデータセット
(0 ≤ 𝑎, 𝑏 < 97)に対して
サイズの小さい(400Kパラメーター)
Transformerで学習を行う
すべての可能な等式の適切な部分集合に
ついてニューラルネットワークを訓練することは、右図の
二項演算表の空白を埋めることに等しい
トークン化されるため内部的な情報
(ex. 10進数での表記)にはアクセスできず
離散的な記号の他の要素との相関から
二項演算を解くことができるか？

10. 4 実験
Grokking
10
*grok【他動】〈米俗〉完全に［しっかり・
心底から］理解［把握］する
102step程度から訓練データでの損失と
検証データでの損失に乖離が見え始め，
103step程度で訓練データでの損失が0近くになる
その後105
stepから検証データでの損失が
下がり始める．
そして106
stepで検証データでも損失が0近くになる
→過学習し始してからその1000倍以上の
最適化stepを経ることで急激に検証データでの
精度が急激に向上する。(Grokking)
出典: https://eow.alc.co.jp/search?q=grok

11. 4 実験
データ数の影響
11
異なったデータ数の条件においてのGrokkingを比較
一般的な教師あり学習の設定において
データが少ないほど学習データ量を減らすと
モデルの収束する汎化性能が低下する
一方，Grokkingが観測される場合，
学習データ量の範囲内では
収束性能が100%で一定であるのに対し，
データ量の減少に伴って
収束性能を達成するために
必要な最適化時間が急速に増加する

12. 4 実験
二項演算の種類による影響
12
二項演算の種類ごとに生じる
Grokkingの様子を比較
オペランドの順序に関して
対称なもの(ex. 𝑥 + 𝑦, 𝑥2
+ 𝑦2
)は
非対称な演算(ex. 𝑥 𝑦, 𝑥3 + 𝑥𝑦)よりも
汎化のためのデータが少なくて済む
傾向がある
→位置埋め込みを無視するだけで良く
学習しやすかった可能性
一部の直観的に困難な数式
(ex. 𝑥3 + 𝑥𝑦2 + 𝑦)では
予算内では汎化に至らず

13. 4 実験
正則化の影響
13
異なった正則化アルゴリズムでの
105step学習した後の性能を比較
重み減衰がデータ効率に対し，
最も効果的で収束に必要となる
サンプル数を大幅に削減
→重み減衰が重要な役割を担う？
ミニバッチの使用による勾配ノイズ，ガウ
スノイズといったものも
学習に一定の効果
最適でないハイパーパラメータだと
収束率は著しく低下する

14. 4 実験
出力層の可視化
14
𝑥 + 𝑦で学習したTransformerの
埋め込み層をt-SNEを用いて可視化する
各要素に8を加えた数列が示される
→埋め込み層が数学的な特徴を捉えている

15. まとめ
15
• 一般的にニューラルはある一定の学習ステップ数を経ると
以降の検証データで損失が減少しない過学習に陥るとされる．
• しかし、数式の答えを求めるタスクにおいて
過学習するステップ数を遥かに超えて学習を続けると，
ニューラルネットワークがデータ中のパターンを
「理解する(Grokking)」プロセスを通じて学習し，
急激な汎化性能の向上が見られる場合があることを示した．
• この現象において，より小さなデータセットを用いた場合，
汎化のためのステップ数の必要量が増加することも示した．

16. 感想
16
(確かに“完全に理解した曲線”っぽい)
パラメーター数の小さなモデルでも汎化に到達するのが意外だった。
パラメータ数が増えた場合にGrokkingに到達するまでの比較は見たかった。
今回の実験では二項演算を97×97の数字の表の空きスロットを埋める計算として定義。
実際の計算よりはかなり小規模なスケール
各桁数字ごとにトークン化すればより大きな桁でのGrokkingに到達できる？
小さいモデルでも実現可能な一方で，Grokkingは学習率を比較的狭い範囲(1桁以内)で
調整する必要があるらしく，やはりモデルの複雑度を上げるのにもパラメータを増やすのが有力？

17. DEEP LEARNING JP
[DL Papers]
“Grokking: Generalization Beyond Overfitting on Small
Algorithmic Datasets” (ICLR 2021 workshop)
Okimura Itsuki, Matsuo Lab, B4
http://deeplearning.jp/