ミニバッチ確率的勾配降下法

1. ミニバッチ確率的勾配降下法
• オンライン学習で、データをミニバッチと呼ばれるグループに
分け、差分的に学習を行う。
• 【使用ケース1】ミニバッチを使ったオンライン学習では、株
価など継続的に生起するフローとしてのデータを処理する場合
に利用する。
• 【使用ケース2】また、データ大きく、かつ計算資源が限られ
ているときにも使う。

2. 勾配降下法
(ミニバッチ）
確率的勾配降下法
■（通常の）勾配降下法は、データ全体を使うので、一直線に最小値に向かうイメージ
■（ミニバッチ）確率的勾配法は、谷をジグザグに下るイメージ
■ （ミニバッチ）確率的勾配法は、全体の誤差Eを最小化するわけではない。少し横にずれて移動していく。
そのため、（特にランダムにバッチを選択した場合）偶然極小値から外れることができる場合がある。