社内でおこなった機械学習勉強会の資料 詳解ディープラーニングの 4.5 高度なテクニック

1. 機械学習勉強会
第５回
SRA 鈴木真吾

2. 今回の内容
詳解ディープラーニング 4.5 高度なテクニック

3. データ・パラメタは学習の結果に影響を与える。
ではどのようなデータ・パラメタを取るのがよいか？
データセット
重み
学習率
学習回数

4. データセット
重み
学習率
学習回数

5. データセットに関するテクニック
正規化
Batch Normalization (後半で説明)

6. 正規化
X = X - X.mean(axis=1).reshape(len(X), 1)
値域が一定の範囲に収まるようにする
任意のデータで同じアプローチを取りたい
処理しやすいデータにする
平均は0になるようにする
特に次の場合は白色化という
平均が0
分散が1.0

7. データセット
重み
学習率
学習回数

8. どういう重みだとうれしいか？
前提としてデータセットに偏りがない
→ 重みにも偏りは少ないはず
すべて 0 にしたらどうなるか？
→ 誤差逆伝播の際に勾配の値も同じになって学習
が進まなくなってしまう
小さい標準偏差で分布させれば？
→ 小さいとやはり学習が進まない

9. 結論
標準偏差はσ = 1.0で分布させて、適当な係数aをか
けて初期化しよう
python コードとしては
a * np.random.normal(size=shape)

10. 活性化される前の値=次の層の入力となる
p = w xj
i=1
∑
n
ij i (4.2)

11. V ar[p ] =j
=
=
V ar [ w x
i=1
∑
n
ij i]
V ar
i=1
∑
n
[w xij i]
i=1
∑
n
⎩
⎨
⎧
+
+
(E[w ]) V ar[x ]ij
2
i
(E[x ]) V ar[w ]i
2
ij
V ar[w ]V ar[x ]ij i
⎭
⎬
⎫
(4.43)
(4.44)
(4.45)

12. 補足
確率変数の期待値の積 （４．４４から4.45の変形に
使用)
E[XY ] =
=
=
=
P (X = x, Y = y)xy
x,y
∑
P (X = x)P (Y = y)xy
x
∑
y
∑
P (X = x)x P (Y = y)xy
x
∑
y
∑
E[X]E[Y ]

13. 補足
確率変数の分散
確率変数の分散の積
V ar[X] =E[X ] − E[X]2 2
V ar[XY ] =
=
=
=
E[X Y ] − E[X] E[Y ]2 2 2 2
E[X ]E[Y ] − E[X] E[Y ]2 2 2 2
(V ar[X] + E[X] )(V ar[Y ] + E[Y ] )2 2
− E[X] E[Y ]2 2
V ar[X]V ar[Y ]
+ V ar[X]E[Y ] + V ar[Y ]E[X]2 2

14. (4.45) は
[x ] = 0とデータを正規化している
E[w ] = 0 と仮定する
すると次のようになる
i
ij
V ar[p ]j =
=
V ar[w ]V ar[x ]
i=1
∑
n
ij i
nV ar[w ]V ar[x ]ij i
(4.46)
(4.47)

15. p =j
V ar[p ] =j
w x
i=1
∑
n
ij i
nV ar[w ]V ar[x ]ij i
(4.2)
(4.47)

16. pの分散をxの分散に合わせたい場合、
V ar[p ] = V ar[x ]とすると、
V ar[w ] = 、V ar[aX] = a V ar[X]なので
とすればよい
j i
ij n
1 2
a = √
n
1
(4.48)

17. Pythonの式だと
np.sqrt(1.0 / n) * np.random.normal(size=shape)
V ar[P ]を決めるまでにあった仮定のとりかたによっ
て、初期化手法はいくつか考えられる
ij

18. LeCun et al. 1988
入力数の平方根でスケーリングした一様分布による初
期化
np.random.uniform(low=-np.sqrt(1.0 / n),
high=np.sqrt(1.0 / n),
size=shape)

19. Glorot and Bengio 2010
fan_in + fan_out でスケーリングした一様分布による
初期化
np.random.uniform(low=-np.sqrt(6.0 / (n_in + n_out)),
high=np.sqrt(6.0 / (n_in + n_out)),
size=shape)

20. He et al. 2015
ReLU を使った初期化
np.sqrt(2.0 / n) * np.random.normal(size=shape)

21. データセット
重み
学習率
学習回数

22. 学習率に関するテクニック
モメンタム
Nesterov モメンタム
Adagrad
Adadelta
Adam

23. モメンタム
これまでは学習率は定数だったが、効率的に学習をすす
めるには
最初は大きく学習をすすめる
徐々に学習率を少なくする
モメンタムの考え方
学習率は一定
モメンタム項という調整用の項を追加して上記を表現
する

24. モデルのパラメータθ
Eのθに対する勾配を∇ E
ステップをt
とした時のパラーメタ更新式は次のようになる
γΔθ がモメンタム項
係数γ(< 1.0)は通常0.5から0.9に設定する
θ
Δθ =(t)
− η∇ E(θ) + γΔθθ
(t−1)
(4.49)
(t−1)

25. TensorFlow
def training(loss):
optimizer = tf.train.MomentumOptimizer(0.01, 0.9)
train_step = optimizer.minimize(loss)
return train_step
Keras
model.compile(loss='categorical_crossentropy',
optimizer=SGD(lr=0.01, momentum=0.9),
metrics=['accuracy'])

26. Nesterovモメンタム
(4.49)の変形
Δθ = θ − θ = υ と変形して
υ =(t)
θ =(t)
− η∇ E(θ) + γΔθθ
(t−1)
θ − υ(t−1) (t)
(4.51)
(4.52)
(t) (t) (t−1) (t)
υ =(t)
θ =(t)
− η∇ E(θ + γυ ) + γΔθθ
(t−1) (t−1)
θ − υ(t−1) (t)
(4.53)
(4.54)

27. TensorFlow
optimizer = tf.train.MomentumOptimizer(
0.01, 0.9, use_nesterov=True)
Keras
optimizer = SGD(lr=0.01, momentum=0.9, nesterov=True

28. Adagrad
効率的に学習をすすめるには
最初は大きく学習をすすめる
徐々に学習率を少なくする
Adagrad(adaptive gradient algorithm)の考え方
学習率の値そのものを更新する。

29. Adagraは次の式
ただし、
ϵは1.0 × 10 ∼ 1.0 × 10 程度の微小な項
0除算の回避用途
θ =i
(t)
θ − gi
(t−1)
√G + ϵii
(t)
η
i
(t)
(4.56)
gi
G ii
(t)
: =
=
∇ E(θ )θ i
g ⋅ g
τ =0
∑
t
i
(τ )
i
(τ )
(4.55)
(4.57)
−6 −8

30. Gは対角行列なので、(4.56)は要素積に置き換えられる
通常の勾配降下法ではθ = θ − ηg
G は、 t までの勾配の２乗和
直感的にはこれまでのステップで小さかった勾配の
成分が次のステップでは大きくなるように更新され
る
θ =i
(t)
θ − ⊙ gi
(t−1)
√G + ϵii
(t)
η
i
(t)
(4.56)
i
(t)
i
(t−1)
i
(t)
ii

31. Adadelta
Adagrad の問題点
G は勾配の2乗の累積和=単調増加
学習のステップが進む毎に勾配にかかる係数が急
激に小さくなり、学習がすすまなくなる
Adadelta では
→ ステップ 0 からの全ての和でなく、定数w のステッ
プ文の和に制限する
実装としては非効率なので、実際には減衰平均する
(t)

32. 「勾配の2乗」(= g ⊙ g )の移動平均E[g ]は
(以降ではg はg と表記)
t t t
2
E[g ]2
t = ρE[g ] + (1 − ρ)g2
t−1 t
2
(4.59)
(t)
t

33. Adagradの式
このG_tをE[g ]で置は換える
さらに はRMS[g] に置き換えられて
θ =t+1 θ − ⊙ gt
√G + ϵt
η
t (4.60)
t
2
θ =t+1 θ − gt
√E[g ] + ϵ2
t
η
t (4.61)
√E[g ]2
t t
θ =t+1 θ − gt
RMS[g]t
η
t (4.62)

34. 補足
RMSは2乗平均平方根 (root mean square)
RMS[x] =
⎷



x
N
1
i=1
∑
N
i
2
(C1)

35. さらに式変形すると(4.63)の式が得られる
ηに何が入るか考えた時、
左辺・右辺の「単位」は揃っているはず
Δθ はt − 1までのΔθ のRMSから近似できる
と考えて、Adadeltaの式が得られる
となって学習率ηが自動的に計算できることになる
Δθ =t − g
RMS[g]t
η
t (4.63)
t t
Δθ =t − g
RMS[g]t
RMS[Δθ]t−1
t (4.66)

36. 元の論文読むと
このΔxが Δθのこと
∆x t for the current
time step is not known, so we assume the
curvature is locally
smooth and approximate ∆x t by compute the
exponentially
decaying RMS over a window of size w of
previous ∆x
“
“

37. RMSprop
RMSprop は Adadelta と同様に、Adagrad の学習率の
急激な減少を解決する手法
E[g 2]t = 0.9E[g 2] + 0.1g 2t−1 t (4.67)
θt+1 = θ − gt
√E[g 2] + ϵt
η
t (4.68)

38. Adam(adap ve moment es ma on)
つぎの２つをパラメータの更新式に使う方式
勾配の２乗の移動平均v := E[g ] の減衰平均
勾配の単純な移動平均m := E[g] の減衰平均
β , β ∈ [0, 1)はハイパーパラメタ
移動平均の減衰率を調整
t
2
t
t t
m =t
v =t
β m + (1 − β )g1 t−1 1 t
β v + (1 − β )g2 t−1 2 t
2
(4.69)
(4.70)
1 2

39. v ,m は真のモーメントから偏りがあるので、この偏りを0
にした推定値 , を求めたい。
について、v = 0で初期化した場合、v は
(1 − β ) β ⋅ g のような項もあるんじゃ
ないかと思うが、(1 − β ) ≪ 1として無視されてい
ると思われる
t t
vt^ mt^
v =t β v + (1 − β )g2 t−1 2 t
2
(4.70)
0 t
v =t (1 − β ) β ⋅ g2
i=1
∑
t
2
t−i
i
2
(4.71)
2
n
∑i=n
t
2
t−i
i
2
2
n

40. ここから2次モーメントの移動平均E[v ]と真の2次モー
メントE[g ]の関係を求めると
v =t (1 − β ) β ⋅ g2
i=1
∑
t
2
t−i
i
2
(4.71)
t
t
2
E[v ] =t
=
=
E [(1 − β ) β ⋅ g2
i=1
∑
t
2
t−i
i
2
]
E[g ] ⋅ (1 − β ) β + ζt
2
2
i=1
∑
t
2
t−i
E[g ] ⋅ (1 − β ) + ζt
2
2
t
(4.72)
(4.73)
(4.74)

41. 補足
(4.73)から(4.47)の変形
=
=
=
(1 − β) β
i=1
∑
t
t−i
(1 − β)(β + β + ⋯ + β + 1)t−1 t−2
β + β + ⋯ + β + 1t−1 t−2
− β − β − β − ⋯ − βt t−1 t−2
− β + 1t

42. ζ = 0と近似できるようにハイパーパラメタの値を設定す
ると次のように推定できる。
m についても同様
以上から、パラメタの更新式は
=vt^
1 − β2
t
vt
(4.75)
t
=mt^
1 − β1
t
mt
(4.76)
θ =t θ −t−1
+ ϵ√vt^
α
mt^ (4.77)

43. データセット
重み
学習率
学習回数

44. Early Stopping
学習回数は
多いほど訓練データへの誤差は小さくなる
多すぎるとオーバーフィッティングが発生する
→ Early Stopping
手法としては「前のエポックの時と比べ誤差が増えたら
学習を打ち切る」

45. Early Stopping の擬似コード
for epoch in range(epochs):
loss = model.train()['loss']
if early_stopping(loss):
break

46. データセット
重み
学習率
学習回数

47. Batch Normaliza on
前処理としての正規化
学習の際にはネットワーク内部で分散がかたよる
Batch Normalization
正規化をミニバッチに対しても行う手法

48. ミニバッチB = {x , x , ..., x }に対して1 2 m
μ =B
σ =B
2
x
m
1
i=1
∑
m
i
2
(x − μ )
m
1
i=1
∑
m
i B
2
(4.79)
(4.80)

49. {y , y , ..., y } がBatch Normalization の出力
=xi^
y =i
√σ + ϵB
2
x − μi B
γ + βxi^
(4.81)
(4.82)
1 2 m

50. 誤差関数Eに対して、γ、β、x の勾配を求めるi
∂γ
∂E
=
i=1
∑
m
∂yi
∂E
∂γ
∂yi
=
i=1
∑
m
∂yi
∂E
xi^
(4.83)
(4.84)
∂β
∂E
=
i=1
∑
m
∂yi
∂E
∂β
∂yi
=
i=1
∑
m
∂yi
∂E
(4.83)
(4.85)

51. =
∂xi
∂E
=
+ +
∂xi^
∂E
∂xi
∂xi^
∂σB
2
∂E
∂xi
∂σB
2
∂μB
∂E
∂xi
∂μB
(4.87)
+ +
∂xi^
∂E
√σ + ϵB
2
1
∂σB
2
∂E
m
2(x − μ )i B
∂μB
∂E
m
1
(4.88)

52. は既知。他の項は∂yi
∂E
=
∂xi^
∂E
=
∂yi
∂E
∂xi^
∂yi
⋅ γ
∂yi
∂E
(4.89)
(4.90)
=
∂σB
2
∂E
=
i=1
∑
m
∂xi^
∂E
σB
2
∂xi^
(4.91)
⋅ (x − μ ) ⋅ (σ + ϵ)
i=1
∑
m
∂xi^
∂E
i B
2
−1
B
2 − 2
3
(4.92)

53. 前の層の勾配を現在の層の情報だけで求められるので、
誤差逆伝播法がつかえる。
=
∂μB
∂E
=
+
i=1
∑
m
∂xi^
∂E
μB
∂xi^
∂σB
2
∂E
μB
∂σB
2
i=1
∑
m
∂xi^
∂E
√σ + ϵB
2
−1
+
i=1
∑
m
∂σB
2
∂E
m
−2(x − μ )i B
(4.93)
(4.94)

54. これまでの層の活性化は
Batch Normalization では次のようになりバイアス項が
なくなる
h = f(W x + b) (4.95)
h = f(BN (W x))γ,β (4.96)

55. まとめ
初期化方法はいろいろあり、どれが最適とは必ずはい
えない
とはいえAdadelta とBatch Normalization は良い
らしい
問題によって最適な初期化を探すことになりそう