学習データから分類器を学習するアルゴリズムの理論的基礎である最適化のアルゴリズムについて説明する。

1. 6. 最適化と学習アルゴリズム
勾配降下法
直線探索
劣勾配降下法
ニュートン法
確率的勾配降下法
クラシックな機械学習の入門

2. 学習における計算効率の問題
 既に説明した回帰、識別（分類）の解法で得た閉じ
た式は逆行列計算が必要。例えば、線形回帰の場
合の正規方程式の解である重みベクトルは
w=(XTX)-1XTy
 学習データが高次元になると(XTX)の次元も大きく
なり、逆行列の計算はコストが高い（次元数の３乗）
 要は損失(=Loss)を最小化したい
正規方程式の場合は２乗誤差だった。
逆行列計算を避けて最適化する方法が実用
上重要。

3. 記法：損失(Loss)
    
   
   
   zz
y
m
L
y
m
y
m
L
yloss
m
L
my
D
m
i
ii
m
i
ii
m
i
ii
m
i
ii
ii
i
,0max
,1
1
,
1
,
1
2
,on
1
1)or1(
,
1
1
2
1
2
2
1













ここで
ヒンジ損失の場合
乗損失の場合
例：
個あるとするただしデータは に対する分類の正解：
次元ベクトルとするは重みベクトル：入力データ：
xww
xwxww
xww
x
wx

4. 記法：
勾配(Gradient)とヘッセ行列（Hessian)
   
 
 
   
 
 
 
 
 
 
 
 
 
   
 
   
 
  











































のヘッセ行列における
の勾配における
ノルム：
次元ベクトルとするは
１
１
k
DD
kk
DD
k
DD
kk
k
DD
k
wwDDwwwwD
wwwwDww
k
k
wwnww
k
k
p
D
pp
p
pp
D
p
p
ww
L
ww
L
ww
L
ww
L
L
L
w
L
w
L
L
L
wwwwp
D
ww
ww
w
ww
ww
w
ww
ww
w
2
,
2
,1
2
1
2
T
1
1
1
1
11
1111
11
H
,....,





5. 勾配降下法
右図で分るように
Ｌ（ｗ）が凸の場合
は、勾配▽L(w)の
逆方向に進むと
W*=argmin L(W)
に向かって進む。
図は１次元だが
実際は多次元な
ので、勾配の方
向が大切なこと
に注意
Ｌ（w）
min L(w)
W* w
▽L(W*)=0
勾配
＝▽L(W)

6. 定式化
• 勾配降下法(Gradient Descent)の定式化する
 
 
 
       
   
         
  
       
  となる
けば閉じた解が求まり損失を微分して０と置
：２乗損失だと
：重みベクトルの更新式
となる。方向に進むので下の式を求めるには勾配の逆
最適な重みベクトル
ル更新された重みベクト回目の繰り返し結果の
のときの損失：重みベクトル：重みベクトル
kkkk
kkkk
kkkk
k
L
LL
LL
L
k
L
www
wwvw
wwvw
ww
w
www
v
v
w










1
2
2
12
2
1
*
minarg**
minarg
minarg:
:
2乗損失でないとこう簡単な式
ではない

7. 最急降下法アルゴリズム
• L（ｗ）を最小化するようなwを求めるために、wの現在
の値w(k)から勾配▽L(w)の逆方向に進むアルゴリズム
   
 
)())(,(
2)(,)(
11:4
)sizestep()(:3
)(:2
:1
);(minarg;0;
)()()1(
2
2
)()()1(
)(
)1()(
*)(
*)0(
nn
k
n
kkk
nn
kkkkk
k
kk
k
y
yL
stepkkstep
Lstep
Lstep
step
Lk
xxwww
xww
www
w
ww
ww
www












乗損失なら つまり
へ として
は進む幅
を計算
）に十分近くて収束したがは （具体的に
に十分近いなら終了が
初期値

8. 最急降下法の収束の評価
前提条件
凸 ＆ ▽2L(w) positive
Lipschitz条件：
テイラー展開により近似
       
   
 
 
   
     
  
 
   
    
 
 
 
 
   
     
  
   
    
   
   1
0
2
2
12
2
2
2
1
2
2
2
22
2
2
2
2
1
11







kkkk
kkkk
k
kk
k
kkkk
kkkkk
LLL
LLL
L
LLLLL
LL
www
www
w
wwwww
wwww





＋
＋
＋
により
と次のテイラー近似するをとし、
 
   
     
 
  GL
GLL
k
kkkk

 
2
2
11
w
wwww

9. 直観的説明
min L(w)
W（ｋ＋１） w（ｋ）
 
   
     
 
   
   
         
 
  GL
GLLL
GLipshitz
GLL
k
kkkkkkk
kkkk





2
2
1
2
1
2
1
2
11
w
wwwwwww
wwww
がある条件より以下のような
凸かつ▽2L(w)≥0な
ので、minLに近づく
につれてこの差は
小さくなる
適当なGで上か
ら抑えられる

10. 最急降下法の収束の評価：つづき
   
    
   
   
   
   
    
   
 
 
 
 
   
 
以下に収束回の更新で誤差
として：以下にするのはオーダ誤差を
より条件
とおくを選び、というここで
ないし等しいとするとに十分近い（が ＋




























2
22
2*
2
2
*
*2
2
*1*1
12
2
Lipschitz
,
)
1
GB
O
k
BG
OO
k
BG
G
kG
B
LL
GL
kG
B
BB
LLL
LLL
k
k
k
kkk
kk
kkkk
ww
w
w
www
wwww
www

11. 捕捉
 
 
     
 
 
     
 
という雰囲気
とおくを選び、というこのあたりを想定して
くらいにはなるだろう
と無意味！をやたらと大きくする
kG
B
B
GBGLL
BB
GLL
k
kk
k
kk
k






2
**
2
*
2
*
2
**
wwww
www
wwww

12. step size αを決める：直線探索
α(k)が小さすぎると収束が遅々として進まず、
大きすぎると最悪の場合最適値を飛び
越す
最適なα(k) を求める問題：直線探索
厳密に解くのは困難
 
   
   
 
 
0subject to
(min


k
kkk
LLk



単位ベクトル の
方向）つまり降下方向は wddw

13. 直線探索の代案
kの減少関数にする i.e.
 しかし、あまりにもヒューリスティック
もう少し客観的な基準として
Armijo基準とWolfe基準がある
 
kk
1

14. Armijo基準とWolfe基準
α
L(W+α▽L(W))-L(W)
α▽L(W)
ξα▽L(W)： 0<ξ<1 予め決まった値
ξ=0
この不等式を満たすようにαを選ぶ：
Armijo基準
L(W+αd)-L(W) ≤ ξα▽L(W)TdWolfe基準：
α が小さくなりすぎないた
め。 α =0だと明らかに成
立しない(!▽L(W)Td<0)
   
1
TT



 ddWdW LL
最適値
行き過ぎ
α=0

15. 直線探索の代案:2分割法
k回目の繰り返しにおいて以下のアルゴリズ
ムでα(k)を減少させる
Step1 t=1, αt
(k)=α(k)
Step2 if 停止基準(Armijo基準等）が満たされる
then return αt
(k)
else αt
(k)=α(k)/2
Step3 k k+1
Step4 Step 2へ

16. 微分可能でない場合：
劣勾配(sub-gradient)の利用
        gwvwvvgw
T
LLL
L
 0|
tsubgradien:convext:
の凸関数
w v
   ...|gw L

17. 例
 
 
   
 
   
 
   
  10
0,1
11
1
01
1,1
01
1
1









wwL
wL
wwL
wwL
losshinge
wwL
wL
wwL
wwwL
lossL

18. 劣勾配降下法
Sub-Gradient Descent
 
      
 
 
   
  
へ として
を計算
）に十分近くて収束したがは （具体的に
に十分近いなら終了が
初期値
11:4
minarg:3
0|
:gradient-sub2step
:1
);(minarg;0;
,
1
)1()(
*)(
*)0(
stepkkstep
Lstep
LL
L
step
Lk
kk
L
k
kk
k








gwvw
gwvwvvg
w
ww
ww
www
wgv


19. 最急降下法がうまくいかない場合
• ジグザグに動きながら最適解に近づくので収束する
速度が遅い（効率が良くない）
• 勾配以外の情報も使ってみるニュートン法

20. ニュートン法
 最小化したいのは損失 L(w)
ただし、直接には最適化できない場合を考えている
 今wの現在値w(k)が与えられていて、dを加えることに
よってより最適値に近いw(k+1)を得たい。
 ここでw(k)が定数でdを変数と思って
 L(w(k+1))＝ L(w(k)＋ d)
の左辺を直接最適化する代わりに右辺を最小にする d
を求める。
 この結果をd(k)とし、よりよいLをL(w(k)＋ d(k))として、繰
り返すことによって真の最適値に近づこうとする
 ここでL(w(k)＋ d)を２次のテーラー近似する場合が
ニュートン法

21.  
   
   
   
 
   
   
 kkk
kkkk
LL
LLLL
wwd
dwddwwdw
d


1
TT
Hminarg
H
2
1
右辺
2次のテーラー展開
右辺をdの関数と見て最小化しニュートン方向d(t)を求める
ニュートン法のアルゴリズム
 
   
   
 
   
   
   
 
よいは直線探索で決めても
へ として
は
を計算 ニュートン方向
に十分近いなら終了が
初期値
k
kkkkkk
kkk
k
stepkkstep
LLstep
LLstep
step
Lkstep


11:4
sizestepH:3
H:2
:1
);(minarg;;0:0
1)()1(
1
*)(
*0






wwww
wwd
ww
www

22. ニュートン法の直感的な解釈
この辺りは▽の変化すなわ
ちヘッセ行列 HL(W)が小さ
いので大きく進む方が効率
がよい
 HL(W)-1：大
この辺りは▽の変化すな
わちヘッセ行列 HL(W)が
大きいので大きく進むと不
味い方向に行ってしまう。
 HL(W)-1 ：小

23. ニュートン法の問題点
ニュートン法は勾配降下法より多くの場合で性
能がよいが、ヘッセ行列の逆行列を繰り返しの
度に計算しなければならない
N×Nの行列の逆行列の計算にはO(N3)のコスト
がかかる。Nが大きくなると実用的でなくなる
ヘッセ行列の逆行列を近似する行列を行列のか
け算だけによる更新式を使ってO(N2)で計算する
方法もある。
BFGS公式のヘッセ逆行列版（cf. 共立出版「最適化
法」p.122)

24. 確率的勾配降下法
Stochastic Gradient Descent(SGD)
 ここまで述べてきた方法は全データを一挙に学習に
用いるバッチ処理
 1データないし少数のデータ毎に重みベクトルw学習
する方法：オンライン学習に近い
最終結果としては、1ないし少数データ毎の学習で得られ
たwの平均
メモリに全データを展開しなくてよい可能性もある省メ
モリしかし、全データを何回も繰り返し使うなら省メモリ
にならない-
1つのデータは1回しか見ないストリームマイニング的
 2種類のSGD
Sample Approximation(SA):1データ毎の学習

25. SGD(SA) と バッチ学習
x1, y1
x2, y2
x3, y3
:
xi, yi
:
xm, ym
 
  
 
  
 
  
 
  
 
  



















m
i
i
mmm
m
mm
iii
i
ii
m
yloss
yloss
yloss
yloss
yloss
1
1
1
1
1
1
1
332
2
23
221
1
12
110
0
01
0
1
,on
,on
,on
,on
,on
ww
xw
ww
xw
ww
xw
ww
xw
ww
xw
ww
w







 
 
  
 
  
 
  
 
  
 
  
       
  
すして上の処理を繰り返をさらに 1
,on
1
,on
,on
,on
,on
,on
1
1
33
22
11















k
yloss
m
yloss
yloss
yloss
yloss
yloss
m
i
ii
kkkk
mm
k
ii
k
k
k
k
k
xwww
xw
xw
xw
xw
xw
w



このデータ生成が確率的

26. Sample Average Approximation(SAA)
SA inside SAA
全データからランダムにm個のデータをサン
プルしてm個のデータからなるデータ集合を
作る。
このようにして異なるデータ集合をk個作る。
データ集合(i)にSGD(SA)を適用して学習し、重
みベクトルw(i)を計算
最終結果  

m
i
i
m 1
1
ww

27. 例：SGDによるサポートベクターマシン
     
 
 
 
k
BB
yy
ni
n
y
m
y
m
sum
sumsum
iii
T
i
m
i
i
T
i
m
i
i
T
i
B
ww
www
wwww
xwwxw
w
wxwxw
WW










  



結果：
｝
からランダムに生成 を ｛
回繰り返す以下を
全データ数初期値：
は以下のようになるに注意すると
thenif
then1if
..1
k
:,
SVD
2
1
1
min1
1
min
22
0
2
2
112

