大阪 PRML 勉強会使用スライド

1. 機械学習
-chapter 2 学習モデル -
Ryo HIGASHIAGWA
@biwakonbu

2. Chapter 2 概要
●
学習モデル
– 線形モデル
• 加法モデル
• 乗法モデル
– カーネルモデル
• カーネル法
• パラメトリックモデル
• ノンパラメトリックモデル
– 非線形モデル
• 階層モデル

3. 線形モデル
入力に関する線形モデル
θ×x
パラメータ
入力

4. 線形モデル
●
単純なだけに表現 ( 出力 ) も単純
●
出来る事と言えば直線を引くだけ
●
そこで、パラメータに関する線形モデルを使用
●
下記モデルは入力 (x) が一次元の時のモデル
b
T
f θ ( x)=∑ θ j Φ j (x)=θ Φ (x)
j=1

5. 線形モデル
f θ ( x)
...
定義上だけの物、特に意味はない
b
∑ θ j φ j (x) ...
Θj とか φj とか出てるけど b 迄の総和
j=1
θ Φ(x) ...
T
T は転置行列を現す。
一次元なので転置行列を使わないと
積が取れない。

6. 線形モデル
...
T
θ=(θ1 ,...,θb )
φ(x)=(φ1 (x),...,φb (x)) ...
パラメータベクトルの要素
T
基底関数ベクトルの要素

7. 線形モデル
●
これだけでは非線形な関数を表現する事が出来ない
●
その為、基底関数に多項式や、三角多項式を用いる
2
b
T
φ(x)=(1,x , x ,..., x −1)
...
多項式
T
φ(x)=(1,sin x ,cos x ,sin2x ,cos2x ,...,sinmx,cosmx)
...
三角多項式 (b=2m+1 に対して )

8. 多次元入力ベクトルの基底関数
●
一次元時のモデルと基本的には変わらない ( 考え方 )
●
紹介されていた方法は 2 種類
下記 2 種類が多次元の基底関数を構成するモデル
●
乗法モデル
●
加法モデル

9. 乗法モデル
b'
b'
f θ (x)= ∑ ... ∑ θ j1,., jd φ j1 (x )...φ jd (x )
(1)
j1=1
j d=1
もはやぱっと見で鬱陶しいと思います
(d)

10. 乗法モデル
プログラミングで言うと
for(~;~;~++){
for(~;~;~++){
… 次元数の分だけ for をネスト
}
}
みたいな話と理解しました。

11. 乗法モデルについて
●
乗法モデルのパラメータ数は指数関数的に増える
例 ) (b')=10 のとき入力次元が d=100 ならば
全体のパラメータ数は
10
100
になる ...

12. 乗法モデルについて
このパラメータ数の指数的な増加を
次元の呪い
という
これから逃れるのが機械学習分野のテーマの一つ
加法モデルでは次元の呪いを緩和している

13. 加法モデル
d
b'
f θ ( x)=∑ ∑ θk , j Φ j (x )
(k)
k=1 j=1
乗法モデルとは違いすっきりした式ですね

14. 加法モデル
加法モデルではパラメータ数が b'd となる
つまり
for(~;~;~++) {
for(~;~;~++) {
これ以上ネストしない
}
}
という事だと思います。
簡単だけど、その代わり表現力を犠牲にしているモデル

15. 線形モデルまとめ
単純な式 → 加法モデル
– 計算早い
– 学習させやすい
– 表現力は乏しい
複雑な式 → 乗法モデル
– 計算遅い
– 学習させ難い
– 表現力は豊か

16. カーネルモデル
カーネルモデルは線形モデルと異なったアプローチ
●
基底関数の設計に訓練標本を用いる
●
n
f θ ( x)=∑ θ j K (x , x j )
j=1
新しく登場

17. カーネルモデル
K (•,•)
...
n
j j=1
{K (x , x )}
...
カーネル関数
カーネルモデルを
定義する訓練標本

18. カーネルモデル
ガウスカーネルがよく用いられる
‖x−c‖
K (x ,c)=exp(− 2 )
2h
2

19. ガウスカーネル
各入力標本にガウスカーネルを配置して高さを学習
学習点
高さ

20. ガウスカーネル
●
高さをパラメータとして学習する
●
入力標本の近傍でのみ関数を近似する
●
次元の呪いの影響を軽減する狙い
要するに、要らないデータは見ない

21. カーネルモデルまとめ
●
カーネルモデルはパラメータベクトルに関して線形
●
線形モデルの一種とも捉えられる
重要な違いは基底関数が入力標本に依存している事
区分け
パラメータに依存する線形モデル
- パラメトリックモデル
カーネルモデル
- ノンパラメトリックモデル

22. 階層モデル
パラメータに関して非線形なモデル
– 非線形モデル
階層モデルは非線形モデルの中でも頻繁に使われる
b
f θ ( x)=∑ α j φ(x ; β j )
j=1

23. 階層モデル
...
φ( x ; β)
パラメータベクトル β を持つ基底関数
階層モデルは α に関しては線形になる
ただし、基底関数にもパラメータベクトルが含まれる
b
j j=1
{β }
...
パラメータベクトル

24. 階層モデルの基底関数
基底関数には二つの関数が頻繁に用いられる
●
シグモイド関数
1
T
T
φ ( x ; β )=
, β=(w , γ )
T
1+exp(−x w−γ )
●
ガウス関数
2
−‖ x−c‖
T
T
φ ( x ; β )=exp (
) , β =(c , h)
2
2h

25. シグモイド関数
●
人間の脳細胞の入出力を模倣している
●
データの変化を鈍らせる際に用いられる
シグモイド関数を用いた階層モデルを
ニューラルネットワーク ( 神経回路網 )
という

26. ガウス関数
●
基本的にはカーネルモデルと同じ
●
中心とバンド幅 ( 高さ ) を固定せず学習対象に含める
●
その分カーネルモデルより柔軟に近似を行える

27. 階層モデル
w1 = w2 = w, γ1 = γ2 = γ のとき
f θ ( x)=α 1 Φ( x ; ω1 , γ 1)+α 2 ( x ; ω2 , γ 2)
は α1+α2 が一定であれば同じ関数になる
f θ ( x)=(α 1 +α 2 )φ (x ;ω , γ )
この状態はニューラルネットワークに対する学習が困難

28. 階層モデルまとめ
●
現状階層モデルは非常に複雑な印象
●
関数間の結合係数パラメータも学習対象
●
状態によっては全てが同じ関数になってしまう