2013.12.26 prml勉強会 線形回帰モデル3.2~3.4
•
3 likes•5,824 views
PRML勉強会2013冬 第7回 3章線形回帰モデルの３．２〜３．４です
Recommended
More Related Content
What's hot
What's hot (20)
Similar to 2013.12.26 prml勉強会 線形回帰モデル3.2~3.4
Similar to 2013.12.26 prml勉強会 線形回帰モデル3.2~3.4 (20)
More from Takeshi Sakaki
Recently uploaded
2013.12.26 prml勉強会 線形回帰モデル3.2~3.4
- 1. ＰＲＭＬ輪読会 第７回 made by C.M.Bishop modified by T.Sakaki PATTERN RECOGNITION AND MACHINE LEARNING CHAPTER 3: LINEAR MODELS FOR REGRESSION
- 2. 3章 線形回帰モデル 教師あり学習-‐回帰問題について 回帰問題＝所与： N個の観測値 と目標値 →新しいｘに対するｔの値を予測する 目的： 過学習を避けて学習する 方針： 尤度関数を求め、最尤推定によってパラメータを決定する 対数尤度法 誤差関数と正則化項の和を最小化する ベイズ的に取り扱う（事前分布・事後分布を考える）
- 3. 3.2 バイアスｰバリアンス分解 正則化係数λの値をどのように決定するか？ 正則化係数λ→大：複雑なモデル バイアス bias 予測値の平均が、理想的な回帰関数 h(x)からどのくらい離 れているか？ バリアンス variance 各データ集合に対する解が、特定のデータ集合に関する期 待値の周りでどのくらい変動しているか？ ＝データ集合の選び方の敏感さ ＝各予測値がどれくらいバラけているか？
- 4. 3.2 バイアスｰバリアンス分解 サンプル ・N=25点、100種類のデータを生成 ・各訓練データに付いて、正則化誤差関数を 最小化 ・24個のガウス基底関数をフィッティング
- 7. 3.2 バイアスｰバリアンス分解 N=25点、100種類のデータを生成 variance 中 bias 中
- 9. 3.2 バイアスｰバリアンス分解 条件付き期待値（回帰関数） 期待二乗損失 予測値と学習データからの期 待値との差 P.46の式1.90及びP.46の末尾 P.47の冒頭の記述参照 学習データからの期待値と目標 変数との差 →ノイズ →達成可能な最小の期待損失
- 10. 3.2 バイアスｰバリアンス分解 有限個のデータからは理想的な回帰関数h(x) を求めることは困難 →第一項＝データ集合から求められる予測関 数と回帰関数の期待二乗誤差を考える
- 11. 3.2 バイアスｰバリアンス分解 ｙ（ｘ；D）とｈ（ｘ）の期待二乗誤差 予測値の平均が、理想的な 回帰関数 h(x)からどのくらい 離れているか？ 各データ集合に対する解が、 特定のデータ集合に関する期 待値の周りでどのくらい変動し ているか？
- 12. 3.2 バイアスｰバリアンス分解 期待損失＝ € (bias ) 2 + var iance + noise
- 13. € 3.2 バイアスｰバリアンス分解 バイアスとバリアンスのトレードオフについて 1 N (bias ) 2 = ∑ y (x n ) − h (x n ) N n =1 { 正規化係数λ→大： パラメータが０に近づく € bias→大 variance→小 正規化係数λ→小： ノイズにover-‐fiKng bias→小 variance→大 } 2 1 N 1 L (l ) var iance = ∑ ∑ y (x n ) − y (x n ) N n =1 L l { } 2
- 14. ３．３ ベイズ線形回帰 線形回帰問題 問題にあわせて、モデルの複雑さを適切に決めることが 重要 → どうやって決定するか？ → 線形回帰モデルをベイズ的取り扱う ＝事前分布・事後分布を扱う 利点：・過学習の回避 ・訓練データからモデルの複雑さを 自動的に決定
- 15. ３．３ ベイズ線形回帰 ・目標変数：t 入力変数：x モデルパラメータ：w ・パラメータの事前分布を導入して、事後分布を求めて、パラメータを推定 ・尤度関数 ・ｗの共役事前分布 ・ｗの事後分布
- 16. ３．３ ベイズ線形回帰 ・事後確率はガウス分布 ・最頻値と期待値は一致するので、事後確率を最大 ・無限に広い事前分布 を考えたとき 事後分布の平均は最尤推定による値 (3.15) と一致
- 17. ３．３ ベイズ線形回帰 事前分布及び事後分布 事前分布 事後分布 α：初期分布の精度 β：ガウスノイズの精度
- 18. ３．３ ベイズ線形回帰 ・対数尤度関数 β N ln p (w |t) = − ∑ tn − w T φ (x n ) 2 n =1 { λ= € } 2 α T − w w + const 2 α β 事後分布をｗについて最大化することは， P.142 € 二乗和誤差関数と二次正則化項の和の最小化と等価 式3.27
- 19. 具体例： y( 目標関数 x ,a) = a0 + a1x (a0 = −0.3,a1 = 0.5) 2 パラメータは固定 α = 2.0, β = (1/0.2) = 25 € データ点を観測する毎に € 現在の事後分布→次の時点の事前分布 のように逐次処理
- 20. ３．３ ベイズ線形回帰 データ観測前 事前分布 データ空間
- 21. ３．３ ベイズ線形回帰 データを１つ観測 尤度関数 事後分布 データ空間
- 22. ３．３ ベイズ線形回帰 データを２つ観測 尤度関数 事後分布 データ空間
- 23. ３．３ ベイズ線形回帰 データを20個観測 尤度関数 事後分布 データ空間
- 24. ３．３．２ 予測分布 新たなデータｘが得られる度に、逐次的にｔを 予測したい！ →予測分布を考える ノイズ ｗの不確かさ
- 25. ３．３．２ 予測分布 予測分布の導出 目標変数の条件付き分布 T p (t x , β) = Ν ty (x ), β −1 = Ν t w φ (x , β −1 ,w ,w ) ( ) ( 重みの事後分布 € p w = Ν w N ,S N t m ( ) ( ) P.151 式(3.49) 下記の予測分布を求めたい € € p t x , α, β ,t ( ) P.155 式(3.58) ) P.138 式（3.8)
- 26. ３．３．２ 予測分布 用いる式 p(x ) = Ν(x µ,Λ−1 ) ( ( ) p (y x ) = Ν y Ax + b, L−1 −1 T ) の時 p (y ) = Ν x Aµ + b, L + AΛ A € € x t ,t →w ,y →t x α, β T −1 € p w = Ν (w N ,S N ) t m p (t x , α, β) = Ν t w φ (x , β ,w ) −1 ( ) T µ → m N ,Λ−1 →S N , x →w , A → φ (x ), L−1 → β T T −1 p t x , α, β = Ν t €N φ (x ), β +φ (x ) S N φ (x ) ,t m € € ( € € ) ( ( ) ) P.155 式(3.58)
- 27. ３．３．２ 予測分布 事例： Sin関数に対し、９個のガウス基底関数を用い て回帰 データ数１個目 予測分散 事後分布から得られた関数
- 28. ３．３．２ 予測分布 事例： Sin関数に対し、９個のガウス基底関数を用い て回帰 データ数２個目 予測分散 事後分布から得られた関数
- 29. ３．３．２ 予測分布 事例： Sin関数に対し、９個のガウス基底関数を用い て回帰 データ数４個目 予測分散 事後分布から得られた関数
- 30. ３．３．２ 予測分布 事例： Sin関数に対し、９個のガウス基底関数を用い て回帰 データ数２５個目 予測分散 事後分布から得られた関数
- 32. 等価カーネル 予測値は下記の式で表される 平滑化行列 等価カーネル 予測値 tnによる訓練データの重みづけ合計
- 33. 等価カーネル ・重みtn はx と xnの距離に依存 ・ｘとxn が近いほど大きな重みとする
- 34. 等価カーネル ｋ（ｘ、ｘ ）の例： x=0の場合のx’をプロット 基底関数が局所的でなくても 等価カーネルはx’に対して局所的な関数になる Polynomial Sigmoidal
- 35. 等価カーネル ○等価カーネルは共分散関数: ６章のガウシアンプロセスを用いる事で、基底 関数を用いず、また直接カーネル関数を定 義する必要がない 近傍点での相関が強く、より離れた点の組では相関が小さい 局所的なカーネルを定義することでｘが予測できる
- 36. 等価カーネル ○全てのデータ点ｘに対して、カーネル関数の合計は１ ※ただし、いくつかのｘに対するカーネル関数の値は負となる ○他のカーネル関数と同様、等価カーネルは内積で表現可 能
- 37. Rで実装 M =9 α =2 β = 25 L = 30 s = 1 基底関数の数 データ点の数 xlist 0 1を25等分した 等差数列 tlist xlistの値をSin関数に 代入し、さらに誤差を 与えたデータセットを 生成 € € M <-‐ 9 # number of basis func]ons alpha <-‐ 2 # hyper parameter beta <-‐ 25 # hyper parameter(precision) LaKce <-‐ 30 # number of graph's laKce s <-‐ 0.1 # training data xlist <-‐ seq(0, 1, length=25) tlist <-‐ sin(2*pi*xlist)+rnorm(length(xlist), sd=0.2) D0 <-‐ data.frame(x=xlist, t=tlist) € 引用元：hcp://d.hatena.ne.jp/n_shuyo/20090709
- 38. Rで実装 ⎧ ⎪ x − µj φj (x ) = exp⎨ − 2s 2 ⎪ ⎩ ⎛φ 0 φ M −1 ⎞ ⎜ ⎟ Φ = ⎜ ⎟ ⎜ ⎟ ⎝φ 0 φ M −1 ⎠ ( € ) 2 ⎫ ⎪ ⎬ ⎪ ⎭ −1 S N = αI + βΦT Φ € € T mN = βS N Φ t y = φ T (x ) m N ⎛ m T φ (x ), ⎞ N ⎟ Ν⎜t −1 ⎜ β + φ (x )T S φ (x )⎟ ⎠ N € ⎝ € predic]ve <-‐ func]on(D) { # design matrix phi <-‐ func]on(x) sapply(x,func]on(x)exp(-‐(x-‐seq(0,1,length=9))^2/(2*s*s))) PHI <-‐ t(phi(D$x)) # covariance matrix & means S_N_inv <-‐ alpha * diag(M) + beta * t(PHI) %*% PHI S_N <-‐ solve(S_N_inv) m_N <-‐ beta * S_N %*% t(PHI) %*% D$t # regression func]on y <-‐ func]on(x) (t(phi(x)) %*% m_N) plot(y, xlim=c(0,1), ylim=c(-‐1.2,1.2)) par(new=T) plot(D, xlim=c(0,1), ylim=c(-‐1.2,1.2), ylab="") # predic]ve distribu]on var_N <-‐ func]on(x){ 1/beta + (t(phi(x)) %*% S_N %*% phi(x))[1] } func]on(x, t){ mapply(func]on(x, t)dnorm(t, m=(t(m_N) %*% phi(x))[1], s=var_N(x), log=T), x, t) } } 引用元：hcp://d.hatena.ne.jp/n_shuyo/20090709
- 39. Rで実装 データ点１個で回帰 データ点２個で回帰 データ点４個で回帰 全データ点25個で回帰 draw_dist <-‐ func]on(p){ x <-‐ seq(0,1,length=LaKce) t <-‐ seq(-‐1.5, 1.5, length=LaKce*2) z <-‐ outer(x, t, p) persp(x, t, z, theta=0, phi=60, shade=0.4) } p <-‐ predic]ve(D0[sample(length(D0$x))[1:1],]) draw_dist(p); p <-‐ predic]ve(D0[sample(length(D0$x))[1:2],]) draw_dist(p); p <-‐ predic]ve(D0[sample(length(D0$x))[1:4],]) draw_dist(p); p <-‐ predic]ve(D0) draw_dist(p); 引用元：hcp://d.hatena.ne.jp/n_shuyo/20090709