More Related Content
What's hot
What's hot (20)
Similar to 20190721 gaussian process
Similar to 20190721 gaussian process (20)
More from Yoichi Tokita
20190721 gaussian process
- 2. • 時⽥ 陽⼀（@yoichi_t） • 所属：株式会社Glia Computing （https://www.glia-computing.com/） • 2018年8⽉に設⽴（Co-Founder） • 機械学習/データ分析のPoC、導⼊⽀援、コンサル • 過去所属 • AI系ベンチャーにて、機械学習/データ分析のPoCなどを担当 • Web系広告会社にて、広告配信の最適化、ユーザ分析などを担当 • ⼤⼿警備会社研究所にて、⼈物⾏動の研究 • NAIST, 修⼠(⼯学)、著者の⽅々と同じ⼤学、⼤⽻さんとは同じ研究室 ⾃⼰紹介 2
- 3. • 時⽥ 陽⼀（@yoichi_t） • チョコボールの秘密を解明するために、⽇々データを収集＆解析 ⾃⼰紹介 チョコボール 統計 3
- 4. ガウス過程基礎応⽤ • 第0章 たった5分でガウス過程法がわかってしまう • ガウス過程のイメージを解説 • 第1章 線形回帰モデル • 単回帰、重回帰、線形回帰の解説（ガウス過程も線形回帰の拡張） • 第2章 ガウス分布 • ガウス過程で⽤いる重要なパーツである多変量ガウス分布について解説 • 第3章 ガウス過程 • 2章までの知識を拡張してガウス過程を解説（ガウス過程の基本はここまで） • 第4章 確率的⽣成モデルとガウス過程 • 統計モデリング全般で重要な確率的⽣成モデルとガウス過程との関連を解説 • 第5章 ガウス過程の計算法 • ガウス過程を実際に計算する際の計算法とその根拠を解説 • 第6章 ガウス過程の適⽤ • 空間統計学とベイズ最適化におけるガウス過程の役割を解説 • 第7章 ガウス過程による教師なし学習（上級者向け） • 教師なし学習へのガウス過程の応⽤ 本書の構成 4
- 5. • 第1章：線形回帰モデル • 1.1 単回帰 • 1.2 重回帰とベクトル表現 • 1.3 線形回帰モデル • 1.4 リッジ回帰 • 第2章：ガウス分布 • 2.1 ガウス分布とは • 2.2 重みの事前分布とリッジ回帰 • 2.3 多変量ガウス分布 今⽇の範囲 5 2章までは基礎知識のおさらい • 機械学習の最も基本のモデル • 「ガウス過程」も線形回帰モデル の拡張としてとらえられる • 統計/機械学習における最も重要 な確率分布 • 線形回帰モデルをガウス分布を利 ⽤した確率モデルとして理解
- 6. • 「ガウス過程」とはどういうものか？全体像を概説する章 • 5分じゃ難しくない？？ Ch.0 たった5分でガウス過程法がわかってしまう 6 ガウス過程 → 関数f(x)を確率変数 と⾒⽴てた確率分布
- 7. • 第1章：線形回帰モデル • 1.1 単回帰 • 1.2 重回帰とベクトル表現 • 1.3 線形回帰モデル • 1.4 リッジ回帰 • ガウス過程 → (基本的には)回帰のための道具 • 線形回帰モデルはそれだけでも⼗分有効な道具 • 線形回帰モデルの無限次元への拡張として捉えられる（らしい） • 本章では、線形回帰モデルの最⼩⼆乗解の導出を解説 Ch.1 線形回帰モデル 7
- 8. • 問題設定 • データ： • ここで、xはD次元のベクトルとする • データDが与えられたとしてyの回帰モデルを考える 1.2 重回帰とベクトル表現 8 単回帰はD=1の特殊例
- 9. • 問題設定 • データ： • ここで、xはD次元のベクトルとする • データDが与えられたとしてyの回帰モデルを考える • 最⼩⼆乗解を求める→まずはベクトル表記する 1.2 重回帰とベクトル表現 9 単回帰はD=1の特殊例
- 10. • 問題設定 • データ： • ここで、xはD次元のベクトルとする • データDが与えられたとしてyの回帰モデルを考える • 最⼩⼆乗解を求める→まずはベクトル表記する • 重みと⼊⼒をベクトルで表現する • 出⼒y(推定値)もベクトルで表現する • yはN個与えられている（縦に並べる） 1.2 重回帰とベクトル表現 10 (1.27) (1.24) (1.21), (1.22) 単回帰はD=1の特殊例
- 11. • 最⼩⼆乗解を求める • ⼆乗誤差を定義 • ⼆乗誤差を最⼩化したいパラメータで偏微分 • 偏微分が0となるパラメータが最⼩⼆乗解 1.2 重回帰とベクトル表現 11
- 13. • ⼆乗誤差 • ⼆乗誤差を重みwで微分して0とおくことで最⼩⼆乗解が求まる 1.2 重回帰とベクトル表現 13 ⼆乗和はベクトルの内積 (1.33) (1.29) (1.35)より (1.40)より
- 14. • ⼆乗誤差 • ⼆乗誤差を重みwで微分して0とおくことで最⼩⼆乗解が求まる 1.2 重回帰とベクトル表現 14 ⼆乗和はベクトルの内積 (1.33) (1.29) (1.35)より (1.40)より (1.47) (1.49) (1.48, 正規⽅程式)
- 15. • 𝒙の1次式では表現できない関数𝑓(𝒙)がある(p.28, 図1.8) 1.3 線形回帰モデル 15 直線で回帰するのは無理がありそう
- 16. • 𝒙の1次式では表現できない関数𝑓(𝒙)がある(p.28, 図1.8) Øxをそのまま使うのではなく、xの⾮線形関数𝜙&(𝒙)と重みwとの回帰モデル を考える • 例えば、 𝜙& 𝑥 = 𝑥) など(xを1次元とした場合) 1.3 線形回帰モデル 16 2次関数だけでも厳しそう 複数の関数で表現しよう
- 17. • 𝒙の1次式では表現できない関数𝑓(𝒙)がある(p.28, 図1.8) Øxをそのまま使うのではなく、xの⾮線形関数𝜙&(𝒙)と重みwとの回帰モデル を考える • 例えば、 𝜙& 𝑥 = 𝑥) など(xを1次元とした場合) • yの回帰モデル • データN個分を重ねてベクトル表記 1.3 線形回帰モデル 17 (1.62) 重回帰モデルは𝜙 𝒙 = 𝒙となる特殊ケース
- 18. • 𝒙の1次式では表現できない関数𝑓(𝒙)がある(p.28, 図1.8) Øxをそのまま使うのではなく、xの⾮線形関数𝜙&(𝒙)と重みwとの回帰モデル を考える • 例えば、 𝜙& 𝑥 = 𝑥) など(xを1次元とした場合) • yの回帰モデル • データN個分を重ねてベクトル表記 1.3 線形回帰モデル 18 (1.62) 重回帰モデルは𝜙 𝒙 = 𝒙となる特殊ケース xの特徴ベクトル 𝜙& 𝑥 ：基底関数
- 19. • 𝒙の1次式では表現できない関数𝑓(𝒙)がある(p.28, 図1.8) Øxをそのまま使うのではなく、xの⾮線形関数𝜙&(𝒙)と重みwとの回帰モデル を考える • 例えば、 𝜙& 𝑥 = 𝑥) など(xを1次元とした場合) • yの回帰モデル • データN個分を重ねてベクトル表記 • データxに対しては⾮線形だがパラメータwに関して線形→線形回帰 1.3 線形回帰モデル 19 (1.62) 重回帰モデルは𝜙 𝒙 = 𝒙となる特殊ケース xの特徴ベクトル 𝜙& 𝑥 ：基底関数
- 20. • 重回帰モデルと⼊⼒変数を表す⾏列が変わっただけなので、最⼩⼆ 乗解は同様に求められる • 重回帰(1.27)： • 線形回帰(1.62)： • 線形回帰モデルの最⼩⼆乗解 1.3 線形回帰モデル 20 複雑な関数を回帰することができる (図1.10) (1.67)
- 21. • wの⼀般解((1.67)式)は Φ+ Φ ,- が計算できないような場合に計算で きない • 解が⼀意に定まらない • 変数の次元数がデータ点数よりも多い場合など • 逆⾏列が極端に⼤きな値をとる場合がある • 対策 • データ数を増やす • wが極端に⼤きな値を取らないように制約を課す(正則化) 1.4 リッジ回帰 21
- 22. • wの⼀般解((1.67)式)は Φ+ Φ ,- が計算できないような場合に計算で きない • 解が⼀意に定まらない • 変数の次元数がデータ点数よりも多い場合など • 逆⾏列が極端に⼤きな値をとる場合がある • 対策 • データ数を増やす • wが極端に⼤きな値を取らないように制約を課す(正則化) • リッジ回帰：正則化の⽅法の⼀つ(L2正則化)、 weight decayとも 1.4 リッジ回帰 22 (1.74) ペナルティ項
- 23. • wの⼀般解((1.67)式)は Φ+ Φ ,- が計算できないような場合に計算で きない • 解が⼀意に定まらない • 変数の次元数がデータ点数よりも多い場合など • 逆⾏列が極端に⼤きな値をとる場合がある • 対策 • データ数を増やす • wが極端に⼤きな値を取らないように制約を課す(正則化) • リッジ回帰：正則化の⽅法の⼀つ(L2正則化)、 weight decayとも 1.4 リッジ回帰 23 係数の絶対値の和→Lasso回帰(L1正則化) (スパース解が得られやすい) (1.74) ペナルティ項
- 24. • リッジ回帰の解 1.4 リッジ回帰 24 ここは重回帰と⼀緒 ベクトルの⼆次形式の微分の式(1.40)を利⽤
- 25. • リッジ回帰の解 1.4 リッジ回帰 25 ここは重回帰と⼀緒 ベクトルの⼆次形式の微分の式(1.40)を利⽤ (1.75) (1.76) (1.77) X+ Xの対⾓成分にαを加えて逆⾏列の計算を安定化させる
- 26. • 第2章：ガウス分布 • 2.1 ガウス分布とは • 2.2 重みの事前分布とリッジ回帰 • 2.3 多変量ガウス分布 • Ch.0によると、ガウス過程とは線形回帰の拡張であり、関数を確率 変数とした確率分布(無限次元ガウス分布) • Ch.1では、最⼩⼆乗法で線形回帰モデルを解いた • 本章では、回帰モデルを⼀般化して確率モデルとして定式化 • 誤差の分布を考える • 誤差の分布として最もよく使われるガウス分布(正規分布)の性質を 解説 Ch2. ガウス分布 15
- 27. • 回帰モデルを⼀般化して確率モデルとして定式化したい 2.1 ガウス分布とは 27 p.42, 図2.3 線形回帰の例
- 28. • 回帰モデルを⼀般化して確率モデルとして定式化したい 2.1 ガウス分布とは 28 p.42, 図2.3 線形回帰の例 ノイズ (2.8) • ノイズは正規分布に従うと仮定する • 正規分布だけには限らない(3.6.1節)
- 29. • 回帰モデルを⼀般化して確率モデルとして定式化したい 2.1 ガウス分布とは 29 p.42, 図2.3 線形回帰の例 ノイズ (2.8) (2.9) ということで、確率モデルで表現できる • ノイズは正規分布に従うと仮定する • 正規分布だけには限らない(3.6.1節) 平均μを中⼼に指数的に減少する正規化項 ガウス分布 (2.2)
- 30. • 確率モデルで表現した回帰モデルのパラメータwを求めたい • データ： 2.1 ガウス分布とは 30
- 31. • 確率モデルで表現した回帰モデルのパラメータwを求めたい • データ： • wを推定する • データは互いに独⽴と仮定(i.i.d)し、yの⽣成確率を考える(尤度) 2.1 ガウス分布とは 31 (2.11)
- 32. • 確率モデルで表現した回帰モデルのパラメータwを求めたい • データ： • wを推定する • データは互いに独⽴と仮定(i.i.d)し、yの⽣成確率を考える(尤度) • 計算を楽にするために対数尤度を考える 2.1 ガウス分布とは 32 (2.11) (2.12)
- 33. • 確率モデルで表現した回帰モデルのパラメータwを求めたい • データ： • wを推定する • データは互いに独⽴と仮定(i.i.d)し、yの⽣成確率を考える(尤度) • 計算を楽にするために対数尤度を考える • 対数尤度の最⼤化 2.1 ガウス分布とは 33 (2.11) (2.12) (2.13) 最⼩⼆乗法での誤差の最⼩化と同じ式(1.29)が得られた(符号は違うけど) 最⼩⼆乗法は誤差の分布をガウス分布と暗に仮定していたとみなせる
- 34. • パラメータwも確率変数として考えよう • wが極端な値になるのを防ぐために、wを確率変数として事前分布を設定 • 不確実性を表現できる(Ch.0) 2.2 重みの事前分布とリッジ回帰 34
- 35. • パラメータwも確率変数として考えよう • wが極端な値になるのを防ぐために、wを確率変数として事前分布を設定 • 不確実性を表現できる(Ch.0) • 回帰モデルのグラフィカルモデル 2.2 重みの事前分布とリッジ回帰 35 X y w
- 36. • パラメータwも確率変数として考えよう • wが極端な値になるのを防ぐために、wを確率変数として事前分布を設定 • 不確実性を表現できる(Ch.0) • 回帰モデルのグラフィカルモデル • D+1次元のwの確率分布(wはそれぞれ独⽴に正規分布に従う) • N個の観測データyの確率分布 → (2.11) 2.2 重みの事前分布とリッジ回帰 36 (2.14) X y w それぞれの対数は (2.16), (2.13)式参照
- 38. • 続き • 対数をとってwについて整理する • 定数を整理する 2.2 重みの事前分布とリッジ回帰 38 (2.17) リッジ回帰の式(1.74)と⼀致。 パラメータwを確率変数とし、事前分布を正規分布とすると⾃然にリッジ 回帰が現れる。
- 40. • 1変量ガウス分布 2.3 多変量ガウス分布 40 正規化項 平均μを中⼼に指数的に減少する (2.2) N(0, 1)のガウス分布から10,000点のサンプル μ
- 41. • 1変量ガウス分布 • 多変量ガウス分布 2.3 多変量ガウス分布 41 正規化項 平均μを中⼼に指数的に減少する (2.2) N(0, 1)のガウス分布から10,000点のサンプル μ (2.18) 𝜇：平均ベクトル Σ：D×Dの共分散⾏列 (2.19) (2.23) 𝜇 = 0 0 + Σ = 1 0.8 0.8 2.0
- 42. • 共分散⾏列が多変量ガウス分布の形状を決める 2.3 多変量ガウス分布 42 共分散⾏列が対⾓ではない → xの成分間で相関を持つ 共分散⾏列が対⾓ → xの成分は互いに独⽴ p.47, 図2.5
- 43. • ガウス分布に従うベクトルxを • 正則⾏列Aで線形変換したベクトルy • ガウス分布に従う • あとで部品として使います 2.3.1 多変量ガウス分布と線形変換 43
- 44. • 1変量ガウス分布からのサンプリング(2.1.1) • ライブラリの利⽤(sipy.stats.normなど) • (0,1]の⼀様乱数から⽣成(Box-Muller法, https://projecteuclid.org/download/pdf_1/euclid.aoms/1177706645) 2.3.2 多変量ガウス分布からのサンプリング 44
- 45. • 多変量ガウス分布からのサンプリング • ライブラリの利⽤(sipy.stats.multivariate_normalなど) • 独⽴に⽣成した複数の1変量標準ガウス分布(N(0,1))から⽣成 • ⼿順 • ⽣成したいガウス分布の共分散⾏列Σをコレスキー分解(np.linalg.cholesky) • 独⽴に⽣成した複数の1変量標準ガウス分布(N(0,1))を並べてベクトルに • 分解した下三⾓⾏列Lでxを線形変換したyは共分散⾏列Σの多変量正規分布 2.3.2 多変量ガウス分布からのサンプリング 45 (2.31) (2.34)
- 46. • 多変量ガウス分布の⼀部の次元を周辺化(積分消去)しても、残りの 次元は多変量ガウス分布に従う 2.3.3 多変量ガウス分布の周辺化 46 周辺分布 周辺分布 周辺化 周辺化 (2.38) p.51,52の⼿順に従って計算すると証明できる • 符号の誤植、転置の抜けなどが結構ある • PRMLの⽅がわかりやすかった
- 47. • 多変量ガウス分布の⼀部の次元を特定の値に固定した(条件付け)分 布は多変量ガウス分布になる 2.3.4 多変量ガウス分布の条件付き分布 47 𝑝(𝑥)|𝑥- = 𝑐)はガウス分布 (2.54) p.53,55の⼿順に従って計算すると証明できる • 2.3.2節と⼀部共有 • 符号の誤植、転置の抜けなどが結構ある • PRMLの⽅がわかりやすかった
- 48. • 条件付き分布の解釈 2.3.4 多変量ガウス分布の条件付き分布 48 観測値x-が与えられた時の x)の事後分布(更新された分布) [分散の解釈] • x)が従う分布の分散Σ))の観測値x-が与えられた元での更新を表す • 新しい情報が⼊る分、分散は減少していく [平均の解釈] • x)が従う分布の平均𝝁)の観測値x-が与えられた元での更新を表す • 更新量はx-が従う分布の平均𝝁- からの観測値x-のズレに基づく • ズレの⼤きさを分散⾏列Σ--で正規化（分散が⼤きいと情報は少な いため更新量は⼩さい）
- 49. • ガウス過程とは？ • 関数f(x)を確率変数と⾒⽴てた確率分布（無限次元のガウス分布） • 線形回帰モデル（含む、単回帰、重回帰） • 特徴ベクトルと重みの線形和で表現されたモデル (パラメータ空間に関して線形) • 最⼩⼆乗法を使ってデータから重みを学習 • 線形回帰モデルを確率分布として定式化 • 誤差の分布を正規分布とおいた最尤解は最⼩⼆乗解と等価である • リッジ回帰は線形モデルのパラメータwを確率変数(正規分布)と考えた場合 に⾃然に導かれた • 多変量ガウス分布の性質を眺めた • 周辺分布、条件付き分布 Ch0~2のまとめ 49