Submit Search
Upload
PRML復々習レーン#9 6.3-6.3.1
•
3 likes
•
2,326 views
S
sleepy_yoshi
Follow
PRML復々習レーン#9 6.3-6.3.1 はっぴょう
Read less
Read more
Technology
Report
Share
Report
Share
1 of 17
Download now
Download to read offline
Recommended
PRML第6章「カーネル法」
PRML第6章「カーネル法」
Keisuke Sugawara
パターン認識と機械学習 §6.2 カーネル関数の構成
パターン認識と機械学習 §6.2 カーネル関数の構成
Prunus 1350
PRML上巻勉強会 at 東京大学 資料 第1章後半
PRML上巻勉強会 at 東京大学 資料 第1章後半
Ohsawa Goodfellow
Prml 最尤推定からベイズ曲線フィッティング
Prml 最尤推定からベイズ曲線フィッティング
takutori
スペクトラル・クラスタリング
スペクトラル・クラスタリング
Akira Miyazawa
PRML 上 2.3.6 ~ 2.5.2
PRML 上 2.3.6 ~ 2.5.2
禎晃 山崎
パターン認識と機械学習(PRML)第2章 確率分布 2.3 ガウス分布
パターン認識と機械学習(PRML)第2章 確率分布 2.3 ガウス分布
Nagayoshi Yamashita
Prml
Prml
syou6162
Recommended
PRML第6章「カーネル法」
PRML第6章「カーネル法」
Keisuke Sugawara
パターン認識と機械学習 §6.2 カーネル関数の構成
パターン認識と機械学習 §6.2 カーネル関数の構成
Prunus 1350
PRML上巻勉強会 at 東京大学 資料 第1章後半
PRML上巻勉強会 at 東京大学 資料 第1章後半
Ohsawa Goodfellow
Prml 最尤推定からベイズ曲線フィッティング
Prml 最尤推定からベイズ曲線フィッティング
takutori
スペクトラル・クラスタリング
スペクトラル・クラスタリング
Akira Miyazawa
PRML 上 2.3.6 ~ 2.5.2
PRML 上 2.3.6 ~ 2.5.2
禎晃 山崎
パターン認識と機械学習(PRML)第2章 確率分布 2.3 ガウス分布
パターン認識と機械学習(PRML)第2章 確率分布 2.3 ガウス分布
Nagayoshi Yamashita
Prml
Prml
syou6162
[PRML] パターン認識と機械学習(第2章:確率分布)
[PRML] パターン認識と機械学習(第2章:確率分布)
Ryosuke Sasaki
PRMLの線形回帰モデル(線形基底関数モデル)
PRMLの線形回帰モデル(線形基底関数モデル)
Yasunori Ozaki
Prml3.5 エビデンス近似〜
Prml3.5 エビデンス近似〜
Yuki Matsubara
PRML2.4 指数型分布族
PRML2.4 指数型分布族
hiroki yamaoka
Chapter2.3.6
Chapter2.3.6
Takuya Minagawa
PRML輪読#2
PRML輪読#2
matsuolab
PRML2.3.1-2.3.3
PRML2.3.1-2.3.3
とっきー Ishikawa
PRML 第4章
PRML 第4章
Akira Miyazawa
「3.1.2最小二乗法の幾何学」PRML勉強会4 @筑波大学 #prml学ぼう
「3.1.2最小二乗法の幾何学」PRML勉強会4 @筑波大学 #prml学ぼう
Junpei Tsuji
【解説】 一般逆行列
【解説】 一般逆行列
Kenjiro Sugimoto
PRML輪読#3
PRML輪読#3
matsuolab
機械学習におけるオンライン確率的最適化の理論
機械学習におけるオンライン確率的最適化の理論
Taiji Suzuki
PRML8章
PRML8章
弘毅 露崎
Prml4.4 ラプラス近似~ベイズロジスティック回帰
Prml4.4 ラプラス近似~ベイズロジスティック回帰
Yuki Matsubara
パターン認識と機械学習6章(カーネル法)
パターン認識と機械学習6章(カーネル法)
Yukara Ikemiya
2013.12.26 prml勉強会 線形回帰モデル3.2~3.4
2013.12.26 prml勉強会 線形回帰モデル3.2~3.4
Takeshi Sakaki
グラフネットワーク〜フロー&カット〜
グラフネットワーク〜フロー&カット〜
HCPC: 北海道大学競技プログラミングサークル
線形計画法入門
線形計画法入門
Shunji Umetani
2014.01.23 prml勉強会4.2確率的生成モデル
2014.01.23 prml勉強会4.2確率的生成モデル
Takeshi Sakaki
PRML輪読#6
PRML輪読#6
matsuolab
Quantum Support Vector Machine
Quantum Support Vector Machine
Yuma Nakamura
Fourier analysis on symmetric group
Fourier analysis on symmetric group
HanpenRobot
More Related Content
What's hot
[PRML] パターン認識と機械学習(第2章:確率分布)
[PRML] パターン認識と機械学習(第2章:確率分布)
Ryosuke Sasaki
PRMLの線形回帰モデル(線形基底関数モデル)
PRMLの線形回帰モデル(線形基底関数モデル)
Yasunori Ozaki
Prml3.5 エビデンス近似〜
Prml3.5 エビデンス近似〜
Yuki Matsubara
PRML2.4 指数型分布族
PRML2.4 指数型分布族
hiroki yamaoka
Chapter2.3.6
Chapter2.3.6
Takuya Minagawa
PRML輪読#2
PRML輪読#2
matsuolab
PRML2.3.1-2.3.3
PRML2.3.1-2.3.3
とっきー Ishikawa
PRML 第4章
PRML 第4章
Akira Miyazawa
「3.1.2最小二乗法の幾何学」PRML勉強会4 @筑波大学 #prml学ぼう
「3.1.2最小二乗法の幾何学」PRML勉強会4 @筑波大学 #prml学ぼう
Junpei Tsuji
【解説】 一般逆行列
【解説】 一般逆行列
Kenjiro Sugimoto
PRML輪読#3
PRML輪読#3
matsuolab
機械学習におけるオンライン確率的最適化の理論
機械学習におけるオンライン確率的最適化の理論
Taiji Suzuki
PRML8章
PRML8章
弘毅 露崎
Prml4.4 ラプラス近似~ベイズロジスティック回帰
Prml4.4 ラプラス近似~ベイズロジスティック回帰
Yuki Matsubara
パターン認識と機械学習6章(カーネル法)
パターン認識と機械学習6章(カーネル法)
Yukara Ikemiya
2013.12.26 prml勉強会 線形回帰モデル3.2~3.4
2013.12.26 prml勉強会 線形回帰モデル3.2~3.4
Takeshi Sakaki
グラフネットワーク〜フロー&カット〜
グラフネットワーク〜フロー&カット〜
HCPC: 北海道大学競技プログラミングサークル
線形計画法入門
線形計画法入門
Shunji Umetani
2014.01.23 prml勉強会4.2確率的生成モデル
2014.01.23 prml勉強会4.2確率的生成モデル
Takeshi Sakaki
PRML輪読#6
PRML輪読#6
matsuolab
What's hot
(20)
[PRML] パターン認識と機械学習(第2章:確率分布)
[PRML] パターン認識と機械学習(第2章:確率分布)
PRMLの線形回帰モデル(線形基底関数モデル)
PRMLの線形回帰モデル(線形基底関数モデル)
Prml3.5 エビデンス近似〜
Prml3.5 エビデンス近似〜
PRML2.4 指数型分布族
PRML2.4 指数型分布族
Chapter2.3.6
Chapter2.3.6
PRML輪読#2
PRML輪読#2
PRML2.3.1-2.3.3
PRML2.3.1-2.3.3
PRML 第4章
PRML 第4章
「3.1.2最小二乗法の幾何学」PRML勉強会4 @筑波大学 #prml学ぼう
「3.1.2最小二乗法の幾何学」PRML勉強会4 @筑波大学 #prml学ぼう
【解説】 一般逆行列
【解説】 一般逆行列
PRML輪読#3
PRML輪読#3
機械学習におけるオンライン確率的最適化の理論
機械学習におけるオンライン確率的最適化の理論
PRML8章
PRML8章
Prml4.4 ラプラス近似~ベイズロジスティック回帰
Prml4.4 ラプラス近似~ベイズロジスティック回帰
パターン認識と機械学習6章(カーネル法)
パターン認識と機械学習6章(カーネル法)
2013.12.26 prml勉強会 線形回帰モデル3.2~3.4
2013.12.26 prml勉強会 線形回帰モデル3.2~3.4
グラフネットワーク〜フロー&カット〜
グラフネットワーク〜フロー&カット〜
線形計画法入門
線形計画法入門
2014.01.23 prml勉強会4.2確率的生成モデル
2014.01.23 prml勉強会4.2確率的生成モデル
PRML輪読#6
PRML輪読#6
Similar to PRML復々習レーン#9 6.3-6.3.1
Quantum Support Vector Machine
Quantum Support Vector Machine
Yuma Nakamura
Fourier analysis on symmetric group
Fourier analysis on symmetric group
HanpenRobot
PRML第9章「混合モデルとEM」
PRML第9章「混合モデルとEM」
Keisuke Sugawara
PRML復々習レーン#3 3.1.3-3.1.5
PRML復々習レーン#3 3.1.3-3.1.5
sleepy_yoshi
Variational autoencoder
Variational autoencoder
Mikio Shiga
PRML chap.10 latter half
PRML chap.10 latter half
Narihira Takuya
続・わかりやすいパターン認識 9章
続・わかりやすいパターン認識 9章
hakusai
(文献紹介)Deep Unrolling: Learned ISTA (LISTA)
(文献紹介)Deep Unrolling: Learned ISTA (LISTA)
Morpho, Inc.
オンライン学習 : Online learning
オンライン学習 : Online learning
Daiki Tanaka
スパースモデリングによる多次元信号・画像復元
スパースモデリングによる多次元信号・画像復元
Shogo Muramatsu
PRML4.3
PRML4.3
hiroki yamaoka
Computing for Isogeny Kernel Problem by Groebner Basis
Computing for Isogeny Kernel Problem by Groebner Basis
Yasu Math
PRML復々習レーン#7 前回までのあらすじ
PRML復々習レーン#7 前回までのあらすじ
sleepy_yoshi
パターン認識と機械学習 13章 系列データ
パターン認識と機械学習 13章 系列データ
emonosuke
Or学会用20160915.ver2
Or学会用20160915.ver2
Ryoma Nakagawa
Spatial Temporal Graph Convolutional Networks for Skeleton-Based Action Recog...
Spatial Temporal Graph Convolutional Networks for Skeleton-Based Action Recog...
yukihiro domae
(文献紹介) 画像復元:Plug-and-Play ADMM
(文献紹介) 画像復元:Plug-and-Play ADMM
Morpho, Inc.
暗号技術の実装と数学
暗号技術の実装と数学
MITSUNARI Shigeo
Jokyonokai130531
Jokyonokai130531
nwpmq516
PRML_from5.1to5.3.1
PRML_from5.1to5.3.1
禎晃 山崎
Similar to PRML復々習レーン#9 6.3-6.3.1
(20)
Quantum Support Vector Machine
Quantum Support Vector Machine
Fourier analysis on symmetric group
Fourier analysis on symmetric group
PRML第9章「混合モデルとEM」
PRML第9章「混合モデルとEM」
PRML復々習レーン#3 3.1.3-3.1.5
PRML復々習レーン#3 3.1.3-3.1.5
Variational autoencoder
Variational autoencoder
PRML chap.10 latter half
PRML chap.10 latter half
続・わかりやすいパターン認識 9章
続・わかりやすいパターン認識 9章
(文献紹介)Deep Unrolling: Learned ISTA (LISTA)
(文献紹介)Deep Unrolling: Learned ISTA (LISTA)
オンライン学習 : Online learning
オンライン学習 : Online learning
スパースモデリングによる多次元信号・画像復元
スパースモデリングによる多次元信号・画像復元
PRML4.3
PRML4.3
Computing for Isogeny Kernel Problem by Groebner Basis
Computing for Isogeny Kernel Problem by Groebner Basis
PRML復々習レーン#7 前回までのあらすじ
PRML復々習レーン#7 前回までのあらすじ
パターン認識と機械学習 13章 系列データ
パターン認識と機械学習 13章 系列データ
Or学会用20160915.ver2
Or学会用20160915.ver2
Spatial Temporal Graph Convolutional Networks for Skeleton-Based Action Recog...
Spatial Temporal Graph Convolutional Networks for Skeleton-Based Action Recog...
(文献紹介) 画像復元:Plug-and-Play ADMM
(文献紹介) 画像復元:Plug-and-Play ADMM
暗号技術の実装と数学
暗号技術の実装と数学
Jokyonokai130531
Jokyonokai130531
PRML_from5.1to5.3.1
PRML_from5.1to5.3.1
More from sleepy_yoshi
KDD2014勉強会: Large-Scale High-Precision Topic Modeling on Twitter
KDD2014勉強会: Large-Scale High-Precision Topic Modeling on Twitter
sleepy_yoshi
KDD2013読み会: Direct Optimization of Ranking Measures
KDD2013読み会: Direct Optimization of Ranking Measures
sleepy_yoshi
PRML復々習レーン#15 前回までのあらすじ
PRML復々習レーン#15 前回までのあらすじ
sleepy_yoshi
PRML復々習レーン#14 前回までのあらすじ
PRML復々習レーン#14 前回までのあらすじ
sleepy_yoshi
PRML復々習レーン#13 前回までのあらすじ
PRML復々習レーン#13 前回までのあらすじ
sleepy_yoshi
PRML復々習レーン#12 前回までのあらすじ
PRML復々習レーン#12 前回までのあらすじ
sleepy_yoshi
ICML2013読み会: Distributed training of Large-scale Logistic models
ICML2013読み会: Distributed training of Large-scale Logistic models
sleepy_yoshi
SEXI2013読み会: Adult Query Classification for Web Search and Recommendation
SEXI2013読み会: Adult Query Classification for Web Search and Recommendation
sleepy_yoshi
計算論的学習理論入門 -PAC学習とかVC次元とか-
計算論的学習理論入門 -PAC学習とかVC次元とか-
sleepy_yoshi
PRML復々習レーン#11 前回までのあらすじ
PRML復々習レーン#11 前回までのあらすじ
sleepy_yoshi
SMO徹底入門 - SVMをちゃんと実装する
SMO徹底入門 - SVMをちゃんと実装する
sleepy_yoshi
PRML復々習レーン#10 前回までのあらすじ
PRML復々習レーン#10 前回までのあらすじ
sleepy_yoshi
PRML復々習レーン#10 7.1.3-7.1.5
PRML復々習レーン#10 7.1.3-7.1.5
sleepy_yoshi
PRML復々習レーン#9 前回までのあらすじ
PRML復々習レーン#9 前回までのあらすじ
sleepy_yoshi
SIGIR2012勉強会 23 Learning to Rank
SIGIR2012勉強会 23 Learning to Rank
sleepy_yoshi
DSIRNLP#3 LT: 辞書挟み込み型転置インデクスFIg4.5
DSIRNLP#3 LT: 辞書挟み込み型転置インデクスFIg4.5
sleepy_yoshi
ICML2012読み会 Scaling Up Coordinate Descent Algorithms for Large L1 regularizat...
ICML2012読み会 Scaling Up Coordinate Descent Algorithms for Large L1 regularizat...
sleepy_yoshi
PRML復々習レーン#3 前回までのあらすじ
PRML復々習レーン#3 前回までのあらすじ
sleepy_yoshi
SVM実践ガイド (A Practical Guide to Support Vector Classification)
SVM実践ガイド (A Practical Guide to Support Vector Classification)
sleepy_yoshi
PRML復々習レーン#2 2.3.6 - 2.3.7
PRML復々習レーン#2 2.3.6 - 2.3.7
sleepy_yoshi
More from sleepy_yoshi
(20)
KDD2014勉強会: Large-Scale High-Precision Topic Modeling on Twitter
KDD2014勉強会: Large-Scale High-Precision Topic Modeling on Twitter
KDD2013読み会: Direct Optimization of Ranking Measures
KDD2013読み会: Direct Optimization of Ranking Measures
PRML復々習レーン#15 前回までのあらすじ
PRML復々習レーン#15 前回までのあらすじ
PRML復々習レーン#14 前回までのあらすじ
PRML復々習レーン#14 前回までのあらすじ
PRML復々習レーン#13 前回までのあらすじ
PRML復々習レーン#13 前回までのあらすじ
PRML復々習レーン#12 前回までのあらすじ
PRML復々習レーン#12 前回までのあらすじ
ICML2013読み会: Distributed training of Large-scale Logistic models
ICML2013読み会: Distributed training of Large-scale Logistic models
SEXI2013読み会: Adult Query Classification for Web Search and Recommendation
SEXI2013読み会: Adult Query Classification for Web Search and Recommendation
計算論的学習理論入門 -PAC学習とかVC次元とか-
計算論的学習理論入門 -PAC学習とかVC次元とか-
PRML復々習レーン#11 前回までのあらすじ
PRML復々習レーン#11 前回までのあらすじ
SMO徹底入門 - SVMをちゃんと実装する
SMO徹底入門 - SVMをちゃんと実装する
PRML復々習レーン#10 前回までのあらすじ
PRML復々習レーン#10 前回までのあらすじ
PRML復々習レーン#10 7.1.3-7.1.5
PRML復々習レーン#10 7.1.3-7.1.5
PRML復々習レーン#9 前回までのあらすじ
PRML復々習レーン#9 前回までのあらすじ
SIGIR2012勉強会 23 Learning to Rank
SIGIR2012勉強会 23 Learning to Rank
DSIRNLP#3 LT: 辞書挟み込み型転置インデクスFIg4.5
DSIRNLP#3 LT: 辞書挟み込み型転置インデクスFIg4.5
ICML2012読み会 Scaling Up Coordinate Descent Algorithms for Large L1 regularizat...
ICML2012読み会 Scaling Up Coordinate Descent Algorithms for Large L1 regularizat...
PRML復々習レーン#3 前回までのあらすじ
PRML復々習レーン#3 前回までのあらすじ
SVM実践ガイド (A Practical Guide to Support Vector Classification)
SVM実践ガイド (A Practical Guide to Support Vector Classification)
PRML復々習レーン#2 2.3.6 - 2.3.7
PRML復々習レーン#2 2.3.6 - 2.3.7
Recently uploaded
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
iPride Co., Ltd.
知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx
知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx
sn679259
Utilizing Ballerina for Cloud Native Integrations
Utilizing Ballerina for Cloud Native Integrations
WSO2
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
CRI Japan, Inc.
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
atsushi061452
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
iPride Co., Ltd.
新人研修 後半 2024/04/26の勉強会で発表されたものです。
新人研修 後半 2024/04/26の勉強会で発表されたものです。
iPride Co., Ltd.
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
Toru Tamaki
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
Toru Tamaki
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
CRI Japan, Inc.
Recently uploaded
(10)
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx
知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx
Utilizing Ballerina for Cloud Native Integrations
Utilizing Ballerina for Cloud Native Integrations
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
新人研修 後半 2024/04/26の勉強会で発表されたものです。
新人研修 後半 2024/04/26の勉強会で発表されたものです。
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
PRML復々習レーン#9 6.3-6.3.1
1.
PRML復々習レーン#9
6.3 RBFネットワーク 6.3.1 Nadaraya-Watson モデル 2013-03-10 Yoshihiko Suhara @sleepy_yoshi 1
2.
もくじ • 6.3 RBFネットワーク
– 6.3.1 Nadaraya-Watson モデル 2
3.
復習の復習 3.6 固定された基底関数の限界
ポイントだよ 基底関数をたくさん用意すれば線形モデルでいいじゃん ⇒ NO!ソンナコトハナイ! • 訓練データを観測する前に基底関数𝜙 ⋅ を決定する必要 がある • 入力空間の次元数に対して指数的に基底関数を増やして いく必要性 • ただし – データベクトルは本質的な次元数が入力次元数よりも小さい非線形 多様体に大体分布しているという性質がある – うまいこと基底関数を選べればよい (NN@5章) or 基底関数を明示的 に選ばない方法を用いられればよいのでは? (カーネル法@6章, 7章) 3
4.
6.3 RBFネットワーク
4
5.
Radial Basis Funciton
(RBF) • 動径 (放射) 基底関数 • 中心𝝁からの距離のみに依存する基底関数 𝜙 𝒙 =ℎ 𝒙− 𝝁 – RBFの例 • ガウス基底関数: exp −𝛾 𝒙 − 𝝁 2 • Thin plate spline: 𝒙 − 𝝁 2 log 𝒙 − 𝝁 ガウス基底関数のイメージ Thin plate splineのイメージ 45 40 35 30 25 20 15 10 5 0 -5 -5 -4 -3 -2 -1 0 1 2 3 4 5 5 𝝁 𝝁
6.
RBFはなんでもよい? • [Chen+ 91]
から抜粋 6
7.
RBFによる関数補間 • RBFが初めて使われたのは関数補間
– 関数補間:目的変数の値を正確に再現する関数を 求める問題 – 各データ点を中心においたRBFの線形結合で実現 𝑁 𝑓 𝑥 = 𝑤𝑛 ℎ 𝒙− 𝒙𝑛 𝑛=1 • 重みは最小二乗法によって求める – 参考: (3.15)式 𝒘 𝑀𝐿 = 𝚽 𝑇 𝚽 −1 𝚽 𝑇 𝒕 7
8.
RBFネットワークのイメージ • RBFの線形結合の直感的イメージ
𝑁 𝑓 𝑥 = 𝑤ℎ ℎ 𝒙− 𝒙𝑛 𝑛=1 各RBFの線形和を出力 入力𝒙 𝜙1 𝜙2 𝜙3 𝒙1 𝑤1 𝒙2 𝑤2 𝑓(𝒙) … … 𝑤𝑛 𝒙𝑛 𝒙 8
9.
入力変数にノイズがある場合 • 入力変数xに含まれるノイズを,確率分布𝜈(𝜉)
に従う𝜉によって表した際の二乗誤差関数 𝑁 1 2 𝐸= 𝑦 𝒙𝑛+ 𝝃 − 𝑡𝑛 𝜈 𝝃 𝑑𝝃 (6.39) 2 𝑛=1 • 変分法を用いて最適化 𝑁 𝑦 𝑥 = 𝑡 𝑛ℎ 𝒙 − 𝒙 𝑛 (6.40) 𝑛=1 9
10.
基底関数の正規化 • (6.41)により,任意のxに対して
𝑛 ℎ(𝒙 − 𝒙 𝑛) = 1に正規化されている – 正規化後は右図のようになっている 10
11.
計算コストの削減 • 各データ点に基底関数が用意されているた
め,入力データに対して特徴次元数×基底 関数の数だけ計算コストがかかる • 計算コストの削減するために基底関数を絞 り込むことを考える – データ点の部分集合をランダムに選択 – 直交最小二乗法 [Chen+ 91] – k-Means? 11
12.
6.3.1 Nadaraya-Watsonモデル
別名: カーネル回帰モデル 12
13.
Nadaraya-Watsonモデル (1/3) • カーネル回帰モデル(3.61)をカーネル密度推定の観
点から導く 𝑁 𝑦 𝒙, 𝒎 𝑁 = 𝑘 𝒙, 𝒙 𝑛 𝑡 𝑛 (3.61) 𝑛=1 • 訓練集合を{𝑥 𝑛 , 𝑡 𝑛 } として,同時分布p(x,t)を推定する ためにParzen推定法を用いる – 例えばf(x,t)はガウス分布の確率密度関数 𝑁 1 𝑝 𝑥, 𝑡 = 𝑓 𝒙 − 𝒙 𝑛, 𝑡 − 𝑡 𝑛 (6.42) 𝑁 𝑛=1 13
14.
Nadaraya-Watsonモデル (2/3) • 𝑓(𝒙)を求めるため,入力変数で条件付けられ
た目標変数の条件付き期待値を考える ∞ 𝑦 𝒙 = 𝔼 𝑡 𝒙 = 𝑡 𝑝 𝑡 𝒙 𝑑𝑡 −∞ ∫ 𝑡 𝑝 𝒙, 𝑡 𝑑𝑡 𝑛∫ 𝑡 𝑓 𝒙 − 𝒙 𝑛 , 𝑡 − 𝑡 𝑛 𝑑𝑡 = = ∫ 𝑝 𝒙, 𝑡 𝑑𝑡 𝑚∫ 𝑓 𝒙 − 𝒙 𝑚, 𝑡 − 𝑡 𝑚 𝑑𝑡 ↑の補足 ∫ 𝑡 𝑝 𝑡 𝒙 𝑝 𝒙 𝑑𝑡 ∫ 𝑡 𝑝 𝑡, 𝒙 𝑑𝑡 ∫ 𝑡 𝑝 𝑡|𝒙 𝑑𝑡 = = 𝑝 𝒙 ∫ 𝑝 𝑡, 𝒙 𝑑𝑡 14
15.
Nadaraya-Watsonモデル (3/3) • 変数を置き換えてNadaraya-Watsonモデルを
得る 𝑛 𝑔 𝒙− 𝒙𝑛 𝑡𝑛 𝑦 𝑥 = = 𝑘 𝒙, 𝒙 𝑛 𝑡 𝑛 𝑚 𝑔 𝒙− 𝒙 𝑚 𝑛 • ただし, 𝑔 𝒙− 𝒙𝑛 𝑘 𝑥, 𝑥 𝑛 = 𝑚 𝑔 𝒙− 𝒙 𝑚 ∞ 𝑔 𝑥 = 𝑓 𝒙, 𝑡 𝑑𝑡 −∞ 1 1 2 たとえば,𝑓 𝑥 = 2 exp − 2𝜎2 𝑥 − 𝜇 15 2𝜋𝜎
16.
Nadaraya-Watsonモデルの例 • 三角関数データに対してガウスカーネルを用いた際
のNadaraya-Watsonカーネル回帰モデル 16 x, yのスケールが違うため目玉のようになっているが,等方的なガウスカーネル
17.
おわり
17
Download now