Submit Search
Upload
PRML上巻勉強会 at 東京大学 資料 第1章前半
•
21 likes
•
18,659 views
Ohsawa Goodfellow
Follow
Technology
Report
Share
Report
Share
1 of 43
Download now
Download to read offline
Recommended
PRML輪読#1
PRML輪読#1
matsuolab
パターン認識と機械学習 (PRML) 第1章-「多項式曲線フィッティング」「確率論」
パターン認識と機械学習 (PRML) 第1章-「多項式曲線フィッティング」「確率論」
Koichi Hamada
Prml 1.3~1.6 ver3
Prml 1.3~1.6 ver3
Toshihiko Iio
PRML読み会第一章
PRML読み会第一章
Takushi Miki
PRML輪読#2
PRML輪読#2
matsuolab
Prml 1.2,4 5,1.3|輪講資料1120
Prml 1.2,4 5,1.3|輪講資料1120
Hayato K
PRML読書会#2,#3資料
PRML読書会#2,#3資料
Hiromasa Ohashi
変分推論法(変分ベイズ法)(PRML第10章)
変分推論法(変分ベイズ法)(PRML第10章)
Takao Yamanaka
Recommended
PRML輪読#1
PRML輪読#1
matsuolab
パターン認識と機械学習 (PRML) 第1章-「多項式曲線フィッティング」「確率論」
パターン認識と機械学習 (PRML) 第1章-「多項式曲線フィッティング」「確率論」
Koichi Hamada
Prml 1.3~1.6 ver3
Prml 1.3~1.6 ver3
Toshihiko Iio
PRML読み会第一章
PRML読み会第一章
Takushi Miki
PRML輪読#2
PRML輪読#2
matsuolab
Prml 1.2,4 5,1.3|輪講資料1120
Prml 1.2,4 5,1.3|輪講資料1120
Hayato K
PRML読書会#2,#3資料
PRML読書会#2,#3資料
Hiromasa Ohashi
変分推論法(変分ベイズ法)(PRML第10章)
変分推論法(変分ベイズ法)(PRML第10章)
Takao Yamanaka
PRML第3章@京大PRML輪講
PRML第3章@京大PRML輪講
Sotetsu KOYAMADA(小山田創哲)
深層学習 勉強会第5回 ボルツマンマシン
深層学習 勉強会第5回 ボルツマンマシン
Yuta Sugii
グラフィカルモデル入門
グラフィカルモデル入門
Kawamoto_Kazuhiko
PRML読書会1スライド(公開用)
PRML読書会1スライド(公開用)
tetsuro ito
PRML輪読#4
PRML輪読#4
matsuolab
階層ベイズとWAIC
階層ベイズとWAIC
Hiroshi Shimizu
混合モデルとEMアルゴリズム(PRML第9章)
混合モデルとEMアルゴリズム(PRML第9章)
Takao Yamanaka
PRMLの線形回帰モデル(線形基底関数モデル)
PRMLの線形回帰モデル(線形基底関数モデル)
Yasunori Ozaki
PRML学習者から入る深層生成モデル入門
PRML学習者から入る深層生成モデル入門
tmtm otm
変分ベイズ法の説明
変分ベイズ法の説明
Haruka Ozaki
PRML輪読#14
PRML輪読#14
matsuolab
PRML輪読#8
PRML輪読#8
matsuolab
今さら聞けないカーネル法とサポートベクターマシン
今さら聞けないカーネル法とサポートベクターマシン
Shinya Shimizu
Sliced Wasserstein距離と生成モデル
Sliced Wasserstein距離と生成モデル
ohken
PRML第6章「カーネル法」
PRML第6章「カーネル法」
Keisuke Sugawara
PRML輪読#11
PRML輪読#11
matsuolab
PRML8章
PRML8章
弘毅 露崎
ベイズ統計学の概論的紹介
ベイズ統計学の概論的紹介
Naoki Hayashi
PRML読書会#4資料+補足
PRML読書会#4資料+補足
Hiromasa Ohashi
Prml 最尤推定からベイズ曲線フィッティング
Prml 最尤推定からベイズ曲線フィッティング
takutori
手書き数字文書の認識 (JOI夏期セミナー2016)
手書き数字文書の認識 (JOI夏期セミナー2016)
onkohdondo
続・わかりやすいパターン認識_3章
続・わかりやすいパターン認識_3章
weda654
More Related Content
What's hot
PRML第3章@京大PRML輪講
PRML第3章@京大PRML輪講
Sotetsu KOYAMADA(小山田創哲)
深層学習 勉強会第5回 ボルツマンマシン
深層学習 勉強会第5回 ボルツマンマシン
Yuta Sugii
グラフィカルモデル入門
グラフィカルモデル入門
Kawamoto_Kazuhiko
PRML読書会1スライド(公開用)
PRML読書会1スライド(公開用)
tetsuro ito
PRML輪読#4
PRML輪読#4
matsuolab
階層ベイズとWAIC
階層ベイズとWAIC
Hiroshi Shimizu
混合モデルとEMアルゴリズム(PRML第9章)
混合モデルとEMアルゴリズム(PRML第9章)
Takao Yamanaka
PRMLの線形回帰モデル(線形基底関数モデル)
PRMLの線形回帰モデル(線形基底関数モデル)
Yasunori Ozaki
PRML学習者から入る深層生成モデル入門
PRML学習者から入る深層生成モデル入門
tmtm otm
変分ベイズ法の説明
変分ベイズ法の説明
Haruka Ozaki
PRML輪読#14
PRML輪読#14
matsuolab
PRML輪読#8
PRML輪読#8
matsuolab
今さら聞けないカーネル法とサポートベクターマシン
今さら聞けないカーネル法とサポートベクターマシン
Shinya Shimizu
Sliced Wasserstein距離と生成モデル
Sliced Wasserstein距離と生成モデル
ohken
PRML第6章「カーネル法」
PRML第6章「カーネル法」
Keisuke Sugawara
PRML輪読#11
PRML輪読#11
matsuolab
PRML8章
PRML8章
弘毅 露崎
ベイズ統計学の概論的紹介
ベイズ統計学の概論的紹介
Naoki Hayashi
PRML読書会#4資料+補足
PRML読書会#4資料+補足
Hiromasa Ohashi
Prml 最尤推定からベイズ曲線フィッティング
Prml 最尤推定からベイズ曲線フィッティング
takutori
What's hot
(20)
PRML第3章@京大PRML輪講
PRML第3章@京大PRML輪講
深層学習 勉強会第5回 ボルツマンマシン
深層学習 勉強会第5回 ボルツマンマシン
グラフィカルモデル入門
グラフィカルモデル入門
PRML読書会1スライド(公開用)
PRML読書会1スライド(公開用)
PRML輪読#4
PRML輪読#4
階層ベイズとWAIC
階層ベイズとWAIC
混合モデルとEMアルゴリズム(PRML第9章)
混合モデルとEMアルゴリズム(PRML第9章)
PRMLの線形回帰モデル(線形基底関数モデル)
PRMLの線形回帰モデル(線形基底関数モデル)
PRML学習者から入る深層生成モデル入門
PRML学習者から入る深層生成モデル入門
変分ベイズ法の説明
変分ベイズ法の説明
PRML輪読#14
PRML輪読#14
PRML輪読#8
PRML輪読#8
今さら聞けないカーネル法とサポートベクターマシン
今さら聞けないカーネル法とサポートベクターマシン
Sliced Wasserstein距離と生成モデル
Sliced Wasserstein距離と生成モデル
PRML第6章「カーネル法」
PRML第6章「カーネル法」
PRML輪読#11
PRML輪読#11
PRML8章
PRML8章
ベイズ統計学の概論的紹介
ベイズ統計学の概論的紹介
PRML読書会#4資料+補足
PRML読書会#4資料+補足
Prml 最尤推定からベイズ曲線フィッティング
Prml 最尤推定からベイズ曲線フィッティング
Viewers also liked
手書き数字文書の認識 (JOI夏期セミナー2016)
手書き数字文書の認識 (JOI夏期セミナー2016)
onkohdondo
続・わかりやすいパターン認識_3章
続・わかりやすいパターン認識_3章
weda654
2014/5/29 東大相澤山崎研勉強会:パターン認識とニューラルネットワーク,Deep Learningまで
2014/5/29 東大相澤山崎研勉強会:パターン認識とニューラルネットワーク,Deep Learningまで
Hokuto Kagaya
【勉強会】自己組織化マップ(SOM)
【勉強会】自己組織化マップ(SOM)
Jun Harada
5分で分かる自己組織化マップ
5分で分かる自己組織化マップ
Daisuke Takai
パターン認識と機械学習入門
パターン認識と機械学習入門
Momoko Hayamizu
Viewers also liked
(6)
手書き数字文書の認識 (JOI夏期セミナー2016)
手書き数字文書の認識 (JOI夏期セミナー2016)
続・わかりやすいパターン認識_3章
続・わかりやすいパターン認識_3章
2014/5/29 東大相澤山崎研勉強会:パターン認識とニューラルネットワーク,Deep Learningまで
2014/5/29 東大相澤山崎研勉強会:パターン認識とニューラルネットワーク,Deep Learningまで
【勉強会】自己組織化マップ(SOM)
【勉強会】自己組織化マップ(SOM)
5分で分かる自己組織化マップ
5分で分かる自己組織化マップ
パターン認識と機械学習入門
パターン認識と機械学習入門
More from Ohsawa Goodfellow
Open-ended Learning in Symmetric Zero-sum Games @ ICML19
Open-ended Learning in Symmetric Zero-sum Games @ ICML19
Ohsawa Goodfellow
PRML上巻勉強会 at 東京大学 資料 第1章後半
PRML上巻勉強会 at 東京大学 資料 第1章後半
Ohsawa Goodfellow
Natural Language Processing (Almost) from Scratch(第 6 回 Deep Learning 勉強会資料; 榊)
Natural Language Processing (Almost) from Scratch(第 6 回 Deep Learning 勉強会資料; 榊)
Ohsawa Goodfellow
Deep Learning via Semi-Supervised Embedding (第 7 回 Deep Learning 勉強会資料; 大澤)
Deep Learning via Semi-Supervised Embedding (第 7 回 Deep Learning 勉強会資料; 大澤)
Ohsawa Goodfellow
Deep Auto-Encoder Neural Networks in Reiforcement Learnning (第 9 回 Deep Learn...
Deep Auto-Encoder Neural Networks in Reiforcement Learnning (第 9 回 Deep Learn...
Ohsawa Goodfellow
Semi-Supervised Autoencoders for Predicting Sentiment Distributions(第 5 回 De...
Semi-Supervised Autoencoders for Predicting Sentiment Distributions(第 5 回 De...
Ohsawa Goodfellow
Learning Deep Architectures for AI (第 3 回 Deep Learning 勉強会資料; 松尾)
Learning Deep Architectures for AI (第 3 回 Deep Learning 勉強会資料; 松尾)
Ohsawa Goodfellow
Deep Learning 勉強会 (Chapter 7-12)
Deep Learning 勉強会 (Chapter 7-12)
Ohsawa Goodfellow
Deep learning勉強会20121214ochi
Deep learning勉強会20121214ochi
Ohsawa Goodfellow
第9章 ネットワーク上の他の確率過程
第9章 ネットワーク上の他の確率過程
Ohsawa Goodfellow
XLWrapについてのご紹介
XLWrapについてのご紹介
Ohsawa Goodfellow
XLWrapについてのご紹介
XLWrapについてのご紹介
Ohsawa Goodfellow
More from Ohsawa Goodfellow
(12)
Open-ended Learning in Symmetric Zero-sum Games @ ICML19
Open-ended Learning in Symmetric Zero-sum Games @ ICML19
PRML上巻勉強会 at 東京大学 資料 第1章後半
PRML上巻勉強会 at 東京大学 資料 第1章後半
Natural Language Processing (Almost) from Scratch(第 6 回 Deep Learning 勉強会資料; 榊)
Natural Language Processing (Almost) from Scratch(第 6 回 Deep Learning 勉強会資料; 榊)
Deep Learning via Semi-Supervised Embedding (第 7 回 Deep Learning 勉強会資料; 大澤)
Deep Learning via Semi-Supervised Embedding (第 7 回 Deep Learning 勉強会資料; 大澤)
Deep Auto-Encoder Neural Networks in Reiforcement Learnning (第 9 回 Deep Learn...
Deep Auto-Encoder Neural Networks in Reiforcement Learnning (第 9 回 Deep Learn...
Semi-Supervised Autoencoders for Predicting Sentiment Distributions(第 5 回 De...
Semi-Supervised Autoencoders for Predicting Sentiment Distributions(第 5 回 De...
Learning Deep Architectures for AI (第 3 回 Deep Learning 勉強会資料; 松尾)
Learning Deep Architectures for AI (第 3 回 Deep Learning 勉強会資料; 松尾)
Deep Learning 勉強会 (Chapter 7-12)
Deep Learning 勉強会 (Chapter 7-12)
Deep learning勉強会20121214ochi
Deep learning勉強会20121214ochi
第9章 ネットワーク上の他の確率過程
第9章 ネットワーク上の他の確率過程
XLWrapについてのご紹介
XLWrapについてのご紹介
XLWrapについてのご紹介
XLWrapについてのご紹介
Recently uploaded
TataPixel: 畳の異方性を利用した切り替え可能なディスプレイの提案
TataPixel: 畳の異方性を利用した切り替え可能なディスプレイの提案
sugiuralab
SOPを理解する 2024/04/19 の勉強会で発表されたものです
SOPを理解する 2024/04/19 の勉強会で発表されたものです
iPride Co., Ltd.
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Yuma Ohgami
論文紹介:Semantic segmentation using Vision Transformers: A survey
論文紹介:Semantic segmentation using Vision Transformers: A survey
Toru Tamaki
論文紹介:Automated Classification of Model Errors on ImageNet
論文紹介:Automated Classification of Model Errors on ImageNet
Toru Tamaki
【早稲田AI研究会 講義資料】3DスキャンとTextTo3Dのツールを知ろう!(Vol.1)
【早稲田AI研究会 講義資料】3DスキャンとTextTo3Dのツールを知ろう!(Vol.1)
Hiroki Ichikura
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
Toru Tamaki
TSAL operation mechanism and circuit diagram.pdf
TSAL operation mechanism and circuit diagram.pdf
taisei2219
Recently uploaded
(8)
TataPixel: 畳の異方性を利用した切り替え可能なディスプレイの提案
TataPixel: 畳の異方性を利用した切り替え可能なディスプレイの提案
SOPを理解する 2024/04/19 の勉強会で発表されたものです
SOPを理解する 2024/04/19 の勉強会で発表されたものです
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
論文紹介:Semantic segmentation using Vision Transformers: A survey
論文紹介:Semantic segmentation using Vision Transformers: A survey
論文紹介:Automated Classification of Model Errors on ImageNet
論文紹介:Automated Classification of Model Errors on ImageNet
【早稲田AI研究会 講義資料】3DスキャンとTextTo3Dのツールを知ろう!(Vol.1)
【早稲田AI研究会 講義資料】3DスキャンとTextTo3Dのツールを知ろう!(Vol.1)
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
TSAL operation mechanism and circuit diagram.pdf
TSAL operation mechanism and circuit diagram.pdf
PRML上巻勉強会 at 東京大学 資料 第1章前半
1.
PRML 上巻勉強会 第1章 序論 東京大学大学院
工学系研究科 技術経営戦略学専攻 ウェブ工学研究室 大澤 昇平 ohsawa@weblab.t.u-tokyo.ac.jp
2.
ADGENDA •はじめに •1.1 多項式フィッティング •1.2 確率論 •1.3
モデル選択 1
3.
ADGENDA •はじめに •1.1 多項式フィッティング •1.2 確率論 •1.3
モデル選択 2
4.
はじめに データに潜むパターンを見つけ出すと言う問題は根源的なものであり、その歴史は深い • 天体観測を契機とする古典力学の誕生 • 原子スペクトルの規則性の発見を契機とする量子科学の誕生 パターン認識=計算機アルゴリズムを通して、データの規則性を発見すること • 人間が規則性を決定する方法もある • しかし、このアプローチはルール数の増大によってすぐに破綻する 3
5.
• 機械学習のアプローチを採用すれば、はるかに良い結果が得られる • N 個の手書き数字の大きな集合を使って、モデルのパラメータを適応的に調整 4
6.
パターン認識の例 手書き文字認識
7.
多項式曲線フィッティング • 限られたデータ点から、それを生成した元の関数を予測したい。 予測式(ここではM次多項式を想定)
8.
二乗和誤差関数 • データと予測関数の間の誤差を最小にする。
9.
過学習 しかし、実際はそんなに単純じゃない。変数が増えると、予測関数はデータに含まれるノイズに強く影響される。
10.
過学習 モデルが過学習するかを知るには、訓練時のデータとは別なデータを使って誤差を評価すれば良い。 テスト誤差は大き い! 訓練誤差は最も小さ いが・・・ 二乗平均平方根(RMS)誤差
11.
過学習 予測関数の係数を見ると、過学習のケースでは値が大きくなっている。 過学習をすると係数 は大きくなる。
12.
データセットのサイズの影響 データセットのサイズが増加するにしたがい、過学習の度合いは是正されていく。
13.
正規化: 過学習を防ぐ方法 大きな係数値にペナルティを与える
14.
正規化係数 • 正規化係数を大きくしすぎると、真値へのフィット具合も抑制される
15.
正規化係数 • vs 全ページでの事例を、RMS誤差を使って定量的に議論 正規化係数が小さす ぎると、過学習 テスト誤差を最小化 する正規化係数
16.
多項式の係数 • 正規化係数が大きすぎると、係数が小さくなりすぎる
17.
ADGENDA •はじめに •1.1 多項式フィッティング •1.2 確率論 •1.3
モデル選択 16
18.
確率論 40% 60% 赤い箱 青い箱 りんご オレンジ
19.
結合確率
20.
周辺確率
21.
条件付き確率
22.
加法定理 𝐿 𝑝 𝑋 =
𝑥𝑖 = 𝑝(𝑋 = 𝑥 𝑖 , 𝑌 = 𝑦 𝑗 ) 𝑗=1
23.
乗法定理 𝑝 𝑋 =
𝑥 𝑖, 𝑌 = 𝑦𝑗 𝑛 𝑖𝑗 𝑛 𝑖𝑗 𝑐 𝑖 = = ∙ = 𝑝 𝑌 = 𝑦 𝑗 𝑋 = 𝑥 𝑖 𝑝(𝑋 = 𝑥 𝑖 ) 𝑁 𝑐𝑖 𝑁
24.
確率の基本法則 加法定理 乗法定理
25.
ベイズの定理 尤度 事前確率 事後確率 正規化係数 事後確率 尤度
× 事前確率
26.
連続確率分布 累積確率 確率密度関数 xがある区間内に入る確率 累積確率分布は、値が特定の値以下になる 確率で与えられる。 確率分布の条件
27.
分布の変換 変換関数 ヤコビアン
28.
期待値 関数の期待値(離散) 条件付き確率(離散) 近似期待値(離散、連続) 関数の期待値(連続)
29.
分散、共分散 分散(期待値からのずれの期待値) 共分散(一変量) 共分散(多変量)
30.
ガウス分布 ガウス分布の定義式 ガウス分布のグラフ 確率分布の条件式を満たす
31.
ガウス分布の平均、分散 ガウス分布の期待値 ガウス分布の二次モーメント(二乗の期待値) ガウス分布の分散
32.
多変量ガウス分布 多変量ガウス分布の定義式 多変量ガウス分布の等高線
33.
ガウス分布のパラメータ推定 • ある点列から、ガウス分布がどの分布から生成されたものなのかを推定する 尤度関数
34.
最尤推定 • 対数尤度を最小化するようなパラメータμ、σを求める→最尤推定(ML) 平均の最尤推定値 分散の最尤推定値
35.
と の性質 • 平均の最尤推定値の期待値は、 平均の真値と等しい • しかし、分散の最尤推定値の期待値は、 真値よりも低く見積もられてしまう! •
不偏分散:期待値を補正する
36.
曲線フィッティング再訪 • 1.1 で見た曲線フィッティングを、確率論の観点から再考してみる
37.
最尤推定 • 尤度関数 • 対数尤度 二乗和誤差 を最小化することで、 •
分散の推定 を決定する
38.
予測分布
39.
MAP推定:ベイズへの道 • 事前分布 • 予測誤差 •
正規化最小二乗誤差 Determine by minimizing regularized sum-of-squares error, .
40.
ベイズ曲線フィッティング • 新たな点xに関する目標値tを、p(t|x,w)をwに対して周辺化するこ とによって求める。 • 予測平均 •
分散行列 • 予測分散 • 基底
41.
ベイズ予測分布
42.
ADGENDA •はじめに •1.1 多項式フィッティング •1.2 確率論 •1.3
モデル選択 41
43.
モデル選択 • これまで、正規化係数や次元数など、モデルの超パラメータを調整する方 法については説明してこなかった • 実際には、下図に示す交差検定をすることで求める 訓練データ 検定データ
Download now