More Related Content
Similar to ma99992010id512
Similar to ma99992010id512 (20)
More from matsushimalab (18)
ma99992010id512
- 2. NO.1
1-①.研究背景
データ圧縮
(ユニバーサル符号化)
パターン認識 時系列解析
例)画像データ
の伝送 例)株価の予測
例)指紋認証
統計的予測問題
与えられたデータを用いて未知のデータを予測する
課題 真のデータと予測値との誤差を小さくするような
予測法の構成
損失
- 3. NO.2
1-②.研究背景 全てのデータに対して
損失を最小にすることはできない
損失を平均的に小さくするような予測法として・・・
ベイズ決定理論に基づく予測
有限個のデータに対して ベイズ最適性
損失が平均的に最小となることを保証
現実的にデータ数を大量に
入手できる場面は多い
大量のデータに対して予測を行った
場合どこまで小さくなるのか？
損失の漸近的なふるまいを調べる必要がある
- 4. NO.3
2-①.準備
確率構造の仮定 予測における事前知識
データ
真の分布
(未知)
：パラメータを持つ確率分布の集合(モデル族)
事 →パラメトリックモデル族
前
知 ： 次元パラメータの集合 例) (平均,分散)をパラメータ
識 にもつ正規分布
：パラメータの事前分布(確率分布) (平均,分散)もある確率
分布に従う
・実現可能：真の分布がモデル族に含まれる
条
件
・実現不可能：真の分布がモデル族に含まれない
- 5. NO.4
2-②.準備
損失の定義 確率分布間の対数損失
予測の良さを データ間で
測る評価基準 損失 損失を測らない
・リスク
損失を真の分布で平均
・ベイズリスク リスクを事前
分布で平均
ベイズ最適な予測 ベイズリスクを最小とする予測
- 6. NO.5
2-③.準備
損失の分類 予測問題に応じて
2種類の損失を考える
・累積損失 を逐次的に予測する場合
事前知識 ・・・
・・・
毎回の損失を
予測 予測 ・・・ 予測
足し合わせる
・1時点の損失 を得た下で を予測する場合
事前知識
予測
＋ 次の1時点だ
けを考える
- 7. NO.6
3-①.研究目的
ベイズ最適な予測 ベイズリスク最小という意味で最適
損失が平均的に最小
ベイズ最適な予測をした場合,漸近的に・・・
・リスクの値はどうなるのか？最小値は？
・最小値があるとしたら、どの程度の速さで近づくのか？
リスクの漸近評価が必要
・実現可能か不可能か？
・累積損失か1時点の損失か？
これらの評価基準・条件に注目してリスクを漸近評価
- 8. NO.7
3-②.研究目的
本研究の位置づけ
モデル族 実現可能 実現不可能
の条件 (真の分布がモデル族 (真の分布がモデル族
評価 に含まれる) に含まれない)
基準
累積対数損失 [Clarke&Barron,1990] 本研究
1時点の対数損失 [Watanabe,2010] [Watanabe,2010]
本研究の目的
真の分布がモデル族に含まれない場合の
累積対数損失におけるリスクの漸近評価
- 12. NO.11
5-②.本研究
証明のポイント
証明最大の壁は・・・
まともに計算するのが困難な積分を評価する必要があること
積分計算を回避するために・・・
(最尤推定量の周りでの)テーラー展開等を用いる
Clarke&Barronと
ほぼ同様の手法
展開によって出てくる項(主要項以外)は・・・
最尤推定量の一致性(条件)で定数項に帰着
- 13. NO.12
5-③．本研究
シミュレーション(本研究の結果の確認)
真の分布：カイ二乗分布(自由度5) データ数
モデル族：指数分布 と
事前分布：ガンマ分布(自然共役) データ1個当たりの平均損失
の関係を検証
1
0.8
データ1個 約0.19
当たりの 0.6
平均損失
0.4
(単位:nat)
0.2
0
実現可能な場
121
145
169
193
217
241
265
289
313
337
361
385
409
433
457
481
1
25
97
49
73
データ数 合とは違って
0に収束しない
ダイバージェンスの値は約0.186(パラメータ0.2)
- 16. NO.15
A-②.付録
ベイズ決定関数 ベイズリスクを最小とする決定関数
最適な決定関数
・累積対数損失を考える場合 対数尤度をパラメータの
事前分布で平均
対数尤度をパラメータの
・1時点の対数損失を考える場合 事後分布で平均
