PRML勉強会用の資料

1. PRML 7.1.5

2. 計算論的学習理論
SVM
→ 主に計算論的学習理論から生まれた

3. PAC学習
計算論的学習理論はValiant﴾1984﴿が定式化したPAC学習がきっかけ
となっている。

4. PAC学習
PAC学習理論の目的は、良い汎化性能を達成するためにどれくらい
の数の学習データが必要なのかを明らかにすること。

5. E [I(f(x; D) ≠ t)] < ϵx,t

6. PAC学習では
1‐δよりも高い確率﴾high probability﴿
1‐εよりも正しく﴾approximately correct﴿
与えられたモデル空間Fと閾値ε,δに対して、この規準を満たすため
に最低限必要となるデータ数Nを求めることがPAC学習の目的とな
る。

7. VC次元
PAC学習においてキーとなる概念
関数空間の複雑さを示す量
この概念により、無限個の関数を含むような関数空間に対して
もPAC学習の枠組みを適用できる。

8. PAC学習の下界
PAC学習が導く下界はしばしば「最悪の場合における」もので
あるといわれる。
求められる汎化性能を達成するために必要とされるデータ数
を過大評価する傾向がある。
→実際の応用に際して、PAC学習理論から得られる下界が用い
られることはほぼない。

9. PAC‐ベイズ理論
McAllester﴾2003﴿はPAC学習のより厳密な評価を行う試みとして
PAC‐ベイズ理論を提案した。
→しかし、依然として得られる下界は非常に過大となる傾向が
ある。

10. まとめ
SVMは歴史的には計算論的学習理論から生まれた
計算論的学習理論はPAC学習理論が有名でVC次元がPAC学習に
とってのキーとなる概念
PAC学習では良い汎化性能の実現に必要な学習データ数の下界
を求めるがあまり実用的ではない。

11. これから
計算論的学習理論の簡単な説明を聞いた。
結局これとSVMがどうかかわっていったのかはわからなかっ
たのでそこを調べていきたい。
PAC学習についてまだ具体的に理解できていないのでより理解
を深めたいと思った。