Recommended
More Related Content
More from ぱんいち すみもと
More from ぱんいち すみもと (12)
PRML 14章
- 1. + PRML 14章 BreadCompany CEO すみもとぱんいち
- 2. + 目次 n モデルの結合 n ベイズモデル平均化とモデルの結合の違い n モデル集合内から個々の予測を平均する(コミッティ) n 具体的なアンサンブルのモデル例の紹介 n ブースティング n adaboostの仕組み n ブースティングの解釈 n 木構造モデル n 条件つき混合モデル n 線形回帰モデルの混合 n ロジスティックモデルの混合 n 混合エキスパートモデル
- 3. + モデルの結合 n 複数のモデルを何らかの方法で組み合わせる(アンサンブルす る)と精度がでる n L個の異なるモデルを訓練し、各モデルの予測の平均値を予測値と して用いる(コミッティ) n 複数のモデルを逐次的に訓練する(ブースティング) n 予測に用いる一つのモデルを入力関数の関数として選択する n 決定木: ハードな分割 n 階層的混合エキスパートモデル: ソフトな分割 n コミッティ n バギング n ブースティング
- 4. + ベイズモデル平均化と モデルの結合の違い n ベイズモデル平均化 n p(h): どのモデルが選択されるか n p(X|h): あるモデルを選んだときのデータ集合全体の生成 n つまり、データが多くなると一つの仮説に収束する n モデルの結合 n 観測されたデータ点xごとに対応する潜在変数zが存在する n 潜在変数zはどのモデルの要素なのかを示す n ex) 混合ガウス分布
- 5. + モデル集合内から 個々の予測を平均する(コミッティ) n モデル誤差 = バイアス + バリアンス n バイアス: モデルの性能による誤差 n バリアンス: モデルの個々のデータ点に対する感度 n バリアンスが大きくても、 平均化することで、 分散項はキャンセルし、 予測性能は改善される。 バリアンス大 バイアス小 バイアス大 バリアンス小
- 6. + モデル集合内から 個々の予測を平均する(コミッティ) n しかし、平均をとるといってもデータ集合は一つしかない →M個のブートストラップ集合をつくる n ブートストラップとは n データセットから復元抽出でN個のデータをとりだしたものを、M セットつくる手法 n ブートストラップ集約(バギング) n y_m(x): データ集合mに対する予測
- 7. + モデル集合内から 個々の予測を平均する(コミッティ) n 誤差が小さくなる理由(数式) h(x): 本当の回帰関数 ε(x): ノイズ あるモデルの誤差 モデルの誤差の平均値 モデルの結合による誤差
- 9. + ブースティング n AdaBoostとは n ベース分類器(弱学習器)を逐次的に訓練するモデル n 重み付けられた間違ったデータ集合の最小化 n 重み付けは分類器の性能に依存 n 初期重みは1/N n 誤分類されたデータ点の重みは 増加する
- 10. + ブースティングのアルゴリズム n (a)重み付けられた間違った データ集合Jの最小化 n (b)間違ったデータ率(ε)を計算 n εは0~1 n ε→ 1のときα → - ∞ n ε→ 0のときα → ∞ n (c)重み係数の更新 n 最終的な予測モデル
- 11. + ブースティングの学習の様子 n 緑の線がアンサンブルされた決定境界 n 黒の線が最新のベース学習器の決定境界 n 重みが大きいデータは円の大きさが大きくなっている
- 15. + 木構造モデルの作り方 n 誤差が小さくなるように分割していく n 誤差の種類 n 二乗和残差(回帰) n 負の交差エントロピー誤差関数(分類) n ジニ係数(分類) n 大きな木に成長させた後、枝刈りを 行う n 分割しすぎると過学習をおこしてしまう n 残留誤差とモデルの複雑さに関する 尺度をバランスさせる
- 16. + 木構造モデルの問題点 n データ集合の細部に対して非常に敏感 →訓練データのわずかな変化で大きく分類結果が異なる n 分割を特徴空間の軸に沿わせているため、45度の境界をひくの が大変 n 入力空間をハードに分割しているため、各領域に対して、ただ 一つの葉ノードモデルが関連付けられる n 回帰において、滑らかな関数をモデル化できず、分割境界で不 連続になる
- 17. + 条件つき混合モデル n 線形回帰モデルの混合 n ロジスティック回帰モデルの混合 n 混合エキスパートモデル n 階層的混合エキスパートモデル n すべての入力変数を考慮した関数によるソフトな確率的な分割を 行う n 決定木(比較) n 入力空間での軸に沿ったハードな分割 n 解釈はしやすいが、ハードな分割に制限されてしまう
- 18. + 線形回帰モデルの混合 n k個の線形回帰モデルの重ね合わせ n 混合ガウス分布の拡張を考えればよい n 学習はEMアルゴリズムをつかう n Q関数の最大化 対数尤度関数 完全対数尤度関数 Q関数 Q関数最大化によって 求められるパラメータ
- 20. + ロジスティックモデルの混合 n k個のロジスティックモデルの重ね合わせ n 学習はEMアルゴリズム n wの更新は解析的に求まらないためIRLSも使う IRLSによるwの更新 ヘッセ行列 Q関数
- 21. + 混合エキスパートモデル n 混合係数それ自身が入力変数の関数 n π(x): ゲート関数 n p_k(t|x): エキスパート n EMアルゴリズムによる最適化において、Mステップの各混合 構成要素とゲートモデルが凸最適化になる n 階層的混合エキスパートモデル(HME) n 混合された各構成要素それ自身が混合分布であるような混合分布 n 決定木の確率的なバージョン n 混合密度ネットワークと近い関係