Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

入門パターン認識と機械学習15章

371 views

Published on

入門パターン認識と機械学習15章

Published in: Engineering
  • Be the first to comment

  • Be the first to like this

入門パターン認識と機械学習15章

  1. 1. 入門パターン認識と機械学習 @hiro5585 Chapter 15 潜在クラスモデル
  2. 2. 混合正規モデル 2
  3. 3. 混合正規モデルについて K個の正規分布を重み付き平均したモデル データのクラスタリングなどに用いられる 3          K k k k k k x wxf 1 2 2 2 2 )( exp 2 1 )(    混合数 重み 1 2 )(xp ・・・15.2式
  4. 4. 学習方法(1/3) 対数尤度を最大化することを考える しかし、対数の中に和が入っていて解析的な解を得られない →ここで、あらかじめデータがどの正規分布にどれぐらい属 しているかが既知として、対数尤度の最大化を考える 4              K k k k k k n i n i x w xfL 1 2 2 2 1 1 2 )( exp 2 1 log )(log)(log     サンプル数 ・・・15.3式
  5. 5. 学習方法(2/3) データ𝑥𝑖がkに属する確率を𝛾 𝑘 𝑖 として与えられてるとする そうすると、各正規分布の平均、分散(パラメータ)が求まる →これをもとに、データの所属確率を更新する 5   n i i kkn 1 各正規分布に属する (重み付き)データ数 ・・・15.4式 各正規分布の (重み付き)平均 i n i i k k k x n   1 1 ˆ  ・・・15.5式 各正規分布の (重み付き)分散  2 1 2 ˆ 1 ˆ ki n i i k k k x n    ・・・15.6式
  6. 6. 学習方法(3/3) データの所属確率を更新 同様にして、 𝛾 𝑘 𝑖 を使って平均と分散を再度求める 所属確率が一定値に収束するまで繰り返す (混合ガウス分布に対するEMアルゴリズム) 6 各正規分布の重み n n w k k ˆ ・・・15.7式 各データの所属確率   K k ikk ikk k xpw xpw 1 )(ˆˆ )(ˆˆ ˆ ・・・15.9式
  7. 7. 対数尤度の下限をJensenの不等式を使って求める つまり、次式が成り立つ 先の手順は対数尤度の下限を最大化していたことと等価 𝑙𝑜𝑔ΣをΣ𝑙𝑜𝑔に書き換えて計算を簡単化 尤度最大化の原理 7 )( ~ log 2 )( exp 2 1 log 2 )( exp 2 1 log)(log 1 1 2 2 2 2 2 1 1 2          L xw x wL n i K k k ki i k ki k k ki n i K k k                                     ・・・15.12式 ・・・15.13式 )( ~ log)(log  LL  ・・・15.17式 所属確率
  8. 8. 一般的なEMアルゴリズム 観測できない変数が存在する不完全データに対する推測法 1.パラメータθを初期化する 2.対数尤度関数logL(θ)の期待値Qを計算する 3. Qを最大化するようなθを求める 4. θが一定値に収束するまで1~3を繰り返す 先の議論で対数尤度の下限を最大化しているため、 更新の手続きによって尤度が下がることはない しかし、局所最適解に陥ることがある 8 アルゴリズム 15.2
  9. 9. トピックモデル 9
  10. 10. 多項分布 多項分布とはサイコロの目の出やすさ等を表す確率分布 10 1 2 3 4 5 6 )( xp ) 12 3 , 12 3 , 12 2 , 12 1 , 12 2 , 12 1 ( 四五六賽(逆境無頼カイジ破戒録編より) 班長が使ったイカサマのサイコロ   6 1 )( v y v n v xp  サイコロを複数回投げた場合の確率 ・・・15.31式 目の数 各目の出た回数
  11. 11. ディリクレ分布 ディリクレ分布もサイコロの目の出やすさ等を表す確率分布 ただし、連続分布でなめらかに表現されている 例:コインの場合のディリクレ分布 11 1 2 3 4 5 6 )( p ) 6 1 , 6 1 , 6 1 , 6 1 , 6 1 , 6 1 ( θの出る確率が6次元の 起伏で表される )( p ) 6 1 , 6 5 ( 表 裏 つまり、コインの表裏の出やすさθが パラメータαによって決まる →2次元の場合はベータ分布になる
  12. 12. 確率分布の関係 多項分布の共役事前分布がディリクレ分布 ベルヌーイ分布の共役事前分布がベータ分布 事前分布がディリクレ分布なのはベイズ更新がしやすいから 意味的にもパラメータがサイコロの出やすさを調整している 12 条件付き確率 事前分布 2次元 ベルヌーイ分布 ベータ分布 多次元 多項分布 ディリクレ分布 サイコロの目の出やすさの重み コインの表裏の出やすさの重み 実際に出たサイコロの目 実際に出たコインの表裏
  13. 13. 混合Polya分布(1/2) ここで班長が一度だけ投げるサイコロを変えれる場合を想定 つまり、どのサイコロの目が出やいかを推定する問題となる 13 θ 𝑥𝑤 𝛼 サイコロの目の出やすさを制御する ハイパーパラメータ どのサイコロか ・普通の賽 ・四五六賽 ・ピンゾロ賽 投げた 回数 サイコロの目 nサイコロの目の 出やすさ トピック ピンゾロ賽(逆境無頼カイジ破戒録編より) カイジが使った大逆転イカサマサイコロ
  14. 14. 混合Polya分布(2/2) ディリクレ分布と多項分布の積は共役なため簡単に計算可 隠れ変数を積分消去すればEMアルゴリズムで推定可能 14 θ 𝑥𝑤 𝛼 サイコロの目の出やすさを制御する ハイパーパラメータ どのサイコロか ・普通の賽 ・四五六賽 ・ピンゾロ賽 投げた 回数 サイコロの目 nサイコロの目の 出やすさ トピック     kkkD K k V v yk vk n dPwxP v     1 1 )( ・・・15.34式重み 混合正規分布では 積分内が正規分布だった
  15. 15. PLSI LSI(SVD:特異値分解)の確率的モデル 特異ベクトル(サイコロの目)が直交するという条件を緩和 これは班長が怪しまれぬ様にサイコロを変えるときに使える つまり、投げるたびにサイコロを選ぶ(確率的) これも、同様にEMアルゴリズムで解ける(勝てる!!) 15 θ 𝑥𝑤 𝛼 サイコロの目の出やすさを制御する ハイパーパラメータ どのサイコロか 投げた 回数 サイコロの目 n サイコロの目の 出やすさ トピック

×