続わかりやすいパターン認識5章後半部分

1. 続わかりやすい
パターン認識勉強会5章（後半）
教師付き学習と教師なし学習
@tetsuroito
2015/03/03 @dwango
2015年3月3日火曜日

2. 自己紹介
名前：伊藤 徹郎(@tetsuroito)
近況：PRMLとの併読に四苦八苦
WEBディレクター業（仲間増やしたい）
料理たのしぃー！
2015年3月3日火曜日

3. 5章後半のお品書き
5.4 教師なし学習
5.5 教師なし学習の実験
[1]パラメータπiの推定
[2]パラメータθikの推定
[3]推定結果の妥当性
[4]教師付き学習との関係
[5]教師なし学習アルゴリズムの演算
2015年3月3日火曜日

4. 前半：コイン種別がわかる教師の存在を仮定
後半では、その仮定を取り払う
2015年3月3日火曜日

5. 例題5.3
箱の中にc種のサイコロw1,w2,‥wcがある
πi：サイコロwiの含有率
θik：wiを投げてkの目が出る確率
無作為、復元抽出をn回繰り返す
X=x1‥xn：サイコロ目の系列 ∵ vkがrk回
上記の観測結果より
πiおよび θikを最尤推定により推定せよ
2015年3月3日火曜日

6. 例題5.3
n回の観測結果は互いに独立より、
対数尤度
∴ ∵ vkがrk回
2015年3月3日火曜日

7. 例題5.3
(5.8より)
上記の対数尤度を最大にするパラメータが
求めるべきパラメータ
2015年3月3日火曜日

8. 例題5.3
別の見方{P(vk)を新たなパラメータ}をすると‥
(5.6)の制約でlogP(x)を最大にする P(vk)を求める
(k=1,2,...,m)
パラメータは一意に定まらず、無数に存在する
この件は後ほど触れるそうです
2015年3月3日火曜日

9. 教師なし学習によるパラメータ推定の定式化
教師付き学習との違いに注意 P（x,s）だった
以降で、パラメータπi、θikを順に行う
2015年3月3日火曜日

10. [1]パラメータπiの推定
ラグランジュ未定乗数法より
λは定数
極値を取るπi
(i=1,2,...c)
2015年3月3日火曜日

11. [1]パラメータπiの推定
(5.50)と(5.7)から →代入しただけ
(i=1,2,...,c)
(i=1,2,...,c)
ベイズの定理利用
2015年3月3日火曜日

12. [1]パラメータπiの推定
(5.59)を(5.56)に代入して変形
λ=n
両辺にΣ
(i=1,2,...c)
πiの推定値
2015年3月3日火曜日

13. [2]パラメータθikの推定
πiと全くやり方は同様なので割愛（テキスト見てください）
(i=1,2,...c)
(k=1,2,...m)
ラグランジュ未定乗数法、偏微分、各々代入、ベイズ定理
2015年3月3日火曜日

14. [3]推定結果の妥当性
特定のサイコロwiについて、観測結果xiの
事後確率を求める。
n回の全観測結果について加算し、nで除算
δ(xt,vk)=1(xt=vk)
0(otherwise)
xt=vkとなるP(wi|xt)のみ抽出して加算
次に全てのvk(k=1,...,m)ついて加算
=
投げたサイコロがwiだった回数の期待値期待値/nだから妥当！
2015年3月3日火曜日

15. [3]推定結果の妥当性
観測結果がvkで投げたサイコロがwiの期待値
観測結果がvkで投げたサイコロがwiの期待値
投げたサイコロがwiだった回数の期待値
だから妥当！
2015年3月3日火曜日

16. [4]教師付き学習との関係
教師付きはサイコロを取り出したものは確定的
確率は取り出した回数niと等しい
教師付き学習を特別な場合として含み、一般化できる
結果が一致
2015年3月3日火曜日

17. [5]教師なし学習アルゴリズムの演算
直接求められないので、ベイズの定理を使う
未知パラメータπi,θikを含んでいる
∴次のような繰り返し演算を適用する
2015年3月3日火曜日

18. 教師なし学習アルゴリズム
Step1 πi,θikの初期値を与える（パタメータ初期化）
Step2 ベイズの定理によりP(wi|vk)を計算する
Step3.1 πiを更新し、右を求める
Step3.2 ベイズの定理に代入し、 を求め、θikを更新
Step4 と設定
対数尤度logP(x)を求め、増分が閾値以下なら終了 or Step2
2015年3月3日火曜日

19. 教師なし学習アルゴリズム
繰り返し演算を用いたのは次のEMアルゴリズムのため
本算法は収束性が保証されている
一般にEMアルゴリズムは局所最適解
収束性は次章で詳細にやるらしいぞ！
2015年3月3日火曜日

20. 教師なし学習の実験
w1, w2, w3の3種のサイコロを投げ、出た目の奇数・偶数を観測する
奇数の目(v1),偶数の目 (v2)w1, w2, w3の含有率π1,π2,π3
奇数の目の確率(θi1),偶数の目の確率 (θi2) (i=1,2,3)
実験条件
1,π1=0.1,π2=0.4,π3=0.5 θ11=0.8, θ21=0.6, θ31=0.3
2,推定するのはπiのみ,θikは既知
3,サイコロを選んで投げるは10,000回
4,初期値 π1=0.3,π2=0.5,π3=0.2
5,繰り返し演算を用いたが、既知のものは省いた
2015年3月3日火曜日

21. 教師なし学習の実験
実験結果
奇数の目が出た回数r1=4,746,偶数の目が出た回数r2=5,254
単調増加,50回で収束 推定値が真値に近い
2015年3月3日火曜日

22. 教師なし学習の実験
π1+π2+π3=1の制約 logP(x)を最大にする等高線が太線
一意に定まらない（line上は最適解）
大域的最適解が得られた
真値
2015年3月3日火曜日

23. ご清聴ありがとうございました！
2015年3月3日火曜日