Your SlideShare is downloading. ×
0
4.3 確率的識別モデル #PRMLRevenge
4.3 確率的識別モデル #PRMLRevenge
4.3 確率的識別モデル #PRMLRevenge
4.3 確率的識別モデル #PRMLRevenge
4.3 確率的識別モデル #PRMLRevenge
4.3 確率的識別モデル #PRMLRevenge
4.3 確率的識別モデル #PRMLRevenge
4.3 確率的識別モデル #PRMLRevenge
4.3 確率的識別モデル #PRMLRevenge
Upcoming SlideShare
Loading in...5
×

Thanks for flagging this SlideShare!

Oops! An error has occurred.

×
Saving this for later? Get the SlideShare app to save on your phone or tablet. Read anywhere, anytime – even offline.
Text the download link to your phone
Standard text messaging rates apply

4.3 確率的識別モデル #PRMLRevenge

2,482

Published on

0 Comments
1 Like
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total Views
2,482
On Slideshare
0
From Embeds
0
Number of Embeds
2
Actions
Shares
0
Downloads
33
Comments
0
Likes
1
Embeds 0
No embeds

Report content
Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
No notes for slide

Transcript

  • 1. 4.3 確率的識別モデル #PRMLreveng @nokuno
  • 2.  Twitter: @nokuno  はてなid: nokuno  自然言語処理勉強会(次回11/7)の主催者  機械学習 / 並列分散処理に興味 自己紹介 2 2002~2006:サークルでゲーム開発 2007~2008:未踏でSocial IMEの開発 2009~現在:Web業界勤務
  • 3.  生成モデルの特徴  一般にパラメータが多い  入力のモデル化が必要  解析的に解ける(ことが多い)  データのサンプリングが可能  識別モデルの特徴  パラメータが少ない  入力のモデル化が不要  解析的に解けない  柔軟に特徴量を利用できる 4.3 生成モデルと識別モデル 3
  • 4.  入力xの代わりに、基底関数ベクトルΦ(x)を使う  前処理として非線形変換や特徴抽出を行う  固定基底関数には限界があるので注意が必要 4.3.1 固定基底関数 4 図4.12 非線形基底関数の例(左:入力空間、右:特徴空間)
  • 5.  ロジスティック回帰の事後確率 4.3.2 ロジスティック回帰(1) 5 )()()|( 1 φwφφ T yCp  )exp(1 1 )( a a   (4.87) (4.59)  ロジスティック関数の定義と性質       )1( )exp(1 )exp(11 )exp(1 1 )exp( )exp(1 1 2           a a a a ada d (演習4.12)
  • 6.  尤度関数は以下のように表せる ロジスティック回帰(2) 6     N n t n t n nn yyp 1 1 1)|( wt T Ntt ),...( 1t  データ集合を以下のように定義すると、 (4.89)  nn t,  1,0nt )( nn x   誤差関数(尤度の負の対数)を取ると    N n nnnn ytytpE 1 )1ln()1(ln)|(ln)( wtw (4.90) )|( 1 nn Cpy 
  • 7.  誤差関数の勾配を求める(演習4.13) ロジスティック回帰(3) 7                 N n nn N n nnnn N n nn n nnn n n tyytyt yy y tyy y tE 11 1 )()1()1( )1( 1 1 )1()1( 1 )(  ww (4.91)  yの勾配を求める(準備)    )1())(1)(( /)( /)( / / 11 yy dwd dwd dwdy dwdy y TT M T T M                        ww w w w
  • 8.  ロジスティック回帰は2値分類のための識別モデル  勾配ベクトルは「誤差」(y_n-t_n)と基底ベクトルの積  逐次アルゴリズム:データが到着するたびに更新 まとめ 8
  • 9. おまけ:PythonによるSGD実装 9 実行結果 $ ./logistic.py [-0.026686414030449118, 0.7539998466069512, -0.7745361565412446] 参考:http://www.chokkan.org/blog/archives/149

×