Your SlideShare is downloading. ×
  • Like
4.3 確率的識別モデル #PRMLRevenge
Upcoming SlideShare
Loading in...5
×

Thanks for flagging this SlideShare!

Oops! An error has occurred.

×

Now you can save presentations on your phone or tablet

Available for both IPhone and Android

Text the download link to your phone

Standard text messaging rates apply

4.3 確率的識別モデル #PRMLRevenge

  • 2,285 views
Published

 

  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Be the first to comment
    Be the first to like this
No Downloads

Views

Total Views
2,285
On SlideShare
0
From Embeds
0
Number of Embeds
2

Actions

Shares
Downloads
32
Comments
0
Likes
0

Embeds 0

No embeds

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
    No notes for slide

Transcript

  • 1. 4.3 確率的識別モデル #PRMLreveng @nokuno
  • 2.  Twitter: @nokuno  はてなid: nokuno  自然言語処理勉強会(次回11/7)の主催者  機械学習 / 並列分散処理に興味 自己紹介 2 2002~2006:サークルでゲーム開発 2007~2008:未踏でSocial IMEの開発 2009~現在:Web業界勤務
  • 3.  生成モデルの特徴  一般にパラメータが多い  入力のモデル化が必要  解析的に解ける(ことが多い)  データのサンプリングが可能  識別モデルの特徴  パラメータが少ない  入力のモデル化が不要  解析的に解けない  柔軟に特徴量を利用できる 4.3 生成モデルと識別モデル 3
  • 4.  入力xの代わりに、基底関数ベクトルΦ(x)を使う  前処理として非線形変換や特徴抽出を行う  固定基底関数には限界があるので注意が必要 4.3.1 固定基底関数 4 図4.12 非線形基底関数の例(左:入力空間、右:特徴空間)
  • 5.  ロジスティック回帰の事後確率 4.3.2 ロジスティック回帰(1) 5 )()()|( 1 φwφφ T yCp  )exp(1 1 )( a a   (4.87) (4.59)  ロジスティック関数の定義と性質       )1( )exp(1 )exp(11 )exp(1 1 )exp( )exp(1 1 2           a a a a ada d (演習4.12)
  • 6.  尤度関数は以下のように表せる ロジスティック回帰(2) 6     N n t n t n nn yyp 1 1 1)|( wt T Ntt ),...( 1t  データ集合を以下のように定義すると、 (4.89)  nn t,  1,0nt )( nn x   誤差関数(尤度の負の対数)を取ると    N n nnnn ytytpE 1 )1ln()1(ln)|(ln)( wtw (4.90) )|( 1 nn Cpy 
  • 7.  誤差関数の勾配を求める(演習4.13) ロジスティック回帰(3) 7                 N n nn N n nnnn N n nn n nnn n n tyytyt yy y tyy y tE 11 1 )()1()1( )1( 1 1 )1()1( 1 )(  ww (4.91)  yの勾配を求める(準備)    )1())(1)(( /)( /)( / / 11 yy dwd dwd dwdy dwdy y TT M T T M                        ww w w w
  • 8.  ロジスティック回帰は2値分類のための識別モデル  勾配ベクトルは「誤差」(y_n-t_n)と基底ベクトルの積  逐次アルゴリズム:データが到着するたびに更新 まとめ 8
  • 9. おまけ:PythonによるSGD実装 9 実行結果 $ ./logistic.py [-0.026686414030449118, 0.7539998466069512, -0.7745361565412446] 参考:http://www.chokkan.org/blog/archives/149