1. PRML 復々習レーン
4.3.5 プロビット回帰
@urapon_1
2012/9/23

2. 雑音閾値モデル
活性化関数の出力 an に対して、下記のような閾値を設定する
{ t n=1 (a n⩾θ)
t n=0(otherwise)
(4.112)
ここで、 の値が、ある確率密度関数 p (θ) で与えられる場合、
θ
活性化関数は下記のような累積分布関数で与えられる。
a
f (a)=∫−∞ p (θ)d θ (4.113)

3. 青線：確率密度関数
赤線：累積分布関数

4. erf 関数
erf 関数の定義
2 a
erf (a)= √ π ∫0 exp (−θ )d θ
2
(4.115)
→ プロビット関数の逆関数と関連付けられる ( 演習 4.21)

5. 演習 4.21
2
a 1 −x
Φ (a)=∫−∞ exp( )dx
√2 π 2
2
1 a 1 −x
= +∫0 exp( )dx
2 √2 π 2
2
1 1 √2 a −x
= + ⋅√ π ∫0 exp ( )dx
2 2 2
a
1
= {1+∫ exp(−θ )⋅√ 2 d θ}
√2 2
2 0
1 a
= ⋅{1+erf ( )}
2 √2
2
x 2
途中 − =−θ と置換している
2

6. 誤ラベル付けのモデル組み込み
p (t∣x )=(1−ϵ)σ( x)+ϵ(1−σ( x))
=ϵ+(1−2 ϵ)σ ( x) (4.117)
ϵ ：目標変数 t が間違った値に反転する確率
σ：活性化関数