Describes the exponential distribution and the estimation of its parameters

1. 指数分布
手塚 太郎
1

2. 指数分布

指数分布は以下のように定義される連続値確率
変数xの分布である。
p(x)
p ( x |  )  e

 x
x
確率変数xは非負（つまり0または正）の値を取
る。
λが大きければ減衰が急、λが小さければ減衰が
緩やか。（xで微分し、x=0での傾きを見るとよ
2
2  x
p x x 0  
pい）。 x   e
(x | )



2

3. 指数分布に対するλの影響

パラメータλを変えることで様々な指数分布が作
れる。
p(x)
p(x)
p( x |   0.5)  0.5e  0.5 x
p( x |   10 )  10 e 10 x
x
λの小さい指数分布
x
λの大きい指数分布
x=0 での p(x|λ) の値は λ である。
 x=0 での傾きは –λ2 である。

3

4. 指数分布の利用例

生物の寿命が指数分布に従うと仮定
p(x|λ)
p ( x |  )  e
 x
x
0年
5年
10年
15年
20年
4

5. 確率密度関数を積分すると確率にな
る

指数関数を積分すると、データxがその範囲に
入る確率が求められる。
5年未満しか生きられない確率＝
この範囲の面積
10年以上11年未満生きる確率＝
この範囲の面積
0年
5年
10年
15年
20年
5

6. 指数分布のパラメータ推定の例
 モルモットの寿命を測定したところ、
以下のようなデータ（年数）を得た。
4.5
7.5
8.0
3.5
5.5
wikipedia.org
p(x|λ) = λe-λx に従う
と考えた時、λの最尤推定量を求めよ。
 データが指数分布
6

7. 指数分布のパラメータλの推定
p ( x |  )  e
 x
p(x)
x
 n回試行を行い、それぞれの試行で得ら
れた値xiを用いてλを最尤推定する。
 尤度関数は以下である。
P( x1 , x2 ,..., xn |  )
7

8. 指数分布のパラメータλの推定
各試行（観測変数xi）の間の（λのもとでの）
条件付き独立性を仮定する。
 この時、同時確率を積に分解できる。つまり尤
度関数を積に分解できる。

n
P( x1 , x2 ,...,xn |  )   P( xi |  )
i 1
n
  e
i 1
 xi
 e
n

n
 xi
i 1
8

9. 指数分布のパラメータλの推定

尤度関数 p(x|μ,σ2) をμで微分して0とおく。
   xi 
  n i1 
e
0

 




n
 nn 1  n  x e
 

i
i 1


n
 n

 xi
i 1
0
n
x
i 1


n
i
観測値xiの平均の逆数がλの最尤推定量になる。 9

10. 対数尤度の最大化

「指数分布族」と呼ばれる確率分布の場合、
尤度ではなく対数尤度 log p(x|θ) を最大化す
ることが多い。
 対数尤度を使った方が計算が容易になる場
合に使う。
 対数関数は単調増加のため、log p(x)が最大
値をとるxはp(x)についても最大値を与える。
 指数分布も指数分布族に属す。
10

11. 対数の単調増加性の利用

対数関数は単調増加のため、log p(x|θ)の最大値
を与えるθは p(x|θ) の最大値を与えるθと等しい。
p(x|θ1)
log p2
p3
p2
p(x|θ)
p(x|θ)=1
log p(x|θ3)
log p(x|θ1)
11

12. 指数分布の対数尤度

指数分布の尤度関数は以下である。
P( x1 , x2 ,...,xn |  )   e
n


n
 xi
i 1
指数分布の対数尤度は以下のように求められる。
   xi 
 n i1 
log P( x1 , x2 ,...,xn |  )  log   e





n
n
 n log     xi
i 1
12

13. 対数尤度の最大化を用いたλの推
定

対数尤度関数 log p(x|λ) をλで微分して0とおく。
 

 n log     xi   0
 
i 1

n

 
n

n
  xi  0
 n

i 1
n
x
i 1

i
観測値xiの平均の逆数がλの最尤推定量になる。13

14. 指数分布のパラメータ推定の例
 モルモットの寿命を測定したところ、
以下のような数値（年数）を得た。
4.5
7.5
8.0
3.5
5.5
 λの最尤推定値は以下のように求められ
る。
n
n
x
i 1
i
 5 4.5  7.5  8.0  3.5  5.5
 5 29
14

15. 指数分布による予測の例

モルモットが10年より長く生きる確率を求め
よ。

確率密度関数の積分を使い、10 < x となる面
積を求めれば良い。
15

16. 確率密度関数を積分すると確率にな
る

「10年以上生きる」は「10 ≦ x」ということ。

Px  10 |     p( x |  )dx
10
10年以上生きる確率＝
この範囲の面積
0年
5年
10年
15年
20年
16

17. 指数分布による予測の例

λに5/29を代入し、積分を行うと以下のようにな
る。

Px  10 |    p( x |  )dx
10

  e
 x
10

 e

dx   5 29e

5 29  x 
10
10
e
5 29  x
dx
50 29
 0.178
17