Describes the Beta and Dirichlet distribution. ベータ分布とディリクレ分布について説明します。

1. ベータ分布とディリクレ
分布
手塚 太郎
1

2. 多項分布のパラメータの最尤推定
量

多項分布のパラメータμkの最尤推定量は観測
データにおいてxkが現れた回数Nkの相対的な割
合であった。
ˆk
Nk
N
K

ただしNは試行の総数である。 N
Nk
k 1

これはラグランジュ未定乗数法を使った最尤
推定によって求められた。
2

3. 最尤推定の限界と
MAP推定の利用
3

4. 最尤推定の限界

観測データで一度も現れたことのない事象には
確率0を割り当ててしまう。

観測データの量が尐なければ、その中に一度も
現れない事象も多数存在する。

観測データに現れたことのない事象にも正の確
率（0より大きい確率）を割り当てる必要があ
る。
ベイズ推定を使えば対応できる。
 「どの事象も現れうる」というのはデータとは
別の「事前知識」であり、事前分布によって表

4

5. スムージングの必要性

観測データではまったく現れない事象も存在す
る。

このような事象にも正の確率を割り当てること
をスムージングと呼ぶ。

別名ディスカウンティング。正の確率を持つ領
域から「割引」を行うため。
5

6. スムージング
確率分布は全体で積分した時（和を取った時）
に1にならなくてはならない。
 確率が正の領域から0である領域に移動させる。
 分布はよりなめらか（スムーズ）になる。

p(x)
p(x)
x
x
6

7. 加算スムージング
分子において出現頻度Nkに一定量δを加算する。
 分母にはδと単語の種類数Kの積を加える。
 δ=1の場合を特にラプラス法と呼ぶ。

k
Nk
N
'k
Nk
N K
ラプラス法
'k
Nk 1
N K
7

8. 加算スムージングとMAP推定
相対頻度の利用は最尤法から導かれた。
 加算スムージングはMAP推定から導ける。

ML推定（最尤法）
arg max p( x | )
MAP推定
arg max p( | x)
p ( | x)
p( x | ) p ( )
8

9. 共役事前分布

事前分布に尤度関数を掛けた時、μについて同じ
形の事後分布が得られるような事前分布を共役
事前分布と呼ぶ。
p( | x, )
p( x | ) p( | )

事後分布の計算が容易になるため、頻繁に使われ
る。

共役事前分布 p(θ|α) の形は尤度関数 p(x|θ) の形
に依存する。つまり確率分布 p(x|θ) ごとにそのパ
9
ラメータθの共役事前分布 p(θ|α) が決まる。

10. 共役事前分布のもうひとつのメリ
ット

共役事前分布を使うと、ハイパーパラメータが
単なる調整用のパラメータではなく、モデルに
おいて“意味”を持ったものになることが多い。

例： 多項分布の共役事前分布であるディリクレ
分布のハイパーパラメータは「仮想的に観測さ
れた事象の数」と関連付けられる。
10

11. 共役事前分布の例
 ガウス分布のμの共役事前分布はガウス分
布
 ベルヌーイ分布のμの共役事前分布はベー
タ分布
 多項分布のμの共役事前分布はディリクレ
分布
11

12. ベータ分布
12

13. ベルヌーイ分布の尤度関数

ベルヌーイ分布のパラメータμの尤度関数は以下であっ
た。
ベルヌーイ分布のパラメータμの尤度関数
N
p( X | μ)
xi , 2
1
N
xi , 2
2
i 1

xi , 2
1
1
xi , 2
1
i 1
共役事前分布はμについて尤度関数と同じ形でなくては
ならないので、以下の形になる。ただしαはハイパーパ
ラメータベクトル、B(α)はμに関して定数、fは任意の
関数である。
K
p (μ | α )
1
Bα
f
k
k 1
k
13

14. ベルヌーイ分布の共役事前分布を
求める

事前確率はμが取り得るすべての値で積分した時、1
にならなくてはならない。これによってB(α)が決ま
る。

f(αk) として αk – 1 を使うことにし、μで積分を行う
K
と、以下が成り立たなくてはならない。
1
Bα
p (μ | α )dμ

k
k
1
dμ 1
k 1
なお、μkに関しては以下の制約があったため、それ
ぞれを0から1まで動かして積分することはできない
ので注意が必要である。
K
0
k
1
k
k 1
1
14

15. ベータ関数

正規化に必要な因子B(α)は以下の関数になり、ベー
タ関数と呼ばれる。
K
k
Bα
k 1
K
k
k 1
x

0
t
x 1
t
e dt
Γ(x)はガンマ関数と呼ばれ、階乗の一般化である。
15

16. ガンマ関数と階乗

xが整数nの時、Γ(n) = (n-1)! （階乗）
なぜなら
x
0
x 1
t
t
x 1 1
e
t
x 1
0
0
x 1
x
t
e dt
x t x 1e t dt
つまり
t
e dt より、
x 1 1
t
0
x 1
t
xt e dt
0
x x
x
さらに以下も示せる。 1
1
ゆえに
n
n 1!
16

17. 多項ベータ関数の変形

まずB(α)の分子に着目し、変形していく。
K
K
k
k 1
0

0
k 1
...
0
x1
1
1
xk
dxk
... xK
K
xk
1
e
k 1
dx1...dxK
ここでtを定義し、最後の変数xKを消去する。
t
K 1
xk
xK
t
K
k
xk
k 1
k 1

xk
e
K
K
k 1
1
k
0
...
0
x1
1
1
... xK
K 1
1
1
K 1
t
k 1
xk
K
1
e t dx1...dxK 1dt
x1,…,xK∈(0,∞) → x1,…,t ∈(0,∞) より積分範囲は変わらない。
17

18. 多項ベータ関数の変形

μkを定義し、xkを置き換える。
k
:
xk t
xk
つまり
t
k
K
k
k 1
1
0
... t
0
1
1
1
... t
K 1
1
K 1
K
K 1
t
t
k 1
1
e t t K 1d 1...d
k
K 1
dt
K
1
0

0
1
... t
0
k
K
1
k 1
1
1
...
K 1
K 1
1
K
K 1
1
k 1
k
1
e t t K 1d 1...d
K 1
dt
変数変換（置換積分）によって各μkに関する積分範
囲が0～1になることに注意。
18

19. 多項ベータ関数の変形

μKを導入する。これはμ1～μK-1の関数なので
、dμKは不要。
K
1
0

0
k
1
... t
1
e
k 1
0
t
1
1
1
...
1
K 1
K 1
K
K
1
d 1...d
dt
K 1
dμ1～dμK-1をまとめてdμで表す。積分範囲もまとめて
K
表す。
1
1
1
...
K
K
k
1
dμ
0
t
k 1
1
e t dt
K
K
k
k
k 1
1
dμ
k
0
t
k 1
1
t
e dt
19

20. 多項ベータ関数の変形

B(α)の分母はガンマ関数の定義により、以下になる
。
K
K
k
k 1
0
t
k 1
k
1
t
e dt
20

21. 多項ベータ関数の変形

分子を分母で割って、B(α)を求めると以下のように
なる。 K
k
Bα
K
k 1
k
k
K
1
dμ
k 1
k
k 1

右辺は積分した時に1になるように正規化したか
った関数そのものである。

なお、右辺から左辺を求める計算をディリクレ積分と
呼ぶ。
21

22. 多項ベータ関数による正規化

多項ベータ関数を使用すると、ベルヌーイ分布
の共役事前分布を以下のように作ることができ
る。
p (μ | α )

1
Bα
K
k
1
k
k 1
多項ベータ関数で割られていることによって、
全体で積分した時に1になる。（正規化されて
いる）。
p (μ | α )dμ
1
Bα
K
k
k
k 1
1
dμ 1
22

23. ベータ関数

ベータ関数はK=2の時の多項ベータ関数である
。

ハイパーパラメータをベクトルαではなく二つ
のスカラーαとβで表わすことが多い。
ベータ関数
多項ベータ関数
K
B α,
k
(
)
Bα
k 1
K
k
k 1
23

24. ベータ分布

ベルヌーイ分布に対する共役事前分布
p(μ | α, )

1
B α,
1
1
1
2
ベルヌーイ分布のもうひとつの表記法（スカラ
ーμによる表現）を使った場合は以下のように
なる。
p ( μ | α, )
1
B α,
1
1
1
24

25. ベータ分布の性質

ベータ分布は2次元のディリクレ分布である。

ハイパーパラメータαとβはディリクレ分布の場
合と同様、次元k=1と次元k=2への仮想的な割り
当てを示している。
25

26. ベータ分布の性質
ベータ分布は μ のべき乗と (1-μ) のべき乗の和
を（（ベータ関数で）正規化したものである。
 αとβが正の整数の時、確率密度関数は1変数の
多項式が描く曲線になる。

wikipedia.org
26

27. ベータ分布の例1

P
ハイパーパラメータαとβが共に1より大きい場
合、上に凸な分布になる。
| ,
α
5
27

28. ベータ分布の例2

P
ハイパーパラメータαとβが共に1より小さい場
合、下に凸な分布になる。
| ,
α
0.5
28

29. ベータ分布の例3

P
ハイパーパラメータが α＞β の時、1に近い側
の確率が高い分布になる。
| ,
α 10,
2
29

30. ベータ分布の例

P
α＞β=1の時は、μα-1を正規化した関数である。
| ,
α 5,
1
30

31. ディリクレ分布
31

32. 多項分布の尤度関数

多項分布のパラメータμの尤度関数は以下の形であった
。
多項分布のパラメータμの尤度関数
N
K
xi ,k
k
p( X | μ)
i 1 k 1

共役事前分布はμについて尤度関数と同じ形でなくては
ならないので、以下の形になる。ただしαはハイパーパ
ラメータベクトル、B(α)はμに関して定数、fは任意の
関数である。
K
p (μ | α )
1
Bα
f
k
k 1
k
32

33. 多項分布の共役事前分布を求める

事前確率はμが取り得るすべての値で積分した時、1
にならなくてはならない。これによってB(α)が決ま
る。

f(αk) として αk – 1 を使うことにし、μで積分を行う
K
と、以下が成り立たなくてはならない。
1
Bα
p (μ | α )dμ

k
k
1
dμ 1
k 1
なお、μkに関しては以下の制約があったため、それ
ぞれを0から1まで動かして積分することはできない
ので注意が必要である。
K
0
k
1
k
k 1
1
33

34. 多項ベータ関数

正規化に必要な因子B(α)は以下の関数になり、多項
ベータ関数と呼ばれる。
K
k
Bα
k 1
K
k
k 1
x
0
t
x 1
t
e dt
34

35. 多項ベータ関数の変形

まずB(α)の分子に着目し、変形していく。
K
K
k
k 1
0

0
k 1
...
0
x1
1
1
xk
dxk
... xK
K
xk
1
e
k 1
dx1...dxK
ここでtを定義し、最後の変数xKを消去する。
t
K 1
xk
xK
t
K
k
xk
k 1
k 1

xk
e
K
K
k 1
1
k
0
...
0
x1
1
1
... xK
K 1
1
1
K 1
t
k 1
xk
K
1
e t dx1...dxK 1dt
x1,…,xK∈(0,∞) → x1,…,t ∈(0,∞) より積分範囲は変わらない。
35

36. 多項ベータ関数の変形

μkを定義し、xkを置き換える。
k
:
xk t
xk
つまり
t
k
K
k
k 1
1
0
... t
0
1
1
1
... t
K 1
1
K 1
K
K 1
t
t
k 1
1
e t t K 1d 1...d
k
K 1
dt
K
1
0

0
1
... t
0
k
K
1
k 1
1
1
...
K 1
K 1
1
K
K 1
1
k 1
k
1
e t t K 1d 1...d
K 1
dt
変数変換（置換積分）によって各μkに関する積分範
囲が0～1になることに注意。
36

37. 多項ベータ関数の変形

μKを導入する。これはμ1～μK-1の関数なので
、dμKは不要。
K
1
0

0
k
1
... t
1
e
k 1
0
t
1
1
1
...
1
K 1
K 1
K
K
1
d 1...d
dt
K 1
dμ1～dμK-1をまとめてdμで表す。積分範囲もまとめて
K
表す。
1
1
1
...
K
K
k
1
dμ
0
t
k 1
1
e t dt
K
K
k
k
k 1
1
dμ
k
0
t
k 1
1
t
e dt
37

38. 多項ベータ関数の変形

B(α)の分母はガンマ関数の定義により、以下になる
。
K
K
k
k 1
0
t
k 1
k
1
t
e dt
38

39. 多項ベータ関数の変形

分子を分母で割って、B(α)を求めると以下のように
なる。 K
k
Bα
K
k 1
k
k
K
1
dμ
k 1
k
k 1

右辺は積分した時に1になるように正規化したか
った関数そのものである。

なお、右辺から左辺を求める計算をディリクレ積分と
呼ぶ。
39

40. 多項ベータ関数による正規化

多項ベータ関数を使用すると、多項分布の共役
事前分布を以下のように作ることができる。
p (μ | α )

1
Bα
K
k
1
k
k 1
多項ベータ関数で割られていることによって、
全体で積分した時に1になる。（正規化されて
いる）。
p (μ | α )dμ
1
Bα
K
k
k
k 1
1
dμ 1
40

41. ディリクレ分布

多項分布の共役事前分布はディリクレ分布と呼ば
れ、多項ベータ関数を使って以下のように表現さ
れる。
p (μ | α )
K
1
Bα
k
1
k
k 1
K
k
ただ
し
Bα
k 1
K
k
k 1
41

42. 多項分布とディリクレ分布
尤度関数（多項分布）
N
K
事前分布（ディリクレ分布）
xi ,k
k
p( X | μ)
p (μ | α )
i 1 k 1
事後分布
K
p μ | X,
N
k
1
k
k 1
xi ,k
k
C' α
k 1
K
1
Bα
k
1
k
i 1
N
B
N
i 1

xi ,k
K
1
k
1
i 1
k
xi
α
k 1
42
事前分布と事後分布がμの関数として同じ形になって

43. ハイパーパラメータの意味

事後分布において、αkはカテゴリkの総出現数と
同じ位置に来ている。
N
1
p μ | X,
i 1

k
i 1
k
N
B
xi ,k
K
xi
α
k 1
これはαkをカテゴリkにおける「事象の仮想的な
出現数」とみなせることを意味する。
43
1

44. ディリクレ分布の視覚化

成分の和が1になるという制約により、ベクト
ルμが動ける範囲はたとえば3次元では以下の領
域（単体またはシンプレックスと呼ばれる）に
なる。
μ3

K=3のディリクレ分布を視
覚化する際、単体の上に確
率密度の大きさを乗せた形
で表示することが多い。
1
μ1
1
1
μ2
44

45. ディリクレ分布の例1

αkがすべて１の時、ディリク
レ分布は単体上の一様分布に
なる。
μ3

単体の全域で積分した時に1
になる。
1
μ1
1
1
μ2
45

46. ディリクレ分布の例2

あるαkが大きい
時、その次元k
で確率密度が大
きくなる。

すべてのαkが大き
ければ、中心で
尖った分布にな
る。

wikipedia.org
αkは各カテゴリへの仮想的な割り当てのため、
そのカテゴリの次元での密度が高い分布になる
46

47. ディリクレ分布の性質

各αkが正の整数の時、ディリクレ分布の確率密
度関数はK-1変数の多項式が描く曲面である。
ディリクレ分布の確率密度関数
p(μ | α)
1
1
Bα
1
Bα
K
k
1
k
k 1
K
K 1
1K 1
k
k
k 1
1
k
k 1
47

48. 多項分布のパラメー
タのMAP推定
48

49. 対称なディリクレ分布の仮定

ディリクレ分布のパラメータはK個あるが、こ
こではひとつのパラメータで表される対称な
ディリクレ分布を使用する。

ひとつになったパラメータをスカラーaで表す。
1
p(μ | a)
2
...
( Ka)
(a)

K
a
K
a 1
k
K
k 1
この制約を加えるだけで加算スムージングが導
かれる。
49

50. 事後分布の対数
K
p(μ | X, a)
N
xi ,k
k
F ' (a)
k 1
a 1
k
i 1
log p(μ | X, a)
K
N
xi ,k
k 1
a 1 log
k
log C ' (a)
i 1
θについて最大化するのが目的なので、aのみ
の関数になる項はC’(a)で表した。
 C’(a)はμを動かしての最大化では無視できる。

50

51. 頻度への置き換え
K
N
xi ,k
k 1
a 1 log
k
i 1
K
Nk
a 1 log
k
k 1

カテゴリkが観測データで出現した回数Nkを用
いて置き換えた。
51

52. ふたたびラグランジュ未定乗数法
K
K
L(μ)
Nk
a 1 log
k
k
k 1
L(μ )
k 1
Nk
k
Nk
1
a 1
0
k
パラメータベクトルμへの制約：
a 1
K
k
k
1
k 1
kについて和を取る
1
K
K
(Nk
k 1
a 1)
k
1
k 1
52

53. MAP推定の結果
K
(Nk
N
a 1)
K (a 1)
k 1
Nk
a 1
k
k
Nk a 1
N K (a 1)
MAP推定の結果は加算スムージングに対応する。
 a=2がラプラス法に対応する。

53

54. ラプラス法の課題

μの次元数Kが大きい場合、Nkがほとんど割引さ
れてしまうため、精度は高くない。
k

Nk 1
N K
言い換えると、事前分布が尤度関数よりも著し
く大きな影響を持ってしまう。
54

55. リッドストーン法

1より小さい値δを加算する。
k

Nk
N K
0
1
δを適切に選べば精度が向上することが知られてい
る。
55