多項分布とディリクレ分布の簡単な解説です。 正規分布とかはわかっている人向けです。 LDAの勉強などで使えるかも？

1. ３分でわかる
多項分布とディリクレ分布
斎藤 淳哉!
!
間違い等ありましたらご連絡ください
junya【あっと】fugaga.info

2. 概要
何回覚えても忘れてしまいがちな
!
多項分布 ディリクレ分布
と
を解説
!2

3. はじめに
みんな知っている正規分布は、平均と分散を入れると、
（釣り鐘上の）確率密度関数に従って、確率変数が出てくるイメージ
正規分布
平均
µ
分散
確率密度関数
p
1
2⇡
2
exp
✓
(x
µ)
2
2
2
◆
確率変数
x
2
これにならって、多項分布とディリクレ分布を表すと・・・
!3

4. 多項分布とディリクレ分布
多項分布：サイコロの出た目の分布
サイコロを振る回数
N (=
K面サイコロの目の出易さ
p1
確率 p2
確率
K
確率
PK
k=1
nk )
K面サイコロの出た目
確率質量関数
n1
n2
Multi(n|p, N ) =
PK
K
(( k=1 nk ) + 1) Y nk
pk
QK
(nk + 1) k=1
k=1
pK
※ N 6=
PK
k=1
nk のときは0
K
回
回
nK
回
※nは自然数
ディリクレ分布：サイコロの目の出易さの分布
K面サイコロの目の出易さ
K面サイコロの出た目
↵1
↵2
K
↵K
1
1
回
回
1回
※αは自然数でなくてもよい
確率密度関数
p1
確率 p2
確率
Dir(p|↵) =
PK
K
( k=1 ↵k ) Y ↵k
pk
QK
(↵k ) k=1
k=1
1
K
確率
pK
!4

5. 備考
m
• はガンマ関数（自然数 に対して (m + 1) = m!
）
(·)
• 確率質量関数は、確率変数が離散のときの確率密度関数
• ディリクレ分布は、多項分布の共役事前分布
• これを利用して、LDAでは、
• 尤度関数：多項分布
• 事前分布：ディリクレ分布
• 多項分布とディリクレ分布の違い
• 確率変数としている変数が異なる
• サイコロの出た目のカウントが１ずれている
• 正規化項が微妙に異なる
• 詳細な定義等はググってください
!5