PRML 10.1.3 PRML 10.2 with some new math symbol system which would be useful for statistics and machine learning.

1. 記号に関して
機械学習や統計学の特に理論については、数式を多用した数式群をひとまとめに理解する必要がある。しかし、
既存の数学の記法/記号では識別すべきニュアンスを表記からは容易に識別出来ないため、下記の記法/記号を
導入する。
変数を修飾する記号
記号仮名称意味
[x] 非代入x は確率変数などであり、[x] の表記により具体的な値を持たないことを表す。
◦x
未代入(初読時に) 値を持っていないことを表す。数式群に対して原則最初に1 回用いる。
x8 任意化変数が代入可能な任意の値を持ちうることを示す。
x▷ 追加型修飾その変数が既存データではなく新規入力/観測されたものに対応することを表す。
x⋆ 最適化用表記その変数が最適化の為に用いられたことを示す。
xϕ ベクトル要素ベクトル/「並び」であったx の要素のどれかを取り出したものであることを示す。
既存の=(イコール) に似た記号
記号仮名称意味
= 狭義の等号その場で等しいことを証明しつつあることを表す。
:= 左側定義左辺の未定義の記号について、右辺で(意味/由来の伴った) 定義をする。
=: 右側定義右辺の未定義の記号について、左辺で(意味/由来の伴った) 定義をする。
:=
等値制約制約を課する操作を表す。
値代入左辺に右辺の値を割りあてる。
=◦
等値確認両辺の値が等しいことを既に示したと言える状態であることを表す。
:=◦ 定義確認(左) 左辺を右辺のように既に定義したことをその場で確認することを表す。
=◦
: 定義確認(右) 右辺を左辺のように既に定義したことをその場で確認することを表す。
⋆=
最適条件制約付加最適化の為に、等号の制約を付加する操作を行うことを表す。
=⋆
最適条件下等号文脈で指定される最適化条件の下で、等号を証明しつつあることを表す。
=
⋆◦
最適条件制約
での等号確認文脈指定の最適条件下、既に証明した等号関係を表す。
省略的記法
記号仮名称意味
P[x] 分布参照P([x]) の省略記法。
c: 定数(文脈により決まる) 特定の変数だけを動かしても変わらない定数。
c+ 正の定数上記で、0 より大という条件をつけたもの。
e′f: : :g 指数関数e(:::) またはexp(: : :) に等しい。自然対数の底e = 2:718:: のベキ関数。
ExP (f(x)j 条件) 相加平均分布P[x] に従うx に対して、条件を課した時の、f(x) の相加平均。
GxP (f(x)j 条件) 相乗平均分布P[x] に従うx に対して、条件を課した時の、f(x) の相乗平均。
Σ
Sx;y;zf(x; y; z) 一般総和総和
と積分
の両方の意味を兼ねている。
n::m 範囲指定n; n + 1; n + 2; : : : の数でm 以下のものを表す。
i = n::m 範囲走査変数i をn::m の範囲で全ての値を参照することを表す。
1

2. その他
記号名称意味
直和複数の変数を, (コンマ) で区切って並べることに相当する。
fxig
i 並び「並び」を表すこととする。(内積が定義可能/縦横を気にしない。)
N(; 2)ϕ 抽出分布にϕ を付与した場合は、その分布から取り出した値を表す。
; 重要接合その前後の数式は同時に理解する必要があることを示す。
1-of-K 表現について(§ 9.2 下巻146 ページ)
別名一対K 符号化法/ 1-of-K coding scheme
混合要素の数(クラスタ数) K
データ各点の次元D
データの個数N
データ各点の位置ベクトルの並び(長さN) x 2 N n=1 RD ≃ fD N 行列g
各点に対応した隠れ変数の1-of-K 表現の並びz
並びであるx を分解した要素の1 個xϕ 2 RD
並びであるz を分解した要素の1 個zϕ 2 f0; 1gK
並びであるx のn 番目xϕn
並びであるz のn 番目zϕn
ベクトルxϕ またはzϕのi 番目の要素xϕ
i ; zϕ
i
1番目
0 ; : : : ; 0;
1K(k) (
k番目
1 ; 0; : : : ;
K番目
0 ) (独自記号)
zϕ :2 f1K(k)j k = 1 ::K g
[zϕ
k ] 2 f0; 1g
k := P(zϕ
k
:=
1) (9:8)(9:9)
P[xϕ] =
ΣK
k=1 kN(k;k) (9:7)
ΣK
k=1 k = 1
= E(zϕ) 並びの位置ごとの期待値
P[zϕ] =
ΠK
k=1(k)(zϕ
k ) (9:10)
P[xϕjzϕ :=
1K(k8)] = N(xϕjk;k) = N(k;k)ϕ
(x▷; k8) :=
P( z▷
k
:=
1K(k) ) P(x▷jz▷
k
:=
1)
ΣK
k=1 P( z▷
k
:=
1K(k) ) P(x▷jz▷
k
:=
1)
「負担率」responsibility
=
k N(x▷jk;k)
ΣK
k=1 k N(x▷jk;k)
(9:13)
/k k N(x▷jk;k)
2

3. 2014-10-13
EMアルゴリズムの説明の仕方の違いについての
メモ
PRMLの場合(ビショップ氏)PRML 下巻156 ページ
• E-step : Q( z8 ) P( z潜在変数j x観測データ; (k) )
• M-step : (k+1) arg max⋆
{
EQ log P(x; [z]; ⋆) =◦
}
P(x; ⋆)(z を積分消去) =:「Q 関数」
医学統計学の事典(越智氏)医学統計学の事典380 ページ
• E-step : Q( 8 j (k)) EzfC(zjx;(k)) log fC(y欠測以外 [z欠測部分]j)
• M-step : (k+1) arg max⋆ Q( ⋆j (k))
医学統計学の事典(松山氏)医学統計学の事典60 ページ
• E-step : Q( 8 j (k)) Ey(k)に従った分布
{
log f(yj; y の欠測以外は観測Y 0)
} 指数型分布族に限ると
十分統計量の期待値の算出に相当
• M-step : (k+1) arg max⋆ Q( ⋆j (k))
Wikipedia
• E-step : Q( 8 j (k)) EzP( [z] j x;)(log P( x; [z] j )
• M-step : (k+1) arg max⋆ Q( ⋆j (k))
補足
岩波数学事典によると、EM アルゴリズムは下記で発表された。
A. P. Dempster - N. M. Laird - D. B. Rubin,
Maximum Likelihood from Incomplete Data via the EM Algorithm, J. R.
Statist. Soc. B, 39(1977), 1-38
3

4. 2014-10-10
指数型分布族の説明の仕方の違いについてのメモ
PRMLの場合
• Duda and Hart1973,Bernardo and Smith1994
指数型分布族p(x8j8) := g() h(x) e′f u(x)g / g() e′f u(x)g
共役事前分布p( 8j 8; 8)
:=
f(; ) g() e′f () g / g() e′f () g
=)事後分布p( 8j x; 8; 8) / g() e′f () g ΠN
n=1 g() e′f u(xn)g
• を自然パラメータと呼ぶ。これを最尤推定し、十分統計量であることについて言及。
• ベルヌーイ分布/多項分布/ガウス分布について考察。ソフトマックスという言葉が現れた。
• 無情報事前分布にもふれ、いくつかの例を見て、位置パラメータ/尺度パラメータについて言及。
岩波数学事典第4 版(江口氏)
• 一般化線型モデル1 の道具として説明。
• 分布の形はyi の値については(拡散パラメータϕ を統計推測する問題になる)
P[yi]
:=
′
e
{
yii a(i)
ϕ
}
+ b(yi; ϕ)
=) E(yi) =◦
_a(i) ; V(yi) =◦
ϕ a(i)
• 正規分布/ポアソン分布/二項分布/ガンマ分布/逆正規分布/負の二項分布が指数型分布族。
• IRLS(反復的重み付け最小二乗アルゴリズム) により、尤度解析をするGLIM が開発された。
• a(i) を分散関数と呼ぶ: 正規分布:定数関数/ ポアソン分布:恒等関数 / ガンマ分布:二乗関数
• 自然リンク関数/平均リンク関数について言及。
• 擬尤度/一般化加法モデルについて言及あり。
1ロジット回帰モデル/プロビット回帰モデル/ポアソン分布回帰モデル/ガンマ分布回帰モデル
4

5. 今野氏(指数分布族)
• 確率測度族がk 母数指数分布族であるとは、
p(
8
x
2XRn j 8
2Rl
) := S(x)
Πk
i=1
e
′
{
i() Ti(x) A~()
}
IB(x)
• 二項分布の場合(1 母数指数分布族)
p(xj) =◦
(
n
x
)
e
′
{
x log
1
n log
1
1
}
• ガンマ分布の場合(2 母数指数分布族)
p(xj;

6. ) =◦
Πn
i=1
e
′ f( 1) log xig e
′ f

7. xig e
′ fn log

8. n log ()g
• 正規分布の場合(2 母数指数分布族)
p(xj; ) =◦
e
′
{
2 x
}
e
′
{
1
22 x2
}
e
′
{
1
2
2
2
1
2
log
(
22)}
• 正準k 指数分布族
p( [x] j [] )
:=
S(x) e
′ fT(x) A()g
丹後氏(指数分布族)
• 一般化線型モデルのランダム成分は指数型分布族に従う
p(yij:正準母数
i ; ϕ:散らばりの母数; xi) := e
′
{
iyi b(i)
ai(ϕ)
+ c(yi; ϕ)
}
• 正規分布
e
′
{
y 2
2
ϕ
}
• ベルヌーイ分布
e
′ {
y log(1 + e)
}
;
:=
log
{
1 + e
}
(,
:=
log(e 1))
• ポアソン分布
e
′ f (log ) y g
補足
• 具体例をきちんと計算して整理することが本質の理解に必要と考えられる。人により、表式が異なり、そ
れは応用上の解釈が異なることに由来すると考えられるため。
5

9. § 10.1.4 モデル比較187 頁
目的と前提
0. 複数の(有限個の) モデルの比較をしたい。
1. モデル集合上の事前確率P [m] を与えて、複数のモデルの事後確率を近似的に比較したい。
2. x は観測データ、z は隠れ変数とし、P ( [x; z] j [m] ) の扱いは容易と仮定する。
3. そして、モデル集合上の事後確率P([m]jx) をよく近似するQ[m] を得られたら目的達成とする。
これまでと違う点
モデルごとに異なる 内部構造 が異なる状況を対象に考えている。
したがって、次に示す異なる分解を用いて、解を求める。
Q[z;m]
:=
Q( [z ] j [m] ) Q[m] (最初の段落内)
Q⋆が満たす条件式ラグランジュの未定乗数法を使って次が導かれる。
Q⋆[m] / P[m] e
′fLm(Q⋆) g (10:36)
ただし
Lm(Q[z]) := Sz
(
Q(zjm) log
P(z; x;m)
Q(zjm)
)
(10:36) の直後
= logGQ([z]jm)
(
P([z]; xjm)
Q([z]jm)
)
Q⋆ を計算する方法
定義からの導出L(Q[z;m]) = Sz;m
(
Q(zjm)Q(m) log
P(z; x;m)
Q(zjm)Q(m)
)
(10:35)
= logGQ[z;m]
(
P(z; x;m)
Q(z;m)
)
Lmとの関係式L(Q[z;m]) = Sz;m (Lm(Q([z]jm))Q(m) Q(zjm)Q(m) logQ(m))
=
Σ
m (Lm(Q([z]jm))Q(m) logQ(m))
まず、L を最大化するQ([z]jm8) を求める。これはLm の最大化と同値である。
その後で、上記(10.36) を用いてモデル群に対する分布である最適化解Q⋆[m] を求める。
(そして、モデル選択上巻161 頁§ 3.4/モデル平均c.f.? の目的に使う。)
参考(§ 10.1.1 での考察)
一般論と単純な分解を使った場合について。
Q[z] が最適化解とは: KL[Q[z] ∥ P( [z] j x ) ] (10:4) の最小化と見なす
, expL := GQ(z) [P(x; z)=Q(z)] (10:3) が最大化
Π
j
Q(j)
:=
◦z) (10:5) =)
Q(
Q[j ] ごとのKL 距離の考察
j
8
: Q⋆[j ] / GQ⋆(z) (P(x; z) jzj
:=
j ) (10:9)
6

10. ◦
第10.2=節「例:変分混合ガウス分布」187 ページ{200 ページ
節の構成
節の名前(ページ数) 内容
§ 10.2 例:変分混合ガウス分布2 全般的内容/事前分布の設定
§ 10.2.1 変分事後分布6 fQ[z]Q[; ; ] :≑ P(x; [z])g⋆ を算出する
§ 10.2.2 変分下限2 L(Q[z]) log P(x) KL(Q[z] jj P([z]jx)) を算出
§ 10.2.3 予測分布1 P(x▷jx; ) の式を算出
§ 10.2.4 混合要素数の決定2 K := 1; 2; 3; : : : にLmax K! の値を比較/ のMAP 推定
§ 10.2.5 導出された分解1 Π
n Q⋆[zn] Q⋆[] Π
k Q⋆[k;k] をグラフから考察
第10.2 節以外との関係(やはり後回しにして良かった!)
節と名前内容関係の仕方
§ 10.1 変分推論P(x; [z]) を近似するQ[z] に制限を課すること基礎的な説明
§ 10.1.1 分布の分解分解した場合の更新式に使える条件式の算出関係しないかも
KL 距離の考察で解いた§ 10.2.5
§ 10.1.4 モデル比較Q[m]近似事後分布/ P[m]事前確率 e′fLm
max
g クラスタ数決定に使う
ラグランジュの未定乗数法で解いた§ 10.2.4
(§ 10.2 例:変分混合ガウス分布)
§ 10.3 変分線形回帰やや簡単なまとまった例/事前分布はガンマ分布/ガウス分布のみでやや単純
§ 10.3.1 変分分布近似事後分布Q(w; )
:=
Q(w)Q() の式を算出§ 10.2.1
§ 10.3.2 予測分布新しい入力x▷ に対する分布の式を算出(2:115) § 10.2.3
§ 10.3.3 変分下限L の式を算出/モデル比較/ディガンマ分布§ 10.2.2/§ 10.2.4
§ 10.4 指数型分布族P(x; [z]) ≑: Q[z; ]
:=
Q[z]q[] =) Q[z] =:
Π
Q[i] § 10.2.5
独立同分布な点に対応した式へ結果的に分解。
第10.2 節に、現れる/関係する、変数/記号
記号意味
x 点の位置; 10 章全体においては「観測データ」
z インジケータ(1-of-K 表現) ; 10 章全体においては「隠れ変数」
(z の事前分布/事後分布についてのパラメータ)
; ; 混合比、k 番目の混合要素の平均k と分散k の並び
m 10 章全体においては「各モデル」(§ 10.1.4)
K,k 「混合要素数」(クラスタの数) とその何番目の要素であるかを表す。
P(x; z) 一般的に扱えるが、応用上の扱いやすさのため指数型分布族であることをよく仮定する。
この節(§ 10.2) では、混合ガウス分布を扱う。
KL(qjjp) カルバックライブラーの距離(符号分布p の仮定で設計して運用時q の場合の損失差分)
L 「変分下限」L(Q[z]) := log P(x観測) log KL(Q[z] jj P(x; [z]) )
Q[z] x が与えられたときの、P(x; [z]) をうまく近似するようなある制約下の分布
気になる点/気が付いた点
• 「パターン認識の機械学習の学習(暗黒通信団)」にある通りL を下限と呼ぶには違和感がある。
7

11. • § 10.2.4 でlogK! 倍の必要性については、モデル比較の一般論である§ 10.1.4 に記載すべきではないか。
• 変分事後分布のことを、「近似事後分布」と呼んでも良さそう。(用語表記の意味の連想を容易にするため。
なお、この用語は変分によりKL 距離の意味で最適化して事前分布を与えた場合に、事後分布も同じ分布
族に含まれるという、非自明な結果があることを表していることに、注意が必要かもしれない。)
• 演習問題10.12 から10.25 がこの§ 10.2 に対応す。基本/標準/難問の区分があって参考になる。
• EM アルゴリズム等の対応はもっとよく検討すべし。
• 第8 章のグラフィカルモデル(§ 8.2.2 有向分離(D 分離) のマルコフブランケットなど) を理解する必要
がある。
第10.2 節例:変分混合ガウス分布187189 ページ(冒頭部分)
• 構成: ガウス混合分布に対して、変分推論法を施す。
{ まず、事前分布を与え§ 10.2、分解を与える§ 10.2:1、
{ そして、変分事後分布§ 10.2:1、L§ 10.2:2、予測分布§ 10.2:3 を導く。
{ 混合要素数(クラスター数) が議論できる§ 10.2:4(ガウス混合分布特有のことであるか?)。
{ 当初の分解よりも更に分解できることを、グラフィカルモデルから示す§ 10.2:5。
• 産物: ガウス混合分布に対して、変分推論法を考えることにより、
{ 最尤推定法の多くの欠点をエレガントに解決できる。(Attias, 1999b)
* いくつかの点に縮退するなどの最尤法のもやもやが見事に解消する。
* ただし広域最適解に収束しないことに注意。
{ 有用な多くの洞察が得られるので、詳しく追跡することが勧められる。
* 考察すべき基本的な現象を一通り捉えることが出来る、と考えられる。
{ 「ずっと複雑な分布を持つ多くのベイズモデル」も自明な拡張/一般化で解ける。
定式化
事前分布のパラメータ:
◦
0 ;
◦
W0 ;
◦
0 ;
◦m
0 ;
◦

12. 0
観測データ: x
1 of K 記法P([z]j◦) =◦
Π
n;k z(n;k)
k
(10:37)(=(9:10)
z; ;の尤度P(xj◦z;
◦
;
◦
) =
Π
n;k
N(k;
1
k )z(n;k) (10:38)(=(9:11)
の事前分布P[] := Dirichlet(j ◦
0) =◦
C(0)
Π
k 01
k
(10:39);(B:23)
◦
W0;
の事前分布 := kW(
◦
0) (10:40)
◦m
の事前分布 := k N(
◦

13. 0k)1) (10:40)
0; (
便宜上の対称性m0 0
ウィシャート分布W(8jW8; 8) := B(W; ) jj(D1)=2 e′
{
1
2
}
Tr(W
1)
8

14. 10.2.1 変分事後分布189195 ページ
E とG は、各確率変数が分布Q が適用される限り適用された場合の、相加平均と相乗平均を表す。
=⋆
または=⋆、⋆= などは、上記において、Q の代わりにQ⋆ が適用されたことを示す。
全変数の同時分布P(x; [z; ; ; ]) =◦
P( x j [z; ; ]) P[zj] P[] P[j] P[] (10:41)
分解Q[z; ; ; ]
:=
Q[z]Q[; ; ] (10:42)
nk :=
Gk Gjkj1=2
(2)D=2 e′ fE((xn k)Tk(xn k))g
(10:46)□
rnk := nk=
Σ
k nk
(10:49)
因子Q[z] の更新式 Q⋆[z] =⋆ G(P(x; [z; ; ; ]) c+
(10:43)●
=⋆ GP[zj] GP(xj[z; ; ]) c+
(10:44)
∵(10:41)
=⋆
Π
n;k z(n;k)
nk
c+
(10:45)
+(10:47)
=⋆
Π
n;k rz(n;k)
nk
(10:48)
∵(10:49)
負担率rnk
一般条件
=◦
E一般条件[z(n; k)] (10:50)○
各クラスタの重みNk :=
Σ
n rnk
(10:51)E1
各クラスタの重心xk :=
1
Nk
Σ
n
rnkxn
(10:52)E2
各クラスタの分散行列Sk :=
1
Nk
rnk(xn xk)(xn xk)T (10:53)E3
因子Q⋆[; ; ] の条件式Q⋆[; ; ] =⋆ P() Π
k P(k;k) GP([z] j )
Π
n;k
N(xnj[k;
1
k ])Gz(n;k) c+
(10:54)
(10:54) に基づく再分解Q[; ; ]
:=
Q[]
Π
k
Q[k;k] (10:55)
:= fk := 0 + Nkgk
(10:58)
因子Q[] の更新式 Q⋆[] =
Π
k (01)
k
Π
rnk
nk
c+
(10:56)
∵(10:50)●
= Dirichlet( [] j ) (10:57)
cf:(B:16) 上巻305

15. k :=

16. 0 + Nk
(10:60)M1
mk :=
1

17. k
(

18. 0m0 + Nk xk) (10:61)M2
W
1
k := W
1
0 + NkSk +

19. 0Nk (xk m0)(xk m0)T

20. 0 + Nk
(10:62)M3
k := 0 + Nk
(10:63)
因子Q[k;k] の更新式 Q⋆[k;k] = N(kjmk; (

21. kk)1) W(kjWk; k) (10:59)●
(10:46) □ に使う式↓
EQ
(
(xn k)Tk(xn k)
)
= D

22. 1
k + k (xn mk)TWk(xn mk) (10:64)
~
k :=⋆ Gjkj =
DΠ
k=1
e
′
{
(
k + 1 i
2
)}
2D jWkj (10:65);B○
^ :=
Σ
k k
~k :=⋆ Gk = e′ f (k)g =e′ f (^)g (10:66);B○
rnk =
~k
√
~
k √ c+
e′ fD=

23. kg e′ f(xn mk)TWk(xn mk)gk
(10:67)
(=(10:46;49)
(10:6466)
=
√
√
k
jkj c+ e′ f(xn k)Tk(xn k)g
(10:68)
∵(9:13)
Ek ⋆=⋆
0 + Nk
K0 + N
(10:69)
9

24. • § 3.4 節の「ベイズモデルの持つ、データへのフィッティングとモデルの複雑さの自動的なトレードオフ
が起こる」を参照。
• 計算コストについて、EM アルゴリズムとほとんど変わらない。(同じように、負担率と加重係数つき共
分散行列とその逆行列に計算コストがかかるため。ただし非常にデータ集合が小さい場合を除く。)
• 上記のベイズ法は明らかな利点がいくつかある。
{ 特異な解つまり縮退した解が起きない。
{ 大きなK(混合要素数, クラスター数) を選んでも、過学習は起きない(図10.6) の通り。
{ 交差検証をする必要がない(データを全て活用できる) *可能性* がある。(cf. § 10.2.4)
10

25. 10.2.2 変分下限195196 ページ
• L(Q[z]) =◦
log P(x) KL(Q[z]
jjP([z]jx))
(10:3)
:=
◦ Sz
(
Q(z) log
P(x; z)
Q(z)
)
の算出に使える式を導く。
• 更新操作で増加することの(徹底的な) 確認、収束の判定に使う。(Svensen and Bishop, 2004)
e′ fLg =⋆
GP(x; [z; ; ; ] )
GQ[z; ; ; ]
=⋆
GP(xj [z; ; ] ) GP[zj] GP[] GP[; ]
GQ[z] GQ[] GQ[; ]
(10:70)
cf:(10:3)177 ページ
(上記各項を展開)
GP(xj [z; ; ] ) =⋆
Π
k
vuut
(
~
k
e′ {
D

26. }
1
k + kTr(SkWk) + k(xk mk)TWk(xk mk)
)Nk
(10:71)
演習10.16(232 ページ)
GP[zj] =⋆
Π
n;k
~rnk
k
(10:72)
演習10.16
GP() =⋆
C(0)
Π
k ~(01)
k
(10:73)
cf:(B:23) 上巻305 頁
GP(; ) =⋆
vuut
Π
k
(

27. 0
2
)D ~
k
e′
{
D

28. 0

29. k
} D はx の次元
+

30. 0k(mk m0)TWk(mk m0)
B(W0; 0)K
√Π
0D1
√k
k Π
~
k
kTr(W
1
0 Wk)
(10:74)
cf:(B:79) 上巻312 頁○
GQ[z] =⋆
Π
n;k rrnk
nk
(10:75)
GQ[] =⋆
Π
k ~(k1)
k
C() (10:76)
cf:(B:23) 上巻305 頁○
GQ[; ] =⋆
Π
k
√
~
k(

31. k=2)D
e′fD + 2H[Q(k)]g
(10:77)
cf:(B:82) 上巻312 頁○
(上記の補助式)
C() =◦
(1 + + k)
(1) (k)
(B:23)(B:24)
ディリクレ分布の比例係数
1=B(W; ) =◦
√
jWj 2D D(D1) (
2
)(
1
2
) (
D + 1
2
) (B:79)
W(jW;) の比例係数
H[] =◦
logB(W; ) D 1
2
E log jj +
D
2
(B:83)
W(jW;) のエントロピー
(x) =◦
1
0 ux1eudu (1:141)
上巻60 頁ガンマ関数
• 「Q の対数の期待値を含む項は単にそれらの分布の負のエントロピーを表している。」(10.75-10.77)?
• 上記のL を展開した式を用いることで、直前の10.2.1 節と同じ「再推定式」を得ることができる。
• 再推定式はZ; ; k k がそれぞれ離散分布、ディリクレ分布、ガウス-ウィシャート分布であることを
利用して、それらのパラメータについて、L を最大化する式である。(演習10.18 (難問))
11

32. 10.2.3予測分布196 ページ
予測分布P( [x▷] jx) = Sz▷;;; P(x▷jz▷; ; )P(z▷j) P(; ;jx) (10:78)
P( [x▷] jx) = Sk;;; k N(x▷jk;
1
k ) P(; ;jx) (10:79)
∵(10:3738)
P( [x▷] jx) ≑ Sk;;; k N(x▷jk;
1
k ) Q()Q(k;k) (10:80)
∵(10:55)
=
!?
Σ
k
k
1 + + K
Student(x▷jmk;Lk; k + 1 D) (10:81);cf::(10:63)
演習10.19(標準)
ただしLk :=
(k + 1 D)

33. k
(1 +

34. k)
Wk
(10:82)
演習10.20(標準)
10.2.4 混合要素数の決定197 ページ
• 混合要素数K ごとのモデルで事後分布を求めても、それはK! 個ある等価な解の1 個である。
{ 異なるK でL =◦
log P(x)KL(Q⋆[z]jP([z]jx)) の値を比較する場合には、logK! を加えることが公
平になる(たとえば、モデル比較やモデル平均を考慮する場合)。演習10.22
{ 本当だろうか。
• Old Faithful 間欠泉に適用した例
{ 縮退/局所解が起きなかったとしても、最尤推定の場合は、K に対して、尤度関数が増大し続けてし
まうが、ここのベイズ推定ではそういうことが起きていない。
• の分布を考えるのではなく、点推定をする枠組み(Corduneanu and Bishop, 2011)
{ k = 1
N
Σ
n rnk
(10:83) の「再推定式」を用いて、Q の更新と交互に行う。
{ すると、データをあまり説明しない混合要素の係数はどんどん0 に近づくことから、K が自動的に
求まる(関連度自動決定automatic relevance determination)。
{ 超パラメータの最適化がスパース(疎) な学習が行えることは、関連ベクトルマシン(RVM,7.2.2 節)
で詳しく議論された。(ここの文章ではz(またはzk) がパラメータ、 が超パラメータ、 を超々パ
ラメータのように考えて良いだろうか?)
12

35. 10.2.5 導出された分解199 ページ
• 当初の分解はQ[z ]
:=◦
Q[z]Q[ ] であった。((直和) は,(コンマ) とここでは同等。)
• それが=Q[] Q[1 1] : : : Q[K K] の再分解を導いた分解の導出induced factorization。
• 再分解が発生する条件は、有向分離(d-separation) に基づくグラフィカルなテストがある§ 8.2.2。
• zn がhead-to-tail の関係である。(cf.§ 8.2.1, 87 ページ; 図8.18, 88 ページ)
=)
{
?? (k k) j x z
(k k) ?? (k′ k′ ) j x z
13