SlideShare a Scribd company logo
1 of 44
Download to read offline
PRML輪読会 2017
第9章 混合モデルとEM
東京⼤学⼯学部システム創成学科
B4 ⻄村弘平
概要
• 背景
– 観測変数と潜在変数の同時分布を定義すれば周辺化によって観測変数だけの分布が得ら
れる。
– ⽐較的複雑な観測変数の周辺分布をより扱いやすい観測変数と潜在変数の同時分布に
よって表すことができる。
– このように, 潜在変数の導⼊によって複雑な分布をより単純な分布から構成できる。
• EMアルゴリズム
– 潜在変数モデルで最尤推定値を求める最適化⼿法の⼀つ。
– EMアルゴリズムは混合ガウス分布だけでなく, 様々なモデルに適⽤できる汎⽤的な⼿法
である。
2
⽬次
9.1 K-meansクラスタリング
9.2 混合ガウス分布 (Mixtures of Gaussians)
9.3 EMアルゴリズムのもう⼀つの解釈
9.4 ⼀般のアルゴリズム
3
構成
• クラスタリング問題としてK-meansアルゴリズムを紹介
• 混合ガウス分布を例にEMアルゴリズムを説明する。
• EMアルゴリズムの別の解釈を紹介
– K-meansアルゴリズムをEMアルゴリズムの⾮確率的極限として解釈
• EMアルゴリズムの⼀般的解釈
4
9.1 K-meansアルゴリズム
• K-meansアルゴリズム
– クラスタリングの⼿法
– 各クラスタのデータ中⼼とデータ点のユークリッド距離の和からクラスタの中⼼を更新
していき, データ点をクラスタリングしていく。
5
9.1 K-Meansアルゴリズム 〜アルゴリズムの数式化〜
• アルゴリズムの⽬的
– データ集合: 𝑥", 𝑥$, … , 𝑥& (𝑥&: 多次元ベクトルデータ)とするとき
– N個のデータ𝑥"	~	𝑥&をK個のグループに分類する
• ⽬的関数J
– 1対K符号化法を⽤いて割り当てを表現すると⽬的関数は下の式
– 𝜇+はプロトタイプと呼ばれるD次元のベクトル. クラスターの中⼼を表現.
– 𝑟-+はデータ点のクラスターへの割り当てを表す.
– 歪み尺度とも呼ばれ, 各データ点からそれらが割り当てられるベクトル𝜇+までの⼆乗距
離の総和を表現する。
• アルゴリズム概要
– 最初に𝜇+の初期値を選ぶ。
– 𝜇+を固定しつつ𝑟-+についてJを最⼩化する。(EMアルゴリズムのEステップ)
– 𝑟-+を固定しつつ𝑢+についてJを最⼩化する。(EMアルゴリズムのMステップ)
6
9.1 K-meansアルゴリズム 〜アルゴリズムの詳細(1)〜
• (1) 𝜇+を固定して𝑟-+を最適化
– 各項において, 𝑟-+はK個のうち1つだけが1, 残りは全て0なのでn番⽬のデータ𝑥-を𝜇+が
最も近いクラスに割り当てれば各項(𝑥-と𝜇+の距離)が最⼩になる。
7
9.1 K-meansアルゴリズム 〜アルゴリズムの詳細(2) 〜
• (2) 𝑟-+を固定して𝜇+を最適化
– ⽬的関数は
– Jを𝜇+に関する2次関数なので𝜇+に関して偏微分し0と置くことで最⼩化できる。
8
Jについて展開:
偏微分して整理:
偏微分の式=0
𝜇+についてまとめる
k番⽬のクラスターに割り当てられた
全てのデータ点の平均値と解釈できる
9.1 K-meansアルゴリズム 〜K-meansアルゴリズムの特徴〜
• K-meansアルゴリズムの特徴
– 各探索の繰り返しにおいて, 各データ点が1つのクラスターだけに割り当てられる
• = ハード割り当て
• データ点の割り当て
– ハード割り当て
• 各データ点を1つのクラスターだけに割り当てる
– ソフト割り当て
• データ点のクラスターへの割り当ての不明瞭さへの度合いを⽤いた曖昧性を含んだ割り当て
9
9.1 K-medoidsアルゴリズム 〜K-meansの派⽣モデル〜
• K-medoidsアルゴリズム
– K-means:
• データ点とプロトタイプベクトル間の⾮類似度: ⼆乗ユークリッド距離
– K-medoids:
• データ点とプロトタイプベクトル間の⾮類似度: ⼀般的な⾮類似度𝑣(𝑥, 𝑥1)
• ⽬的関数
• K-medoidsアルゴリズムの特徴
– ⼆乗ユークリッド距離が向かないカテゴリ変数がある場合に向かない.
– Eステップでの計算量はK-meansと同じO(KN)だが, Mステップでの計算量はΟ(𝑁+
$
)
10
9.1.1 画像分割と画像圧縮 〜K-meansの実⽤例〜
• 画像分割
– 任意のKに対して, 各画素ベクトルを割り当てられたクラスター中⼼𝜇+で与えられる
RGBの輝度の3つの組で置き換えることで画像の書き直し(画像分割ができる)
• 次ページの図9.3を参考に
• 画像圧縮
– K-meansアルゴリズムはN個のデータ点が割り当てられるクラスターのインデックスを
保存する形で画像圧縮に適⽤できる。
– 圧縮による情報量の差
• 元画像が{R, G, B}の各8ビットの値からなるN個の画素数を持つとき
• 圧縮しない場合の全ビット数: 24Nビット
• 圧縮する場合の全ビット数: 24K + Nlog$ 𝐾ビット
11
9.1.1 画像分類と画像圧縮 〜K-meansの実⽤例〜
12
9.2 混合ガウス分布
• 2章での混合ガウス分布の導⼊
– 単⼀のガウス分布よりも豊かな確率密度のモデルを提供することを⽬的とした。
• 混合ガウス分布
– 離散的な潜在変数を⽤いた混合ガウス分布が定式化できることを確認する。
13
9.2 混合ガウス分布 〜潜在変数を⽤いた定式化(1) 〜
• 混合ガウス分布
• 潜在変数による表現
– K次元の2値確率変数z: (1ofK符号化法)
– 0 ≤ 𝜋+ ≤ 1
• xの条件付き分布
– zが与えられた時のxの条件付き分布をガウス分布で与える.
14
9.2 混合ガウス分布 〜潜在変数を⽤いた定式化(2)〜
• 同時分布
• xの周辺分布
– zのすべての場合について和を取ると
– 𝑝 𝑥 = 𝜋" 𝑁(𝑥|𝜇", ∑ ) + ⋯ + 𝜋C 𝑁 𝑥	 𝜇C, ∑ )C" = ∑𝜋+ 𝑁(𝑥|𝜇+, ∑ )+
• 周辺分布𝑝(𝑥)ではなく, 同時分布𝑝 𝑥, 𝑧 を使って議論できることが確認でき
た。
15
9.2 混合ガウス分布 〜潜在変数を⽤いた定式化(3)〜
• 負担率(データ𝑥が与えられた元での𝑧+ = 1の確率)
• ∵ p zI = 1 = 𝜋+, 𝑝 𝑥 𝑧+ = 1 = 𝑁(𝑥|𝜇+, ∑ )+
• 混合要素𝑘がxの観測を説明する「度合い」
16
9.2.1 混合ガウス分布の最尤問題の課題
• 混合ガウス分布の最尤推定の特異性
– 対数尤度関数が無限⼤に発散する問題が特異性が常に存在する
– 混合モデルにおいて⼀つの混合要素が特定のデータ点に収束, 分散が0に近くにつれて
対数尤度を増加させる⽅向に進み, 過学習の原因となる.
– 10章のベイジアンアプローチを適⽤すれば解決できる.
• 混合ガウスモデルの最尤問題の識別不可能性
– K個の各混合要素が順番の⼊れ替えに対して同等にK個ある場合並び替えの通りはK!通りある.
– 任意の点についてK!-1個の等価な別の点が存在するので12章で連続潜在変数を議論するとき
に問題となる
– 良い密度モデルを⾒つける上では等価な点において同等に良い密度モデルとなるので, 問題は
ない.
17
9.2.1 混合ガウス分布の最尤推定
• 観測したデータ集合𝑋 = {𝑥", … , 𝑥&}に混合ガウス分布を当てはめる問題を考
える.
• 各データ点が独⽴に観測されると仮定すると,対数尤度関数は以下の式
• 最尤推定法では, この尤度が最⼤になるように確率密度関数のパラメータ
𝜋, 𝜇, ∑を求める.
– 混合ガウス分布の対数尤度は, 対数がガウス分布に直接作⽤するのではなく,ガウス分布
の和の対数になるので, 対数尤度の最⼤化を陽に解くことは難しい。
– EMアルゴリズムと呼ばれる効率的な繰り返し計算⼿法を利⽤する
18
9.2.1 混合ガウス分布のEMアルゴリズム
• 混合ガウス分布のEMアルゴリズム
– ⽬的
• 対数尤度を最⼤化したい
– アルゴリズムのモチベーション
• 負担率: 𝛾 𝑧-+ がわかればパラメータが決まる
• パラメータが決まれば負担率がわかる
• → パラメータ(𝝁 𝒌, ∑ )𝒌 を繰り返し固定して対数尤度最適化する
19
9.2.2 混合ガウス分布のEMアルゴリズム
• 対数尤度の𝜇+による偏微分は
• 対数尤度が最⼤となる𝜇+を求めるために, 偏微分を0とおいて両辺に
∑ をかけると+
– ただし
20
9.2.2 混合ガウス分布のEMアルゴリズム
• 同様に, 共分散⾏列∑ に+ 関する偏微分を0とおいて
• 最後に, 混合係数𝜋+に関して最⼤化する
• ただし という制約条件を満たさなければいけないので
ラグランジュ未定乗数法を利⽤して, 以下の指標物を最⼤にする 𝜋+ を求める.
• (9.20)式を𝜋+で偏微分して0と置くと,
• これを𝜋+についてとくと
• すなわち, k番⽬の要素に関する混合係数は, その要素の全データ点に対する
負担率の平均で与えられる.
21
負担率による
重み付き共分散⾏列
対数尤度
制約条件
9.2.2 混合ガウス分布のEMアルゴリズム 〜まとめ〜
• まとめると, 対数尤度を最⼤にする混合ガウス分布のパラメータは
• これらの式から負担率𝛾 𝑍-+ がわかればパラメータを求めることができるが,
負担率もパラメータに依存しているため⼀度に求めることができない。
• そこで負担率とパラメータを交互に繰り返し計算する。(EMアルゴリズム)
22
9.2.2 混合ガウス分布のためのEMアルゴリズム
• 混合ガウス分布のためのEMアルゴリズム
– 1. 平均𝜇+, 分散∑ ,+ 混合係数𝜋+を初期化する
– 2. Eステップ: 現在のパラメータを使って負担率を計算する.
– 3.Mステップ: 現在の負担率を使ってパラメータを更新する.
– 4. 収束性を確認し, 収束基準を満たしていない場合, 2に戻って繰り返し計算する。
23
ただし
9.3 EMアルゴリズムのもう⼀つの解釈
• EMアルゴリズムの⽬的
– 潜在変数を持つモデルについて最尤解(尤度が最⼤となる確率密度関数のパラメータ)を
求めること
• 𝑋: 観測データの集合
• 𝑍: 潜在変数データの集合
• 𝜃: 全ての確率密度関数のパラメータ組み
• 𝑝(𝑋, 𝑍|𝜃): パラメータ𝜃が与えられた元でのデータ組(X, Z)の尤度
– 対数尤度関数
• 完全集合と不完全集合
– Xの各観測に対して, 実際には⾒えない潜在変数Zの値がもらえるものと仮定するとき
– {X, Z}: 完全データ集合
– 実際の観測データX: 不完全
24
9.3 EMアルゴリズムのもう⼀つの解釈 〜抽象的なEMアルゴリズム表現(2) 〜
• 不完全データに対する対数尤度関数の最⼤化
– 実際には観測できない潜在変数Zの値が与えられた場合,
• {X, Z}: 完全データ集合,
• 𝑝(𝑋, 𝑍|𝜃): パラメータ𝜃が与えられた下でのデータ組(X, Z)の尤度
– 完全データの対数尤度ln	𝑝(𝑋, 𝑍|𝜃)の最⼤化は簡単にできると仮定する(最⼤にする𝜃が簡
単に求まる)
– しかし, 実際には不完全データXだけが与えられ、潜在変数Zについては事後確率
𝑝(𝑍|𝑋, 𝜃)だけがわかるので, 同時分布の対数尤度ln	𝑝(𝑋, 𝑍|𝜃)の代わりに, 𝑝(𝑍|𝑋, 𝜃)に関数
るln	𝑝(𝑍|𝑋, 𝜃)の期待値を考える。
25
9.3 EMアルゴリズムのもう⼀つの解釈
• 不完全データに対する対数尤度関数の最⼤化アルゴリズム
– Eステップ
• 1. 現在のパラメータ推定値𝜃TUVを使って, 潜在変数の⾃⼰確率𝑝(𝑍|𝑋, 𝜃TUV)を求める.
• 2. 完全データ集合に対する対数尤度ln	𝑝(𝑋, 𝑍	|𝜃)の期待値を求める.
– Mステップ
• 3. 𝑄(𝜃)を最⼤にするパラメータ𝜃を求める⇨𝜃-XY
– 𝑙𝑛𝑝(𝑋, 𝑍|	𝜃) の最⼤化を簡単に計算できると仮定したので, その線形和で与えられる𝑄 𝜃
の最⼤化も簡単に計算できる。
• 9.3章では混合ガウス分布, 混合ベルヌーイ分布, ベイズ線計回帰, RVMを通
してEMアルゴリズムが多様な分布に適応できることを⽰す.
26
9.3.1 混合ガウス分布再訪
• ⽬的
– 混合ガウス分布のEMアルゴリズムを不完全データに対する対数尤度最⼤化で説明する。
• 混合ガウス分布における完全データ集合の尤度
– 混合ガウス分布
– 観測変数と潜在変数の同時分布
– 完全データ集合に対する尤度
27
9.3.1 混合ガウス分布再訪(2)
• 潜在変数の事後確率
– 完全データ集合に対する対数尤度
– 潜在変数Zの事後確率
– この式はnについて積の形をしているので各𝑍-の事後確率は正規化定数も含めて
28
9.3.1 混合ガウス分布再訪(3)
• 潜在変数𝑍-+の期待値⇨負担率に⼀致
– 事後分布𝑝 𝑧- 𝑥-, 𝜇, ∑, 𝜋)	に関する𝑧-+の期待値は
– 𝑧-のすべての場合について和を取ると分⼦は𝑧-+ = 1の項だけ残るので
29
9.3.1 混合ガウス分布再訪(5)
• 混合ガウス分布のためのEMアルゴリズム
– 1. 平均𝜇I, 分散 ∑ , 混合係数+ 	𝜋+を初期化する
– 2. Eステップ: 現在のパラメータを使って負担率を計算する(潜在変数𝑍-+の
𝑝(𝑍-|𝑋-, 𝜇, ∑, 𝜋)に関する期待値)
– 3. Mステップ: 現在の負担率を使ってパラメータを更新する
• これらの更新式は, 完全データ集合対数尤度関数期待値はパラメータで偏微分して0と置くと
導出できる)
– 4. 収束基準を満たしていない場合, 2に戻って繰り返し計算する.
30
9.3.2 K-meansとの関連
• 混合ガウス分布のモデルにおいて, 各ガウス要素の共分散⾏列が𝜖𝐼で与えら
れる場合を考える.
• このとき, 負担率は
• 𝜖 → 0の極限を考えると, 分⺟は| 𝑥- − 𝜇` |が最⼩になるjに対して最も遠く0
に近づくため, 𝛾 𝑍-+ は| 𝑥- − 𝜇+ |が最⼩になるkに対して1に収束し, それ以
外に対しては0に収束する
• したがって, クラスへのハード割り当て(単⼀のガウス分布に各データを割
り当て)となり, K-meansクラスタリングと⼀致する(平均ベクトルの更新式
も⼀致とする)
– K-meansアルゴリズムをEMアルゴリズムの⾮確率的極限と解釈できる
31
9.3.3 混合ベルヌーイ分布
• 混合ベルヌーイ分布(潜在クラス分析)
– 混合ガウス分布: ガウス分布の線形和(連続値の分析)
– 混合ベルヌーイ分布: ベルヌーイの線形和(2値変数の分布)
• ベルヌーイ分布
– D個の2値変数からなるベクトル: 𝑥 = 𝑥", … , 𝑥a
b, 各変数は0/1のみとる
– ベルヌーイ分布のパラメータベクトル: 𝜇 = 𝜇", … , 𝜇a
b
– 𝜇が与えられているとき, 各変数𝑥cは独⽴である.(𝑝 𝑥 𝜇 が各変数の積で与えられるとき)
32
9.3.3 混合ベルヌーイ分布(2)
• 混合ベルヌーイ分布(潜在クラス分析)
– ベルヌーイの有限混合分布
– 混合分布の期待値と分散は
• 対数尤度関数
– 対数の中に和の形が現れ, 最尤解を陽の形で求められない
– →EMアルゴリズムで解く
33
9.3.3 混合ベルヌーイ分布(3)
• 潜在変数による表現
– K次元の2値確率変数𝑧 = (𝑧", … , 𝑧-), 𝑧は1ofK符号化法で表記
– zが与えられてた下でのxの条件付き分布は
– ただし, 潜在変数についての事前分布𝑝(𝑧|𝜋)は
– 観測変数と潜在変数の同時分布
34
9.3.3 混合ベルヌーイ分布(4)
• 完全データ集合に対する対数尤度関数
– 従って完全データ集合に対する対数尤度関数は、
– 潜在変数の事後確率と負担率はガウス混合分布と同様に導出して,
35
9.3.3 混合ベルヌーイ分布(5)
• 潜在変数の事後確率に関する完全データ集合対数尤度関数の期待値
• 対数尤度の最⼤化
– (9.55)の式を𝜇+に関して偏微分して0と置いて整理すると
– 同様に𝜋+に関しても∑ 𝜋+ = 1+ を制約としたラグランジュ未定乗数法を⽤いて𝜋+に関す
る偏微分を0と整理すると
36
(9.55)
9.3.4 ベイズ線形回帰に関するEMアルゴリズム
• ベイズ線形回帰に関するエビデンス近似
– 3.5.2節より超パラメータ𝛼と𝛽の再計算法
• エビデンスを計算後, 得られた表現式の微分を0とするもの.
– パラメータベクトル𝑤を潜在変数とみたEMアルゴリズム
• Eステップ
– パラメータ𝛼と𝛽の現在の値に基づいて𝑤の事後分布を計算し, それを使っ
て期待完全データ対数尤度を求める.
• Mステップ
– 期待完全データ対数尤度から𝛼と𝛽の最⼤化.
37
9.3.4 ベイズ線形回帰に関するEMアルゴリズム
• Eステップ
– 𝛼と𝛽の現在の値に基づいてwの事後分布と期待完全データ対数尤度を計算する
• wの事後分布は
• 完全データ対数尤度は
• Mステップ
– wの事後分布について期待値をとって𝛼に関する微分を0とおくと,
– 𝛽についても同様の式が得られ, EMアルゴリズムによってベイズ線形回帰に関するエビ
デンス近似のパラメータを求められることを確認した。
38
9.4 ⼀般のEMアルゴリズム
• 9.4章のゴール
– EMアルゴリズムが確かに尤度関数を極⼤化することを証明する
– 10章の変分推論の枠組みの基礎にもなる証明
• EMアルゴリズムの⽬的
– 観測されない潜在変数があるときの尤度関数最⼤化
– これを直接最適化することは難しいが, 完全データ対数尤度関数𝑙𝑛𝑝(𝑋, 𝑍|𝜃)の最適化は
容易であると仮定する。
• 尤度関数の分解
– ただし
39
9.4 ⼀般のEMアルゴリズム
• 尤度関数分解の導出
• よって
40
9.4 ⼀般のEMアルゴリズム
• 𝐾𝐿(𝑞||𝑝)は𝑞(𝑍)と𝑝 𝑍 𝑋, 𝜃 間の𝐾𝐿ダイバージェンス
– 𝐾𝐿(𝑞||𝑝) ≥ 0
• 従って, 𝐿 𝑞, 𝜃 ≤ 𝑝(𝑍|𝑋, 𝜃)のときのみ
– すなわち𝐿 𝑞, 𝜃 は𝑙𝑛𝑝(𝑋|𝜃)の下界をなす
41
9.4 ⼀般のEMアルゴリズム
• EMアルゴリズム
– Eステップ
• 現在のパラメータ𝜃TUVを固定して𝑞(𝑍)について𝐿(𝑞, 𝜃)を最⼤化する.
• 下界を最⼤化するには𝐾𝐿(𝑞||𝑝)=0とすれば良い
• すなわち, 𝑞 𝑍 = 𝑝 𝑍	 𝑋, 𝜃TUV)となる
– Mステップ
• 𝑞(𝑍)を固定して𝐿(𝑞, 𝜃)を𝜃について最⼤化し, 𝜃-XYを得る
• 𝑞(𝑍)は固定しているのでパラメータは𝜃TUVのままだが, 𝑝 𝑍 𝑋, 𝜃 のパラメータは𝜃-XYに更新す
る
• 対数尤度の期待値𝑄(𝜃, 𝜃TUV)が現れる.
– Mステップで⾏った𝐿(𝑞, 𝜃)の最⼤化= 𝑄(𝜃, 𝜃TUV)の最⼤化
42
9.4 まとめ
• 混合ガウス分布に代表される潜在変数のモデルを説明した。
• 潜在変数を⽤いたモデルの最尤推定を⾏うための効率的な⼿法がEMアルゴ
リズムである。
• EMアルゴリズムは, 混合ガウス分布だけでなく, 様々なモデルに適⽤できる
汎⽤的な⼿法である.
• Eステップ
– パラメータを固定し, 事後分布p(Z|X)を求める
• Mステップ
– 事後分布を固定し, 対数尤度関数の期待値を最⼤化するようにパラメータを決定
43
参考資料
• パターン認識と機械学習 下
– C.M. ビショップ (著), 元⽥ 浩 (監訳), 栗⽥ 多喜夫 (監訳), 樋⼝ 知之 (監訳), 松本 裕治 (監訳), 村⽥ 昇 (監訳)
• 混合モデルとEMアルゴリズム (yamanaka, SlideShare)
– https://www.slideshare.net/takao-y/20131113-em
• PRML 第9章, 「混合モデルとEM」(菅原, SlideShare)
– https://www.slideshare.net/KeisukeSugawara/prml-em
44

More Related Content

What's hot

PRML輪読#5
PRML輪読#5PRML輪読#5
PRML輪読#5matsuolab
 
PRML輪読#14
PRML輪読#14PRML輪読#14
PRML輪読#14matsuolab
 
PRML輪読#4
PRML輪読#4PRML輪読#4
PRML輪読#4matsuolab
 
PRML輪読#11
PRML輪読#11PRML輪読#11
PRML輪読#11matsuolab
 
PRML読み会第一章
PRML読み会第一章PRML読み会第一章
PRML読み会第一章Takushi Miki
 
PRML第6章「カーネル法」
PRML第6章「カーネル法」PRML第6章「カーネル法」
PRML第6章「カーネル法」Keisuke Sugawara
 
PRML 上 2.3.6 ~ 2.5.2
PRML 上 2.3.6 ~ 2.5.2PRML 上 2.3.6 ~ 2.5.2
PRML 上 2.3.6 ~ 2.5.2禎晃 山崎
 
PRML輪読#12
PRML輪読#12PRML輪読#12
PRML輪読#12matsuolab
 
ベイズ統計学の概論的紹介
ベイズ統計学の概論的紹介ベイズ統計学の概論的紹介
ベイズ統計学の概論的紹介Naoki Hayashi
 
Prml3.5 エビデンス近似〜
Prml3.5 エビデンス近似〜Prml3.5 エビデンス近似〜
Prml3.5 エビデンス近似〜Yuki Matsubara
 
2013.12.26 prml勉強会 線形回帰モデル3.2~3.4
2013.12.26 prml勉強会 線形回帰モデル3.2~3.42013.12.26 prml勉強会 線形回帰モデル3.2~3.4
2013.12.26 prml勉強会 線形回帰モデル3.2~3.4Takeshi Sakaki
 
[DL輪読会]Deep Learning 第17章 モンテカルロ法
[DL輪読会]Deep Learning 第17章 モンテカルロ法[DL輪読会]Deep Learning 第17章 モンテカルロ法
[DL輪読会]Deep Learning 第17章 モンテカルロ法Deep Learning JP
 
PRML 1.6 情報理論
PRML 1.6 情報理論PRML 1.6 情報理論
PRML 1.6 情報理論sleepy_yoshi
 
PRML上巻勉強会 at 東京大学 資料 第1章前半
PRML上巻勉強会 at 東京大学 資料 第1章前半PRML上巻勉強会 at 東京大学 資料 第1章前半
PRML上巻勉強会 at 東京大学 資料 第1章前半Ohsawa Goodfellow
 
PRML輪読#1
PRML輪読#1PRML輪読#1
PRML輪読#1matsuolab
 
PRML 2.3 ガウス分布
PRML 2.3 ガウス分布PRML 2.3 ガウス分布
PRML 2.3 ガウス分布KokiTakamiya
 

What's hot (20)

PRML11章
PRML11章PRML11章
PRML11章
 
PRML輪読#5
PRML輪読#5PRML輪読#5
PRML輪読#5
 
PRML輪読#14
PRML輪読#14PRML輪読#14
PRML輪読#14
 
PRML輪読#4
PRML輪読#4PRML輪読#4
PRML輪読#4
 
PRML輪読#11
PRML輪読#11PRML輪読#11
PRML輪読#11
 
PRML読み会第一章
PRML読み会第一章PRML読み会第一章
PRML読み会第一章
 
PRML Chapter 14
PRML Chapter 14PRML Chapter 14
PRML Chapter 14
 
PRML第6章「カーネル法」
PRML第6章「カーネル法」PRML第6章「カーネル法」
PRML第6章「カーネル法」
 
PRML 上 2.3.6 ~ 2.5.2
PRML 上 2.3.6 ~ 2.5.2PRML 上 2.3.6 ~ 2.5.2
PRML 上 2.3.6 ~ 2.5.2
 
PRML輪読#12
PRML輪読#12PRML輪読#12
PRML輪読#12
 
ベイズ統計学の概論的紹介
ベイズ統計学の概論的紹介ベイズ統計学の概論的紹介
ベイズ統計学の概論的紹介
 
Prml3.5 エビデンス近似〜
Prml3.5 エビデンス近似〜Prml3.5 エビデンス近似〜
Prml3.5 エビデンス近似〜
 
PRML 6.4-6.5
PRML 6.4-6.5PRML 6.4-6.5
PRML 6.4-6.5
 
2013.12.26 prml勉強会 線形回帰モデル3.2~3.4
2013.12.26 prml勉強会 線形回帰モデル3.2~3.42013.12.26 prml勉強会 線形回帰モデル3.2~3.4
2013.12.26 prml勉強会 線形回帰モデル3.2~3.4
 
[DL輪読会]Deep Learning 第17章 モンテカルロ法
[DL輪読会]Deep Learning 第17章 モンテカルロ法[DL輪読会]Deep Learning 第17章 モンテカルロ法
[DL輪読会]Deep Learning 第17章 モンテカルロ法
 
PRML 1.6 情報理論
PRML 1.6 情報理論PRML 1.6 情報理論
PRML 1.6 情報理論
 
Prml 10 1
Prml 10 1Prml 10 1
Prml 10 1
 
PRML上巻勉強会 at 東京大学 資料 第1章前半
PRML上巻勉強会 at 東京大学 資料 第1章前半PRML上巻勉強会 at 東京大学 資料 第1章前半
PRML上巻勉強会 at 東京大学 資料 第1章前半
 
PRML輪読#1
PRML輪読#1PRML輪読#1
PRML輪読#1
 
PRML 2.3 ガウス分布
PRML 2.3 ガウス分布PRML 2.3 ガウス分布
PRML 2.3 ガウス分布
 

Similar to PRML輪読#9

PRML chap.10 latter half
PRML chap.10 latter halfPRML chap.10 latter half
PRML chap.10 latter halfNarihira Takuya
 
混合モデルとEMアルゴリズム(PRML第9章)
混合モデルとEMアルゴリズム(PRML第9章)混合モデルとEMアルゴリズム(PRML第9章)
混合モデルとEMアルゴリズム(PRML第9章)Takao Yamanaka
 
PRML復々習レーン#3 前回までのあらすじ
PRML復々習レーン#3 前回までのあらすじPRML復々習レーン#3 前回までのあらすじ
PRML復々習レーン#3 前回までのあらすじsleepy_yoshi
 
Bishop prml 9.3_wk77_100408-1504
Bishop prml 9.3_wk77_100408-1504Bishop prml 9.3_wk77_100408-1504
Bishop prml 9.3_wk77_100408-1504Wataru Kishimoto
 
PRML2.3.8~2.5 Slides in charge
PRML2.3.8~2.5 Slides in chargePRML2.3.8~2.5 Slides in charge
PRML2.3.8~2.5 Slides in chargeJunpei Matsuda
 
研究室内PRML勉強会 11章2-4節
研究室内PRML勉強会 11章2-4節研究室内PRML勉強会 11章2-4節
研究室内PRML勉強会 11章2-4節Koji Matsuda
 
幾何を使った統計のはなし
幾何を使った統計のはなし幾何を使った統計のはなし
幾何を使った統計のはなしToru Imai
 
続・わかりやすいパターン認識 9章
続・わかりやすいパターン認識 9章続・わかりやすいパターン認識 9章
続・わかりやすいパターン認識 9章hakusai
 
[DL輪読会]Deep Learning for Sampling from Arbitrary Probability Distributions
[DL輪読会]Deep Learning for Sampling from Arbitrary Probability Distributions[DL輪読会]Deep Learning for Sampling from Arbitrary Probability Distributions
[DL輪読会]Deep Learning for Sampling from Arbitrary Probability DistributionsDeep Learning JP
 
MLaPP 4章 「ガウシアンモデル」
MLaPP 4章 「ガウシアンモデル」MLaPP 4章 「ガウシアンモデル」
MLaPP 4章 「ガウシアンモデル」Shinichi Tamura
 
Bishop prml 10.2.2-10.2.5_wk77_100412-0059
Bishop prml 10.2.2-10.2.5_wk77_100412-0059Bishop prml 10.2.2-10.2.5_wk77_100412-0059
Bishop prml 10.2.2-10.2.5_wk77_100412-0059Wataru Kishimoto
 
PRML復々習レーン#15 前回までのあらすじ
PRML復々習レーン#15 前回までのあらすじPRML復々習レーン#15 前回までのあらすじ
PRML復々習レーン#15 前回までのあらすじsleepy_yoshi
 
Stanの紹介と応用事例(age heapingの統計モデル)
Stanの紹介と応用事例(age heapingの統計モデル)Stanの紹介と応用事例(age heapingの統計モデル)
Stanの紹介と応用事例(age heapingの統計モデル). .
 

Similar to PRML輪読#9 (16)

PRML chap.10 latter half
PRML chap.10 latter halfPRML chap.10 latter half
PRML chap.10 latter half
 
混合モデルとEMアルゴリズム(PRML第9章)
混合モデルとEMアルゴリズム(PRML第9章)混合モデルとEMアルゴリズム(PRML第9章)
混合モデルとEMアルゴリズム(PRML第9章)
 
PRML復々習レーン#3 前回までのあらすじ
PRML復々習レーン#3 前回までのあらすじPRML復々習レーン#3 前回までのあらすじ
PRML復々習レーン#3 前回までのあらすじ
 
Bishop prml 9.3_wk77_100408-1504
Bishop prml 9.3_wk77_100408-1504Bishop prml 9.3_wk77_100408-1504
Bishop prml 9.3_wk77_100408-1504
 
PRML2.3.8~2.5 Slides in charge
PRML2.3.8~2.5 Slides in chargePRML2.3.8~2.5 Slides in charge
PRML2.3.8~2.5 Slides in charge
 
研究室内PRML勉強会 11章2-4節
研究室内PRML勉強会 11章2-4節研究室内PRML勉強会 11章2-4節
研究室内PRML勉強会 11章2-4節
 
幾何を使った統計のはなし
幾何を使った統計のはなし幾何を使った統計のはなし
幾何を使った統計のはなし
 
続・わかりやすいパターン認識 9章
続・わかりやすいパターン認識 9章続・わかりやすいパターン認識 9章
続・わかりやすいパターン認識 9章
 
[DL輪読会]Deep Learning for Sampling from Arbitrary Probability Distributions
[DL輪読会]Deep Learning for Sampling from Arbitrary Probability Distributions[DL輪読会]Deep Learning for Sampling from Arbitrary Probability Distributions
[DL輪読会]Deep Learning for Sampling from Arbitrary Probability Distributions
 
MLaPP 4章 「ガウシアンモデル」
MLaPP 4章 「ガウシアンモデル」MLaPP 4章 「ガウシアンモデル」
MLaPP 4章 「ガウシアンモデル」
 
Bishop prml 10.2.2-10.2.5_wk77_100412-0059
Bishop prml 10.2.2-10.2.5_wk77_100412-0059Bishop prml 10.2.2-10.2.5_wk77_100412-0059
Bishop prml 10.2.2-10.2.5_wk77_100412-0059
 
PRML復々習レーン#15 前回までのあらすじ
PRML復々習レーン#15 前回までのあらすじPRML復々習レーン#15 前回までのあらすじ
PRML復々習レーン#15 前回までのあらすじ
 
Stanの紹介と応用事例(age heapingの統計モデル)
Stanの紹介と応用事例(age heapingの統計モデル)Stanの紹介と応用事例(age heapingの統計モデル)
Stanの紹介と応用事例(age heapingの統計モデル)
 
PRML_titech 2.3.1 - 2.3.7
PRML_titech 2.3.1 - 2.3.7PRML_titech 2.3.1 - 2.3.7
PRML_titech 2.3.1 - 2.3.7
 
PRML10-draft1002
PRML10-draft1002PRML10-draft1002
PRML10-draft1002
 
prml_titech_9.0-9.2
prml_titech_9.0-9.2prml_titech_9.0-9.2
prml_titech_9.0-9.2
 

Recently uploaded

Establishment and operation of medical corporations.pdf
Establishment and operation of medical corporations.pdfEstablishment and operation of medical corporations.pdf
Establishment and operation of medical corporations.pdfoganekyokoi
 
My Inspire High Award 2024    「孤独は敵なのか?」
My Inspire High Award 2024    「孤独は敵なのか?」My Inspire High Award 2024    「孤独は敵なのか?」
My Inspire High Award 2024    「孤独は敵なのか?」inspirehighstaff03
 
My Inspire High Award 2024 「AIと仲良くなるには?」
My Inspire High Award 2024 「AIと仲良くなるには?」My Inspire High Award 2024 「AIと仲良くなるには?」
My Inspire High Award 2024 「AIと仲良くなるには?」inspirehighstaff03
 
My Inspire High Award 2024「他者と自分、対立を防ぐには?」
My Inspire High Award 2024「他者と自分、対立を防ぐには?」My Inspire High Award 2024「他者と自分、対立を防ぐには?」
My Inspire High Award 2024「他者と自分、対立を防ぐには?」inspirehighstaff03
 
【ゲーム理論入門】ChatGPTが作成した ゲーム理論の問題を解く #3 Slide
【ゲーム理論入門】ChatGPTが作成した ゲーム理論の問題を解く #3 Slide【ゲーム理論入門】ChatGPTが作成した ゲーム理論の問題を解く #3 Slide
【ゲーム理論入門】ChatGPTが作成した ゲーム理論の問題を解く #3 Slidessusere0a682
 
My Inspire High Award 2024「なぜ人は他人と違うところがあってもそれをなかなか誇れないのか?」
My Inspire High Award 2024「なぜ人は他人と違うところがあってもそれをなかなか誇れないのか?」My Inspire High Award 2024「なぜ人は他人と違うところがあってもそれをなかなか誇れないのか?」
My Inspire High Award 2024「なぜ人は他人と違うところがあってもそれをなかなか誇れないのか?」inspirehighstaff03
 
What I did before opening my business..pdf
What I did before opening my business..pdfWhat I did before opening my business..pdf
What I did before opening my business..pdfoganekyokoi
 
My Inspire High Award 2024「世の中の流行はどのようにして生まれるのか」
My Inspire High Award 2024「世の中の流行はどのようにして生まれるのか」My Inspire High Award 2024「世の中の流行はどのようにして生まれるのか」
My Inspire High Award 2024「世の中の流行はどのようにして生まれるのか」inspirehighstaff03
 
My Inspire High Award 2024「Yakushima Islandってなんか変じゃない?」.pdf
My Inspire High Award 2024「Yakushima Islandってなんか変じゃない?」.pdfMy Inspire High Award 2024「Yakushima Islandってなんか変じゃない?」.pdf
My Inspire High Award 2024「Yakushima Islandってなんか変じゃない?」.pdfinspirehighstaff03
 
My Inspire High Award 2024「なぜ、好きなことにいつかは飽きるの」
My Inspire High Award 2024「なぜ、好きなことにいつかは飽きるの」My Inspire High Award 2024「なぜ、好きなことにいつかは飽きるの」
My Inspire High Award 2024「なぜ、好きなことにいつかは飽きるの」inspirehighstaff03
 
My Inspire High Award 2024「老いることは不幸なこと?」
My Inspire High Award 2024「老いることは不幸なこと?」My Inspire High Award 2024「老いることは不幸なこと?」
My Inspire High Award 2024「老いることは不幸なこと?」inspirehighstaff03
 
My Inspire High Award 2024  「正義って存在するの?」
My Inspire High Award 2024  「正義って存在するの?」My Inspire High Award 2024  「正義って存在するの?」
My Inspire High Award 2024  「正義って存在するの?」inspirehighstaff03
 
My Inspire High Award 2024「なぜ議会への関心が低いのか?」
My Inspire High Award 2024「なぜ議会への関心が低いのか?」My Inspire High Award 2024「なぜ議会への関心が低いのか?」
My Inspire High Award 2024「なぜ議会への関心が低いのか?」inspirehighstaff03
 
My Inspire High Award 2024「スーパーマーケットで回収されたキャベツ外葉は廃棄されているの?」
My Inspire High Award 2024「スーパーマーケットで回収されたキャベツ外葉は廃棄されているの?」My Inspire High Award 2024「スーパーマーケットで回収されたキャベツ外葉は廃棄されているの?」
My Inspire High Award 2024「スーパーマーケットで回収されたキャベツ外葉は廃棄されているの?」inspirehighstaff03
 
My Inspire High Award2024「外国人が日本のテーブルマナーに驚く理由は?」
My Inspire High Award2024「外国人が日本のテーブルマナーに驚く理由は?」My Inspire High Award2024「外国人が日本のテーブルマナーに驚く理由は?」
My Inspire High Award2024「外国人が日本のテーブルマナーに驚く理由は?」inspirehighstaff03
 
International Politics I - Lecture 1
International Politics I - Lecture 1International Politics I - Lecture 1
International Politics I - Lecture 1Toru Oga
 
Divorce agreements in administrative work.pdf
Divorce agreements in administrative work.pdfDivorce agreements in administrative work.pdf
Divorce agreements in administrative work.pdfoganekyokoi
 
My Inspire High Award 2024      「家族とは何か」
My Inspire High Award 2024      「家族とは何か」My Inspire High Award 2024      「家族とは何か」
My Inspire High Award 2024      「家族とは何か」inspirehighstaff03
 
3年前期 交通基盤工学 第一回 ガイダンス 交通基盤工学の概要  パワーポイント
3年前期 交通基盤工学 第一回 ガイダンス 交通基盤工学の概要  パワーポイント3年前期 交通基盤工学 第一回 ガイダンス 交通基盤工学の概要  パワーポイント
3年前期 交通基盤工学 第一回 ガイダンス 交通基盤工学の概要  パワーポイントshu1108hina1020
 
My Inspire High Award 2024 「本当の『悪者』って何?」
My Inspire High Award 2024 「本当の『悪者』って何?」My Inspire High Award 2024 「本当の『悪者』って何?」
My Inspire High Award 2024 「本当の『悪者』って何?」inspirehighstaff03
 

Recently uploaded (20)

Establishment and operation of medical corporations.pdf
Establishment and operation of medical corporations.pdfEstablishment and operation of medical corporations.pdf
Establishment and operation of medical corporations.pdf
 
My Inspire High Award 2024    「孤独は敵なのか?」
My Inspire High Award 2024    「孤独は敵なのか?」My Inspire High Award 2024    「孤独は敵なのか?」
My Inspire High Award 2024    「孤独は敵なのか?」
 
My Inspire High Award 2024 「AIと仲良くなるには?」
My Inspire High Award 2024 「AIと仲良くなるには?」My Inspire High Award 2024 「AIと仲良くなるには?」
My Inspire High Award 2024 「AIと仲良くなるには?」
 
My Inspire High Award 2024「他者と自分、対立を防ぐには?」
My Inspire High Award 2024「他者と自分、対立を防ぐには?」My Inspire High Award 2024「他者と自分、対立を防ぐには?」
My Inspire High Award 2024「他者と自分、対立を防ぐには?」
 
【ゲーム理論入門】ChatGPTが作成した ゲーム理論の問題を解く #3 Slide
【ゲーム理論入門】ChatGPTが作成した ゲーム理論の問題を解く #3 Slide【ゲーム理論入門】ChatGPTが作成した ゲーム理論の問題を解く #3 Slide
【ゲーム理論入門】ChatGPTが作成した ゲーム理論の問題を解く #3 Slide
 
My Inspire High Award 2024「なぜ人は他人と違うところがあってもそれをなかなか誇れないのか?」
My Inspire High Award 2024「なぜ人は他人と違うところがあってもそれをなかなか誇れないのか?」My Inspire High Award 2024「なぜ人は他人と違うところがあってもそれをなかなか誇れないのか?」
My Inspire High Award 2024「なぜ人は他人と違うところがあってもそれをなかなか誇れないのか?」
 
What I did before opening my business..pdf
What I did before opening my business..pdfWhat I did before opening my business..pdf
What I did before opening my business..pdf
 
My Inspire High Award 2024「世の中の流行はどのようにして生まれるのか」
My Inspire High Award 2024「世の中の流行はどのようにして生まれるのか」My Inspire High Award 2024「世の中の流行はどのようにして生まれるのか」
My Inspire High Award 2024「世の中の流行はどのようにして生まれるのか」
 
My Inspire High Award 2024「Yakushima Islandってなんか変じゃない?」.pdf
My Inspire High Award 2024「Yakushima Islandってなんか変じゃない?」.pdfMy Inspire High Award 2024「Yakushima Islandってなんか変じゃない?」.pdf
My Inspire High Award 2024「Yakushima Islandってなんか変じゃない?」.pdf
 
My Inspire High Award 2024「なぜ、好きなことにいつかは飽きるの」
My Inspire High Award 2024「なぜ、好きなことにいつかは飽きるの」My Inspire High Award 2024「なぜ、好きなことにいつかは飽きるの」
My Inspire High Award 2024「なぜ、好きなことにいつかは飽きるの」
 
My Inspire High Award 2024「老いることは不幸なこと?」
My Inspire High Award 2024「老いることは不幸なこと?」My Inspire High Award 2024「老いることは不幸なこと?」
My Inspire High Award 2024「老いることは不幸なこと?」
 
My Inspire High Award 2024  「正義って存在するの?」
My Inspire High Award 2024  「正義って存在するの?」My Inspire High Award 2024  「正義って存在するの?」
My Inspire High Award 2024  「正義って存在するの?」
 
My Inspire High Award 2024「なぜ議会への関心が低いのか?」
My Inspire High Award 2024「なぜ議会への関心が低いのか?」My Inspire High Award 2024「なぜ議会への関心が低いのか?」
My Inspire High Award 2024「なぜ議会への関心が低いのか?」
 
My Inspire High Award 2024「スーパーマーケットで回収されたキャベツ外葉は廃棄されているの?」
My Inspire High Award 2024「スーパーマーケットで回収されたキャベツ外葉は廃棄されているの?」My Inspire High Award 2024「スーパーマーケットで回収されたキャベツ外葉は廃棄されているの?」
My Inspire High Award 2024「スーパーマーケットで回収されたキャベツ外葉は廃棄されているの?」
 
My Inspire High Award2024「外国人が日本のテーブルマナーに驚く理由は?」
My Inspire High Award2024「外国人が日本のテーブルマナーに驚く理由は?」My Inspire High Award2024「外国人が日本のテーブルマナーに驚く理由は?」
My Inspire High Award2024「外国人が日本のテーブルマナーに驚く理由は?」
 
International Politics I - Lecture 1
International Politics I - Lecture 1International Politics I - Lecture 1
International Politics I - Lecture 1
 
Divorce agreements in administrative work.pdf
Divorce agreements in administrative work.pdfDivorce agreements in administrative work.pdf
Divorce agreements in administrative work.pdf
 
My Inspire High Award 2024      「家族とは何か」
My Inspire High Award 2024      「家族とは何か」My Inspire High Award 2024      「家族とは何か」
My Inspire High Award 2024      「家族とは何か」
 
3年前期 交通基盤工学 第一回 ガイダンス 交通基盤工学の概要  パワーポイント
3年前期 交通基盤工学 第一回 ガイダンス 交通基盤工学の概要  パワーポイント3年前期 交通基盤工学 第一回 ガイダンス 交通基盤工学の概要  パワーポイント
3年前期 交通基盤工学 第一回 ガイダンス 交通基盤工学の概要  パワーポイント
 
My Inspire High Award 2024 「本当の『悪者』って何?」
My Inspire High Award 2024 「本当の『悪者』って何?」My Inspire High Award 2024 「本当の『悪者』って何?」
My Inspire High Award 2024 「本当の『悪者』って何?」
 

PRML輪読#9

  • 2. 概要 • 背景 – 観測変数と潜在変数の同時分布を定義すれば周辺化によって観測変数だけの分布が得ら れる。 – ⽐較的複雑な観測変数の周辺分布をより扱いやすい観測変数と潜在変数の同時分布に よって表すことができる。 – このように, 潜在変数の導⼊によって複雑な分布をより単純な分布から構成できる。 • EMアルゴリズム – 潜在変数モデルで最尤推定値を求める最適化⼿法の⼀つ。 – EMアルゴリズムは混合ガウス分布だけでなく, 様々なモデルに適⽤できる汎⽤的な⼿法 である。 2
  • 3. ⽬次 9.1 K-meansクラスタリング 9.2 混合ガウス分布 (Mixtures of Gaussians) 9.3 EMアルゴリズムのもう⼀つの解釈 9.4 ⼀般のアルゴリズム 3
  • 4. 構成 • クラスタリング問題としてK-meansアルゴリズムを紹介 • 混合ガウス分布を例にEMアルゴリズムを説明する。 • EMアルゴリズムの別の解釈を紹介 – K-meansアルゴリズムをEMアルゴリズムの⾮確率的極限として解釈 • EMアルゴリズムの⼀般的解釈 4
  • 5. 9.1 K-meansアルゴリズム • K-meansアルゴリズム – クラスタリングの⼿法 – 各クラスタのデータ中⼼とデータ点のユークリッド距離の和からクラスタの中⼼を更新 していき, データ点をクラスタリングしていく。 5
  • 6. 9.1 K-Meansアルゴリズム 〜アルゴリズムの数式化〜 • アルゴリズムの⽬的 – データ集合: 𝑥", 𝑥$, … , 𝑥& (𝑥&: 多次元ベクトルデータ)とするとき – N個のデータ𝑥" ~ 𝑥&をK個のグループに分類する • ⽬的関数J – 1対K符号化法を⽤いて割り当てを表現すると⽬的関数は下の式 – 𝜇+はプロトタイプと呼ばれるD次元のベクトル. クラスターの中⼼を表現. – 𝑟-+はデータ点のクラスターへの割り当てを表す. – 歪み尺度とも呼ばれ, 各データ点からそれらが割り当てられるベクトル𝜇+までの⼆乗距 離の総和を表現する。 • アルゴリズム概要 – 最初に𝜇+の初期値を選ぶ。 – 𝜇+を固定しつつ𝑟-+についてJを最⼩化する。(EMアルゴリズムのEステップ) – 𝑟-+を固定しつつ𝑢+についてJを最⼩化する。(EMアルゴリズムのMステップ) 6
  • 7. 9.1 K-meansアルゴリズム 〜アルゴリズムの詳細(1)〜 • (1) 𝜇+を固定して𝑟-+を最適化 – 各項において, 𝑟-+はK個のうち1つだけが1, 残りは全て0なのでn番⽬のデータ𝑥-を𝜇+が 最も近いクラスに割り当てれば各項(𝑥-と𝜇+の距離)が最⼩になる。 7
  • 8. 9.1 K-meansアルゴリズム 〜アルゴリズムの詳細(2) 〜 • (2) 𝑟-+を固定して𝜇+を最適化 – ⽬的関数は – Jを𝜇+に関する2次関数なので𝜇+に関して偏微分し0と置くことで最⼩化できる。 8 Jについて展開: 偏微分して整理: 偏微分の式=0 𝜇+についてまとめる k番⽬のクラスターに割り当てられた 全てのデータ点の平均値と解釈できる
  • 9. 9.1 K-meansアルゴリズム 〜K-meansアルゴリズムの特徴〜 • K-meansアルゴリズムの特徴 – 各探索の繰り返しにおいて, 各データ点が1つのクラスターだけに割り当てられる • = ハード割り当て • データ点の割り当て – ハード割り当て • 各データ点を1つのクラスターだけに割り当てる – ソフト割り当て • データ点のクラスターへの割り当ての不明瞭さへの度合いを⽤いた曖昧性を含んだ割り当て 9
  • 10. 9.1 K-medoidsアルゴリズム 〜K-meansの派⽣モデル〜 • K-medoidsアルゴリズム – K-means: • データ点とプロトタイプベクトル間の⾮類似度: ⼆乗ユークリッド距離 – K-medoids: • データ点とプロトタイプベクトル間の⾮類似度: ⼀般的な⾮類似度𝑣(𝑥, 𝑥1) • ⽬的関数 • K-medoidsアルゴリズムの特徴 – ⼆乗ユークリッド距離が向かないカテゴリ変数がある場合に向かない. – Eステップでの計算量はK-meansと同じO(KN)だが, Mステップでの計算量はΟ(𝑁+ $ ) 10
  • 11. 9.1.1 画像分割と画像圧縮 〜K-meansの実⽤例〜 • 画像分割 – 任意のKに対して, 各画素ベクトルを割り当てられたクラスター中⼼𝜇+で与えられる RGBの輝度の3つの組で置き換えることで画像の書き直し(画像分割ができる) • 次ページの図9.3を参考に • 画像圧縮 – K-meansアルゴリズムはN個のデータ点が割り当てられるクラスターのインデックスを 保存する形で画像圧縮に適⽤できる。 – 圧縮による情報量の差 • 元画像が{R, G, B}の各8ビットの値からなるN個の画素数を持つとき • 圧縮しない場合の全ビット数: 24Nビット • 圧縮する場合の全ビット数: 24K + Nlog$ 𝐾ビット 11
  • 13. 9.2 混合ガウス分布 • 2章での混合ガウス分布の導⼊ – 単⼀のガウス分布よりも豊かな確率密度のモデルを提供することを⽬的とした。 • 混合ガウス分布 – 離散的な潜在変数を⽤いた混合ガウス分布が定式化できることを確認する。 13
  • 14. 9.2 混合ガウス分布 〜潜在変数を⽤いた定式化(1) 〜 • 混合ガウス分布 • 潜在変数による表現 – K次元の2値確率変数z: (1ofK符号化法) – 0 ≤ 𝜋+ ≤ 1 • xの条件付き分布 – zが与えられた時のxの条件付き分布をガウス分布で与える. 14
  • 15. 9.2 混合ガウス分布 〜潜在変数を⽤いた定式化(2)〜 • 同時分布 • xの周辺分布 – zのすべての場合について和を取ると – 𝑝 𝑥 = 𝜋" 𝑁(𝑥|𝜇", ∑ ) + ⋯ + 𝜋C 𝑁 𝑥 𝜇C, ∑ )C" = ∑𝜋+ 𝑁(𝑥|𝜇+, ∑ )+ • 周辺分布𝑝(𝑥)ではなく, 同時分布𝑝 𝑥, 𝑧 を使って議論できることが確認でき た。 15
  • 16. 9.2 混合ガウス分布 〜潜在変数を⽤いた定式化(3)〜 • 負担率(データ𝑥が与えられた元での𝑧+ = 1の確率) • ∵ p zI = 1 = 𝜋+, 𝑝 𝑥 𝑧+ = 1 = 𝑁(𝑥|𝜇+, ∑ )+ • 混合要素𝑘がxの観測を説明する「度合い」 16
  • 17. 9.2.1 混合ガウス分布の最尤問題の課題 • 混合ガウス分布の最尤推定の特異性 – 対数尤度関数が無限⼤に発散する問題が特異性が常に存在する – 混合モデルにおいて⼀つの混合要素が特定のデータ点に収束, 分散が0に近くにつれて 対数尤度を増加させる⽅向に進み, 過学習の原因となる. – 10章のベイジアンアプローチを適⽤すれば解決できる. • 混合ガウスモデルの最尤問題の識別不可能性 – K個の各混合要素が順番の⼊れ替えに対して同等にK個ある場合並び替えの通りはK!通りある. – 任意の点についてK!-1個の等価な別の点が存在するので12章で連続潜在変数を議論するとき に問題となる – 良い密度モデルを⾒つける上では等価な点において同等に良い密度モデルとなるので, 問題は ない. 17
  • 18. 9.2.1 混合ガウス分布の最尤推定 • 観測したデータ集合𝑋 = {𝑥", … , 𝑥&}に混合ガウス分布を当てはめる問題を考 える. • 各データ点が独⽴に観測されると仮定すると,対数尤度関数は以下の式 • 最尤推定法では, この尤度が最⼤になるように確率密度関数のパラメータ 𝜋, 𝜇, ∑を求める. – 混合ガウス分布の対数尤度は, 対数がガウス分布に直接作⽤するのではなく,ガウス分布 の和の対数になるので, 対数尤度の最⼤化を陽に解くことは難しい。 – EMアルゴリズムと呼ばれる効率的な繰り返し計算⼿法を利⽤する 18
  • 19. 9.2.1 混合ガウス分布のEMアルゴリズム • 混合ガウス分布のEMアルゴリズム – ⽬的 • 対数尤度を最⼤化したい – アルゴリズムのモチベーション • 負担率: 𝛾 𝑧-+ がわかればパラメータが決まる • パラメータが決まれば負担率がわかる • → パラメータ(𝝁 𝒌, ∑ )𝒌 を繰り返し固定して対数尤度最適化する 19
  • 20. 9.2.2 混合ガウス分布のEMアルゴリズム • 対数尤度の𝜇+による偏微分は • 対数尤度が最⼤となる𝜇+を求めるために, 偏微分を0とおいて両辺に ∑ をかけると+ – ただし 20
  • 21. 9.2.2 混合ガウス分布のEMアルゴリズム • 同様に, 共分散⾏列∑ に+ 関する偏微分を0とおいて • 最後に, 混合係数𝜋+に関して最⼤化する • ただし という制約条件を満たさなければいけないので ラグランジュ未定乗数法を利⽤して, 以下の指標物を最⼤にする 𝜋+ を求める. • (9.20)式を𝜋+で偏微分して0と置くと, • これを𝜋+についてとくと • すなわち, k番⽬の要素に関する混合係数は, その要素の全データ点に対する 負担率の平均で与えられる. 21 負担率による 重み付き共分散⾏列 対数尤度 制約条件
  • 22. 9.2.2 混合ガウス分布のEMアルゴリズム 〜まとめ〜 • まとめると, 対数尤度を最⼤にする混合ガウス分布のパラメータは • これらの式から負担率𝛾 𝑍-+ がわかればパラメータを求めることができるが, 負担率もパラメータに依存しているため⼀度に求めることができない。 • そこで負担率とパラメータを交互に繰り返し計算する。(EMアルゴリズム) 22
  • 23. 9.2.2 混合ガウス分布のためのEMアルゴリズム • 混合ガウス分布のためのEMアルゴリズム – 1. 平均𝜇+, 分散∑ ,+ 混合係数𝜋+を初期化する – 2. Eステップ: 現在のパラメータを使って負担率を計算する. – 3.Mステップ: 現在の負担率を使ってパラメータを更新する. – 4. 収束性を確認し, 収束基準を満たしていない場合, 2に戻って繰り返し計算する。 23 ただし
  • 24. 9.3 EMアルゴリズムのもう⼀つの解釈 • EMアルゴリズムの⽬的 – 潜在変数を持つモデルについて最尤解(尤度が最⼤となる確率密度関数のパラメータ)を 求めること • 𝑋: 観測データの集合 • 𝑍: 潜在変数データの集合 • 𝜃: 全ての確率密度関数のパラメータ組み • 𝑝(𝑋, 𝑍|𝜃): パラメータ𝜃が与えられた元でのデータ組(X, Z)の尤度 – 対数尤度関数 • 完全集合と不完全集合 – Xの各観測に対して, 実際には⾒えない潜在変数Zの値がもらえるものと仮定するとき – {X, Z}: 完全データ集合 – 実際の観測データX: 不完全 24
  • 25. 9.3 EMアルゴリズムのもう⼀つの解釈 〜抽象的なEMアルゴリズム表現(2) 〜 • 不完全データに対する対数尤度関数の最⼤化 – 実際には観測できない潜在変数Zの値が与えられた場合, • {X, Z}: 完全データ集合, • 𝑝(𝑋, 𝑍|𝜃): パラメータ𝜃が与えられた下でのデータ組(X, Z)の尤度 – 完全データの対数尤度ln 𝑝(𝑋, 𝑍|𝜃)の最⼤化は簡単にできると仮定する(最⼤にする𝜃が簡 単に求まる) – しかし, 実際には不完全データXだけが与えられ、潜在変数Zについては事後確率 𝑝(𝑍|𝑋, 𝜃)だけがわかるので, 同時分布の対数尤度ln 𝑝(𝑋, 𝑍|𝜃)の代わりに, 𝑝(𝑍|𝑋, 𝜃)に関数 るln 𝑝(𝑍|𝑋, 𝜃)の期待値を考える。 25
  • 26. 9.3 EMアルゴリズムのもう⼀つの解釈 • 不完全データに対する対数尤度関数の最⼤化アルゴリズム – Eステップ • 1. 現在のパラメータ推定値𝜃TUVを使って, 潜在変数の⾃⼰確率𝑝(𝑍|𝑋, 𝜃TUV)を求める. • 2. 完全データ集合に対する対数尤度ln 𝑝(𝑋, 𝑍 |𝜃)の期待値を求める. – Mステップ • 3. 𝑄(𝜃)を最⼤にするパラメータ𝜃を求める⇨𝜃-XY – 𝑙𝑛𝑝(𝑋, 𝑍| 𝜃) の最⼤化を簡単に計算できると仮定したので, その線形和で与えられる𝑄 𝜃 の最⼤化も簡単に計算できる。 • 9.3章では混合ガウス分布, 混合ベルヌーイ分布, ベイズ線計回帰, RVMを通 してEMアルゴリズムが多様な分布に適応できることを⽰す. 26
  • 27. 9.3.1 混合ガウス分布再訪 • ⽬的 – 混合ガウス分布のEMアルゴリズムを不完全データに対する対数尤度最⼤化で説明する。 • 混合ガウス分布における完全データ集合の尤度 – 混合ガウス分布 – 観測変数と潜在変数の同時分布 – 完全データ集合に対する尤度 27
  • 28. 9.3.1 混合ガウス分布再訪(2) • 潜在変数の事後確率 – 完全データ集合に対する対数尤度 – 潜在変数Zの事後確率 – この式はnについて積の形をしているので各𝑍-の事後確率は正規化定数も含めて 28
  • 29. 9.3.1 混合ガウス分布再訪(3) • 潜在変数𝑍-+の期待値⇨負担率に⼀致 – 事後分布𝑝 𝑧- 𝑥-, 𝜇, ∑, 𝜋) に関する𝑧-+の期待値は – 𝑧-のすべての場合について和を取ると分⼦は𝑧-+ = 1の項だけ残るので 29
  • 30. 9.3.1 混合ガウス分布再訪(5) • 混合ガウス分布のためのEMアルゴリズム – 1. 平均𝜇I, 分散 ∑ , 混合係数+ 𝜋+を初期化する – 2. Eステップ: 現在のパラメータを使って負担率を計算する(潜在変数𝑍-+の 𝑝(𝑍-|𝑋-, 𝜇, ∑, 𝜋)に関する期待値) – 3. Mステップ: 現在の負担率を使ってパラメータを更新する • これらの更新式は, 完全データ集合対数尤度関数期待値はパラメータで偏微分して0と置くと 導出できる) – 4. 収束基準を満たしていない場合, 2に戻って繰り返し計算する. 30
  • 31. 9.3.2 K-meansとの関連 • 混合ガウス分布のモデルにおいて, 各ガウス要素の共分散⾏列が𝜖𝐼で与えら れる場合を考える. • このとき, 負担率は • 𝜖 → 0の極限を考えると, 分⺟は| 𝑥- − 𝜇` |が最⼩になるjに対して最も遠く0 に近づくため, 𝛾 𝑍-+ は| 𝑥- − 𝜇+ |が最⼩になるkに対して1に収束し, それ以 外に対しては0に収束する • したがって, クラスへのハード割り当て(単⼀のガウス分布に各データを割 り当て)となり, K-meansクラスタリングと⼀致する(平均ベクトルの更新式 も⼀致とする) – K-meansアルゴリズムをEMアルゴリズムの⾮確率的極限と解釈できる 31
  • 32. 9.3.3 混合ベルヌーイ分布 • 混合ベルヌーイ分布(潜在クラス分析) – 混合ガウス分布: ガウス分布の線形和(連続値の分析) – 混合ベルヌーイ分布: ベルヌーイの線形和(2値変数の分布) • ベルヌーイ分布 – D個の2値変数からなるベクトル: 𝑥 = 𝑥", … , 𝑥a b, 各変数は0/1のみとる – ベルヌーイ分布のパラメータベクトル: 𝜇 = 𝜇", … , 𝜇a b – 𝜇が与えられているとき, 各変数𝑥cは独⽴である.(𝑝 𝑥 𝜇 が各変数の積で与えられるとき) 32
  • 33. 9.3.3 混合ベルヌーイ分布(2) • 混合ベルヌーイ分布(潜在クラス分析) – ベルヌーイの有限混合分布 – 混合分布の期待値と分散は • 対数尤度関数 – 対数の中に和の形が現れ, 最尤解を陽の形で求められない – →EMアルゴリズムで解く 33
  • 34. 9.3.3 混合ベルヌーイ分布(3) • 潜在変数による表現 – K次元の2値確率変数𝑧 = (𝑧", … , 𝑧-), 𝑧は1ofK符号化法で表記 – zが与えられてた下でのxの条件付き分布は – ただし, 潜在変数についての事前分布𝑝(𝑧|𝜋)は – 観測変数と潜在変数の同時分布 34
  • 35. 9.3.3 混合ベルヌーイ分布(4) • 完全データ集合に対する対数尤度関数 – 従って完全データ集合に対する対数尤度関数は、 – 潜在変数の事後確率と負担率はガウス混合分布と同様に導出して, 35
  • 36. 9.3.3 混合ベルヌーイ分布(5) • 潜在変数の事後確率に関する完全データ集合対数尤度関数の期待値 • 対数尤度の最⼤化 – (9.55)の式を𝜇+に関して偏微分して0と置いて整理すると – 同様に𝜋+に関しても∑ 𝜋+ = 1+ を制約としたラグランジュ未定乗数法を⽤いて𝜋+に関す る偏微分を0と整理すると 36 (9.55)
  • 37. 9.3.4 ベイズ線形回帰に関するEMアルゴリズム • ベイズ線形回帰に関するエビデンス近似 – 3.5.2節より超パラメータ𝛼と𝛽の再計算法 • エビデンスを計算後, 得られた表現式の微分を0とするもの. – パラメータベクトル𝑤を潜在変数とみたEMアルゴリズム • Eステップ – パラメータ𝛼と𝛽の現在の値に基づいて𝑤の事後分布を計算し, それを使っ て期待完全データ対数尤度を求める. • Mステップ – 期待完全データ対数尤度から𝛼と𝛽の最⼤化. 37
  • 38. 9.3.4 ベイズ線形回帰に関するEMアルゴリズム • Eステップ – 𝛼と𝛽の現在の値に基づいてwの事後分布と期待完全データ対数尤度を計算する • wの事後分布は • 完全データ対数尤度は • Mステップ – wの事後分布について期待値をとって𝛼に関する微分を0とおくと, – 𝛽についても同様の式が得られ, EMアルゴリズムによってベイズ線形回帰に関するエビ デンス近似のパラメータを求められることを確認した。 38
  • 39. 9.4 ⼀般のEMアルゴリズム • 9.4章のゴール – EMアルゴリズムが確かに尤度関数を極⼤化することを証明する – 10章の変分推論の枠組みの基礎にもなる証明 • EMアルゴリズムの⽬的 – 観測されない潜在変数があるときの尤度関数最⼤化 – これを直接最適化することは難しいが, 完全データ対数尤度関数𝑙𝑛𝑝(𝑋, 𝑍|𝜃)の最適化は 容易であると仮定する。 • 尤度関数の分解 – ただし 39
  • 41. 9.4 ⼀般のEMアルゴリズム • 𝐾𝐿(𝑞||𝑝)は𝑞(𝑍)と𝑝 𝑍 𝑋, 𝜃 間の𝐾𝐿ダイバージェンス – 𝐾𝐿(𝑞||𝑝) ≥ 0 • 従って, 𝐿 𝑞, 𝜃 ≤ 𝑝(𝑍|𝑋, 𝜃)のときのみ – すなわち𝐿 𝑞, 𝜃 は𝑙𝑛𝑝(𝑋|𝜃)の下界をなす 41
  • 42. 9.4 ⼀般のEMアルゴリズム • EMアルゴリズム – Eステップ • 現在のパラメータ𝜃TUVを固定して𝑞(𝑍)について𝐿(𝑞, 𝜃)を最⼤化する. • 下界を最⼤化するには𝐾𝐿(𝑞||𝑝)=0とすれば良い • すなわち, 𝑞 𝑍 = 𝑝 𝑍 𝑋, 𝜃TUV)となる – Mステップ • 𝑞(𝑍)を固定して𝐿(𝑞, 𝜃)を𝜃について最⼤化し, 𝜃-XYを得る • 𝑞(𝑍)は固定しているのでパラメータは𝜃TUVのままだが, 𝑝 𝑍 𝑋, 𝜃 のパラメータは𝜃-XYに更新す る • 対数尤度の期待値𝑄(𝜃, 𝜃TUV)が現れる. – Mステップで⾏った𝐿(𝑞, 𝜃)の最⼤化= 𝑄(𝜃, 𝜃TUV)の最⼤化 42
  • 43. 9.4 まとめ • 混合ガウス分布に代表される潜在変数のモデルを説明した。 • 潜在変数を⽤いたモデルの最尤推定を⾏うための効率的な⼿法がEMアルゴ リズムである。 • EMアルゴリズムは, 混合ガウス分布だけでなく, 様々なモデルに適⽤できる 汎⽤的な⼿法である. • Eステップ – パラメータを固定し, 事後分布p(Z|X)を求める • Mステップ – 事後分布を固定し, 対数尤度関数の期待値を最⼤化するようにパラメータを決定 43
  • 44. 参考資料 • パターン認識と機械学習 下 – C.M. ビショップ (著), 元⽥ 浩 (監訳), 栗⽥ 多喜夫 (監訳), 樋⼝ 知之 (監訳), 松本 裕治 (監訳), 村⽥ 昇 (監訳) • 混合モデルとEMアルゴリズム (yamanaka, SlideShare) – https://www.slideshare.net/takao-y/20131113-em • PRML 第9章, 「混合モデルとEM」(菅原, SlideShare) – https://www.slideshare.net/KeisukeSugawara/prml-em 44