混合モデルとEMアルゴリズム(PRML第９章）

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

2013/11/13 上智大学山中高夫

混合モデルとEMアルゴリズム
「第９章混合モデルとEM」，
C.M.ビショップ，
パターン認識と学習（下），
シュプリンガー・ジャパン，2007.

9.1 K-meansクラスタリング

9.2 ...

K-meansクラスタリング
• 多次元空間上のデータ点集合について，各データが属する
グループ（クラス）を求める手法
• 様々なクラスタリング手法の中で最も基本的なものの一つ
例えば2次元の
データに対して，

K-meansクラスタリングの直感的説明
• はじめに，クラスタリングを行う方法を図で説明してから，
そのアルゴリズムを数式を使って説明する

K-meansクラスタリングのアルゴリズム (1)
 データの表現
データ集合 𝒙1 , 𝒙2 , ⋯ , 𝒙 𝑁
𝒙 𝑛 ：多次元ベクトルデータ
𝑁個のデータ𝒙1 ～ 𝒙 𝑁 を𝐾個のグループ
（クラス）に分類することが目的

 一対K符...

K-meansクラスタリングのアルゴリズム (2)
 クラスタリングに用いる指標値
𝑁

𝐾

𝐽=

𝑟 𝑛𝑘 𝒙 𝑛 − 𝝁 𝑘

2

𝝁𝑘
(9.1)

𝑛=1 𝑘=1

𝝁 𝑘 ：𝑘番目のクラスの代表ベクトル（プロト
タイプ）→ 通...

K-meansクラスタリングのアルゴリズム (3)
 指標値の最適化
𝑁

𝐾

𝐽=

𝑟 𝑛𝑘 𝒙 𝑛 − 𝝁 𝑘

2

𝑛=1 𝑘=1

クラス分け𝑟 𝑛𝑘 と各クラスのプロトタイプ𝝁 𝑘 に依存
クラス分けを変更すると 𝝁 𝑘 も変...

K-meansクラスタリングのアルゴリズム (4)
(1) 𝝁 𝑘 を固定して𝑟 𝑛𝑘 を最適化
𝑁

𝐾

𝐽=

𝑟 𝑛𝑘 𝒙 𝑛 − 𝝁 𝑘

2

𝑛=1 𝑘=1
𝐾

=

𝐾

𝑟1𝑘 𝒙1 − 𝝁 𝑘

2

+ ⋯+

𝑘=1
...

K-meansクラスタリングのアルゴリズム (5)
(2) 𝑟 𝑛𝑘 を固定して𝝁 𝑘 を最適化
𝑁

𝐾

𝐽=

𝑟 𝑛𝑘 𝒙 𝑛 − 𝝁 𝑘

2

𝑛=1 𝑘=1

この指標値𝐽は𝝁 𝑘 に関する２次関数なので， 𝝁 𝑘 に関して偏微分...

K-meansクラスタリングの応用例

K-medoidsアルゴリズム
 一般的な非類似度を指標値したアルゴリズム
K-menasアルゴリズムの指標値
𝑁

𝐾

𝐽=

𝑟 𝑛𝑘 𝒙 𝑛 − 𝝁 𝑘

2

𝑛=1 𝑘=1

一般的な非類似度に拡張（K-medoidsアルゴリズム...

混合モデルとEMアルゴリズム
「第９章混合モデルとEM」，
C.M.ビショップ，
パターン認識と学習（下），
シュプリンガー・ジャパン，2007.

9.1 K-meansクラスタリング

9.2 混合ガウス分布（Mixtures of Ga...

混合ガウス分布

潜在変数を用いた定式化(1)
 混合ガウス分布
𝐾

𝑝 𝒙 =
ただし，𝑁 𝒙|𝝁 𝑘 , 𝚺 𝑘 =

𝑘=1
1

1
2𝜋

𝐷
2

(9.7)

𝜋 𝑘 𝑁 𝒙|𝝁 𝑘 , 𝚺 𝑘
𝚺

1
𝒌 2

exp −

1
2

𝒙−...

潜在変数を用いた定式化(2)
 𝒙の条件付き分布
𝒛が与えられた下での𝒙の条件付き分布をガウス分布で与える
𝑝 𝒙|𝑧 𝑘 = 1 = 𝑁 𝒙|𝝁 𝑘 , 𝚺 𝑘

1-of-K表現の場合，𝑧 𝑘 はどれか１つだけ1となるので，
𝐾

𝑝 𝒙...

潜在変数を用いた定式化(3)
 𝒙の周辺分布
𝑝 𝒙 =

𝑝 𝒙, 𝒛
𝒛
𝐾

=

𝜋 𝑘 𝑁 𝒙|𝝁 𝑘 , 𝚺 𝑘
𝒛

𝑧𝑘

𝑘=1

𝒛の全ての場合（ 𝒛 = 1, 0, ⋯ , 0 , 0, 1, 0, ⋯ , 0 , ⋯ ...

潜在変数を用いた定式化(3)
 負担率（データ𝒙が与えられた下での𝑧 𝑘 = 1の確率）
𝛾 𝑧 𝑘 ≡ 𝑝 𝑧 𝑘 = 1|𝒙 =
=
=
=

𝑝 𝑧 𝑘 = 1, 𝒙
𝑝 𝒙
𝑝 𝒙|𝑧 𝑘 = 1 𝑝 𝑧 𝑘 = 1
𝐾
𝑗=1

𝑝...

混合ガウス分布の最尤推定(1)
観測したデータ集合𝐗 = 𝒙1 , ⋯ , 𝒙 𝑁 に混合ガウス分布をあては
める問題を考える
各データ点が独立に観測されると仮定すると，
𝑁

ln 𝑝 𝑿|𝝅, 𝝁, 𝚺 = ln

𝑝 𝒙 𝑛 |𝝅, 𝝁,...

混合ガウス分布の最尤推定(2)
• 混合ガウス分布の対数尤度は，対数がガウス分布に直接作用
するのではなく，ガウス分布の和の対数になるので，対数尤
度の最大化を陽に解くことは難しい
• そこで，EMアルゴリズム（Expectation-Maxi...

混合ガウス分布の最尤推定(3)
対数尤度が最大となる𝝁 𝑘 を求めるために，偏微分を0とおいて
両辺に𝚺 𝑘 をかけると，
𝑁

𝛾 𝑧 𝑛𝑘

𝒙𝑛− 𝝁𝑘 =0

𝑛=1
𝑁

𝝁𝑘

𝑁

𝛾 𝑧 𝑛𝑘 =
𝑛=1

𝝁𝑘 =

1
𝑁𝑘...

混合ガウス分布の最尤推定(4)
同様に，共分散行列𝚺 𝑘 に関する偏微分を0とおいて
𝚺𝑘 =

1
𝑁𝑘

𝑁

𝛾 𝑧 𝑛𝑘

𝒙𝑛− 𝝁𝑘

𝒙𝑛− 𝝁𝑘

𝑛=1

𝑻

(9.19)

負担率による
重み付き共分散行列

最後に，混合...

混合ガウス分布の最尤推定(5)
𝜋 𝑘 で偏微分して0とおくと，
𝑁

𝑁 𝒙 𝑛 |𝝁 𝑘 , 𝚺 𝑘

𝑛=1

𝐾
𝑗=1 𝜋 𝑗
𝑁

𝑛=1

𝑁 𝒙 𝑛 |𝝁 𝑗 , 𝚺 𝑗

+ 𝜆=0

𝛾 𝑧 𝑛𝑘
+ 𝜆=0
𝜋𝑘

𝐾

...

混合ガウス分布の最尤推定(6)
まとめると，対数尤度を最大にする混合ガウス分布のパラメータは，
𝑁

1
𝝁𝑘 =
𝑁𝑘
1
𝚺𝑘 =
𝑁𝑘

𝛾 𝑧 𝑛𝑘 𝒙 𝑛
𝑛=1

𝑁

𝛾 𝑧 𝑛𝑘
𝑛=1

1
𝜋𝑘 =
𝑁

𝒙𝑛− 𝝁𝑘

𝑁...

混合ガウス分布の最尤推定(7)
 混合ガウス分布のためのEMアルゴリズム
1.

平均𝝁 𝑘 ，分散𝚺 𝑘 ，混合係数𝜋 𝑘 を初期化する

2.

Eステップ：現在のパラメータを使って負担率を計算する
𝜋 𝑘 𝑁 𝒙|𝝁 𝑘 , 𝚺 𝑘
(...

混合モデルとEMアルゴリズム
「第９章混合モデルとEM」，
C.M.ビショップ，
パターン認識と学習（下），
シュプリンガー・ジャパン，2007.

9.1 K-meansクラスタリング

9.2 混合ガウス分布（Mixtures of Ga...

抽象的なEMアルゴリズム表現(1)
 EMアルゴリズムの目的
潜在変数をもつモデルについて最尤解（尤度が最大となる確率
密度関数のパラメータ）を求めること
𝑿：観測データの集合
𝒁：潜在変数データの集合

𝜽：全ての確率密度関数のパラメータ組...

抽象的なEMアルゴリズム表現(2)
 不完全データに対する対数尤度関数の最大化(1)
実際には観測できない潜在変数𝒁の値が与えられている場合，
𝑿, 𝒁 ：完全データ集合
𝑝 𝑿, 𝒁|𝜽 ：パラメータ𝜽が与えられた下でのデータ組 𝑿, 𝒁 ...

抽象的なEMアルゴリズム表現(3)
 不完全データに対する対数尤度関数の最大化(2)
Eステップ：
(1) 現在のパラメータ推定値𝜽 𝑜𝑙𝑑 を使って，潜在変数の事後確率
𝑝 𝒁|𝑿, 𝜽 𝑜𝑙𝑑 を求める

(2) 完全データ集合に対する対...

混合ガウス分布再訪(1)
 目的
混合ガウス分布のEMアルゴリズムを，不完全データに対する
対数尤度最大化で説明する

 混合ガウス分布における完全データ集合の尤度
混合ガウス分布
𝐾

𝑝 𝒙 =

𝜋 𝑘 𝑁 𝒙|𝝁 𝑘 , 𝚺 𝑘
𝑘...

混合ガウス分布再訪(2)
 潜在変数の事後確率
完全データ集合に対する対数尤度
𝑵

𝑲

ln 𝑝 𝑿, 𝒁|𝝁, 𝚺, 𝝅 =

(9.36)

𝑧 𝑛𝑘 ln 𝜋 𝑘 + ln 𝑁 𝒙 𝒏 |𝝁 𝑘 , 𝚺 𝑘
𝒏=𝟏 𝒌=𝟏

潜在変...

混合ガウス分布再訪(3)
 潜在変数𝑧 𝑛𝑘 の期待値 → 負担率に一致
事後分布𝑝 𝒛 𝑛 |𝒙 𝑛 , 𝝁, 𝚺, 𝝅 に関する𝑧 𝑛𝑘 の期待値は
𝐸 𝑧 𝑛𝑘 =

𝑧 𝑛𝑘 𝑝 𝒛 𝑛 |𝒙 𝑛 , 𝝁, 𝚺, 𝝅
𝒛𝑛
𝐾
𝑘 ′...

混合ガウス分布再訪(4)
 完全データ集合の対数尤度関数の期待値
𝐸 𝒛 ln 𝑝 𝑿, 𝒁|𝝁, 𝚺, 𝝅

=

𝑝 𝒁|𝑿, 𝝁, 𝚺, 𝝅 ln 𝑝 𝑿, 𝒁|𝝁, 𝚺, 𝝅
𝒛

Nに関して独立
なので

=

𝑁

𝑝 𝒁|𝑿, ...

混合ガウス分布再訪(5)
 混合ガウス分布のためのEMアルゴリズム
1.

平均𝝁 𝑘 ，分散𝚺 𝑘 ，混合係数𝜋 𝑘 を初期化する

2.

Eステップ：現在のパラメータを使って負担率を計算する（潜在変数𝑧 𝑛𝑘 の
𝑝 𝒛 𝑛 |𝒙 𝑛 ...

K-meansとの関連
混合ガウス分布のモデルにおいて，各ガウス要素の共分散行列が𝜖𝑰で与え
られる場合を考える
1
1
𝑝 𝒙|𝝁 𝑘 , 𝚺 𝑘 =
exp −
𝒙− 𝝁𝑘 2
(9.41)
𝐷
2𝜖
2𝜋𝜖 2
このとき，負担率は，
𝒙𝑛...

混合ベルヌーイ分布(1)
 混合ベルヌーイ分布（潜在クラス分析）
混合ガウス分布：ガウス分布の線形和（連続値の分布）
混合ベルヌーイ分布：ベルヌーイ分布の線形和（２値変数の分布）

 ベルヌーイ分布
D個の2値変数からなるベクトル：𝒙 = ...

混合ベルヌーイ分布(2)
 混合ベルヌーイ分布（潜在クラス分析）
ベルヌーイ分布の有限混合分布
𝐾

𝑝 𝒙|𝝁, 𝝅 =

𝐾

𝐷

𝜋 𝑘 𝑝 𝒙|𝝁 𝑘 =
𝑘=1

𝑥

𝜇 𝑘𝑖𝑖 1 − 𝜇 𝑘𝑖

𝜋𝑘
𝑘=1

1−𝑥 𝑖
...

混合ベルヌーイ分布(3)
 潜在変数による表現

𝐾次元の2値確率変数𝒛 = 𝑧1 , ⋯ , 𝑧 𝑛 ： 1-of-K表現, 例）𝒛 = 0, 0, 1, 0, ⋯ , 0

𝒛が与えられてた下での𝒙の条件付き分布は
𝐾

𝑝 𝒙|𝒛, 𝝁...

混合ベルヌーイ分布(4)
 完全データ集合に対する対数尤度関数
したがって，完全データ集合に対する対数尤度関数は，
𝑁

ln 𝑝 𝑿, 𝒁|𝝁, 𝝅 =

ln 𝑝 𝒙 𝑛 , 𝒛 𝑛 |𝝁, 𝝅
𝑛=1
𝑁

𝐾

=

𝐷
𝑥

𝜇 𝑘...

混合ベルヌーイ分布(5)
 潜在変数の事後確率に関する完全データ集合対数尤度関数の
期待値
𝐸 𝒁 ln 𝑝 𝑿, 𝒁|𝝁, 𝝅
𝑁

𝐾

=

𝐷

𝛾 𝑧 𝑛𝑘

ln 𝜋 𝑘 +

𝑛=1 𝑘=1

𝑥 𝑛𝑖 ln 𝜇 𝑘𝑖 + 1 ...

混合ベルヌーイ分布の例

混合モデルとEMアルゴリズム
「第９章混合モデルとEM」，
C.M.ビショップ，
パターン認識と学習（下），
シュプリンガー・ジャパン，2007.

9.1 K-meansクラスタリング

9.2 混合ガウス分布（Mixtures of Ga...

一般のEMアルゴリズム(1)
 EMアルゴリズムの目的
観測されない潜在変数があるときの尤度関数最大化
𝑝 𝑿|𝜽 =

(9.69)

𝑝 𝑿, 𝒁|𝜽
𝒁

これを直接最適化することは難しいが，完全データ対数尤度関数

ln 𝑝 𝑿, 𝒁...

一般のEMアルゴリズム(2)
 尤度関数分解の導出
𝐿 𝑞, 𝜽 + 𝐾𝐿 𝑞||𝑝 =
𝒁

=
𝒁

=

𝑝 𝑿, 𝒁|𝜽
𝑞 𝒁 ln
𝑞 𝒁

𝒁

𝑝 𝒁|𝑿, 𝜽 𝑝 𝑿|𝜽
𝑞 𝒁 ln
𝑞 𝒁
𝑞 𝒁

ln

𝒁

=

...

一般のEMアルゴリズム(3)
 尤度関数の分解
ln 𝑝 𝑿|𝜽 = 𝐿 𝑞, 𝜽 + 𝐾𝐿 𝑞||𝑝
ただし，
𝑝 𝑿, 𝒁|𝜽
𝐿 𝑞, 𝜽 =
𝑞 𝒁 ln
𝑞 𝒁
𝒁

𝐾𝐿 𝑞||𝑝 = −
𝒁

𝑝 𝒁|𝑿, 𝜽
𝑞 𝒁 ln
𝑞...

一般のEMアルゴリズム(4)
 Mステップにおける𝐿 𝑞, 𝜽
𝐿 𝑞, 𝜽 =
𝒁

𝑝 𝑿, 𝒁|𝜽
𝑞 𝒁 ln
𝑞 𝒁

にEステップで推定された𝑞 𝒁 = 𝑝 𝒁|𝑿, 𝜽 𝑜𝑙𝑑 を代入して，
𝑝 𝑿, 𝒁|𝜽
𝑜𝑙𝑑 ln
𝐿 ...

一般のEMアルゴリズム(5)
 Eステップにおける計算される事後確率
データ集合が独立同分布(i.i.d.)から得られている場合は，
𝑝 𝑿, 𝒁|𝜽
𝑝 𝒁|𝑿, 𝜽 =
𝒁 𝑝 𝑿, 𝒁|𝜽
𝑁
𝑛=1 𝑝 𝒙 𝑛 , 𝒛 𝑛 |𝜽
=
...

まとめ
「第９章混合モデルとEM」，
C.M.ビショップ，
パターン認識と学習（下），
シュプリンガー・ジャパン，2007.

• 混合ガウス分布に代表される潜在変数のモデルを説明した
• 潜在変数を用いたモデルの最尤推定を行うための効率的な...

Share Slideshare

LinkedIn
Facebook
Twitter

Embed

Size (px)

Show related Slideshows at end

WordPress Shortcode

Link

Share
Email

数式を使わずイメージで理解するEMアルゴリズム by 裕樹奥田 73198 views
EMアルゴリズム by Sotetsu KOYAMADA（... 79300 views
共起要素のクラスタリングを用いた分布類似度計算 by 長岡技術科学大学　自然言語処理研究室 1944 views
研究室内PRML勉強会 8章1節 by Koji Matsuda 4257 views
SVM&R with Yaruo!! by guest8ee130 8279 views
Chapter9 2 by Takuya Minagawa 9444 views

View on Slideshare

1 of 46 Ad

View on Slideshare

1 of 46 Ad