Submit Search
Upload
prml_titech_9.0-9.2
•
1 like
•
1,099 views
Taikai Takeda
Follow
PRML 9.0-9.2 混合ガウス分布とEMアルゴリズムの資料
Read less
Read more
Science
Report
Share
Report
Share
1 of 28
Download now
Download to read offline
Recommended
PRML復々習レーン#15 前回までのあらすじ
PRML復々習レーン#15 前回までのあらすじ
sleepy_yoshi
Bishop prml 9.3_wk77_100408-1504
Bishop prml 9.3_wk77_100408-1504
Wataru Kishimoto
混合モデルとEMアルゴリズム(PRML第9章)
混合モデルとEMアルゴリズム(PRML第9章)
Takao Yamanaka
深層学習(講談社)のまとめ 第8章
深層学習(講談社)のまとめ 第8章
okku apot
Prml 10 1
Prml 10 1
正志 坪坂
Chapter 8 ボルツマンマシン - 深層学習本読み会
Chapter 8 ボルツマンマシン - 深層学習本読み会
Taikai Takeda
Deeplearning4.4 takmin
Deeplearning4.4 takmin
Takuya Minagawa
制限ボルツマンマシン入門
制限ボルツマンマシン入門
佑馬 斎藤
Recommended
PRML復々習レーン#15 前回までのあらすじ
PRML復々習レーン#15 前回までのあらすじ
sleepy_yoshi
Bishop prml 9.3_wk77_100408-1504
Bishop prml 9.3_wk77_100408-1504
Wataru Kishimoto
混合モデルとEMアルゴリズム(PRML第9章)
混合モデルとEMアルゴリズム(PRML第9章)
Takao Yamanaka
深層学習(講談社)のまとめ 第8章
深層学習(講談社)のまとめ 第8章
okku apot
Prml 10 1
Prml 10 1
正志 坪坂
Chapter 8 ボルツマンマシン - 深層学習本読み会
Chapter 8 ボルツマンマシン - 深層学習本読み会
Taikai Takeda
Deeplearning4.4 takmin
Deeplearning4.4 takmin
Takuya Minagawa
制限ボルツマンマシン入門
制限ボルツマンマシン入門
佑馬 斎藤
PRML chap.10 latter half
PRML chap.10 latter half
Narihira Takuya
PRML復々習レーン#14 ver.2
PRML復々習レーン#14 ver.2
Takuya Fukagai
ディープボルツマンマシン入門〜後半〜
ディープボルツマンマシン入門〜後半〜
sakaizawa
ディープボルツマンマシン入門
ディープボルツマンマシン入門
Saya Katafuchi
Oshasta em
Oshasta em
Naotaka Yamada
変分推論法(変分ベイズ法)(PRML第10章)
変分推論法(変分ベイズ法)(PRML第10章)
Takao Yamanaka
混合ガウスモデルとEMアルゴリスム
混合ガウスモデルとEMアルゴリスム
貴之 八木
Bishop prml 10.2.2-10.2.5_wk77_100412-0059
Bishop prml 10.2.2-10.2.5_wk77_100412-0059
Wataru Kishimoto
PRML復々習レーン#7 前回までのあらすじ
PRML復々習レーン#7 前回までのあらすじ
sleepy_yoshi
自動微分変分ベイズ法の紹介
自動微分変分ベイズ法の紹介
Taku Yoshioka
PRML復々習レーン#3 3.1.3-3.1.5
PRML復々習レーン#3 3.1.3-3.1.5
sleepy_yoshi
PRML 6.4-6.5
PRML 6.4-6.5
正志 坪坂
ベイズ推論による機械学習入門 第4章
ベイズ推論による機械学習入門 第4章
YosukeAkasaka
PRML復々習レーン#9 6.3-6.3.1
PRML復々習レーン#9 6.3-6.3.1
sleepy_yoshi
RBMを応用した事前学習とDNN学習
RBMを応用した事前学習とDNN学習
Masayuki Tanaka
PRML復々習レーン#10 7.1.3-7.1.5
PRML復々習レーン#10 7.1.3-7.1.5
sleepy_yoshi
PRML復々習レーン#2 2.3.6 - 2.3.7
PRML復々習レーン#2 2.3.6 - 2.3.7
sleepy_yoshi
Limits on Super-Resolution and How to Break them
Limits on Super-Resolution and How to Break them
Morpho, Inc.
13.2 隠れマルコフモデル
13.2 隠れマルコフモデル
show you
PRML4.3.3
PRML4.3.3
sleepy_yoshi
Prml 4.3
Prml 4.3
Taikai Takeda
MLP SVM Chapter 7 分割法
MLP SVM Chapter 7 分割法
Taikai Takeda
More Related Content
What's hot
PRML chap.10 latter half
PRML chap.10 latter half
Narihira Takuya
PRML復々習レーン#14 ver.2
PRML復々習レーン#14 ver.2
Takuya Fukagai
ディープボルツマンマシン入門〜後半〜
ディープボルツマンマシン入門〜後半〜
sakaizawa
ディープボルツマンマシン入門
ディープボルツマンマシン入門
Saya Katafuchi
Oshasta em
Oshasta em
Naotaka Yamada
変分推論法(変分ベイズ法)(PRML第10章)
変分推論法(変分ベイズ法)(PRML第10章)
Takao Yamanaka
混合ガウスモデルとEMアルゴリスム
混合ガウスモデルとEMアルゴリスム
貴之 八木
Bishop prml 10.2.2-10.2.5_wk77_100412-0059
Bishop prml 10.2.2-10.2.5_wk77_100412-0059
Wataru Kishimoto
PRML復々習レーン#7 前回までのあらすじ
PRML復々習レーン#7 前回までのあらすじ
sleepy_yoshi
自動微分変分ベイズ法の紹介
自動微分変分ベイズ法の紹介
Taku Yoshioka
PRML復々習レーン#3 3.1.3-3.1.5
PRML復々習レーン#3 3.1.3-3.1.5
sleepy_yoshi
PRML 6.4-6.5
PRML 6.4-6.5
正志 坪坂
ベイズ推論による機械学習入門 第4章
ベイズ推論による機械学習入門 第4章
YosukeAkasaka
PRML復々習レーン#9 6.3-6.3.1
PRML復々習レーン#9 6.3-6.3.1
sleepy_yoshi
RBMを応用した事前学習とDNN学習
RBMを応用した事前学習とDNN学習
Masayuki Tanaka
PRML復々習レーン#10 7.1.3-7.1.5
PRML復々習レーン#10 7.1.3-7.1.5
sleepy_yoshi
PRML復々習レーン#2 2.3.6 - 2.3.7
PRML復々習レーン#2 2.3.6 - 2.3.7
sleepy_yoshi
Limits on Super-Resolution and How to Break them
Limits on Super-Resolution and How to Break them
Morpho, Inc.
13.2 隠れマルコフモデル
13.2 隠れマルコフモデル
show you
PRML4.3.3
PRML4.3.3
sleepy_yoshi
What's hot
(20)
PRML chap.10 latter half
PRML chap.10 latter half
PRML復々習レーン#14 ver.2
PRML復々習レーン#14 ver.2
ディープボルツマンマシン入門〜後半〜
ディープボルツマンマシン入門〜後半〜
ディープボルツマンマシン入門
ディープボルツマンマシン入門
Oshasta em
Oshasta em
変分推論法(変分ベイズ法)(PRML第10章)
変分推論法(変分ベイズ法)(PRML第10章)
混合ガウスモデルとEMアルゴリスム
混合ガウスモデルとEMアルゴリスム
Bishop prml 10.2.2-10.2.5_wk77_100412-0059
Bishop prml 10.2.2-10.2.5_wk77_100412-0059
PRML復々習レーン#7 前回までのあらすじ
PRML復々習レーン#7 前回までのあらすじ
自動微分変分ベイズ法の紹介
自動微分変分ベイズ法の紹介
PRML復々習レーン#3 3.1.3-3.1.5
PRML復々習レーン#3 3.1.3-3.1.5
PRML 6.4-6.5
PRML 6.4-6.5
ベイズ推論による機械学習入門 第4章
ベイズ推論による機械学習入門 第4章
PRML復々習レーン#9 6.3-6.3.1
PRML復々習レーン#9 6.3-6.3.1
RBMを応用した事前学習とDNN学習
RBMを応用した事前学習とDNN学習
PRML復々習レーン#10 7.1.3-7.1.5
PRML復々習レーン#10 7.1.3-7.1.5
PRML復々習レーン#2 2.3.6 - 2.3.7
PRML復々習レーン#2 2.3.6 - 2.3.7
Limits on Super-Resolution and How to Break them
Limits on Super-Resolution and How to Break them
13.2 隠れマルコフモデル
13.2 隠れマルコフモデル
PRML4.3.3
PRML4.3.3
Viewers also liked
Prml 4.3
Prml 4.3
Taikai Takeda
MLP SVM Chapter 7 分割法
MLP SVM Chapter 7 分割法
Taikai Takeda
ICML読み会2016@早稲田
ICML読み会2016@早稲田
Taikai Takeda
Chapter9 2
Chapter9 2
Takuya Minagawa
「3.1.2最小二乗法の幾何学」PRML勉強会4 @筑波大学 #prml学ぼう
「3.1.2最小二乗法の幾何学」PRML勉強会4 @筑波大学 #prml学ぼう
Junpei Tsuji
Nettpresentasjon ceu
Nettpresentasjon ceu
Cecilie Ulseth
Nimesh
Nimesh
Dave Nimesh B
Nimesh cultural studies technoculture and risks 222222222
Nimesh cultural studies technoculture and risks 222222222
Dave Nimesh B
Nettpresentasjon ceu
Nettpresentasjon ceu
Cecilie Ulseth
Nimesh american lit.
Nimesh american lit.
Dave Nimesh B
Anti-Spammers Need To Develop Better Manners
Anti-Spammers Need To Develop Better Manners
anytime01
Veterinary dictionary _21st_edition
Veterinary dictionary _21st_edition
pu pu
Viewers also liked
(12)
Prml 4.3
Prml 4.3
MLP SVM Chapter 7 分割法
MLP SVM Chapter 7 分割法
ICML読み会2016@早稲田
ICML読み会2016@早稲田
Chapter9 2
Chapter9 2
「3.1.2最小二乗法の幾何学」PRML勉強会4 @筑波大学 #prml学ぼう
「3.1.2最小二乗法の幾何学」PRML勉強会4 @筑波大学 #prml学ぼう
Nettpresentasjon ceu
Nettpresentasjon ceu
Nimesh
Nimesh
Nimesh cultural studies technoculture and risks 222222222
Nimesh cultural studies technoculture and risks 222222222
Nettpresentasjon ceu
Nettpresentasjon ceu
Nimesh american lit.
Nimesh american lit.
Anti-Spammers Need To Develop Better Manners
Anti-Spammers Need To Develop Better Manners
Veterinary dictionary _21st_edition
Veterinary dictionary _21st_edition
Similar to prml_titech_9.0-9.2
強束縛模型における多体電子状態の第2量子化表現
強束縛模型における多体電子状態の第2量子化表現
Kazu Ghalamkari
グラフィカル Lasso を用いた異常検知
グラフィカル Lasso を用いた異常検知
Yuya Takashina
渡辺澄夫著「ベイズ統計の理論と方法」5.1 マルコフ連鎖モンテカルロ法
渡辺澄夫著「ベイズ統計の理論と方法」5.1 マルコフ連鎖モンテカルロ法
Kenichi Hironaka
PRML11章
PRML11章
Takashi Tamura
続・わかりやすいパターン認識 9章
続・わかりやすいパターン認識 9章
hakusai
PRML 上 1.2.4 ~ 1.2.6
PRML 上 1.2.4 ~ 1.2.6
禎晃 山崎
LLM は数学を理解しているのか?
LLM は数学を理解しているのか?
Hide Koba
Stanの紹介と応用事例(age heapingの統計モデル)
Stanの紹介と応用事例(age heapingの統計モデル)
. .
自然科学の統計学2.2 slideshare
自然科学の統計学2.2 slideshare
wada, kazumi
データ解析6 重回帰分析
データ解析6 重回帰分析
Hirotaka Hachiya
PRML第9章「混合モデルとEM」
PRML第9章「混合モデルとEM」
Keisuke Sugawara
双対性
双対性
Yoichi Iwata
確率解析計算
確率解析計算
Yusuke Matsushita
表現論 ゼミ資料
表現論 ゼミ資料
HanpenRobot
PRML10-draft1002
PRML10-draft1002
Toshiyuki Shimono
人生を豊かにする線形代数学
人生を豊かにする線形代数学
Fumiya Watanabe
Prml 最尤推定からベイズ曲線フィッティング
Prml 最尤推定からベイズ曲線フィッティング
takutori
PRML 上 2.3.6 ~ 2.5.2
PRML 上 2.3.6 ~ 2.5.2
禎晃 山崎
第4回数理モデル勉強会(日本植物学会第84回大会関連集会)
第4回数理モデル勉強会(日本植物学会第84回大会関連集会)
TakaakiYonekura
データ解析11 因子分析の応用
データ解析11 因子分析の応用
Hirotaka Hachiya
Similar to prml_titech_9.0-9.2
(20)
強束縛模型における多体電子状態の第2量子化表現
強束縛模型における多体電子状態の第2量子化表現
グラフィカル Lasso を用いた異常検知
グラフィカル Lasso を用いた異常検知
渡辺澄夫著「ベイズ統計の理論と方法」5.1 マルコフ連鎖モンテカルロ法
渡辺澄夫著「ベイズ統計の理論と方法」5.1 マルコフ連鎖モンテカルロ法
PRML11章
PRML11章
続・わかりやすいパターン認識 9章
続・わかりやすいパターン認識 9章
PRML 上 1.2.4 ~ 1.2.6
PRML 上 1.2.4 ~ 1.2.6
LLM は数学を理解しているのか?
LLM は数学を理解しているのか?
Stanの紹介と応用事例(age heapingの統計モデル)
Stanの紹介と応用事例(age heapingの統計モデル)
自然科学の統計学2.2 slideshare
自然科学の統計学2.2 slideshare
データ解析6 重回帰分析
データ解析6 重回帰分析
PRML第9章「混合モデルとEM」
PRML第9章「混合モデルとEM」
双対性
双対性
確率解析計算
確率解析計算
表現論 ゼミ資料
表現論 ゼミ資料
PRML10-draft1002
PRML10-draft1002
人生を豊かにする線形代数学
人生を豊かにする線形代数学
Prml 最尤推定からベイズ曲線フィッティング
Prml 最尤推定からベイズ曲線フィッティング
PRML 上 2.3.6 ~ 2.5.2
PRML 上 2.3.6 ~ 2.5.2
第4回数理モデル勉強会(日本植物学会第84回大会関連集会)
第4回数理モデル勉強会(日本植物学会第84回大会関連集会)
データ解析11 因子分析の応用
データ解析11 因子分析の応用
prml_titech_9.0-9.2
1.
PRML Titech 9.0-9.2 Waseda Univ.
Hamada lab. B4 Taikai Takeda Twitter: @bigsea_t
2.
担当範囲 9. 混合モデルとEM 9.1 K-meansクラスタリング 9.2
混合ガウス分布 9.3 EMアルゴリズムのもう一つの解釈 9.4 一般のEMアルゴリズム 2
3.
Outline EMアルゴリズム K-means法 混合ガウス分布 3
4.
EMアルゴリズム 4
5.
EMアルゴリズム Expectation-Step 潜在変数を更新する Maximization-Step 分布を更新する 5 交互に繰り返して 最適解を求める
6.
潜在変数(latent variable) 潜在変数: 観測によって直接得ることができず, ほかの変数から推測することより得る確率変数 隠れ変数(hidden variables)とも 観測変数(observable
variables) 背後に存在する状態などを表す 今回の場合はデータ点の𝑥 𝑛の所属クラスタ𝑟𝑛𝑘 6
7.
K-means 7
8.
K-meansの概要 データ点をK個のクラスター(𝑟𝑛𝑘)に分類 それぞれのクラスターの中心を𝝁 𝒌とし, データ点は一番近いμのクラスターに属する 8 1-of-K 中心µ
9.
歪み尺度(distortion measure) 歪み尺度: 各データ点xと所属するクラスターの中心μの 二乗ユークリッド距離の総和 9 𝐽 = 𝑛
𝑘 𝑟𝑛𝑘 𝒙 𝑛 − 𝝁 𝑘 2 これを目的関数とし, 最小とするような𝝁, 𝒓を求める
10.
K-meansのEMアルゴリズム Expectation-Step 各要素の所属するクラスタ𝑟𝑛𝑘を更新 Maximization-Step クラスタの中心𝜇 𝑘を更新 10
11.
K-meansのEMアルゴリズム 隠れパラメータ𝛾の更新 データ点は一番近い中心のクラスタに属する クラスタの中心µの更新 クラスに所属するデータ点の中心 11
12.
K-meansのいろいろ 収束性は保証されている ただし局所解 混合ガウス分布の𝝁の初期化によく用いられる ナイーブに実装すると遅い 各データ点と𝜇とのユークリッド距離を毎回計算す るため
近くのデータ点が同一の部分木に属するデータ構造 距離の三角不等式を利用して不必要な計算を避ける 12
13.
K-meansのいろいろ Online版 𝜇 𝑘 𝑛𝑒𝑤 = 𝜇
𝑘 𝑜𝑙𝑑 + 𝜂 𝑛 𝑥 𝑛 − 𝜇 𝑘 𝑜𝑙𝑑 𝜂: 学習率パラメータ 𝜂は𝑛に対して単調減少 K-medoids 𝐽~ = 𝑛=1 𝑁 𝑘=1 𝐾 𝑟𝑛𝑘 𝜈(𝑥 𝑛, 𝜇 𝑘) ユークリッド距離の二乗の代わりに非類似度𝜈を用 いる 13
14.
K-meansのいろいろ 画像分割と画像圧縮 画素ベクトル{R,G,B}をK-meansする 各画素を割り当てられたクラスタの中心の値に書き 換える->圧縮
よくわからない() 14
15.
混合ガウス分布 15
16.
混合ガウス分布の概要 混合ガウス分布(Mixtures of Gaussians) 16 𝑝
𝒙 = 𝑘=1 𝐾 𝜋 𝑘 𝑁(𝒙; 𝝁 𝑘, Σk) 𝜋 𝑘: 混合係数
17.
混合ガウス分布の定式化 潜在変数𝒛の導入 1-of-K符号化 𝑧
𝑘 ∈ 0, 1 , 𝑘 𝑧 𝑘 = 1 𝑧 𝑘 = 1のとき,クラスタ𝐶 𝑘に属することを表す 混合係数:𝑝 𝑧 𝑘 = 1 = 𝜋 𝑘 0 ≤ 𝜋 𝑘 ≤ 1, 𝑘 𝜋 𝑘 = 1 別の形: 𝑝 𝒛 = 𝑘=1 𝐾 𝜋 𝑘 𝑧 𝑘 17
18.
混合ガウス分布の定式化 条件付き分布 𝑝 𝒙
𝑧 𝑘 = 1 = 𝑁 𝒙; 𝝁, Σ 別の形: 𝑝 𝒙 𝒛 = 𝑘=1 𝐾 𝑁 𝒙; 𝝁, Σ 𝑧 𝑘 18
19.
混合ガウス分布の定式化 同時分布 𝑝 𝒙, 𝒛
= 𝑝 𝒙 𝒛 𝑝(𝒙) = 𝑘=1 𝐾 𝜋 𝑘 𝑧 𝑘 𝑁 𝒙; 𝝁 𝑘, Σ 𝑘 𝑧 𝑘 19
20.
混合ガウス分布の定式化 周辺分布 𝑝 𝒙 = 𝒛 𝑝
𝒛 𝑝(𝒙|𝒛) = 𝒛 𝑘=1 𝐾 𝜋 𝑘 𝑧 𝑘 𝑁 𝒙; 𝝁 𝑘, Σ 𝑘 𝑧 𝑘 = 𝑘=1 𝐾 𝜋 𝑘 𝑁(𝒙; 𝝁 𝑘, Σ 𝑘) 元の線形重ね合わせの式に一致 20
21.
混合ガウス分布の定式化 負担率𝛾(responsibility) 分布𝑁(𝑥; 𝜇
𝑘, Σk)が𝒙を説明する度合い 𝛾 𝒛 = 𝑝 𝒛 𝒙 = 𝑝 𝒙 𝒛 𝑝 𝒛 𝒛 𝑝 𝒙 𝒛 𝑝(𝒛) = 𝑘=1 𝐾 𝜋 𝑘 𝑧 𝑘 𝑁 𝒙; 𝝁 𝑘, Σ 𝑘 𝑧 𝑘 𝒛 𝑘=1 𝐾 𝜋 𝑘 𝑧 𝑘 𝑁 𝒙; 𝝁 𝑘, Σ 𝑘 𝑧 𝑘 𝛾 𝑧 𝑘 = 1 = 𝜋 𝑘 𝑁 𝒙; 𝝁 𝑘, Σ 𝑘 𝑘=1 𝐾 𝜋 𝑘 𝑁 𝒙; 𝝁 𝑘, Σ 𝑘 21
22.
パラメータの推定 分布のパラメータを最尤推定する 分布のパラメータ:𝝁 𝑘,
Σk, 𝜋 𝑘 尤度関数𝐿 𝐿 = ln 𝑝(𝑋; 𝝅, 𝝁, 𝚺) = 𝑛=1 𝑁 ln 𝑝(𝒙 𝑛) = 𝑛=1 𝑁 ln 𝑘=1 𝐾 𝜋 𝑘 𝑁 𝒙; 𝝁 𝑘, Σ 𝑘 22
23.
平均の最尤推定𝝁 𝑘𝑀𝐿 0 = 𝜕𝐿 𝜕𝝁
𝒌 = 𝜕 𝜕𝝁 𝑘 𝑛=1 𝑁 ln 𝑗=1 𝐾 𝜋𝑗 𝑁 𝒙; 𝝁 𝑗, Σ𝑗 = 𝑛=1 𝑁 𝜋 𝑘 𝜕 𝜕𝜇 𝑘 𝑁 𝒙; 𝝁 𝑗, Σ𝑗 ln 𝑗=1 𝐾 𝜋𝑗 𝑁 𝒙; 𝝁 𝑗, Σ𝑗 = 𝑛=1 𝑁 𝜋 𝑘 𝑁 𝒙; 𝝁 𝑗, Σ𝑗 ln 𝑗=1 𝐾 𝜋𝑗 𝑁 𝒙; 𝝁 𝑗, Σ𝑗 Σ−1(𝒙 𝑛 − 𝝁 𝑘) = 𝑛=1 𝑁 𝛾 𝑧 𝑛𝑘 Σ−1 (𝒙 𝑛 − 𝝁 𝒌) パラメータの推定 23 負担率 𝜇 𝑘𝑀𝐿 = 1 𝑁𝑘 𝑛=1 𝑁 𝛾 𝑧 𝑛𝑘 𝒙 𝑛 𝑁𝑘 = 𝑛=1 𝑁 𝛾(𝑧 𝑛𝑘)
24.
パラメータの推定 0 = 𝜕𝐿 𝜕Σ 𝒌 = 𝜕 𝜕Σ
𝑘 𝑛=1 𝑁 ln 𝑗=1 𝐾 𝜋𝑗 𝑁 𝒙; 𝝁 𝑗, Σ𝑗 = 𝑛=1 𝑁 𝜋 𝑘 𝜕 𝜕Σ 𝑘 𝑁 𝒙; 𝝁 𝑗, Σ𝑗 𝑗=1 𝐾 𝜋𝑗 𝑁 𝒙; 𝝁 𝑗, Σ𝑗 = 𝑛=1 𝑁 𝜋 𝑘 𝑁 𝒙; 𝝁 𝑗, Σ𝑗 𝑗=1 𝐾 𝜋𝑗 𝑁 𝒙; 𝝁 𝑗, Σ𝑗 𝑁 2 Σ−1 𝒙 𝑛 − 𝝁 𝑘 𝒙 𝑛 − 𝝁 𝑘 𝑇 Σ−1 − Σ−1 = 𝑁 2 𝑛=1 𝑁 𝛾(𝑧 𝑛𝑘) Σ−1 𝒙 𝑛 − 𝝁 𝑘 𝒙 𝑛 − 𝝁 𝑘 𝑇 Σ−1 − Σ−1 24 分散共分散行列の最尤推定ΣkML Σ 𝑘𝑀𝐿 = 1 𝑁𝑘 𝑛=1 𝑁 𝛾 𝑧 𝑛𝑘 𝒙 𝑛 − 𝝁 𝑘 𝒙 𝑛 − 𝝁 𝑘 𝑇 𝑁𝑘 = 𝑛=1 𝑁 𝛾(𝑧 𝑛𝑘)
25.
パラメータの推定 混合比𝜋 𝑘の推定 L =
ln 𝑝(𝑋; 𝝅, 𝝁, Σ) + 𝜆 𝑘=1 𝐾 𝜋 𝑘 − 1 0 = 𝜕𝐿 𝜕𝜋 = 𝑛=1 𝑁 𝑁 𝒙; 𝝁 𝑗, Σ𝑗 𝑗=1 𝐾 𝜋𝑗 𝑁 𝒙; 𝝁 𝑗, Σ𝑗 + 𝜆 両辺に𝜋 𝑘をかけて𝑘について和をとり制約条件を適用 𝜆 = −𝑁 𝜋 𝑘 = 𝑁𝑘 𝑁 𝑁𝑘 = 𝑛=1 𝑁 𝛾(𝑧 𝑛𝑘) 25 𝜋 𝑘 = 𝑁𝑘 𝑁 𝑁𝑘 = 𝑛=1 𝑁 𝛾(𝑧 𝑛𝑘)
26.
混合ガウス分布のEMアルゴリズム Expectation-Step 潜在変数の更新:𝛾(𝒛) Maximization-Step 分布のパラメータの更新:𝝁 𝑘, Σk,
𝜋 𝑘更新 26 𝛾 𝑧 𝑛𝑘 = 𝜋 𝑘 𝑁 𝒙 𝒏; 𝝁 𝑘, Σ 𝑘 𝑘=1 𝐾 𝜋 𝑘 𝑁 𝒙 𝒏; 𝝁 𝑘, Σ 𝑘 𝜇 𝑘 = 1 𝑁𝑘 𝑛=1 𝑁 𝛾 𝑧 𝑛𝑘 𝒙 𝑛 Σ 𝑘 = 1 𝑁𝑘 𝑛=1 𝑁 𝛾 𝑧 𝑛𝑘 𝒙 𝑛 − 𝝁 𝑘 𝒙 𝑛 − 𝝁 𝑘 𝑇 𝜋 𝑘= 𝑁𝑘 𝑁 𝑁𝑘 = 𝑛=1 𝑁 𝛾 𝑧 𝑛𝑘
27.
混合ガウス分布のいろいろ 尤度の発散 27 分散→0 ⇓ 尤度→∞ 𝑁 𝒙 𝑛;
𝒙 𝑛, 𝜎kI = 1 2𝜋 1/2 1 𝜎 𝑘
28.
混合ガウス分布のいろいろ 識別可能性(identifiability) 混合ガウス分布は等価な解がK!個ある パラメータの割り当ての順番によらず 同じ分布を表すため 28
Download now