Submit Search
Upload
Gmm勉強会
•
Download as PPTX, PDF
•
2 likes
•
2,875 views
Hayato Ohya
Follow
GMM@森島研の資料です。 間違ってるかも・・・?
Read less
Read more
Report
Share
Report
Share
1 of 27
Download now
Recommended
PRML第9章「混合モデルとEM」
PRML第9章「混合モデルとEM」
Keisuke Sugawara
パターン認識と機械学習(PRML)の第9章「混合モデルとEM」について説明したスライドです。文字多め。 潜在変数を持つモデルの最適化を行うことができるEMアルゴリズムについて、最初は具体的でイメージしやすいk-meansクラスタリングから説明し、最後は数式を詳細に見ていきその意味を考察します 9.1 K-meansクラスタリング 9.2 混合ガウス分布 9.3 EMアルゴリズムのもう1つの解釈 9.4 一般のEMアルゴリズム
PRML第6章「カーネル法」
PRML第6章「カーネル法」
Keisuke Sugawara
パターン認識と機械学習(PRML)の第6章「カーネル法」です 文字多め
星野「調査観察データの統計科学」第3章
星野「調査観察データの統計科学」第3章
Shuyo Nakatani
星野「調査観察データの統計科学」の読書スライドです。 社内勉強会で使った資料がベースです。 第3章の傾向スコアを紹介しています。
PRML復々習レーン#9 6.3-6.3.1
PRML復々習レーン#9 6.3-6.3.1
sleepy_yoshi
PRML復々習レーン#9 6.3-6.3.1 はっぴょう
混合モデルとEMアルゴリズム(PRML第9章)
混合モデルとEMアルゴリズム(PRML第9章)
Takao Yamanaka
研究室で説明した「パターン認識と機械学習(下)」の第9章混合モデルとEMアルゴリズムについてです.
Fisher線形判別分析とFisher Weight Maps
Fisher線形判別分析とFisher Weight Maps
Takao Yamanaka
文献紹介のスライドです。学部4年生〜修士課程くらい向けです。
PRML 6.4-6.5
PRML 6.4-6.5
正志 坪坂
「パターン認識と機械学習(PRML)」読書会(第8回) (http://sites.google.com/site/ikomadokushokai/prml/prml08)発表資料
星野「調査観察データの統計科学」第1&2章
星野「調査観察データの統計科学」第1&2章
Shuyo Nakatani
星野「調査観察データの統計科学」の読書スライドです。 社内勉強会で使った資料がベースです。 第1章の調査観察研究の枠組みと、第2章のルービンの因果モデルを紹介しています。
Recommended
PRML第9章「混合モデルとEM」
PRML第9章「混合モデルとEM」
Keisuke Sugawara
パターン認識と機械学習(PRML)の第9章「混合モデルとEM」について説明したスライドです。文字多め。 潜在変数を持つモデルの最適化を行うことができるEMアルゴリズムについて、最初は具体的でイメージしやすいk-meansクラスタリングから説明し、最後は数式を詳細に見ていきその意味を考察します 9.1 K-meansクラスタリング 9.2 混合ガウス分布 9.3 EMアルゴリズムのもう1つの解釈 9.4 一般のEMアルゴリズム
PRML第6章「カーネル法」
PRML第6章「カーネル法」
Keisuke Sugawara
パターン認識と機械学習(PRML)の第6章「カーネル法」です 文字多め
星野「調査観察データの統計科学」第3章
星野「調査観察データの統計科学」第3章
Shuyo Nakatani
星野「調査観察データの統計科学」の読書スライドです。 社内勉強会で使った資料がベースです。 第3章の傾向スコアを紹介しています。
PRML復々習レーン#9 6.3-6.3.1
PRML復々習レーン#9 6.3-6.3.1
sleepy_yoshi
PRML復々習レーン#9 6.3-6.3.1 はっぴょう
混合モデルとEMアルゴリズム(PRML第9章)
混合モデルとEMアルゴリズム(PRML第9章)
Takao Yamanaka
研究室で説明した「パターン認識と機械学習(下)」の第9章混合モデルとEMアルゴリズムについてです.
Fisher線形判別分析とFisher Weight Maps
Fisher線形判別分析とFisher Weight Maps
Takao Yamanaka
文献紹介のスライドです。学部4年生〜修士課程くらい向けです。
PRML 6.4-6.5
PRML 6.4-6.5
正志 坪坂
「パターン認識と機械学習(PRML)」読書会(第8回) (http://sites.google.com/site/ikomadokushokai/prml/prml08)発表資料
星野「調査観察データの統計科学」第1&2章
星野「調査観察データの統計科学」第1&2章
Shuyo Nakatani
星野「調査観察データの統計科学」の読書スライドです。 社内勉強会で使った資料がベースです。 第1章の調査観察研究の枠組みと、第2章のルービンの因果モデルを紹介しています。
データ解析7 主成分分析の基礎
データ解析7 主成分分析の基礎
Hirotaka Hachiya
主成分分析の基礎
Bishop prml 9.3_wk77_100408-1504
Bishop prml 9.3_wk77_100408-1504
Wataru Kishimoto
数式を綺麗にプログラミングするコツ #spro2013
数式を綺麗にプログラミングするコツ #spro2013
Shuyo Nakatani
データ解析11 因子分析の応用
データ解析11 因子分析の応用
Hirotaka Hachiya
因子分析の応用
PRML復々習レーン#2 2.3.6 - 2.3.7
PRML復々習レーン#2 2.3.6 - 2.3.7
sleepy_yoshi
PRML復々習レーン#2 2.3.6 - 2.3.7
SMO徹底入門 - SVMをちゃんと実装する
SMO徹底入門 - SVMをちゃんと実装する
sleepy_yoshi
2013-05-05 PRML復々習レーン#10 で発表
続・わかりやすいパターン認識 9章
続・わかりやすいパターン認識 9章
hakusai
続・わかりやすいパターン認識第9章のスライドです。
変分推論法(変分ベイズ法)(PRML第10章)
変分推論法(変分ベイズ法)(PRML第10章)
Takao Yamanaka
データ解析6 重回帰分析
データ解析6 重回帰分析
Hirotaka Hachiya
重回帰分析
PRML復々習レーン#3 3.1.3-3.1.5
PRML復々習レーン#3 3.1.3-3.1.5
sleepy_yoshi
2012-07-16 PRML復々習レーン#3 3.1.3-3.1.5 の資料
データ解析3 最適化の復習
データ解析3 最適化の復習
Hirotaka Hachiya
最適化の復習
人工知能2018 強化学習の応用
人工知能2018 強化学習の応用
Hirotaka Hachiya
強化学習の応用
PRML復々習レーン#15 前回までのあらすじ
PRML復々習レーン#15 前回までのあらすじ
sleepy_yoshi
PRML復々習レーン#15 前回までのあらすじ
PRML復々習レーン#10 7.1.3-7.1.5
PRML復々習レーン#10 7.1.3-7.1.5
sleepy_yoshi
2013-05-05 PRMLふくs
データ解析13 線形判別分析
データ解析13 線形判別分析
Hirotaka Hachiya
線形判別分析
続・わかりやすいパターン認識第5章
続・わかりやすいパターン認識第5章
Roy Ray
続・わかりやすいパターン認識第5章のスライドです
データ解析4 確率の復習
データ解析4 確率の復習
Hirotaka Hachiya
確率の復習
PRML復々習レーン#3 前回までのあらすじ
PRML復々習レーン#3 前回までのあらすじ
sleepy_yoshi
2012-07-16 PRML復々習レーン#3 前回までのあらすじ の資料
人工知能2018 5 機械学習の基礎
人工知能2018 5 機械学習の基礎
Hirotaka Hachiya
機械学習の基礎
データ解析10 因子分析の基礎
データ解析10 因子分析の基礎
Hirotaka Hachiya
因子分析の基礎
スパースモデリング、スパースコーディングとその数理(第11回WBA若手の会)
スパースモデリング、スパースコーディングとその数理(第11回WBA若手の会)
narumikanno0918
WBA若手の会が第11回勉強会で発表するスライドです
Practical topology
Practical topology
Tatsuki SHIMIZU
motion planning problem applied topology
More Related Content
What's hot
データ解析7 主成分分析の基礎
データ解析7 主成分分析の基礎
Hirotaka Hachiya
主成分分析の基礎
Bishop prml 9.3_wk77_100408-1504
Bishop prml 9.3_wk77_100408-1504
Wataru Kishimoto
数式を綺麗にプログラミングするコツ #spro2013
数式を綺麗にプログラミングするコツ #spro2013
Shuyo Nakatani
データ解析11 因子分析の応用
データ解析11 因子分析の応用
Hirotaka Hachiya
因子分析の応用
PRML復々習レーン#2 2.3.6 - 2.3.7
PRML復々習レーン#2 2.3.6 - 2.3.7
sleepy_yoshi
PRML復々習レーン#2 2.3.6 - 2.3.7
SMO徹底入門 - SVMをちゃんと実装する
SMO徹底入門 - SVMをちゃんと実装する
sleepy_yoshi
2013-05-05 PRML復々習レーン#10 で発表
続・わかりやすいパターン認識 9章
続・わかりやすいパターン認識 9章
hakusai
続・わかりやすいパターン認識第9章のスライドです。
変分推論法(変分ベイズ法)(PRML第10章)
変分推論法(変分ベイズ法)(PRML第10章)
Takao Yamanaka
データ解析6 重回帰分析
データ解析6 重回帰分析
Hirotaka Hachiya
重回帰分析
PRML復々習レーン#3 3.1.3-3.1.5
PRML復々習レーン#3 3.1.3-3.1.5
sleepy_yoshi
2012-07-16 PRML復々習レーン#3 3.1.3-3.1.5 の資料
データ解析3 最適化の復習
データ解析3 最適化の復習
Hirotaka Hachiya
最適化の復習
人工知能2018 強化学習の応用
人工知能2018 強化学習の応用
Hirotaka Hachiya
強化学習の応用
PRML復々習レーン#15 前回までのあらすじ
PRML復々習レーン#15 前回までのあらすじ
sleepy_yoshi
PRML復々習レーン#15 前回までのあらすじ
PRML復々習レーン#10 7.1.3-7.1.5
PRML復々習レーン#10 7.1.3-7.1.5
sleepy_yoshi
2013-05-05 PRMLふくs
データ解析13 線形判別分析
データ解析13 線形判別分析
Hirotaka Hachiya
線形判別分析
続・わかりやすいパターン認識第5章
続・わかりやすいパターン認識第5章
Roy Ray
続・わかりやすいパターン認識第5章のスライドです
データ解析4 確率の復習
データ解析4 確率の復習
Hirotaka Hachiya
確率の復習
PRML復々習レーン#3 前回までのあらすじ
PRML復々習レーン#3 前回までのあらすじ
sleepy_yoshi
2012-07-16 PRML復々習レーン#3 前回までのあらすじ の資料
人工知能2018 5 機械学習の基礎
人工知能2018 5 機械学習の基礎
Hirotaka Hachiya
機械学習の基礎
データ解析10 因子分析の基礎
データ解析10 因子分析の基礎
Hirotaka Hachiya
因子分析の基礎
What's hot
(20)
データ解析7 主成分分析の基礎
データ解析7 主成分分析の基礎
Bishop prml 9.3_wk77_100408-1504
Bishop prml 9.3_wk77_100408-1504
数式を綺麗にプログラミングするコツ #spro2013
数式を綺麗にプログラミングするコツ #spro2013
データ解析11 因子分析の応用
データ解析11 因子分析の応用
PRML復々習レーン#2 2.3.6 - 2.3.7
PRML復々習レーン#2 2.3.6 - 2.3.7
SMO徹底入門 - SVMをちゃんと実装する
SMO徹底入門 - SVMをちゃんと実装する
続・わかりやすいパターン認識 9章
続・わかりやすいパターン認識 9章
変分推論法(変分ベイズ法)(PRML第10章)
変分推論法(変分ベイズ法)(PRML第10章)
データ解析6 重回帰分析
データ解析6 重回帰分析
PRML復々習レーン#3 3.1.3-3.1.5
PRML復々習レーン#3 3.1.3-3.1.5
データ解析3 最適化の復習
データ解析3 最適化の復習
人工知能2018 強化学習の応用
人工知能2018 強化学習の応用
PRML復々習レーン#15 前回までのあらすじ
PRML復々習レーン#15 前回までのあらすじ
PRML復々習レーン#10 7.1.3-7.1.5
PRML復々習レーン#10 7.1.3-7.1.5
データ解析13 線形判別分析
データ解析13 線形判別分析
続・わかりやすいパターン認識第5章
続・わかりやすいパターン認識第5章
データ解析4 確率の復習
データ解析4 確率の復習
PRML復々習レーン#3 前回までのあらすじ
PRML復々習レーン#3 前回までのあらすじ
人工知能2018 5 機械学習の基礎
人工知能2018 5 機械学習の基礎
データ解析10 因子分析の基礎
データ解析10 因子分析の基礎
Similar to Gmm勉強会
スパースモデリング、スパースコーディングとその数理(第11回WBA若手の会)
スパースモデリング、スパースコーディングとその数理(第11回WBA若手の会)
narumikanno0918
WBA若手の会が第11回勉強会で発表するスライドです
Practical topology
Practical topology
Tatsuki SHIMIZU
motion planning problem applied topology
第4回数理モデル勉強会(日本植物学会第84回大会関連集会)
第4回数理モデル勉強会(日本植物学会第84回大会関連集会)
TakaakiYonekura
反応拡散モデルのシミュレーション実習に用いたスライド。
効用最大化理論の観点から見る強化学習
効用最大化理論の観点から見る強化学習
Kenta Ishii
東大羽藤研でのゼミ資料を改良したものです. 交通分野の経路選択行動を記述するモデルの,機械学習分野の強化学習との共通点に焦点を当ててみました. スライドの間違いや質問等ありましたらご連絡いただけると幸いです.
機械学習のモデルのぞいてみない? ~ブラックボックスのままでいいの?~
機械学習のモデルのぞいてみない? ~ブラックボックスのままでいいの?~
Asako Yanuki
機械学習のモデルのぞいてみない? ~ブラックボックスのままでいいの?~ NaITE32 資料
Prml 最尤推定からベイズ曲線フィッティング
Prml 最尤推定からベイズ曲線フィッティング
takutori
PRML第一章のガウス分布の最尤推定からベイズ曲線フィッティングまでを説明しています。ベイズ曲線フィッティングについては、実装しました。さらに、orderを増やすこととサンプル数に着目した過学習の説明も行っています。
猫でも分かりたい線形回帰の自由度
猫でも分かりたい線形回帰の自由度
YukinoriKambe
猫でも分かりたい線形回帰(重回帰分析)の自由度について解説してみました
代数方程式とガロア理論
代数方程式とガロア理論
Junpei Tsuji
方程式が解くことができる仕組みを説明したガロア理論。 ガロア理論を使って、五次方程式が解けないことを示すまで、を初学者向けに説明することを試みます。 わかりやすいことに念頭をおいて作ったため、多少の不正確さはあると思います。 興味を持った方はぜひ参考書にトライしてみてください。 ※2015/02/03 スライド63がちょっと正確でない気がしてきましたので、調査中です。近いうちに修正します。
強束縛模型における多体電子状態の第2量子化表現
強束縛模型における多体電子状態の第2量子化表現
Kazu Ghalamkari
強束縛模型における多体電子状態の第2量子化表現についてまとめました。
退化型Keller--Segel系の解の有限時刻爆発について
退化型Keller--Segel系の解の有限時刻爆発について
Takahiro Hashira
第39回発展方程式若手セミナーで講演しました。
双対性
双対性
Yoichi Iwata
JOI春合宿2018講義資料
【Zansa】第12回勉強会 -PRMLからベイズの世界へ
【Zansa】第12回勉強会 -PRMLからベイズの世界へ
Zansa
Zansa第12回勉強会の資料 「PRMLからベイズの世界へ」
S2 第3回DSEカンファレンス資料_okura
S2 第3回DSEカンファレンス資料_okura
yoroz okura
What is logistic function and inverse function of it. This slide is made for Data Scientist Educational confarenceby okura_yoroz(http://mathmadeus.jimdo.com/)
EMアルゴリズム
EMアルゴリズム
moritama1515
勉強会用に作成した資料です. 続わかりやすいパターン認識
Fourier analysis on symmetric group
Fourier analysis on symmetric group
HanpenRobot
対称群上のフーリエ解析のメモです. やっぱり群の表現論で一番大事なのは”表現行列の大直交性定理”ですね! これで,有限群上の直交関数系が分かります!
場の量子論
場の量子論
M M
場の量子
Time series analysis with python chapter2-1
Time series analysis with python chapter2-1
ShoKumada
データラーニングギルドの時系列輪読会の第2回前半の資料です
Prml1.2.4
Prml1.2.4
Tomoyuki Hioki
パターン認識と機械学習 (ベイズ理論による統計的予測) 1.2.4 Pattern Recognition and Machine Learning (PRML)
表現論 ゼミ資料
表現論 ゼミ資料
HanpenRobot
武井研 表現論 ゼミ資料 May 11 Wednesday 2016 fixed.
線形代数の視覚的理解のためのノート
線形代数の視覚的理解のためのノート
Kenji Hiranabe
線形代数の視覚的理解のためのノート Graphic Notes on Prof. Gilbert Strang's "Linear Algebra for Everyone" Gilbert 先生の線形代数の講義に惚れて作りました。 コンタクト頂ければ、PowerPoint 版をお配りします。 また、マトリックスワールド、も是非ご覧ください。 https://qiita.com/kenjihiranabe/items/854dbe1f6d9fca9df85c
Similar to Gmm勉強会
(20)
スパースモデリング、スパースコーディングとその数理(第11回WBA若手の会)
スパースモデリング、スパースコーディングとその数理(第11回WBA若手の会)
Practical topology
Practical topology
第4回数理モデル勉強会(日本植物学会第84回大会関連集会)
第4回数理モデル勉強会(日本植物学会第84回大会関連集会)
効用最大化理論の観点から見る強化学習
効用最大化理論の観点から見る強化学習
機械学習のモデルのぞいてみない? ~ブラックボックスのままでいいの?~
機械学習のモデルのぞいてみない? ~ブラックボックスのままでいいの?~
Prml 最尤推定からベイズ曲線フィッティング
Prml 最尤推定からベイズ曲線フィッティング
猫でも分かりたい線形回帰の自由度
猫でも分かりたい線形回帰の自由度
代数方程式とガロア理論
代数方程式とガロア理論
強束縛模型における多体電子状態の第2量子化表現
強束縛模型における多体電子状態の第2量子化表現
退化型Keller--Segel系の解の有限時刻爆発について
退化型Keller--Segel系の解の有限時刻爆発について
双対性
双対性
【Zansa】第12回勉強会 -PRMLからベイズの世界へ
【Zansa】第12回勉強会 -PRMLからベイズの世界へ
S2 第3回DSEカンファレンス資料_okura
S2 第3回DSEカンファレンス資料_okura
EMアルゴリズム
EMアルゴリズム
Fourier analysis on symmetric group
Fourier analysis on symmetric group
場の量子論
場の量子論
Time series analysis with python chapter2-1
Time series analysis with python chapter2-1
Prml1.2.4
Prml1.2.4
表現論 ゼミ資料
表現論 ゼミ資料
線形代数の視覚的理解のためのノート
線形代数の視覚的理解のためのノート
Gmm勉強会
1.
GMM勉強会@森島研 Hayato OHYA
2.
本日のお題 • EMアルゴリズムについて:大矢担当 • 多次元版GMMについて –
資料は作る予定(15日現在) – その場でPRML読みながらみんなで • ノンパラ化 – 持橋さんの資料とか見る – 増田君にアドバイスもらいつつみんなでがんばる • プログラム実装 – できるのかね? – まあやってみよう
3.
参考図書 • Pattern Recognition
and Machine Learning [Bishop] – 言わずと知れたPRML • 言語処理のための機械学習入門 [奥村・高村] – 日本語でとってもわかりやすい本 • パターン認識と機械学習の学習 [光成] – サイボウズラボが出しているPRMLの副読本 • 統計のための行列代数上・下 [ハーヴィル] – 行列演算についてしっかり書かれた本 – 早稲田構内から原著はDL可 ※もし私費で買う場合私のリンクから購入してくれるとうれしいです(アフィリエイト(笑)) http://8810008.web.fc2.com/research/books.html
4.
注意 • 大矢がこの1週間で勉強したことを話すだけなので、 間違っている可能性があります • 疑問点や間違っていそうな点がありましたら、 適宜つっこみを入れてください –
答えられるとは限らない • 基本的なことは結構飛ばして書いてます
5.
EMアルゴリズム概要 • クラスタリングによく使われる • EMアルゴリズムとは枠組みである –
EMアルゴリズムのライブラリは存在しない • ある確率分布についてEMアルゴリズムを再現したもの – GMMはEMアルゴリズムの一種 • たとえば Expectation(E-step):クラスの期待値を求める Maximization(M-step):ガウス函数のパラメータを求める
6.
EMアルゴリズム • 混合ガウス分布を使ったクラスタリングを考える – K-meansとは違い、クラスに入る確率が計算できる •
使うもの なんかのデータ(たとえば特徴ベクトル) :𝒙(𝑖) ∈ 𝐷 クラスタ(K個のうちのとあるクラスタc):𝑐 ∈ 𝐾 分布のパラメータ(ポアソン分布の平均とか):𝜃, 𝜃′ なんかの確率分布:𝑃(𝒙|𝑐)
7.
対数尤度 𝒙(𝒊)∈𝑫 log𝑃(𝑐,
𝒙 𝑖 ; 𝜃) を最尤推定で最大化したい → cが未知なのでできない そこでまず、事前に計算した𝜃′を利用して𝑃(𝑐|𝒙(𝑖); 𝜃′)を計算 これを重みとして、 Σ 𝒙 𝑖 ∈𝐷log𝑃 𝑐, 𝒙(𝑖); 𝜃 → Σ 𝒙 𝑖 ∈𝐷Σ 𝑐 𝑃(𝑐|𝒙(𝑖); 𝜃′)log𝑃 𝑐, 𝒙(𝑖); 𝜃 を最大化する 𝑄 𝜃; 𝜃′ = Σ 𝒙 𝑖 ∈𝐷Σ 𝑐 𝑃(𝑐|𝒙(𝑖) ; 𝜃′)log𝑃 𝑐, 𝒙(𝑖) ; 𝜃
8.
𝑄函数について 𝑄 𝜃; 𝜃′ =
Σ 𝒙 𝑖 ∈𝐷Σ 𝑐 𝑃(𝑐|𝒙(𝑖) ; 𝜃′)log𝑃 𝑐, 𝒙(𝑖) ; 𝜃 • 変数:𝜃 • 他はすべて定数 – 𝑃(𝑐|𝒙(𝑖); 𝜃′)とか
9.
EMアルゴリズム 入力:データ𝐷 𝜃の初期値をてきとーに決める Until収束 E-step:∀𝒙(𝑖) ∈ 𝐷, ∀𝑐:
𝑃 𝑐 𝒙 𝑖 ; 𝜃′ ーデータがどの程度クラスタ𝑐に所属しているか M-step:𝜃 𝑚𝑎𝑥 = argmax 𝜃 𝑄(𝜃|𝜃′) 𝜃′ = 𝜃 𝑚𝑎𝑥 End until
10.
確率分布がガウス函数の場合 𝑃 𝒙 𝑖 𝑐;
𝜃 = 1 2𝜋𝜎2 𝑑 exp(− 𝒙 𝑖 − 𝒎 𝑐 2 2𝜎2 ) 𝒎 𝑐について最大化すると、 𝜕𝑄 𝜃; 𝜃′ 𝜕𝒎 𝑐 = 𝜕 𝜕𝒎 𝑐 𝒙 𝑖 ∈𝐷 𝑐 𝑃(𝑐|𝒙 𝑖 ; 𝜃′)log𝑃(𝑐)𝑃 𝒙(𝑖)|𝑐; 𝜃 = 𝜕 𝜕𝒎 𝑐 𝒙 𝑖 ∈𝐷 𝑃(𝑐|𝒙 𝑖 ; 𝜃′)logexp − 𝒙 𝑖 − 𝒎 𝑐 2 2𝜎2 = 𝒙 𝑖 ∈𝐷 𝑃(𝑐|𝒙 𝑖 ; 𝜃′ ) 𝒙 𝑖 − 𝒎 𝑐 𝜎2 → 0
11.
∴ 𝒎 𝑐
= Σ 𝒙 𝑖 ∈D 𝑃 𝑐 𝒙 𝑖 ; 𝜃′ 𝒙 𝑖 Σ 𝒙 𝑖 ∈D 𝑃 𝑐 𝒙 𝑖 ; 𝜃′ → これがM-stepの計算式 𝑃 𝑐 はmarginal distributionを使って、 𝑃 𝑐 = 1 𝐷 𝒙 𝑖 ∈D 𝑃(𝑐|𝒙𝑖; 𝜃′) となる。 ・・・はずなんだけど、証明ができないぞ(´・ω・`)
12.
• E-step 𝑃 𝑐
𝒙 𝑖 ; 𝜃′ = 𝑃 𝒙 𝑖 , 𝑐; 𝜃′ 𝑃 𝒙(𝑖); 𝜃′ = 𝑃 𝒙 𝑖 , 𝑐; 𝜃′ 𝒙 𝑖 ∈𝐷 𝑝 𝒙(𝑖), 𝑐; 𝜃′ = 𝑃 𝒙 𝑖 |𝑐; 𝜃′ 𝑃(𝑐) 𝒙 𝑖 ∈𝐷 𝑝 𝒙 𝑖 |𝑐; 𝜃′ 𝑃(𝑐)
13.
混合ガウス分布 • ガウス函数(多次元) 𝑁 =
𝑁 𝑥 𝜇, Σ = 1 2𝜋 𝐷 Σ − 1 2exp − 1 2 𝑥 − 𝜇 𝑇Σ−1 𝑥 − 𝜇 • 離散的な潜在変数を用いた混合ガウス分布の定式化 𝐾次元2値変数𝑧を考える(一つの成分のみが1で他は全て0) 𝑘 𝑧 𝑘 = 1
14.
𝑝 𝑧 𝑘
= 1 = 𝜋 𝑘 (0 ≤ 𝜋 𝑘 ≤ 1) ⇔ 𝑝 𝑧 = 𝑘 𝜋 𝑘 𝑧 𝑘 𝑝 𝑥 𝑧 𝑘 = 1 = 𝑁(𝑥|𝜇 𝑘, Σk) ⇔ 𝑝 𝑥 𝑧 = 𝑘 𝑁 𝑥|𝜇 𝑘, Σ 𝑘 𝑧 𝑘 以上より、 𝑝 𝑥 = 𝑧 𝑝(𝑥, 𝑧) = 𝑧 𝑝 𝑧 𝑝(𝑥|𝑧) z x
15.
なぜグラフィカルモデル使うの? • 今回の場合は変数が単純だが、 (LDAなど)対応関係が複雑になった場合には、 変数の対応関係が見やすくなる • 参考 http://www.slideshare.net/Kawamoto_Kazuhiko/ss-35483453
16.
𝑝 𝑥 = 𝑧
𝑘 𝜋 𝑘 𝑁(𝑥|𝜇k, Σ 𝑘) 𝑧 𝑘 𝑧 𝑘はどれか一つのみが1 ⇒= 𝑘 𝜋 𝑘 𝑁(𝑥|𝜇 𝑘, Σ 𝑘) • 𝑧の条件付き確率𝑝 𝑧 𝑘 = 1|𝑥 ≡ γ zk を考える 𝛾 𝑧 𝑘 = 𝑝 𝑥, 𝑧 𝑘 = 1 𝑝 𝑥 = 𝑝 𝑥, 𝑧 𝑘 = 1 Σj 𝑝(𝑥, 𝑧 𝑘 = 1) = 𝑝 𝑧 𝑘 = 1 𝑝 𝑥 𝑧 𝑘 = 1 𝑗 𝑝 𝑧𝑗 = 1 𝑝(𝑥|𝑧 𝑘 = 1) = 𝜋 𝑘 𝑁 𝑥 𝜇 𝑘, Σ 𝑘 𝑗 𝜋 𝑗 𝑁 𝑥 𝜇 𝑘, Σ 𝑘 → 混合要素𝑘が観測値𝑥に対する負担率
17.
EM Algorithm for
Gaussian Mixture Model データ集合:𝑋 𝑇 = 𝑥1, … , 𝑥 𝑁 (𝑁 × 𝐷𝑑𝑖𝑚) 対応する潜在変数:𝑍 𝑇 = 𝑧1, … , 𝑧 𝑁 𝑁 × 𝐾𝑑𝑖𝑚 • 対数尤度函数の最大点の条件を求める 𝐹 = log 𝑝 𝑋 𝜋, 𝜇, Σ = 𝑛=1 𝑁 log( 𝑗=1 𝐾 𝜋𝑗 𝑁 𝑥 𝑛 𝜇 𝑗, Σ𝑗))
18.
• 𝜇について最大化 𝜕 𝜕𝜇 log𝑁 𝑥
𝜇, Σ = 𝜕 𝜕𝜇 (− 1 2 𝑥 − 𝜇 𝑇Σ−1(𝑥 − 𝜇)) = Σ−1 𝑥 − 𝜇 ∴ 𝜕 𝜕𝜇 𝑁 = 𝑁 ⋅ 𝜕 𝜕𝜇 𝑘 log𝑁 = 𝑁 ⋅ Σ−1(𝑥 − 𝜇) 𝑁𝑛𝑘 = 𝑁(𝑥 𝑛|𝜇 𝑘, Σ 𝑘)と置くと、 𝜕 𝜕𝜇 𝑘 𝐹 = 𝑛 ( 𝜋 𝑘 𝜕𝑁𝑛𝑘 𝜕𝜇 𝑘 𝑗 𝜋𝑗 𝑁 𝑛𝑗 ) = 𝑛 𝜋 𝑘 𝑁 𝑛𝑘 𝑗 𝜋𝑗 𝑁𝑛𝑗 𝜕 𝜕𝜇 𝑘 log𝑁𝑛𝑘
19.
= 𝑛 𝛾 𝑧 𝑛𝑘 𝜕 𝜕𝜇
𝑘 log𝑁𝑛𝑘 = Σ−1 ( 𝑛 𝛾(𝑧 𝑛𝑘)(𝑥 − 𝜇)) → 0 ∴ 𝑛 𝛾 𝑧 𝑛𝑘 𝑥 𝑛 − 𝑛 𝛾 𝑧 𝑛𝑘 𝜇 𝑘 = 0 𝑁𝑘 = 𝑛 𝛾(𝑧 𝑛𝑘)と置くと、 𝜇 𝑘 = 1 𝑁𝑘 𝑛 𝛾 𝑧 𝑛𝑘 𝑥 𝑛
20.
• 次にΣ 𝑘についての微分を考える 𝑁
= 𝑁(𝑥|𝜇, Σ)と置くと、 log𝑁 = − 𝐷 2 log 2𝜋 − 1 2 log Σ − 1 2 tr(Σ−1 𝑥 − 𝜇 𝑥 − 𝜇 𝑇 ) 𝜕 𝜕Σ 𝑘 log𝑁 = − 1 2 Σ−1 + 1 2 Σ−1 𝑥 − 𝜇 𝑥 − 𝜇 𝑇Σ−1 𝜕 𝜕Σ 𝑘 𝐹 = 𝑛 𝛾 𝑧 𝑛𝑘 𝜕 𝜕Σ 𝑘 log𝑁 𝑛𝑘 = 𝑛 𝛾 𝑧 𝑛𝑘 − 1 2 Σ−1 + 1 2 Σ−1 𝑥 − 𝜇 𝑥 − 𝜇 𝑇Σ−1 → 0
21.
∴ 𝑛 𝛾 𝑧 𝑛𝑘
𝐼 − 𝑥 𝑛 − 𝜇 𝑘 𝑥 𝑛 − 𝜇 𝑘 𝑇Σ 𝑘 −1 = 0 ⇔ Σ 𝑘 = 1 𝑁𝑘 𝑛 𝛾 𝑧 𝑛𝑘 𝑥 𝑛 − 𝜇 𝑘 𝑥 𝑛 − 𝜇 𝑘 𝑇
22.
• 𝜋 𝑘に関する微分を考える 𝑘
𝜋 𝑘 = 1の制約があるので、 𝐺 = 𝐹 + 𝜆( 𝑘 𝜋 𝑘 − 1) とすると、 𝜕 𝜕𝜋 𝑘 𝐺 = 𝑛 𝑁 𝑛𝑘 𝑗 𝜋𝑗 𝑁 𝑛𝑗 + 𝜆 = 𝑛 𝛾 𝑧 𝑛𝑘 𝜋 𝑘 + 𝜆 = 𝑁𝑘 𝜋 𝑘 + 𝜆 → 0 ⇔ 𝑁𝑘 = −𝜆𝜋 𝑘 ⇔ 𝑁 = 𝑘 𝑁𝑘 = 𝑘 −𝜆𝜋 𝑘 = −𝜆 ∴ 𝜋 𝑘 = 𝑁𝑘 −𝜆 = 𝑁𝑘 𝑁
23.
EM for Gaussian
Mixtures 1. テキトーに𝝁 𝑘, 𝚺 𝑘, 𝜋 𝑘を初期化 for 2. E-step:𝛾(𝑧 𝑛𝑘)を計算 3. M-step: 𝝁 𝑘, 𝚺 𝑘, 𝜋 𝑘を計算 4. 対数尤度を計算 log𝑃 𝑿 𝝁, 𝚺, 𝝅 = 𝑛=1 𝑁 log{ 𝑘=1 𝐾 𝜋 𝑘 𝑁 𝒙 𝑛 𝝁 𝑘, 𝚺 𝑘)} If flag == true: break;
24.
これをノンパラ化したい(´・ω・`)
25.
EM for Gaussian
Mixturesのんぱら! 1. テキトーに𝝁 𝑘, 𝚺 𝑘, 𝜋 𝑘を初期化;𝑘をたくさん用意する for 2. E-step:𝛾(𝑧 𝑛𝑘)を計算 3. M-step: 𝝁 𝑘, 𝚺 𝑘, 𝜋 𝑘を計算 – 一定値以下の𝜋 𝑘を切り捨てる 4. 対数尤度を計算 log𝑃 𝑿 𝝁, 𝚺, 𝝅 = 𝑛=1 𝑁 log{ 𝑘=1 𝐾 𝜋 𝑘 𝑁 𝒙 𝑛 𝝁 𝑘, 𝚺 𝑘)} If flag == true: break;
26.
のんぱらNMFの場合 𝜋 𝑘 𝑘=1 𝐾 𝜋 𝑘 >
𝐶𝑜𝑛𝑠𝑡. → 𝜋 𝑘生き残る 𝜋 𝑘 𝑘=1 𝐾 𝜋 𝑘 < 𝐶𝑜𝑛𝑠𝑡. → 𝜋kを消す or 残して計算はしない ガンマ分布を事前分布に与えて、 変分ベイズとか使って事後分布を近似を求める
27.
参考 http://biometrics.cse.msu.edu/Publications/Clustering/Mallapra gadaJinJain_NonparametricMixtureModels_SSSPR10.pdf http://www.hua.edu.vn/khoa/fita/wp- content/uploads/2013/08/Pattern-Recognition-and-Machine- Learning-Christophe-M-Bishop.pdf
Download now