• Like
  • Save
PRML復々習レーン#15 前回までのあらすじ
Upcoming SlideShare
Loading in...5
×
 

PRML復々習レーン#15 前回までのあらすじ

on

  • 1,087 views

PRML復々習レーン#15 前回までのあらすじ

PRML復々習レーン#15 前回までのあらすじ

Statistics

Views

Total Views
1,087
Views on SlideShare
655
Embed Views
432

Actions

Likes
1
Downloads
3
Comments
0

4 Embeds 432

http://d.hatena.ne.jp 427
http://dhatenane.greatbabyfood.com 2
https://twitter.com 2
http://www.slidesharenet.org 1

Accessibility

Categories

Upload Details

Uploaded via as Adobe PDF

Usage Rights

© All Rights Reserved

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Processing…
Post Comment
Edit your comment

    PRML復々習レーン#15 前回までのあらすじ PRML復々習レーン#15 前回までのあらすじ Presentation Transcript

    • PRML復々習レーン#15 前回までのあらすじ 2013-11-09 Yoshihiko Suhara @sleepy_yoshi v.1.0
    • 前回のおさらい • 復々習レーンの復習を10分程度でやります – 得られた結論にポイントを絞る – 「よーするに」な内容 • 好きなところをたくさん喋る • よくわからないところは誤魔化す • まちがってたら指摘してください • 目的 ポイントだよ ポイントだよ ポイント小僧の向きに意味はありません – 前回の復習 – 不参加の方に流れを伝えるため – 自分自身の勉強のため 2
    • 前回の範囲 • 9章 混合モデルとEM – 9.1 K-means クラスタリング • 9.1.1 画像分割と画像圧縮 – 9.2 混合ガウス分布 (Mixture of Gaussians) 前回の範囲 • 9.2.1 最尤推定 • 9.2.2 混合ガウス分布のEMアルゴリズム – 9.3 EMアルゴリズムのもう一つの解釈 • • • • 9.3.1 混合ガウス分布再訪 9.3.2 K-means との関連 9.3.3 混合ベルヌーイ分布 9.3.4 ベイズ線形回帰に関するEMアルゴリズム – 9.4 一般のEMアルゴリズム 3
    • 9章 混合モデルとEM 4
    • 9 混合モデルとEM ポイントだよ 観測変数と潜在変数の同時分布を定義することにより 単純な分布から複雑な分布を構成することが可能になる (混合モデル) その際,最尤推定に (一般的に) 利用されるのがEMアルゴリズム • 混合ガウスの例 – 観測データはいずれかのガウス分布から生成される と仮定 5
    • 9.1 K-means クラスタリング 6
    • 9.1 K-means クラスタリング ポイントだよ 収束するまで以下の2ステップを繰り返すクラスタリング手法 (1) データ点のクラスタへの再割り当て (Eステップに相当) (2) クラスタ平均の再計算 (Mステップに相当) • 以下の損失関数を最小化する割り当て𝑟 𝑛𝑘 ∈ 0, 1 と,クラスタ平均𝝁 𝑘 を求めている 𝑁 𝐾 𝐽= 𝑟 𝑛𝑘 𝒙 𝑛 − 𝝁 𝑘 2 2 𝑛=1 𝑘=1 • 非凸であるため,大域的最適解の保証はないが,局所最適解への収束保証はあり (初期値によって解 が変わる) 7 #iteration
    • 9.1.1 画像分割と画像圧縮 ポイントだよ 各画素をデータ点とみなしてクラスタリングし, 同一クラスタに対して同じ色をアサインすることで 画像圧縮を実現できる • 画素をRGBの3次元空間のデータ点と解釈して,K-meansクラスタリングを 実行した例 – クラスタの平均値を利用して色を表現 – ベクトル量子化とも呼ばれる枠組み 8
    • 9.2混合ガウス分布 (Mixture of Gaussians) ※ どうでもいいがなぜこれだけ英訳つき? Gaussian Mixture Model (GMM) という呼び方の方が 9 よく見かける気も…
    • 9.2 混合ガウス分布 ポイントだよ ガウス分布の線形重ねあわせで混合ガウス分布を表現する 潜在変数を用意し,データを観測した際の負担率を計算する • 𝑝 𝒙 = 𝒛 𝑝 𝒛 𝑝 𝑥 𝒛 = 𝐾 𝑘=1 𝜋 𝑘 𝒩 𝒙 𝝁 𝑘, 𝚺 𝑘 • ベイズの定理より潜在変数の事後確率は以下の形で計算できる 𝛾 𝑧 𝑘𝑛 ≡ 𝑝 𝑧 𝑘 = 1 𝒙 𝑛 = = 𝑝 𝑧𝑘 = 1 𝑝 𝒙𝑛 𝑧𝑘 = 1 𝐾 𝑗=1 𝑝 𝑧𝑗 = 1 𝑝 𝒙 𝑛 𝑧𝑗 = 1 𝜋 𝑘 𝒩 𝒙 𝑛 𝝁 𝑘, 𝚺 𝑘 𝐾 𝑗=1 𝜋𝑗 𝒩 𝒙 𝑛 𝝁 𝑗, 𝚺𝑗 – ここで 𝛾(𝑧 𝑘𝑛 )を混合要素𝑘がデータ𝑛を「説明する」度合いを表 す負担率と呼ぶ 10
    • 9.2.1 最尤推定 ポイントだよ 混合ガウス分布を最尤推定する…際の注意点 • 各データ点が独立に生成されたと仮定すると,対数尤度関数は以下のように表 せる 𝑁 ln 𝑝 𝑿 𝝅, 𝝁, 𝚺 = 𝐾 ln 𝑛=1 • 𝑘=1 あるデータ点と等しい平均パラメータを持つガウス分布の尤度関数は以下の形 になる 𝒩 𝒙 𝑛 𝒙 𝑛, 𝜎2 𝐼 = • 𝜋 𝑘 𝒩 𝒙 𝑛 𝝁 𝑘, 𝚺 𝑘 1 1 2𝜋 1/2 𝜎𝑗 ここで𝜎𝑗 → 0 で尤度は無限に発散してしまう  – ベイズ的アプローチやヒューリスティクスで避けられる 11
    • 9.2.2 混合ガウス分布のEMアルゴリズム ポイントだよ 以下の2ステップを繰り返す (1) 現在のパラメータにおいて負担率を計算, (2) 計算した負担率にしたがって新しいパラメータを計算 • Eステップ – • 𝛾 𝑧 𝑛𝑘 = 𝜋𝑘 𝐾 𝑗=1 𝒩 𝑥 𝑛 𝝁 𝑘 ,𝚺 𝑘 𝜋 𝑗 𝒩 𝑥 𝑛 𝝁 𝑗 ,𝚺 𝑗 Mステップ – 𝝁new = 𝑘 1 𝑁𝑘 𝑁 𝑛=1 𝛾 𝑧 𝑛𝑘 𝒙 𝑛 – 𝚺 new = 𝑘 1 𝑁𝑘 𝑁 𝑛=1 𝛾 𝑧 𝑛𝑘 𝒙 𝑛 − 𝝁new 𝑘 𝒙 𝑛 − 𝝁new 𝑘 𝑇 𝑁 – 𝜋 new = 𝑘 𝑘 𝑁 – ただし,𝑁 𝑘 = 𝑁 𝑛=1 𝛾 𝑧 𝑛𝑘 負担率に無視すれば,通常のガウス分布の最尤推定と 同じ形をしていることに注目 12
    • 9.3 EMアルゴリズムのもう一つの解釈 13
    • 9.3 EMアルゴリズムのもう一つの解釈 ポイントだよ 一般のEMアルゴリズムについて考える ※ 完全データ集合における対数尤度の最大化は 容易であるという仮定をおく • 潜在変数を持つモデルの対数尤度を考える – ln 𝑝 𝑿 𝜽 = ln 𝒛 𝑃 𝑿, 𝒁 𝜽 – 総和が対数の中にあるため,計算が困難  • 指数型分布族を考えると log exp となる • そこで 𝑿, 𝒁 という完全データ集合に対する対数尤度ln 𝑝 𝑿, 𝒁 𝜽 を考え,Zに関する期待値を最大化する – 𝒬 𝜽, 𝜽 𝑜𝑙𝑑 = 𝒁 𝑝 𝒁 𝑿, 𝜽 𝑜𝑙𝑑 ln 𝑝 𝑿, 𝒁 𝜽 – 𝜽 𝑛𝑒𝑤 = argmax 𝜽 𝒬 𝜽, 𝜽 𝑜𝑙𝑑 14
    • 9.3.1 混合ガウス分布再訪 ポイントだよ 完全データに対する対数尤度と 不完全データに対する対数尤度を見比べる • 完全データ対数尤度 𝑁 𝐾 ln 𝑝 𝑿, 𝒁 𝝁, 𝚺, 𝝅 = 𝑧 𝑛𝑘 ln 𝜋 𝑘 + ln 𝒩 𝒙 𝑛 𝝁 𝑘 , 𝚺 𝑘 𝑛=1 𝑘=1 • 不完全データ対数尤度 (完全データ対数尤度関数の期待値) 𝑁 𝐾 𝔼 𝒁 [ln 𝑝 𝑿, 𝒁 𝝁, 𝚺, 𝝅 ] = 𝛾 𝑧 𝑛𝑘 ln 𝜋 𝑘 + ln 𝒩 𝒙 𝑛 𝝁 𝑘 , 𝚺 𝑘 𝑛=1 𝑘=1 演習9.5 𝜋 事後分布のもとで{𝑧 𝑛 }が独立を示す 𝝁 プレート表現 を展開 𝑧1 𝑧2 … 𝑧𝑛 … 𝒙1 𝒙2 𝚺 マルコフブランケットが観測されて いるので各𝑧 𝑛 は条件付き独立 15 𝒙𝑛
    • つづく さぁ今日も一日 がんばるぞ 16