Chap12 4 appendix_suhara

1,667 views
1,609 views

Published on

0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total views
1,667
On SlideShare
0
From Embeds
0
Number of Embeds
1
Actions
Shares
0
Downloads
11
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

Chap12 4 appendix_suhara

  1. 1. PRML#17 (最終回) 12.4補習: 独立成分分析 2010-09-11 YOSHIHIKO SUHARA id:sleepy_yoshi @sleepy_yoshi
  2. 2. おことわり • これからの話は全て↓に書かれています 1
  3. 3. ポイントだけ • 独立成分分析とは? • 必要なのは独立性。 • ガウス分布、ダメ、ゼッタイ。 • 目的関数いろいろ、解き方もいろいろ。 2
  4. 4. 独立成分分析とは? 3
  5. 5. PRML的な流れ • 線形ガウスモデル – 主成分分析 • 線形非ガウスモデル – 独立成分分析 • 非線形ICAもあるらしいが… 非ガウス分布を用いた潜在変数の線形変換に よって観測変数が得られるというモデル 4
  6. 6. 問題設定: 未知音源分離 M台のマイク N人の話者 (観測変数) (潜在変数) 5 ※簡単のため〃M=Nの例を用いる
  7. 7. 未知音源分離の定式化 • 観測変数は潜在変数の線形変換で表現 = 1 = 11 1 + 12 2 + 13 3 2 = 21 1 + 22 2 + 23 3 3 = 31 1 + 32 2 + 33 3 結論 s1, s2, s3が統計的に独立であれば〃 A, s共に計算することが可能 6
  8. 8. 必要なのは独立性。 • 独立性 = ( ) (12.89) =1 • 無相関性 ≠ 独立性 7
  9. 9. ガウス分布、ダメ、ゼッタイ。 • 潜在変数sにガウス分布は利用できない • 理由: ガウス分布は混合してしまうと分離でき ないから – 厳密には、ひとつのガウス分布まではOK 4 2 0 -2 -4 -2 0 2 8
  10. 10. ガウス分布、ダメ、ゼッタイ。 • 確率的主成分分析では… – 潜在変数空間の分布が平均0の等方的ガウス分布 – 潜在変数の空間を変化させても尤度関数の形は変わ らない = + 2 (12.36) = というを用いて → と変換 = + 2 9
  11. 11. 目的関数いろいろ、解き方もいろいろ。 • 目的関数 – 尤度最大化 – 情報量最大化 – 相互情報量最小化 – … • 解き方 – 勾配法 – EMアルゴリズム –… 10
  12. 12. 尤度最大化の例 線形変換の式 • 線形変換の式を利用して 1 = (−1 ) det = det = det ( ) ここで = −1 = det ( ) = = の個の観測値 1 , 2 , … , ()があるとすると〃尤度は T個の点で評価でき〃Bの関数とみなせる () = det ( ()) あとは尤度を取って勾配法で最適化 11
  13. 13. 参考文献 • ウェブ上にも参考資料は多い • 一冊挙げるとすればコレ 12
  14. 14. おわり 13

×