0
PRML#17 (最終回)
12.4補習: 独立成分分析

       2010-09-11
   YOSHIHIKO SUHARA
     id:sleepy_yoshi
      @sleepy_yoshi
おことわり
• これからの話は全て↓に書かれています




                       1
ポイントだけ
•   独立成分分析とは?
•   必要なのは独立性。
•   ガウス分布、ダメ、ゼッタイ。
•   目的関数いろいろ、解き方もいろいろ。




                         2
独立成分分析とは?



            3
PRML的な流れ
• 線形ガウスモデル
 – 主成分分析


• 線形非ガウスモデル
 – 独立成分分析
  • 非線形ICAもあるらしいが…




 非ガウス分布を用いた潜在変数の線形変換に
  よって観測変数が得られるというモデル
   ...
問題設定: 未知音源分離
    M台のマイク       N人の話者 
     (観測変数)         (潜在変数)




                              5
※簡単のため〃M=Nの例を用いる
未知音源分離の定式化
• 観測変数は潜在変数の線形変換で表現

                    = 
     1 = 11 1 + 12 2 + 13 3
     2 = 21 1 + 22 2 + 23 3
     3 = 31...
必要なのは独立性。
• 独立性
                   

           =          ( )   (12.89)
                   =1




• 無相関性 ≠ 独立性




      ...
ガウス分布、ダメ、ゼッタイ。
• 潜在変数sにガウス分布は利用できない
• 理由: ガウス分布は混合してしまうと分離でき
  ないから
 – 厳密には、ひとつのガウス分布まではOK
       4
       2
       0
    ...
ガウス分布、ダメ、ゼッタイ。
• 確率的主成分分析では…
 – 潜在変数空間の分布が平均0の等方的ガウス分布
 – 潜在変数の空間を変化させても尤度関数の形は変わ
   らない

             =  +  2         (12...
目的関数いろいろ、解き方もいろいろ。
• 目的関数
 –   尤度最大化
 –   情報量最大化
 –   相互情報量最小化
 –   …


• 解き方
 – 勾配法
 – EMアルゴリズム
 –…

                 10
尤度最大化の例
                                               線形変換の式
• 線形変換の式を利用して                                               ...
参考文献
• ウェブ上にも参考資料は多い
• 一冊挙げるとすればコレ




                  12
おわり


      13
Upcoming SlideShare
Loading in...5
×

Chap12 4 appendix_suhara

910

Published on

0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total Views
910
On Slideshare
0
From Embeds
0
Number of Embeds
0
Actions
Shares
0
Downloads
12
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

Transcript of "Chap12 4 appendix_suhara"

  1. 1. PRML#17 (最終回) 12.4補習: 独立成分分析 2010-09-11 YOSHIHIKO SUHARA id:sleepy_yoshi @sleepy_yoshi
  2. 2. おことわり • これからの話は全て↓に書かれています 1
  3. 3. ポイントだけ • 独立成分分析とは? • 必要なのは独立性。 • ガウス分布、ダメ、ゼッタイ。 • 目的関数いろいろ、解き方もいろいろ。 2
  4. 4. 独立成分分析とは? 3
  5. 5. PRML的な流れ • 線形ガウスモデル – 主成分分析 • 線形非ガウスモデル – 独立成分分析 • 非線形ICAもあるらしいが… 非ガウス分布を用いた潜在変数の線形変換に よって観測変数が得られるというモデル 4
  6. 6. 問題設定: 未知音源分離 M台のマイク N人の話者 (観測変数) (潜在変数) 5 ※簡単のため〃M=Nの例を用いる
  7. 7. 未知音源分離の定式化 • 観測変数は潜在変数の線形変換で表現 = 1 = 11 1 + 12 2 + 13 3 2 = 21 1 + 22 2 + 23 3 3 = 31 1 + 32 2 + 33 3 結論 s1, s2, s3が統計的に独立であれば〃 A, s共に計算することが可能 6
  8. 8. 必要なのは独立性。 • 独立性 = ( ) (12.89) =1 • 無相関性 ≠ 独立性 7
  9. 9. ガウス分布、ダメ、ゼッタイ。 • 潜在変数sにガウス分布は利用できない • 理由: ガウス分布は混合してしまうと分離でき ないから – 厳密には、ひとつのガウス分布まではOK 4 2 0 -2 -4 -2 0 2 8
  10. 10. ガウス分布、ダメ、ゼッタイ。 • 確率的主成分分析では… – 潜在変数空間の分布が平均0の等方的ガウス分布 – 潜在変数の空間を変化させても尤度関数の形は変わ らない = + 2 (12.36) = というを用いて → と変換 = + 2 9
  11. 11. 目的関数いろいろ、解き方もいろいろ。 • 目的関数 – 尤度最大化 – 情報量最大化 – 相互情報量最小化 – … • 解き方 – 勾配法 – EMアルゴリズム –… 10
  12. 12. 尤度最大化の例 線形変換の式 • 線形変換の式を利用して 1 = (−1 ) det = det = det ( ) ここで = −1 = det ( ) = = の個の観測値 1 , 2 , … , ()があるとすると〃尤度は T個の点で評価でき〃Bの関数とみなせる () = det ( ()) あとは尤度を取って勾配法で最適化 11
  13. 13. 参考文献 • ウェブ上にも参考資料は多い • 一冊挙げるとすればコレ 12
  14. 14. おわり 13
  1. A particular slide catching your eye?

    Clipping is a handy way to collect important slides you want to go back to later.

×