Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
PRML#17 (最終回)
12.4補習: 独立成分分析

       2010-09-11
   YOSHIHIKO SUHARA
     id:sleepy_yoshi
      @sleepy_yoshi
おことわり
• これからの話は全て↓に書かれています




                       1
ポイントだけ
•   独立成分分析とは?
•   必要なのは独立性。
•   ガウス分布、ダメ、ゼッタイ。
•   目的関数いろいろ、解き方もいろいろ。




                         2
独立成分分析とは?



            3
PRML的な流れ
• 線形ガウスモデル
 – 主成分分析


• 線形非ガウスモデル
 – 独立成分分析
  • 非線形ICAもあるらしいが…




 非ガウス分布を用いた潜在変数の線形変換に
  よって観測変数が得られるというモデル
   ...
問題設定: 未知音源分離
    M台のマイク ������      N人の話者 ������
     (観測変数)         (潜在変数)




                              5
※簡単のため〃M=N...
未知音源分離の定式化
• 観測変数は潜在変数の線形変換で表現

                   ������ = ������������
     ������1 = ������11 ������1 + ������12 ������...
必要なのは独立性。
• 独立性
                   ������

         ������ ������ =          ������(������������ )   (12.89)
             ...
ガウス分布、ダメ、ゼッタイ。
• 潜在変数sにガウス分布は利用できない
• 理由: ガウス分布は混合してしまうと分離でき
  ないから
 – 厳密には、ひとつのガウス分布まではOK
       4
       2
       0
    ...
ガウス分布、ダメ、ゼッタイ。
• 確率的主成分分析では…
 – 潜在変数空間の分布が平均0の等方的ガウス分布
 – 潜在変数の空間を変化させても尤度関数の形は変わ
   らない

            ������ = �����������...
目的関数いろいろ、解き方もいろいろ。
• 目的関数
 –   尤度最大化
 –   情報量最大化
 –   相互情報量最小化
 –   …


• 解き方
 – 勾配法
 – EMアルゴリズム
 –…

                 10
尤度最大化の例
                                               線形変換の式
• 線形変換の式を利用して                                               ...
参考文献
• ウェブ上にも参考資料は多い
• 一冊挙げるとすればコレ




                  12
おわり


      13
Upcoming SlideShare
Loading in …5
×

Chap12 4 appendix_suhara

1,827 views

Published on

  • Be the first to comment

Chap12 4 appendix_suhara

  1. 1. PRML#17 (最終回) 12.4補習: 独立成分分析 2010-09-11 YOSHIHIKO SUHARA id:sleepy_yoshi @sleepy_yoshi
  2. 2. おことわり • これからの話は全て↓に書かれています 1
  3. 3. ポイントだけ • 独立成分分析とは? • 必要なのは独立性。 • ガウス分布、ダメ、ゼッタイ。 • 目的関数いろいろ、解き方もいろいろ。 2
  4. 4. 独立成分分析とは? 3
  5. 5. PRML的な流れ • 線形ガウスモデル – 主成分分析 • 線形非ガウスモデル – 独立成分分析 • 非線形ICAもあるらしいが… 非ガウス分布を用いた潜在変数の線形変換に よって観測変数が得られるというモデル 4
  6. 6. 問題設定: 未知音源分離 M台のマイク ������ N人の話者 ������ (観測変数) (潜在変数) 5 ※簡単のため〃M=Nの例を用いる
  7. 7. 未知音源分離の定式化 • 観測変数は潜在変数の線形変換で表現 ������ = ������������ ������1 = ������11 ������1 + ������12 ������2 + ������13 ������3 ������2 = ������21 ������1 + ������22 ������2 + ������23 ������3 ������3 = ������31 ������1 + ������32 ������2 + ������33 ������3 結論 s1, s2, s3が統計的に独立であれば〃 A, s共に計算することが可能 6
  8. 8. 必要なのは独立性。 • 独立性 ������ ������ ������ = ������(������������ ) (12.89) ������=1 • 無相関性 ≠ 独立性 7
  9. 9. ガウス分布、ダメ、ゼッタイ。 • 潜在変数sにガウス分布は利用できない • 理由: ガウス分布は混合してしまうと分離でき ないから – 厳密には、ひとつのガウス分布まではOK 4 2 0 -2 -4 -2 0 2 8
  10. 10. ガウス分布、ダメ、ゼッタイ。 • 確率的主成分分析では… – 潜在変数空間の分布が平均0の等方的ガウス分布 – 潜在変数の空間を変化させても尤度関数の形は変わ らない ������ = ������������������ + ������ 2 ������ (12.36) ������������������ = ������という������を用いて������ → ������������と変換 ������ = ������������������������ ������������ + ������ 2 ������ ������ 9
  11. 11. 目的関数いろいろ、解き方もいろいろ。 • 目的関数 – 尤度最大化 – 情報量最大化 – 相互情報量最小化 – … • 解き方 – 勾配法 – EMアルゴリズム –… 10
  12. 12. 尤度最大化の例 線形変換の式 • 線形変換の式を利用して 1 ������������ ������ = ������������ (������−1 ������) det ������ ������������ ������ = det ������ ������������ ������ = det ������ ������������ (������������ ) ここで ������ = ������−1 ������ ������������ ������ = det ������ ������������ (������������ ������) ������ ������ = ������������ ������ ������������ = ������ ������の������個の観測値 ������ 1 , ������ 2 , … , ������(������)があるとすると〃尤度は T個の点で評価でき〃Bの関数とみなせる ������(������) = det ������ ������������ (������������ ������(������)) ������ ������ ������ あとは尤度を取って勾配法で最適化 11
  13. 13. 参考文献 • ウェブ上にも参考資料は多い • 一冊挙げるとすればコレ 12
  14. 14. おわり 13

×